一种基于深度学习的多颗粒度人机共融环境感知方法【中国发明】

一、专利名称及专利号

名称：《一种基于深度学习的多颗粒度人机共融环境感知方法》

专利号：ZL 2022 1 1008001.1

二、应用领域

本发明涉及人机协同智能制造装配领域，尤其涉及一种基于深度学习的多颗粒度人机共融环境感知方法。

三、专利说明

1、摘要：

本发明公开了一种基于深度学习的多颗粒度人机共融环境感知方法，获取人机共融场景的RGB图像和深度图像；将所述RGB图像和所述深度图像输入编码网络，得到编码图像；将所述编码图像输入金字塔池化模块，得到池化图像；将所述池化图像输入解码网络，得到解码图像；将所述解码图像输入多粒度分割输出模块，得到不同粒度等级的场景分割图像；其中，所述粒度等级包括区域等级、实体等级以及实体的部分等级。不同粒度等级的场景分割图像为协作机器人提供更加完善的环境感知能力，使其能够根据环境和任务的不同自适应地切换不同粒度的环境感知分割结果，从而更好地进行后续协作行为决策和运动规划。

2、背景：

工业机器人是智能制造系统不可或缺的重要组成部分，然而传统的工业机器人部署成本高企，需要围绕其进行整个生产线的改造和适应，导致生产线的柔性不足；另外，中小企业受限于资金和规模，也无法大规模部署应用传统工业机器人。在此背景下，协作机器人以及人机共融生产制造模式则逐渐开始受到越来越多的关注，由人类承担对柔性、触觉、灵活性等要求比较高的工作环节，协作机器人则利用其快速精准的优势来负责重复性和程序化的工作环节，既能满足产线柔性化和灵活性的以及大规模个性化的需求，又能提高生产效率，减轻工作人员作业劳动负担。

这种近距离的人机共融协作模式，则需要机器人能够对其所处的人机共融环境进行实时准确的感知，从而根据协作人员的动作和环境变化适应性地调整其工作姿态和作业任务。早期的环境感知技术主要仅依靠深度相机或触觉传感来判断机器人和周围障碍物的距离，而近年来随着人工智能技术的发展，更多地开始采用深度神经网络对场景进行语义分割，即根据视觉图像的语义信息将图像划分为不同的类别区域。

然而现有场景语义分割方法主要仍然停留在单一颗粒度语义分割模式(例如，无论场景大小，人体总被当作一个整体进行分割)，而没有考虑到协作机器人在作业过程中可能有不同的感知距离和不同精细度的任务。例如，在中等距离情况下，机器人或许只需要将工人身体作为一个整体来识别即可避免碰撞；然而在近距离人机协作装配的情况下，机器人则需要更精细地分割判别人体的手部、手臂、身体等不同部位，从而进行更加精细的运动控制和协作动作。而这种具体场景和任务的多变性则要求协作机器人的场景感知算法应该具有多种不同粒度的语义理解能力。

四、相关文件下载

专利证书：1755769700260367.pdf

专利详情：1755769713466327.pdf