一种机器人视觉检测方法及基于视觉检测方法的抓取系统

本发明涉及机器人智能控制，特别是指一种机器人视觉检测方法及基于视觉检测方法的抓取系统。

背景技术：

1、随着机器人技术的持续进步，对其智能化程度的需求也日益增长。传统的机器人抓取方法需要人工编程来完成抓取任务，只能按照预先输入的程序重复相同的动作，一旦物体的位置、形状或位姿以及抓取环境发生改变，整个抓取任务就会以失败告终。机器人无法适应复杂的环境变化或者未知的工作场景，缺失自主感知和自主决策的能力。随着深度学习技术的突破，这给机器人视觉检测与抓取领域提供了一定的基础保障。深度学习具备强大的特征提取能力，可从大量的大数据中自主学习信息，有效应对多种抓取环境。在深度学习技术的加持下，机器人可以面对不同抓取场景和多类抓取对象，可自主完成抓取任务，实现智能化。综上所述，深度学习技术成为机器人智能抓取研究的重要方向，为智能化抓取的实现提供了有力技术支撑。

2、尽管深度学习在机器人抓取领域得到了一定的研究和应用，但仍存在着很多问题，如模型特征提取能力不强、对重要抓取区域特征关注度不够、不同层次特征不被充分利用、鲁棒性低及在复杂场景下抓取精度低等。现有的研究方法引入了注意力机制和特征融合等技术来帮助机器人抓取检测模型提取重要特征，但仍然面临许多挑战。目前的处理方式对特征的处理过于简单，仅停留在线性操作的层面，这显然并非最理想的方案。这种处理方式的融合性存在冗余，无法为信息增益带来实质性的贡献。另外，所提取的特征在规模和语义层面上可能呈现出较大的不一致性，这也使得融合权值的质量受到严重的制约。更为关键的是，当前方法未能充分利用多层次特征的互补优势，低层次特征所蕴含的丰富细节信息与高层次特征所展现的强大语义信息被相互孤立处理，缺乏必要的融合与互补。这导致机器人在应对尺寸多变、形状复杂的目标物体时，现有方法的适应性明显不足，容易出现漏检、错检等问题，严重影响了整体的准确性和可靠性。

技术实现思路

1、为了解决现有技术存在的现有抓取检测网络特征提取能力弱，语义信息不足从而无法有效的提取全局上下文信息、对抓取检测中小尺寸物体具有的像素信息较少，容易在编码器中忽略甚至丢失重要的抓取区域特征，导致在解码的上采样过程中无法复原，大大降低抓取的准确率和抓取质量、现有的方法仅对特征相加或拼接聚合，这极大削弱抓取区域的重要特征，无法充分结合低级特征的丰富空间信息与高级特征的语义信息优势、现有机器人智能抓取系统面向操作时的复杂性的技术问题，本发明实施例提供了一种机器人视觉检测方法及基于视觉检测方法的抓取系统。所述技术方案如下：

2、一方面，提供了一种机器人视觉检测方法，该方法由基于视觉检测方法的抓取系统实现，该方法包括：

3、s1、获取待检测的rgbd图像数据。

4、s2、将rgbd图像数据输入至构建好的融合增强抓取检测网络。

5、其中，融合增强抓取检测网络包括串行分支残差挤压模块、并行通道-像素注意力跳跃连接模块以及跨级别特征多层次融合模块。

6、s3、根据rgbd图像数据以及融合增强抓取检测网络，得到抓取质量热力图、抓取宽度热力图和抓取角度热力图，进而得到视觉检测结果。

7、可选地，s2中的融合增强抓取检测网络的构建过程，包括：

8、s21、获取数据集，对数据集进行预处理，得到训练数据集。

9、s22、将训练数据集输入至融合增强抓取检测网络的编码器，得到编码器输出特征。

10、s23、将编码器输出特征输入至并行通道-像素注意力跳跃连接模块进行特征优化融合，得到关键的抓取特征。

11、s24、将关键的抓取特征输入至融合增强抓取检测网络的解码器，得到抓取质量热力图、抓取宽度热力图和抓取角度热力图，进而得到视觉检测结果。

12、可选地，融合增强抓取检测网络的编码器包括多个卷积层以及多个串行分支残差挤压模块。

13、s22中的将训练数据集输入至融合增强抓取检测网络的编码器，得到编码器输出特征，包括：

14、s221、将训练数据集输入至第一卷积层进行特征提取，得到第一卷积层初步特征。

15、s222、将第一卷积层初步特征输入至第一串行分支残差挤压模块进行自适应权重分配，得到第一串行分支残差挤压模块输出特征。

16、s223、将第一串行分支残差挤压模块输出特征输入至第二卷积层进行特征提取，得到第二卷积层初步特征。

17、s224、将第二卷积层初步特征输入至第二串行分支残差挤压模块进行自适应权重分配，得到第二串行分支残差挤压模块输出特征。

18、s225、将第二串行分支残差挤压模块输出特征输入至第三卷积层进行特征提取，得到第三卷积层初步特征。

19、s226、将第三卷积层初步特征输入至第三串行分支残差挤压模块进行自适应权重分配，得到编码器输出特征。

20、可选地，第一串行分支残差挤压模块包括se注意力单元和特征精细化单元。

21、s222中的将第一卷积层初步特征输入至第一串行分支残差挤压模块进行自适应权重分配，得到第一串行分支残差挤压模块输出特征，包括：

22、将第一卷积层初步特征输入至se注意力单元，得到se注意力单元输出特征。

23、将se注意力单元输出特征输入至特征精细化单元，特征精细化单元的输出特征与第一卷积层初步特征进行相加处理，得到第一串行分支残差挤压模块输出特征。

24、可选地，并行通道-像素注意力跳跃连接模块包括像素注意力层、双分支像素注意力层以及通道聚焦层。

25、s23中的将编码器输出特征输入至并行通道-像素注意力跳跃连接模块进行特征优化融合，得到关键的抓取特征，包括：

26、s231、对编码器输出特征进行处理，得到处理后的输入特征。

27、s232、将处理后的输入特征输入至像素注意力层，得到像素注意力层输出。

28、s233、将处理后的输入特征输入至双分支像素注意力层，得到双分支像素注意力层输出。

29、s234、将处理后的输入特征输入至通道聚焦层，得到通道聚焦层输出；

30、s235、根据像素注意力层输出、双分支像素注意力层输出以及通道聚焦层输出，得到关键的抓取特征。

31、可选地，注意力层输出，如下式(1)所示：

32、

33、式中，pac表示的全局像素门控信号，pwconv1×1表示逐点卷积，v3表示像素注意力层输出，表示处理后的输入特征，表示逐元素乘积。

34、可选地，双分支像素注意力层包括第一双分支像素注意力层和第二双分支像素注意力层。

35、s233中的双分支像素注意力层输出，如下式(2)所示：

36、

37、式中，dbpa1表示第一双分支像素注意力层输出，conv3×3表示卷积核为3×3的卷积，dbpa2表示第二双分支像素注意力层输出，averagepooling表示自适应平均池化，v1表示双分支像素注意力层输出。

38、可选地，s24中的融合增强抓取检测网络的解码器包括多个反卷积层以及多个跨级别特征多层次融合模块。

39、s24中的将关键的抓取特征输入至融合增强抓取检测网络的解码器，得到抓取质量热力图、抓取宽度热力图和抓取角度热力图，进而得到视觉检测结果，包括：

40、s241、将关键的抓取特征输入至第一反卷积层进行图像恢复，得到第一反卷积层输出。

41、s242、将第一反卷积层输出以及编码器输出特征输入至第一跨级别特征多层次融合模块，得到第一跨级别特征多层次融合模块输出。

42、s243、将第一跨级别特征多层次融合模块输出输入至第二反卷积层进行图像恢复，得到第二反卷积层输出。

43、s244、将第二反卷积层输出以及第二串行分支残差挤压模块输出特征输入至第二跨级别特征多层次融合模块，得到第二跨级别特征多层次融合模块输出。

44、s245、将第二跨级别特征多层次融合模块输出输入至第三反卷积层进行图像恢复，得到抓取质量热力图、抓取宽度热力图和抓取角度热力图。

45、s246、根据抓取质量热力图、抓取宽度热力图和抓取角度热力图，得到视觉检测结果。

46、可选地，第一跨级别特征多层次融合模块包括全局分支和局部分支。

47、s242中的将第一反卷积层输出以及编码器输出特征输入至第一跨级别特征多层次融合模块，得到第一跨级别特征多层次融合模块输出，包括：

48、将第一反卷积层输出以及编码器输出特征进行融合，得到融合后的特征；

49、将融合后的特征输入至全局分支，得到全局分支权重图。

50、将融合后的特征输入至局部分支，得到局部分支权重图。

51、将全局分支权重图以及局部分支权重图相加，得到相加后的特征图。

52、将第一反卷积层输出经过3×3卷积，并与相加后的特征图进行元素乘积操作，得到处理后的第一反卷积层特征。

53、将编码器输出特征经过3×3卷积，并与相加后的特征图进行元素乘积操作，得到处理后的编码器输出特征。

54、将处理后的第一反卷积层特征以及处理后的编码器输出特征进行串联聚合，得到第一跨级别特征多层次融合模块输出。

55、另一方面，提供了一种基于视觉检测方法的抓取系统，该系统应用于基于视觉检测方法，该系统包括基于ros搭建的视觉采集模块、抓取检测模块以及抓取执行模块。

56、其中，视觉采集模块，用于获取待检测的rgbd图像数据。

57、抓取检测模块，用于将rgbd图像数据输入至构建好的融合增强抓取检测网络。

58、其中，融合增强抓取检测网络包括串行分支残差挤压模块、并行通道-像素注意力跳跃连接模块以及跨级别特征多层次融合模块。

59、根据rgbd图像数据以及融合增强抓取检测网络，得到抓取质量热力图、抓取宽度热力图和抓取角度热力图，进而得到视觉检测结果。

60、抓取执行模块，用于将视觉检测结果映射为机器人坐标下的抓取位姿，将抓取位姿输入到机器人中，通过逆运动学解算求解得到无碰撞的抓取路径，完成抓取。

61、本发明实施例提供的技术方案带来的有益效果至少包括：

62、本发明实施例中，显著增强目标物体特征的表达能力，从而引导网络更加聚焦于关键特征。同时，对高低层级特征的融合结构进行重构，实现高低层级特征图之间的优势互补，有效提升整体的特征提取效果。

63、本发明通过从原始特征中精准提取位置依赖关系和共享全局信息，实现注意力机制的全局优化。采用一种创新的策略捕捉并整合原始特征中的空间依赖关系，从而确保在全局范围内实现注意力的有效分配和优化。通过这种方式，不仅提高特征提取的准确性和效率，还进一步增强模型对于复杂目标物体的处理能力。

64、基于ros搭建了一套完整的机器人上位机抓取系统平台，视觉采集、抓取检测、抓取执行等功能被封装为不同的ros节点，各节点之间通过话题以及服务通信机制来传递机器人的相关数据信息。该系统能实现高级别的自动化与智能化，具有良好的扩展性与集成性。

65、本发明能实现对在任意位置，对具有任意形状和位姿的复杂目标物体有效执行抓取任务。即使在复杂的多物体场景下，此方法依然能准确识别物体的位置并快速推理出最高质量的抓取位姿，能适应复杂的环境变化和不同工作任务的需求。