一种复杂场景下的机械臂六自由度抓取检测方法

本发明属于机器人目标物体抓取，具体涉及一种复杂场景下的机械臂六自由度抓取检测方法，在目标点云上利用区域点云分析和抓取姿态生成神经网络相结合的方法。

背景技术：

1、随着社会的快速发展，机器人在工业、农业、海底探测等领域中发挥重要的作用。其中，机器人的抓取操作发挥着重要的作用，机器人实现抓取功能的自主化对提高产业生产效率、改善人机交互的效果具有重大的意义。尽管近年来机械臂的自主抓取在工业生产中取得了很大的进展，但是该类型的工业机器人在光照良好、环境结构固定、被抓取物体已知的条件下执行重复抓取，对周围环境和目标物体的感知信息能力要求不高。而机械臂在非结构化环境中抓取新物体仍然是一个巨大的挑战，主要原因为被抓取的新物体和周围场景的不确定性使得机械臂抓取的成功率大大降低。因此，如何能实时生成高质量的抓取姿态是机器人领域的研究热点。

2、随着深度学习算法的快速发展，基于数据驱动的机械臂抓取算法得到了广泛的研究。这类方法主要使用基于分类的思想，利用cnn等方法从视觉设备获取的二维图像(2.5d的深度图)或三维点云数据来学习目标对象的特征信息，然后学习生成对抓取姿态的质量进行评分的评价模型，从而在实际抓取时输出最优的抓取姿态。基于二维图像(2.5d的深度图)的抓取检测取得了丰富的成果，但是这类方法无法计算机械夹爪与物体的三维形状之间的交互结果，同时具有抓取维度的限制。这种机械臂“自上而下”的抓取方式限制了机械臂的抓取效果，使得机械臂在非结构环境中的抓取成功率较低。而基于三维点云的抓取姿态检测方法可以生成6d的抓取姿态，6d的抓取姿态可以计算出机械夹爪的三维位置和三维姿态角，因此可以更好地抓取目标物体。

3、现存的许多基于点云的抓取检测方法并未考虑到物体的实际分布情况，因此在实际的多物体环境下生成的抓取姿态容易产生失败的抓取。这主要是由于物体在训练时仅对单独的物体进行抓取姿态的生成，而实际抓取时网络无法考虑目标物体的分布状态。有些研究人员为了解决该问题，将整个点云场景作为神经网络的输入，并引入了碰撞检测模块来过滤掉无效的抓取。这种网络通常由于其计算量很大，并且对场景的泛化性不足而产生失败的抓取。

技术实现思路

1、本发明所要解决的技术问题是：

2、针对上述神经网络模型在实际抓取时无法快速分析区域点云场景的问题，本发明提出了一种复杂场景下的机械臂六自由度抓取检测方法，将区域点云分析方法和抓取姿态生成网络相结合。

3、为了解决上述技术问题，本发明采用的技术方案为：

4、一种复杂场景下的机械臂六自由度抓取检测方法，其特征在于，步骤如下：

5、步骤1：获取目标物体的点云簇和整个点云场景；

6、步骤2：采用区域点云分析法计算出点云的轮廓和可抓取区域，将每个单独的可抓取区域分割出来；

7、步骤3：针对每个单独的可抓取区域，利用pca计算出该点云簇的质心和特征向量；

8、步骤4：由神经网络模型gpg在目标物体上预先生成抓取姿态；

9、步骤5：将gpg在不可抓取区域上生成的抓取姿态过滤掉；

10、步骤6：利用点云簇的质心和特征向量对抓取姿态进行过滤，保留的抓取姿态为靠近点云簇质心和与方向向量夹角满足要求的部分抓取姿态；

11、步骤7：将保留后的抓取姿态输入到抓取姿态生成网络pointnetgpd中进行打分，得到分数score1；

12、步骤8：采用区域点云分析法对抓取保留后的抓取姿态的质量进行打分，得分为score2；

13、步骤9：将每个抓取姿态得到的分数score1和score2分别给予不同的权重，并进行最后的排序，输出最高分数对应的抓取姿态；让机械臂执行该抓取姿态，抓取目标物体。

14、本发明进一步的技术方案：步骤1中由机械臂搭载的相机获取目标物体的点云簇和整个点云场景，所述相机为深度相机或者双目相机，固定在机械臂末端跟随机械臂移动或者固定在机械臂本体以外的位置。

15、本发明进一步的技术方案：步骤2中具体为：

16、假设点p为点云集合中的一个点云点，将p及其周围邻域内的点云投影至该点的切平面，投影后p对应的点为p；以点p为中心，将周围的点与点p两两连接后形成一系列的夹角，形成夹角集合：

17、θ＝{θ1,θ2,…,θn}

18、找到该集合中的最大夹角θmax＝max(θ)，当θmax大于第一设定阈值时，即可判定p为边界点，否则不是边界点；求出点云簇的轮廓后，沿着目标点云簇的轮廓从下到上进行比较，通过比较夹爪的最大张开宽度和点云轮廓之间的距离来计算可抓取区域。

19、本发明进一步的技术方案：步骤3具体为：

20、设目标点云簇为c，包含n个点云点的集合为{c1,c2,c3,…,cn}，计算点云簇的质心为pcen：

21、

22、构建点云簇的协方差矩阵，利用协方差矩阵求出点云簇的特征值λ1,λ2,λ3，计算每个特征值对应的特征向量u1,u2,u3；其中，设定的特征的大小为λ1≥λ2≥λ3，最小的特征值对应的特征向量设定为点云簇的方向向量。

23、本发明进一步的技术方案：所述通过比较夹爪的最大张开宽度和点云轮廓之间的距离来计算可抓取区域，具体为：

24、当点云轮廓之间的距离小于夹爪的最大张开宽度时，该位置为可抓取位置；否则为不可抓取位置。

25、本发明进一步的技术方案：步骤4所述的抓取姿态仅考虑目标物体，并不考虑支撑桌面和周围物体；表示为gi＝(p,r)，其中，p＝(x,y,z)为位置向量，r＝(rx,ry,rz)为姿态角向量。

26、本发明进一步的技术方案：步骤6所述利用点云簇的质心和特征向量对抓取姿态进行过滤，具体为：

27、计算抓取姿态的位置向量和点云簇的质心之间的距离，当该距离小于第二设定阈值，进行保留；

28、计算抓取姿态的接近向量和点云簇的方向向量之间的夹角，当该夹角小于第三设定阈值时，认为抓取姿态会以垂直的方向靠近目标物体；当方向向量和接近向量同向时，即抓取姿态从支撑桌面下面靠近物体，会发生碰撞；故需要将接近向量取反，再计算抓取姿态的接近向量和点云簇的方向向量之间的夹角。

29、本发明进一步的技术方案：步骤7所述将保留后的抓取姿态输入到抓取姿态生成网络pointnetgpd中进行打分，包括：

30、离线训练pointnetgpd模型：对目标物体进行抓取姿态的生成，并进行打分；将抓取姿态内部的点云和对应的分数输入到神经网络模型pointnet中进行分类学习，生成抓取姿态的分类模型；

31、采用训练好的pointnetgpd模型该模型对输入的抓取姿态进行打分。

32、本发明进一步的技术方案：步骤8所述采用区域点云分析法对抓取保留后的抓取姿态的质量进行打分，打分公式如下：

33、

34、ld1(gi,o)＝||pi-po||

35、

36、

37、其中，ld1表示抓取姿态的位置向量和点云簇质心之间的距离大小，当距离越大时，对应的得分越小；onear表示以目标点云簇的质心为球心，以一定的大小为半径，求得在该球体内的周围物体的点云集，然后求得抓取姿态的位置向量和周围点云集之间的平均距离，当平均距离越小时，意味着抓取姿态越靠近中间位置，更不易与周围物体发生碰撞；lθ为抓取姿态的接近向量与方向向量之间的夹角，夹角越大，对应的分数越低；λ1′,λ2′,λ3′为平衡系数。

38、本发明的有益效果在于：

39、本发明提供的一种复杂场景下的机械臂六自由度抓取检测方法，可以实现在复杂环境下实现对目标物体的稳定抓取，区域点云分析方法可以将实时分析目标点云簇和周围点云场景，从而将与周围环境发生碰撞的抓取姿态过滤掉；并与神经网络相结合，共同对抓取姿态进行打分，生成最优的抓取姿态。因此本发明方法可以帮助机械臂在复杂场景中完成对目标场景的分析，在很大程度上帮助机械臂完成非结构环境下的目标抓取任务。