一种基于神经网络的机械臂自主抓取方法及系统

本发明属于机械臂运动规划，尤其涉及一种基于神经网络的机械臂自主抓取方法及系统。

背景技术：

1、各种协作机械臂和工业机械臂越来越普及,为提高机械臂智能化和自主化，机械臂自主抓取一直是机器人领域的研究热点之一。传统的协作机器臂需要操作人员的视觉先验知识为基础，利用编程或拖动示教实现机械臂抓取，只能重复修改程序或重新示教来完成任务。无法躲避障碍物，一旦待抓取物体位置改变或者环境中存在的障碍物，容易造成机械臂抓取失败甚至发生碰撞。

技术实现思路

1、本发明提供一种基于神经网络的机械臂自主抓取方法及系统，用于解决无法躲避障碍物，一旦待抓取物体位置改变或者环境中存在的障碍物，容易造成机械臂抓取失败甚至发生碰撞的技术问题。

2、第一方面，本发明提供一种基于神经网络的机械臂自主抓取方法，包括：

3、对第一深度相机和第二深度相机进行标定，所述第一深度相机与机械臂分离且固定在相机支架上，所述第二深度相机固定在机械臂的末端；

4、根据标定后的第一深度相机获取环境的深度图像，根据实时获取的机械臂urdf模型的掩膜图像将所述深度图像中的机械臂进行过滤，并通过体素滤波算法对过滤后的深度图像中障碍物点云进行降采样处理，得到障碍物点云信息；

5、根据标定后的第二深度相机获取待抓取物体信息，并将所述待抓取物体信息输入至预先构建的改进残差卷积神经网络模型中，所述改进残差卷积神经网络模型输出得到机械臂的待抓取位姿，其中，所述改进残差卷积神经网络模型的损失函数的表达式为：

6、

7、

8、式中，gi为改进残差卷积神经网络模型所产生的抓取，为真实的抓取，i为第i帧图像，n为对象数量，j为累加范围，为改进残差卷积神经网络模型的损失函数，为gi和的绝对值，yj为非限制线性函数，y为限制非线性部分的范围，为约束非线性区域的曲率，β为常数，

9、根据机械臂的初始位姿、机械臂的待抓取位姿以及障碍物点云信息采用改进t-rrt路径规划算法进行规划机械臂的运动轨迹。

10、第二方面，本发明提供一种基于神经网络的机械臂自主抓取系统，包括：

11、标定模块，配置为对第一深度相机和第二深度相机进行标定，所述第一深度相机与机械臂分离且固定在相机支架上，所述第二深度相机固定在机械臂的末端；

12、处理模块，配置为根据标定后的第一深度相机获取环境的深度图像，根据实时获取的机械臂urdf模型的掩膜图像将所述深度图像中的机械臂进行过滤，并通过体素滤波算法对过滤后的深度图像中障碍物点云进行降采样处理，得到障碍物点云信息；

13、输出模块，配置为根据标定后的第二深度相机获取待抓取物体信息，并将所述待抓取物体信息输入至预先构建的改进残差卷积神经网络模型中，所述改进残差卷积神经网络模型输出得到机械臂的待抓取位姿，其中，所述改进残差卷积神经网络模型的损失函数的表达式为：

14、

15、

16、式中，gi为改进残差卷积神经网络模型所产生的抓取，为真实的抓取，i为第i帧图像，n为对象数量，j为累加范围，为改进残差卷积神经网络模型的损失函数，为gi和的绝对值，yj为非限制线性函数，y为限制非线性部分的范围，为约束非线性区域的曲率，β为常数，

17、规划模块，配置为根据机械臂的初始位姿、机械臂的待抓取位姿以及障碍物点云信息采用改进t-rrt路径规划算法进行规划机械臂的运动轨迹。

18、第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的基于神经网络的机械臂自主抓取方法的步骤。

19、第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序指令被处理器执行时，使所述处理器执行本发明任一实施例的基于神经网络的机械臂自主抓取方法的步骤。

20、本申请的基于神经网络的机械臂自主抓取方法及系统，将机械臂物体抓取与运动规划融为一体，可以自主识别并生成障碍物和待抓取物体信息，提高了抓取精度，缩短了位置识别的时间，增加了机械臂运动的鲁棒性，缩短了机械臂运动距离，有利于机械臂自主抓取。

技术特征：

1.一种基于神经网络的机械臂自主抓取方法，其特征在于，包括：

2.根据权利要求1所述的一种基于神经网络的机械臂自主抓取方法，其特征在于，对所述第一深度相机进行标定包括：

3.根据权利要求1所述的一种基于神经网络的机械臂自主抓取方法，其特征在于，对所述第二深度相机进行标定包括：

4.根据权利要求1所述的一种基于神经网络的机械臂自主抓取方法，其特征在于，所述通过体素滤波算法对过滤后的深度图像中障碍物点云进行降采样处理，得到障碍物点云信息包括：

5.根据权利要求1所述的一种基于神经网络的机械臂自主抓取方法，其特征在于，所述改进残差卷积神经网络模型的卷积为gsconv2d卷积。

6.根据权利要求1所述的一种基于神经网络的机械臂自主抓取方法，其特征在于，所述根据机械臂的初始位姿、机械臂的待抓取位姿以及障碍物点云信息采用改进t-rrt路径规划算法进行规划机械臂的运动轨迹包括：

7.根据权利要求1所述的一种基于神经网络的机械臂自主抓取方法，其特征在于，其中，得到机械臂逆运动学的方程式包括：

8.一种基于神经网络的机械臂自主抓取系统，其特征在于，包括：

9.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至7任一项所述的方法。

技术总结本发明公开了一种基于神经网络的机械臂自主抓取方法及系统，方法包括：根据标定后的第一深度相机获取环境的深度图像，根据实时获取的机械臂URDF模型的掩膜图像将深度图像中的机械臂进行过滤，并通过体素滤波算法对过滤后的深度图像中障碍物点云进行降采样处理，得到障碍物点云信息；根据标定后的第二深度相机获取待抓取物体信息，并将待抓取物体信息输入至预先构建的改进残差卷积神经网络模型中，改进残差卷积神经网络模型输出得到机械臂的待抓取位姿；根据机械臂的初始位姿、机械臂的待抓取位姿以及障碍物点云信息采用改进T‑RRT路径规划算法进行规划机械臂的运动轨迹。缩短了机械臂运动距离，有利于机械臂自主抓取。技术研发人员：姚道金,殷雄,陶勇剑,董文涛,王晓明,程宵受保护的技术使用者：华东交通大学技术研发日：技术公布日：2024/6/2