一种基于机器视觉的机械臂智能分拣方法及分拣系统

本发明涉及物体识别分拣领域。尤其涉及一种基于机械臂智能分拣系统。

背景技术：

1、目前，机械臂因高效和低成本广泛应用于工业分拣领域。针对不同的应用场景和任务目标，如何实现机械高速、高精度运动是一个重要的挑战。传统工业机械臂主要利用预设固定位置工件的点位模型来规划运动轨迹，当机械臂需要对位置变化的多种类工件执行分拣任务时，需要重新构建复杂点位模型，缺乏灵活性和智能化处理能力。

2、为了实现机械臂对多类别工件在非固定位置的高效分拣，智能化和自主化控制方向是研究的重点。目前，计算机视觉和传感器技术正向着人类认知方面演进，同时随着机器学习与深度学习技术的发展被应用于机械臂分拣领域，如利用二维摄像头捕捉工件的平面图像，通过图像处理技术识别工件的形状、颜色和标识。这种做法可用于简单的分拣任务，在平面内识别和定位工件，但无法获得工件的深度信息，导致机械臂错误估计距离，在处理形状、尺寸、材质各异的工件时，适应性仍有不足，容易出现误识别和抓取失败。同时，在工件位置发生变化时，机械臂的实时响应能力有限，影响分拣效率。

技术实现思路

1、针对以上技术问题，本发明提供一种基于机器视觉的机械臂智能分拣方法及分拣系统，通过结合机器视觉技术和机械臂操作，实现高效、精准的目标识别和物体分拣，以提升分拣效率和分拣精度，减少对人力的依赖，节约人力成本，提高生产安全性。

2、本发明提供一种基于机器视觉的机械臂智能分拣方法，所采用的技术方案包括以下步骤：

3、步骤1，通过深度相机获取环境点云信息，构建实时的三维环境模型；

4、步骤2，采用目标检测算法对三维环境模型进行检测，标定指定目标，获取指定目标的位置和大小；

5、步骤3，建立指定目标位置的预测模型，通过机器视觉和位置计算融合的方式预测目标的未来位置，对目标进行锁定；

6、步骤4，建立机械臂运动模型，根据锁定目标的位置，求解机械臂的各关节旋转角度，选择延时时间获取机械臂的抓取时间和姿态；

7、步骤5，使用视觉伺服控制方法实现机械臂的控制和引导，完成目标夹取与释放任务。

8、步骤2中，选用yolov8模型对目标进行检测，具体步骤如下：

9、首先，图像分割：根据yolov8模型，将所输入目标环境图像像素设置为640×640，再将图像划分成8×8个等大单元格，每个单元格设置两个预测框，根据单元格中心点确定预测框的位置，预测框的尺寸为目标的所有单元格的外边框尺寸；每个预测框有四个角坐标和一个置信度，共五个参数；预测图像的类别数量设为n，则最终的预测结果是长度为8×8×(2×5+n)的向量；

10、然后，设计网络模型：选用googlenet网络模型，卷积层用于视觉元素特征提取，全连接层用于目标类别概率和坐标的预测；替换googlenet网络模型中inception模块的卷积操作，使用1x1卷积降低通道维度，再使用3x3卷积提取空间特征，在googlenet网络模型中设置24个卷积层、4个最大池化层和2个全连接层；

11、接着，设计损失函数，将坐标预测误差、置信度亏损与预测类别错误三部分损失相加，得到损失函数；其中，坐标预测误差为预测框与真实目标之间的坐标差，置信度亏损使用二元交叉熵损失计算真实置信度与预测置信度的差值，预测类别错误使用多元交叉熵损失计算预测类别与真实类别之间的差值；

12、最后，对googlenet网络模型进行训练，优化损失函数，以提升googlenet网络模型在目标检测中的性能；损失函数中，将坐标预测误差分为预测框中心坐标误差losscenter和预测框的尺寸误差losssize，置信度亏损在单元包含目标的情况下为lossobj，不含目标的情况下为lossno_obj，预测类别错误为lossclass，优化后的损失函数如下：

13、loss＝losscenter+losssize+lossobj+lossno_obj+lossclass

14、

15、

16、其中，xi、yi、wi、hi分别为预测框的中心点x坐标、y坐标、宽度和高度，为真实目标边界框的中心点x坐标、y坐标、宽度和高度，表示第i个检测框包含第j个目标时取1，不包含时取0，表示当第i个检测框包含任意目标时取1，不包含时取0，ci是预测的置信度，是真实的置信度，pi(n)是预测的类别概率，是真实的类别概率，λcoord和λno_obj是平衡因子，优化后分别取5和0.5；

17、步骤3中，所述目标位置预测模型采用基于singer模型的统计模型，singer模型设定目标加速度为高斯白噪声wc(t)，wc(t)是一种零均值的随机噪声，服从正态分布n(0,σ2)，设x(t)为目标运动路径，则目标加速度为x(t)的二阶导数则：

18、在singer模型的基础上，将目标加速度的平均值设为非零值并将作为当前目标加速度的预测值且目标加速度仍受wc(t)影响，与目标加速度相关联；

19、对于所述目标位置预测模型，采用卡尔曼滤波进行目标状态预测；

20、步骤4中，所述机械臂为六自由度机械臂；针对机械臂运动模型，建立世界坐标系(a)，基坐标系(b)；所述机械臂运动模型采用d-h法对机械臂的六个关节建立关节坐标系；基坐标系的坐标轴记为x0、y0、z0；xi、zi分别为第i个关节的关节坐标系的x轴、z轴；各关节坐标系的y轴由x轴沿右手定则方向旋转90°得到，z轴为右手定则大拇指指向方向；

21、以基坐标系为基准，确定各关节坐标系的坐标轴，具体过程如下：

22、根据第1个关节的旋转方向，采用右手定则可得z1方向，z0与z1之间有一条唯一公垂线且公垂线方向为x1方向；同第1个关节，第2个关节处z2根据第2个关节的旋转方向，采用右手定则确定，x2为z1、z2公垂线；

23、同所述第1、2个关节，第3、4、5关节的z3、z4、z5都可由对应关节的旋转方向来确定，第6关节固定在末端执行器上，因此z6由末端执行器的运动方向确定；x3、x4、x5和x6分别由z2和z3、z3和z4、z4与z5、z5与z6之间公垂线方向决定；

24、通过四个运动矩阵相乘得到两个相邻关节间的转换矩阵t(n+1)n：

25、t(n+1)n＝an+1＝rot(z,θn+1)t(0,0,dn+1)t(an+1,0,0)rot(x,αn+1)

26、四个运动矩阵分别为rot(z,θn+1)，t(0,0,dn+1)，t(an+1,0,0)，rot(z,θn+1)；an+1为第n+1个关节的转换矩阵；rot(z,θn+1)表示绕z轴转动θn+1度，t(0,0,dn+1)表示沿向量(0,0,dn+1)t做平移变换，t(an+1,0,0)表示沿向量(an+1,0,0)t做平移变换，rot(x,αn+1)表示绕x轴旋转αn+1度；θ为关节的旋转角度，d为沿z轴的偏移量，a为两个关节之间的连杆长度，α表示连杆扭角；n+1为关节数，n+1的取值为1、2、3、4、5、6；

27、通过多次矩阵转换得到不相邻两关节坐标系的转换矩阵tmn：

28、tmn＝an+1an+2…am-1am(m≥n+1)，m和n+1为任意两个不相邻的关节；

29、t60表示从基坐标系转换到第6个关节坐标系的转换矩阵，定义基坐标系到第6个关节坐标系的转换公式t60＝a1a2a3a4a5a6为正运动学方程，通过正运动学方程得到六自由度机械臂运动学的模型正解：

30、

31、式中：

32、

33、turn_x表示机械臂末端执行器的x方向向量，turn_y表示机械臂末端执行器的y方向向量，turn_z表示机械臂末端执行器的z方向向量，p表示末端执行器在基坐标系中的位置；

34、建立所述机械臂运动模型后，当目标固定时，为控制机械臂达到期望位置和姿态，通过对正运动学方程各矩阵求逆得到逆运动学方程组，求解逆运动学方程组得到各关节运动数值，逆运动学方程组包含以下逆运动学方程：

35、逆运动学方程中，等号两边均为矩阵运算，两边的计算结果均为矩阵，设等号左边矩阵第3行第4列的元素和等号右边矩阵第3行第4列的元素对应相等，得到：

36、

37、式中，θ1为正数；若θ1为负数时，则θ1的取值为θ1′，θ1′＝θ1+180°；

38、设逆运动学方程中，等号左右两边矩阵第1行第2列的元素对应相等，等号左右两边矩阵第2行第4列的元素对应相等，得到方程组如下：

39、

40、对式中两个方程的两边进行平方相加求出第3个关节转角的值如下：

41、

42、其中，

43、化简得出新的方程组：

44、

45、设逆运动学方程中，等号左右两边矩阵第1行第4列的元素对应相等，等号左右两边矩阵第2行第4列的元素对应相等，得到的方程组和求出的θ2如下：

46、

47、设逆运动学方程中，等号左右两边矩阵第1行第3列的元素对应相等，等号左右两边矩阵第2行第3列的元素对应相等，得到的结果如下：

48、

49、求出的θ4为：

50、

51、设逆运动学方程中，等号左右两边矩阵第1行第3列的元素对应相等，等号左右两边矩阵第2行第3列的元素对应相等，得到：

52、

53、求得θ5的解：

54、设逆运动学方程中，等号左右两边矩阵第2行第1列的元素对应相等，等号左右两边矩阵第2行第2列的元素对应相等，得到：

55、

56、求得θ6的解为：

57、由所得逆运动学方程解知，只需要已知机械臂预期位置和姿态即可由求解机械臂逆运动学方程求出各关节移动量，进而由控制关节移动要求移动量使机械臂移动至预期位置和姿态。

58、步骤5中，所述基于位置的视觉伺服抓取系统根据移动目标的运动状态进行机械臂运动轨迹规划，包括关节空间轨迹规划和笛卡尔空间轨迹规划；

59、所述关节空间轨迹规划采用五次插值法，根据五次插值法公式求得运动角度：

60、θ(t)＝q0+q1t+q2t2+q3t3+q4t4+q5t5

61、其中，q0、q1、q2、q3、q4、q5为相关系数，t为机械臂运行时间，对关节旋转角度θ(t)求一阶导得到机械臂关节处的角速度：

62、θ′(t)＝q1+2q2t+3q3t2+4q4t3+5q5t4

63、对关节旋转角度θ(t)求二阶导得到机械臂关节处的角加速度公式：

64、θ″(t)＝2q2+6q3t+12q4t2+20q5t3

65、对机械臂关节的起始位置θ0和关节终点位置θf进行条件给定，设t0为机械臂运行的起始时刻，t0＝0，tf为机械臂运行的最终时刻，分别代入所述速度和加速度公式，起始位置的速度θ′(t0)和最终时刻的速度θ′(tf)为0，得到：

66、

67、求出q0、q1、q2、q3、q4、q5六个未知量，将q0、q1、q2、q3、q4、q5带入运动角度公式θ(t)＝q0+q1t+q2t2+q3t3+q4t4+q5t5中，求得机械臂各个关节在运行中的运动角度θ(t)；

68、将q1、q2、q3、q4、q5带入角速度公式θ′(t)＝q1+2q2t+3q3t2+4q4t3+5q5t4中，求得机械臂各个关节在运行中的角速度θ′(t)；

69、将q2、q3、q4、q5带入角加速度公式θ″(t)＝2q2+6q3t+12q4t2+20q5t3中，求得机械臂各个关节在运行中的角加速度θ″(t)。

70、本发明还提供了一种采用上述分拣方法所形成的分拣系统。分拣系统架构如图1所示，包括摄像头、控制器、机械臂和目标。摄像头安装在机械臂的工作区域上方，实时采集分拣区域的图像，将采集到的数据实时传输给控制器，并由控制器下达指令控制机械臂的运动，抓取目标。

71、本发明的有益效果如下：

72、本发明集成了实时图像识别与视觉伺服控制、高精度机械臂运动算法以及d-h参数法标准化建模技术，能够迅速响应并准确追踪目标位置，实现灵活多变的分拣任务；

73、本发明通过闭环控制机制，系统进行不断优化调整，确保了操作的精确性和稳定性；

74、本发明不仅显著提高了分拣效率与准确性，还降低了人力成本，增强了工作场所的安全性，为企业带来了智能化、高效化的生产解决方案。

75、本发明通过深度相机的实时数据采集，可以实时感知周围环境的三维结构和物体的距离信息，能够捕捉到物体的深度信息，结合rgb图像可以生成精确的三维点云模型，便于下一步的图像处理；

76、本发明通过选择合理的延时时间，能够精确控制机械臂抓取的时机和姿态，确保机械臂在最佳时刻进行操作，提高抓取成功率和效率；结合机械臂运动模型和逆运动学方程的求解，能够精确计算机械臂各关节的运动数值，从而使机械臂达到期望的位姿，实现高精度的操作；精确的运动控制能够减少机械臂操作过程中的震动和抖动，增强系统的稳定性和可靠性。