一种自适应精准控制的葡萄采摘机械臂控制方法与流程

本发明涉及机械臂控制的，尤其涉及一种自适应精准控制的葡萄采摘机械臂控制方法。

背景技术：

1、随着社会的不断发展和人口的增长，农业生产面临着越来越大的挑战。在葡萄种植领域，采摘一直是劳动密集型和耗时的工作。传统的手工采摘方式效率低下、成本高昂，因此需要引入现代化机械设备进行自动化采摘。目前，虽然有葡萄采摘机的出现，但是这些机械设备往往无法做到精准控制，容易造成果实损伤或者浪费。针对该问题，本发明提出一种自适应精准控制的葡萄采摘机械臂控制方法，通过精准视觉感知，解决目前葡萄采摘机械设备存在的控制精度不高的问题，提高采摘效率和品质，降低采摘成本。

技术实现思路

1、有鉴于此，本发明提供一种自适应精准控制的葡萄采摘机械臂控制方法，目的在于：1)对所采集不同环绕视角下的葡萄图像进行多分辨率特征提取处理，得到葡萄图像在不同分辨率的特征图，用以表示葡萄图像的深度信息，并结合全局平均池化以及全局最大池化操作对多分辨率特征图进行弱纹理信息增强，提高特征图的质量，对于表征深度信息的多分辨率特征图，采用结合相机参数的变换处理方式将多分辨率特征图变换到多个深度平面，实现不同多视角葡萄图像的深度映射，构建得到待采摘葡萄三维立体模型；2)基于重建的待采摘葡萄三维立体模型确定最优采摘路径目标函数，并设置最优采摘路径目标函数的约束条件，其中机械臂与待采摘葡萄之间的最短轨迹距离为最优采摘路径目标函数，机械臂与待采摘葡萄果实的最大化空间距离为所述最优采摘路径的约束条件，通过对约束条件进行最大化限制，确保机械臂在不碰触每一个葡萄果实的情况下成功采摘目标葡萄，并在采摘路径求解过程中引入松弛变量，利用并行计算的方式加速收敛过程，快速求解得到最优采摘路径。

2、实现上述目的，本发明提供的一种自适应精准控制的葡萄采摘机械臂控制方法，包括以下步骤：

3、s1：环绕采集待采摘葡萄图像得到待采摘葡萄图像集合，对待采摘葡萄图像集合中的图像进行预处理，得到预处理后的环绕图像；

4、s2：利用预处理后的环绕图像对待采摘葡萄进行三维重建，得到待采摘葡萄三维立体模型；

5、s3：基于重建的待采摘葡萄三维立体模型确定最优采摘路径目标函数，其中机械臂与待采摘葡萄之间的最短轨迹距离为最优采摘路径目标函数，机械臂与待采摘葡萄果实的最大化空间距离为所述最优采摘路径的约束条件；

6、s4：对最优采摘路径目标函数进行优化求解，得到机械臂最优采摘路径，其中并行交替乘子法为所述优化求解的主要实施方法；

7、s5：基于求解得到的最优采摘路径，控制机械臂按最优采摘路径实施葡萄采摘。

8、作为本发明的进一步改进方法：

9、可选地，所述s1步骤中环绕采集待采摘葡萄图像得到待采摘葡萄图像集合，包括：

10、利用机械臂外置的相机对待采摘葡萄进行环绕拍摄，采集得到多视角的待采摘葡萄图像，并将待采摘图像构成待采摘葡萄图像集合，其中待采摘葡萄图像集合为：

11、

12、其中：

13、in表示第n个待采摘葡萄的待采摘葡萄图像序列，表示第n个待采摘葡萄在h个环绕视角下的图像序列，表示第n个待采摘葡萄在第h个环绕视角下的图像；

14、n表示待采摘葡萄的数目；

15、对待采摘葡萄图像集合中的图像进行预处理，将待采摘葡萄图像序列的预处理结果作为待采摘葡萄的预处理后环绕图像。

16、可选地，所述对待采摘葡萄图像集合中的图像进行预处理，包括：

17、对待采摘葡萄图像集合中的图像进行预处理，其中图像的预处理流程为：

18、s11：遍历图像中的所有像素，提取r,g,b颜色通道的颜色值均大于245的像素，并以所提取像素为中心生成一个边长为l的正方形区域作为滤波窗口，其中l大于1且为奇数；

19、s12：计算滤波窗口内非中心像素的其余像素在r,g,b颜色通道的颜色值均值向量：其中依次表示其余像素在r,g,b颜色通道的颜色值均值；

20、s13：提取滤波窗口内非中心像素的其余像素在r,g,b颜色通道的颜色值向量，其中颜色值向量中依次为像素在r,g,b颜色通道的颜色值；

21、计算像素的颜色值向量与颜色值均值向量之间的欧式距离，选取欧式距离最近的颜色值向量作为滤波窗口内中心像素的颜色值向量；

22、s14：重复步骤s11至s13，直至图像中不存在r,g,b颜色通道的颜色值均大于245的像素，得到图像的预处理结果

23、将待采摘葡萄图像序列的预处理结果作为待采摘葡萄的预处理后环绕图像，其中第n个待采摘葡萄的预处理后环绕图像为：

24、可选地，所述s2步骤中利用预处理后的环绕图像对待采摘葡萄进行三维重建，包括：

25、利用预处理后的环绕图像对待采摘葡萄进行三维重建，其中第n个待采摘葡萄的三维重建流程为：

26、s21：获取第n个待采摘葡萄的预处理后环绕图像对其中的任意图像进行多分辨率特征提取处理，得到图像的多分辨率特征图，其中的多分辨率特征提取处理公式为：

27、

28、

29、其中：

30、表示图像在倍原始分辨率下的分辨率特征，i＝1,2,3；

31、表示的多分辨率特征图；

32、w1表示对图像进行卷积处理的卷积矩阵；

33、表示对卷积特征结果进行倍原始分辨率的采样处理；

34、σ(·)表示relu激活函数；

35、s22：对多分辨率特征图进行全局平均池化以及全局最大池化处理，其中多分辨率特征图的全局平均池化以及全局最大池化处理结果依次为

36、计算得到多分辨率特征图的特征权重信息，并对多分辨率特征图进行特征强化处理，其中多分辨率特征图的特征强化处理公式为：

37、

38、其中：

39、fnh表示多分辨率特征图的特征强化处理结果；

40、conv5×5(·)表示卷积核大小为5×5像素的卷积操作；

41、exp(·)表示以自然常数为底的指数函数；

42、表示矩阵点乘操作；

43、s23：设置一组互相平行的深度平面，其中深度平面的总数为q，相邻深度平面之间的深度间隔相同，则第q个深度平面的深度为：

44、

45、其中：

46、deepmax为预设的深度平面的最大深度，deepmin为预设的深度平面的最小深度；

47、deepq表示第q个深度平面的深度；

48、s24：将预处理后环绕图像中不同图像的特征强化处理后多分辨率特征图变换到q个深度平面，其中特征强化处理后多分辨率特征图在第q个深度平面的变换结果为：

49、

50、其中：

51、表示特征强化处理后多分辨率特征图在第q个深度平面的变换结果；

52、e表示单位矩阵，表示第q个深度平面的单位长度法向量；

53、表示拍摄第h个环绕视角下图像的机械臂外置相机的相机内参矩阵；

54、表示拍摄第h个环绕视角下图像的机械臂外置相机的旋转矩阵；

55、表示拍摄第h个环绕视角下图像的机械臂外置相机的平移矩阵；

56、s25：基于不同环绕视角的权重信息，对不同环绕视角所对应多分辨率特征图在q个深度平面的变换结果进行聚合处理，其中聚合处理公式为：

57、

58、其中：

59、表示第h个环绕视角的权重信息；

60、s(n)为聚合处理结果，即第n个待采摘葡萄的待采摘葡萄三维立体模型；

61、t表示转置。

62、可选地，所述s3步骤中基于重建的待采摘葡萄三维立体模型确定最优采摘路径目标函数，包括：

63、利用重建得到的待采摘葡萄三维立体模型计算得到待采摘葡萄的几何中心坐标点，基于重建的待采摘葡萄三维立体模型确定最优采摘路径目标函数，并设置最优采摘路径目标函数的约束条件，其中机械臂与待采摘葡萄之间的最短轨迹距离为最优采摘路径目标函数，机械臂与待采摘葡萄果实的最大化空间距离为所述最优采摘路径的约束条件，所确定的最优采摘路径目标函数为：

64、

65、p＝(p1,p2,...,pn,...,pn)

66、其中：

67、pn表示机械臂对第n个待采摘葡萄进行采摘的采摘坐标点；

68、locn表示第n个待采摘葡萄的几何中心坐标点；

69、z(p)表示最优采摘路径目标函数，p表示机械臂对n个待采摘葡萄进行采摘的采摘坐标点序列，即机械臂的采摘路径。

70、可选地，所述设置最优采摘路径目标函数的约束条件，包括：

71、所设置最优采摘路径目标函数的约束条件为：

72、

73、其中：

74、表示第n个待采摘葡萄中第j个葡萄果实的几何中心坐标点，numn表示第n个待采摘葡萄中葡萄果实的数目；

75、表示第n个待采摘葡萄中第j个葡萄果实的最小外接球的球半径，即葡萄果实的有效采摘距离；

76、表示采摘坐标点pn到第n个待采摘葡萄中所有葡萄果实的有效采摘范围内距离的倒数的最小值之和。在本发明实施例中，通过对进行最大化限制，确保机械臂在不碰触每一个葡萄果实的情况下成功采摘目标葡萄。

77、可选地，所述s4步骤中对最优采摘路径目标函数进行优化求解，包括：

78、对最优采摘路径目标函数进行优化求解，得到机械臂最优采摘路径，其中并行交替乘子法为所述优化求解的主要实施方法，其中最优采摘路径目标函数的优化求解流程为：

79、s41：对约束条件进行数值化处理：

80、

81、其中：

82、表示预设的葡萄有效采摘范围距离阈值；

83、s42：引入松弛变量，并加入数值化处理后的约束条件，得到重构后的最优采摘路径目标函数：

84、

85、p―u＝0

86、其中：

87、u表示引入的松弛变量；

88、z′(p)表示重构后的最优采摘路径目标函数；

89、s43：对机械臂的采摘路径p以及松弛变量u进行初始化处理，其中采摘路径p的初始化处理结果为p0，松弛变量u的初始化处理结果为u0，且p0―u0＝0；

90、s44：设置采摘路径以及松弛变量的当前迭代次数为t，t的初始值为0，最大值为max；

91、s45：按照并行交替乘子法对采摘路径以及松弛变量进行迭代处理，其中迭代处理公式为：

92、

93、ut+1＝ut+pt+1

94、其中：

95、ρ表示迭代步长参数；

96、||·||表示l1范数；

97、表示选取使得达到最小的p；

98、s46：令t＝t+1，返回步骤s45，直到达到最大迭代次数max，并将达到最大迭代次数的采摘路径迭代结果作为求解得到的最优采摘路径其中表示最优采摘路径p*中第n个待采摘葡萄的机械臂采摘坐标点。

99、可选地，所述s5步骤中控制机械臂按最优采摘路径实施葡萄采摘，包括：

100、基于求解得到的最优采摘路径，控制机械臂按最优采摘路径中的采摘点坐标进行移动，机械臂每到达一处采摘点坐标则自动实施葡萄采摘。

101、为了解决上述问题，本发明提供一种电子设备，所述电子设备包括：

102、存储器，存储至少一个指令；

103、通信接口，实现电子设备通信；及

104、处理器，执行所述存储器中存储的指令以实现上述所述的自适应精准控制的葡萄采摘机械臂控制方法。

105、为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的自适应精准控制的葡萄采摘机械臂控制方法。

106、相对于现有技术，本发明提出一种自适应精准控制的葡萄采摘机械臂控制方法，该技术具有以下优势：

107、首先，本方案提出一种多视角图像的三维建模方式，获取第n个待采摘葡萄的预处理后环绕图像对其中的任意图像进行多分辨率特征提取处理，得到图像的多分辨率特征图，其中的多分辨率特征提取处理公式为：

108、

109、

110、其中：表示图像在倍原始分辨率下的分辨率特征，i＝1,2,3；表示的多分辨率特征图；w1表示对图像进行卷积处理的卷积矩阵；表示对卷积特征结果进行倍原始分辨率的采样处理；σ(·)表示relu激活函数；对多分辨率特征图进行全局平均池化以及全局最大池化处理，其中多分辨率特征图的全局平均池化以及全局最大池化处理结果依次为计算得到多分辨率特征图的特征权重信息，并对多分辨率特征图进行特征强化处理，其中多分辨率特征图的特征强化处理公式为：

111、

112、其中：表示多分辨率特征图的特征强化处理结果；conv5×5(·)表示卷积核大小为5×5像素的卷积操作；exp(·)表示以自然常数为底的指数函数；表示矩阵点乘操作；设置一组互相平行的深度平面，其中深度平面的总数为q，相邻深度平面之间的深度间隔相同，则第q个深度平面的深度为：

113、

114、其中：deepmax为预设的深度平面的最大深度，deepmin为预设的深度平面的最小深度；deepq表示第q个深度平面的深度；将预处理后环绕图像中不同图像的特征强化处理后多分辨率特征图变换到q个深度平面，其中特征强化处理后多分辨率特征图在第q个深度平面的变换结果为：

115、

116、其中：表示特征强化处理后多分辨率特征图在第q个深度平面的变换结果；e表示单位矩阵，表示第q个深度平面的单位长度法向量；表示拍摄第h个环绕视角下图像的机械臂外置相机的相机内参矩阵；表示拍摄第h个环绕视角下图像的机械臂外置相机的旋转矩阵；表示拍摄第h个环绕视角下图像的机械臂外置相机的平移矩阵；基于不同环绕视角的权重信息，对不同环绕视角所对应多分辨率特征图在q个深度平面的变换结果进行聚合处理，其中聚合处理公式为：

117、

118、其中：表示第h个环绕视角的权重信息；s(n)为聚合处理结果，即第n个待采摘葡萄的待采摘葡萄三维立体模型；t表示转置。本方案对所采集不同环绕视角下的葡萄图像进行多分辨率特征提取处理，得到葡萄图像在不同分辨率的特征图，用以表示葡萄图像的深度信息，并结合全局平均池化以及全局最大池化操作对多分辨率特征图进行弱纹理信息增强，提高特征图的质量，对于表征深度信息的多分辨率特征图，采用结合相机参数的变换处理方式将多分辨率特征图变换到多个深度平面，实现不同多视角葡萄图像的深度映射，构建得到待采摘葡萄三维立体模型。

119、同时，本方案提出一种葡萄采摘路径规划方法，利用重建得到的待采摘葡萄三维立体模型计算得到待采摘葡萄的几何中心坐标点，基于重建的待采摘葡萄三维立体模型确定最优采摘路径目标函数，并设置最优采摘路径目标函数的约束条件，其中机械臂与待采摘葡萄之间的最短轨迹距离为最优采摘路径目标函数，机械臂与待采摘葡萄果实的最大化空间距离为所述最优采摘路径的约束条件，所确定的最优采摘路径目标函数为：

120、

121、p＝(p1,p2,...,pn,...,pn)

122、其中：pn表示机械臂对第n个待采摘葡萄进行采摘的采摘坐标点；locn表示第n个待采摘葡萄的几何中心坐标点；z(p)表示最优采摘路径目标函数，p表示机械臂对n个待采摘葡萄进行采摘的采摘坐标点序列，即机械臂的采摘路径。所设置最优采摘路径目标函数的约束条件为：

123、

124、其中：表示第n个待采摘葡萄中第j个葡萄果实的几何中心坐标点，numn表示第n个待采摘葡萄中葡萄果实的数目；表示第n个待采摘葡萄中第j个葡萄果实的最小外接球的球半径，即葡萄果实的有效采摘距离；表示采摘坐标点pn到第n个待采摘葡萄中所有葡萄果实的有效采摘范围内距离的倒数的最小值之和。通过对约束条件进行最大化限制，确保机械臂在不碰触每一个葡萄果实的情况下成功采摘目标葡萄。本方案基于重建的待采摘葡萄三维立体模型确定最优采摘路径目标函数，并设置最优采摘路径目标函数的约束条件，其中机械臂与待采摘葡萄之间的最短轨迹距离为最优采摘路径目标函数，机械臂与待采摘葡萄果实的最大化空间距离为所述最优采摘路径的约束条件，通过对约束条件进行最大化限制，确保机械臂在不碰触每一个葡萄果实的情况下成功采摘目标葡萄，并在采摘路径求解过程中引入松弛变量，利用并行计算的方式加速收敛过程，快速求解得到最优采摘路径。