一种浓密冠层下被遮挡类球形果实的目标识别分割、精准定位及采序规划方法

本发明涉及农业机器人领域，特别涉及一种浓密冠层下被遮挡类球形果实的目标识别分割、精准定位及采序规划方法。

背景技术：

1、在农业劳动力短缺背景下，机器人采摘替代传统人工采摘的方式已成为当下的研究热点，市面上已经出现并应用了大量的采摘机器人，如苹果采摘机器人、葡萄采摘机器人、猕猴桃采摘机器人等。智能采摘机器人在采摘作业过程中，对目标果实的识别和定位是作业过程中的重要问题之一。这不仅与采摘机器人的采摘识别和定位精确度相关，更决定了果实采摘机器人的采摘效率。

2、在果园等半结构化、非结构化、浓密冠层等复杂环境下，通过深度学习技术、传统机器视觉技术等手段对果实进行识别和定位，仅获得果实位置而无法同步获取果实周围的障碍物信息，对于由于遮挡所致的残缺果实，无法给出正确的采摘点，无法解决果园作业中定位点遮挡、果实重叠贴碰所致的偏差问题，成为导致采摘失败的主要原因。此外，由于采摘位置不当或强行采摘由于枝干、棚架等严重遮挡的果实，可能会造成果实破损，甚至损坏机械臂，没有有效的采摘可行性判别及采摘次序规划会造成“眼忙手乱”，严重影响作业效率。

技术实现思路

1、针对现有技术中存在不足，本发明提供了一种浓密冠层下被遮挡类球形果实的目标识别分割、精准定位及采序规划方法，旨在解决现有技术中难以对冠层遮挡条件下类球形果实精确定位、多果实-枝干贴碰与干涉判断的问题，实现高精度、高效率的机器人类球形果实采摘作业。

2、本发明是通过以下技术手段实现上述技术目的的。

3、一种浓密冠层下被遮挡类球形果实的目标识别分割、精准定位及采序规划方法：

4、深度相机获取含有目标果实及果树冠层枝干的rgb图像，所述rgb图像传入已训练的目标实例分割模型，对rgb图像中的类球形果实与枝干进行目标识别与实例分割，依次输出每个果实目标的掩膜图像与每个枝干目标的掩膜图像，提取每个果实在图像坐标系下的边缘点集，依次构成果实轮廓点集，提取每个枝干在图像坐标系下的边缘点集，依次构成枝干轮廓点集；

5、对所述果实轮廓点集，进行贴碰及被遮挡果实的二维平面补全，得到补全二维平面区域，计算所述补全二维平面区域的可信度，根据设定的阈值，剔除无法正确还原的果实目标，再依据所述补全二维平面区域内的深度信息，进行类球形果实的深度点集提取与纠偏、采摘点推测，确定类球形果实正确采摘点的三维坐标；

6、判断待采果实与枝干的空间关系，利用所述枝干轮廓点集进行果树冠层枝干二维补全，恢复出连续、完整的枝干二维平面区域，若其与补全二维平面区域内存在交集，则结合枝干的有效深度值、果实的三维球心采摘点深度值，剔除所有枝干-果实间存在空间干涉的目标果实；接下来，若判断多果实的补全二维平面区域存在交集，则结合果实的采摘点深度值，判断果实间是否存在空间内的贴碰关系，若存在，则计算果实的贴碰系数，用于完成贴碰果实采序评分的计算；

7、优先采摘独立果实队列，当独立果实队列作业完毕，采摘贴碰果实队列，依次完成采摘作业。

8、进一步地，进行贴碰及被遮挡果实的二维平面补全，具体为：

9、于每个类球形果实，从所述果实轮廓点集中随机选择三个凸包，并确定三个凸包的最小外接圆，检查最小外接圆是否包含所述果实轮廓点集的所有点，如果不包含，增大最小外接圆半径，继续抽取三个凸包，并继续递归处理，反复迭代，直到最小外接圆能够包含果实轮廓点集的所有点；

10、迭代结束时的最小外接圆半径和圆心分别作为果实二维区域的推测半径和圆心，所构成二维平面区域即为补全二维平面区域。

11、更进一步地，所述补全二维平面区域的可信度满足：

12、

13、其中，di为补全二维平面区域的可信度，|ei|表示该类球形果实轮廓点集所围成的曲面像素面积，ri表示贴碰及被遮挡果实的果实二维区域的推测半径。

14、更进一步地，所述类球形果实的深度点集提取与纠偏，具体为：

15、获取补全二维平面区域内的所有深度点集{di}，将所述{di}按深度值的大小分为3个簇：前景障碍物、果实果体和果实后部背景，仅保留被遮挡果实的果实果体深度值集合{c2}，且{c2}的有效深度值d须满足：μi-2σi≤d≤μi+2σi，剔除不满足上述条件的无效深度数值，过滤纠偏后的被遮挡果实的有效深度点集为{di'}，其中，μi为{c2}深度值均值，σi表示{c2}所在簇的深度值标准差。

16、更进一步地，所述类球形果实的采摘点推测，具体为：

17、对被遮挡果实的有效深度点云集{di'}内所包含的点进行几何学球体特征拟合及球心三维推测，类球形果实球体中心坐标oi(xi,yi,zi)的最小化误差函数(ei)满足：分别对(xi,yi,zi,ri)求取偏导数，令偏导数为零，拟合出每个果实的正确三维球心位置oi(xi,yi,zi)，即采摘点；其中，(x,y,z)为类球形果实中内含及边界上的任意点，ri是此类球形果实球体的三维推测半径。

18、进一步地，所述果树冠层枝干二维补全，具体为：

19、对于每个离散的枝干轮廓点集{mj}，将其中心点cj(xj,yj)作为此点集的特征点，搜索其周围半径为2dj的范围内是否存在其他枝干的离散点集{mk}，如果存在，则认为{mj}和{mk}属于同一枝干，计算{mk}的中心点ck(xk,yk)；其中，dj为离散的枝干轮廓点集{mj}的最大像素直径；

20、如果特征点数量为n，将所有属于同一枝干的特征点c0、c1、c2…cn进行高阶多项式拟合，所得的多项式即二维补全完成的果树冠层枝干曲线，此曲线构成连续、完整的枝干二维平面区域β＝{(ub,vb)}|b＝1,2,...,n，其中(ub,vb)为枝干平面上的一个任意点。

21、更进一步地，所述结合枝干的有效深度值、果实的三维球心采摘点深度值，剔除所有枝干-果实间存在空间干涉的目标果实，具体为：

22、当且仅当枝干二维平面区域中至少一个点位于果实的二维平面区域，即满足以下条件：

23、使得(ub-x)2+(vb-y)2＜ri2

24、则认为枝干与果实在平面内发生重叠；其中，ri表示贴碰及被遮挡果实的果实二维区域的推测半径；

25、通过比较果实的三维球心采摘点深度值df和枝干的有效深度值db，判断待采果实与枝干的前后空间关系：

26、如果df-db≤0，则认为果实在枝干前方，枝干对果实无空间干涉；

27、如果df-db＞0，则认为果实在枝干后方，如果|df-db|≤10mm，则认为枝干对果实产生空间干涉，此果实不可采摘，剔除此果实目标，反之，如果|df-db|＞10mm，即使果实位于枝干后方，也认为枝干对果实无空间干涉。

28、进一步地，所述判断多果实间的贴碰关系，具体为：

29、对于贴碰及被遮挡果实的补全二维平面区域a和贴碰及被遮挡果实的补全二维平面区域b，当且仅当两区域交集不为空集，则两果实在平面区域内存在贴碰，继续判断两果实在空间中的贴碰关系，反之两果实无空间上的贴碰；

30、如果两果实的采摘点深度值的差值大于两果实的三维半径之和，则认为两果实不存在空间上的贴碰；反之，如果两果实的采摘点深度值的差值小于两果实的三维半径之和，则认为两果实存在空间上的贴碰。

31、更进一步地，所述果实的贴碰系数为：

32、

33、其中，um为果实的贴碰系数，sa∩b为两果实的补全二维平面区域重叠面积大小，sa∪b为两果实的补全二维平面区域面积之和。

34、更进一步地：

35、对于独立果实队列的采摘，先对独立果实队列内每个果实的采序评分fn：

36、

37、式中，ω1为独立果实队列果实的置信度指数权重，pn为独立果实队列内果实的置信度指数，为独立果实队列冠层深度权重，ln是独立果实队列内果实位于冠层内的深度；

38、再依据采序评分fn从高到低排序，依次采尽独立果实队列；

39、对于贴碰果实队列的采摘，先对贴碰果实队列内每个果实的采序评分fm：

40、

41、式中，ω2为贴碰果实队列果实的置信度指数权重，pm为贴碰果实队列果实的置信度指数，为贴碰果实队列果实所在冠层的深度权重，lm是贴碰果实队列果实所在冠层内的深度，σ为贴碰系数权重，μm是贴碰系数；

42、再依据采序评分fm从高到低排序，依次采尽贴碰果实队列。

43、本发明的有益效果为：

44、(1)本发明通过果实-枝干目标识别与轮廓提取子方法、被遮挡类球形果实补全与精准定位子方法、多果实-枝干贴碰系数与空间干涉判断及剔除子方法、冠层遮挡条件下类球形果实机器人最优作业次序规划子方法间的协同配合，实现对浓密冠层下被遮挡类球形果实目标识别分割、精准定位及采序规划，有效避免果实的误识别、误定位和定位偏差过大问题，方法简单可靠，实用性强。

45、(2)本发明的一种浓密冠层下被遮挡类球形果实的目标识别分割、精准定位及采序规划方法，针对非结构化果园复杂浓密冠层生长环境，该方法通过果实-枝干分割与轮廓提取，获得果实球体与枝干的二维特征，并完成冠层遮挡条件下类球形果实的精准定位、采摘点定位误差的纠偏，判断目标果实与枝干之间的空间干涉关系，剔除因枝干、果实间干涉而无法采摘的果实，同时判断多果间的贴碰关系和计算贴碰系数，引导机械臂按照农艺要求规划合理采序逐个采收果实，以避免机械臂强行采摘位置不当的目标果实、枝叶严重干涉的果实，造成果实破损、机械臂损坏，保证高效采收，实现机器人智能化、机械化采收，提高果农经济效益，有效节省人力成本。