一种基于双目点云的苹果快速识别定位方法

1.本发明涉及农业机器人领域和机器视觉领域，更具体的涉及基于点云对苹果快速识别定位方法。


背景技术：

2.中国是世界上最大的苹果生产国，苹果在采摘期内需要用到大量人工，从而导致采摘作业是最耗时、费力的环节之一，近年来基于机器视觉的采摘机器人成为国内外农业工程的研究热点，旨在通过智能机器人技术实现自动采摘水果，在农业机器人采摘过程中，树上苹果的识别与定位一直是关键的技术难题，因此，如何提高苹果图像检测的准确率和效率成为当前研究的重点。
3.目前卷积神经网络被广泛应用于目标检测当中，但这类方法对硬件要求较高，且计算周期较长，使得农业机器人的采摘效率大大降低。


技术实现要素：

4.为了降低对硬件的要求且提高农业机器人的采摘效率，本申请公开了一种基于双目点云的苹果快速识别定位方法。
5.本发明通过以下技术方案实现：s1：使用双目相机获取果树的空间三维信息及颜色信息，生成原始彩色点云；s2：对原始彩色点云进行预处理，得到精简点云；s3：对精简点云进行基于颜色的区域生长分割，获取不同颜色的点云聚类，并将聚类保存在索引；s4：用迭代法遍历索引中的聚类，通过颜色对聚类进行筛选，分类标签，获得苹果点云聚类；s5：对苹果聚类进行位姿提取，将所获取信息进行打包输出。
6.进一步地，s1应包括：需对双目相机进行内参标定，建立相机成像几何模型并矫正透镜畸变，以获取准确的三维信息。
7.进一步地，s2对点云的预处理包括：s201，使用直通滤波对点云进行简单的基本过滤，剔除主要采摘区域维度外的点云；s202，使用体素滤波减少点云数量，同时保持点云的形状特征，进一步加快算法速度；s203，使用统计滤波剔除明显离群点，最终得到精简点云。
8.进一步地，s3基于颜色的聚类生长分割特征在于，原理相似于区域生长分割算法，所不同的是它使用发颜色而不是法线，使用合并算法进行过分割和欠分割控制，分割后，尝试合并具有相近颜色的簇。两个相邻簇的平均颜色相差很小，它们合并在一起。继而进行第
二个合并步骤。在这一步中，每个集群都会根据其包含的点数进行验证。如果此数字小于用户定义的值，则当前群集将与最近的相邻群集合并。
9.进一步地，s4中聚类的提取包括：用迭代法遍历索引中的聚类，对每个聚类中的点进行r-g颜色信息提取，通过设置颜色阈值对聚类进行分类标签，若符合要求则定义为所需苹果聚类，并进行提取。
10.进一步地，s4对聚类的进一步处理包括：使用颜色阈值去除多余的树叶点云得到最终的完整苹果点云。
11.可选的，s5所提取的信息包括聚类的质心坐标、边缘点坐标、姿态、表面法线、颜色、强度等。
12.本方法具有有效效益：本方法利用颜色差异将苹果与树叶以及环境进行分割，继而通过颜色来对聚类进行筛选提取，从而获取所需苹果的位姿信息。由于双目相机的成像方式，使得其可以在户外环境下很好的工作。
13.本方法相较于卷积神经网络，只需要设定好颜色阈值，而不需提前训练模型；识别过程中通过点云的颜色信息就可进行识别提取，不需要复杂的网络结构；对硬件要求不高，且速度快，极大提升了采摘效率。
附图说明
14.图1为本发明实例提供的整体流程框图。
15.图2为本发明实例提供的双目相机所获取的原始彩色点云。
16.图3为对点云预处理的流程框图。
17.图4为本发明实例提供的直通滤波后的点云。
18.图5为本发明实例提供的体素滤波后的点云。
19.图6为本发明实例提供的统计滤波后的点云。
20.图7为本发明实例提供的所提取苹果聚类的点云。
21.图8为本发明实例提供的苹果位姿信息。
具体实施方式
22.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本发明保护的范围。
23.如图1所示，本发明实施例提供的一种基于双目点云的苹果快速识别定位方法包括：s1，首先使用双目相机，如zed，首先进行相机的内参标定，而后获取果树整体的空间三维信息和颜色信息，即原始彩色点云，如图2所示。
24.如图3所示，s2，对原始彩色点云进行预处理，最终得到精简点云，第一步：由于所获取点云图存在许多非采摘区域，所以需要对其进行三维空间上的滤波，剔除非采摘区域，减少点云数量，如图4；第二步，对点云进行体素滤波处理，进一步的减少点云数量，降低对
硬件的要求，加快对点云的处理速度，如图5；第三步，对点云进行统计滤波，剔除离群点，保留最终点云，方便聚类分割，如图6。
25.s3，对精简点云进行基于颜色的区域生长分割，通过设置点与点之间的颜色阈值和距离将点云进行聚类分割，获取不同颜色的点云聚类，并将聚类保存在索引。
26.s4，用迭代法遍历保存在聚类中的索引，对每个索引进行点云颜色的阈值判定聚类是否为苹果聚类，若是，则将聚类从索引中提取，不是则舍弃。下一步遍历所提取的点云，通过颜色阈值的设剔除多余点，得到完整苹果聚类。图7为提取出处理后苹果聚类。
27.s5对苹果聚类进行处理，得到所需的质心坐标，边缘点的信息和姿态信息，进行打包输出，如图8所示。
28.最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。


技术特征：
1.一种基于双目点云的苹果快速识别定位方法，其特征在于，包括：s1：使用双目相机获取果树的空间三维信息及颜色信息，生成原始彩色点云；s2：对原始彩色点云进行预处理，得到精简点云；s3：对精简点云进行基于颜色的区域生长分割，获取不同颜色的点云聚类，并将聚类保存在索引；s4：用迭代法遍历索引中的聚类，通过颜色对聚类进行筛选，分类标签，获得苹果点云聚类，并对聚类进行进一步处理；s5：对苹果聚类进行位姿提取，将所获取信息进行打包输出。2.根据权利要求1所述的方法，其特征在于，所述步骤s1进一步包括：需对双目相机进行内参标定，建立相机成像几何模型并矫正透镜畸变，以获取准确的三维信息。3.根据权利要求1所述的方法，其特征在于，所述步骤s2进一步包括：s201，使用直通滤波对点云进行简单的基本过滤，剔除主要采摘区域维度外的点云；s202，使用体素滤波减少点云数量，同时保持点云的形状特征，进一步加快算法速度；s203，使用统计滤波剔除明显离群点，最终得到精简点云。4.根据权利要求1所述的方法，其特征在于，所用基于颜色的区域生长分割算法，原理相似于区域生长分割算法，所不同的是它使用发颜色而不是法线：第一步使用合并算法进行过分割和欠分割控制并尝试合并具有相近颜色的簇；第二步每个集群都会根据其包含的点数进行验证，如果此数字小于用户定义的值，则当前群集将与最近的相邻群集合并。5.根据权利要求1所述的方法，其特征在于，所述步骤s4进一步包括：用迭代法遍历聚类，对每个聚类中的点进行r-g颜色信息提取，通过设置颜色阈值对聚类进行分类标签，若符合要求则定义为所需苹果聚类，并进行提取。6.根据权利要求1所述的方法，其特征在于，所述步骤s4进一步包括：由于光线较弱时基于颜色的区域生长分割存在分割不完全的状况，则需对点云进行进一步处理，同样使用颜色阈值去除多余的树叶点云得到最终的完整苹果点云。7.根据权利要求1所述的方法，其特征在于，所述步骤s5所提取的信息进一步包括：聚类的质心坐标、边缘点坐标以及姿态。

技术总结
本发明公开了一种基于双目点云的苹果快速识别定位方法，包括以下步骤：S1：使用双目相机获取果树的空间三维信息及颜色信息，生成原始彩色点云。S2：对原始彩色点云进行预处理，得到精简点云。S3：对精简点云进行基于颜色的区域生长分割，获取不同颜色的点云聚类，并将聚类保存在索引。S4：用迭代法遍历索引中的聚类，通过颜色对聚类进行筛选，分类标签，获得苹果点云聚类。S5：对苹果聚类进行位姿提取，将所获取信息进行打包输出。取信息进行打包输出。取信息进行打包输出。


技术研发人员：张立杰 安楠 张延强 李娜 陈广毅 高笑
受保护的技术使用者：河北农业大学
技术研发日：2022.04.15
技术公布日：2022/6/28