一种基于3D点云重建的钵盘苗漏苗检测方法

本发明涉及智能移栽检测领域，具体涉及一种基于3d点云重建的钵盘苗漏苗检测方法。

背景技术：

1、随着现代农业技术的快速发展，人们采取的育苗方式逐步向工厂化的钵盘苗方向，自动化移栽技术逐渐成为研究的热点。钵盘苗作为常用育苗方式，其移栽过程中的准确、高效检测是实现自动化移栽的关键。采取钵盘苗育苗方式可对种苗进行统一化培育，但种苗叶片之间会产生交错，致使移栽设备无法准确判断漏苗所在穴孔，无法向漏苗穴孔进行补栽，不利于后续进行移栽作业。

技术实现思路

1、针对现有技术的缺陷，本发明提供一种基于3d点云重建的钵盘苗漏苗检测方法，解决目前进行机械化移栽时未及时发现漏苗，导致降低移栽作业质量的问题。

2、为了达到上述目的，本发明所采用的技术方案是：一种基于3d点云重建的钵盘苗漏苗检测方法，包括以下步骤：

3、s1：移栽机器人将穴盘苗输送至检测黑箱，并位于深度相机正下方，使深度相机在视野内光线明亮均匀；

4、s2：使用深度相机对穴盘苗进行扫描，获取图像数据，使用深度相机拍摄穴盘苗获取其深度图像，图像中每个像素点的值表示该点到相机的深度信息；

5、s3：对采集到的点云数据进行预处理；

6、s4：使用点云处理库pointcloudlibrary对穴盘和种苗进行分割，将点云数据分割成单个的种苗区域，识别每个穴孔的种苗，并将每个种苗的点云数据提取出来；

7、s5：对每个穴孔内部的点云数据进行处理，提取种苗的形状和结构信息，使用表面重建技术，将种苗从根部到叶片的形态进行重建；

8、s6：对重建出的种苗进行分析和比对，利用种苗的形态等特征进行识别和判断，并得出漏苗所在的穴孔坐标；

9、s7：如有识别出的漏苗，将其所在的穴孔标注出来，机械手进行后续剔除和补栽作业。

10、作为优选的方案，步骤s2中，对穴盘种苗进行扫描，获取图像数据的过程为：将深度相机正对穴盘苗，使深度相机视野内光线明亮均匀，对穴盘苗进行扫描，获取点云数据。

11、作为优选的方案，步骤s3中，预处理包括：采取高斯滤波进行去噪处理，卷积核大小设置为3x3，标准差设置为1；采取体素网格滤波(voxel grid filter)函数，将体素网格大小设置为1cm；将每个像素点的深度值转换为对应的三维坐标，并将这些坐标组合成点云数据集。

12、作为优选的方案，步骤s4中，将点云数据分割成单个的种苗区域，使用基于k-means聚类方法，用于将点云数据分割成不同的聚类，对应不同的种苗区域：

13、设种苗点云为一个包含n个数据点的数据集，记为{a1,a2,...,an}，其中每个数据点ai表示一个点云中的点；设定k个聚类中心，记为{c1,c2,...,ck}，其中每个聚类中心cj表示一个种苗的中心点；使用欧氏距离dist(ai,cj)来度量数据点ai与聚类中心cj之间的距离，公式如下：

14、

15、其中，ai和cj分别表示数据点和聚类中心的坐标。

16、作为优选的方案，步骤s5中，对每个种苗进行形态重建采用poisson重建算法：设点云数据集x包含d个点，每个点的坐标表示为(xi,yi,zi)，其中i表示点的索引；对于每个点xi，使用基于最近邻的法向量估计方法得出其法向量ni，表示点云表面在该点处的法向量方向；poisson重建算法通过求解以下泊松方程来估计表面坐标数据f(x,y,z)，即物体表面的函数表示：

17、

18、其中，表示拉普拉斯算子，表示散度运算符，n为法向量，泊松方程的解f即为重建的物体表面网格模型数据。

19、作为优选的方案，使用open3d库读取物体表面网格模型数据，进行种苗三维点云可视化操作。

20、作为优选的方案，对重建出的种苗与完整健康苗点云数据集进行分析和比对，判断是否有漏苗，以及使用透视投影法将漏苗所在穴孔三维数据转换为二维坐标，公式如下：

21、

22、其中，u和v为穴孔在三维空间中水平平面上的位置，h为三维空间中深度，f为相机焦距，u为二维水平坐标，v为二维垂直坐标。

23、有益效果：本发明可根据种苗生成的3d点云数据进行种苗三维重建，依次经图像数据预处理、k-means聚类数据分割，能够更好的将种苗与穴盘区分开；在种苗重建中，使用poisson重建算法可更好重建种苗模型，更直观便捷判断出有误漏苗情况，及漏苗所在穴孔坐标；本发明提高了移栽作业中对漏苗检测补栽的判断效率，可提升移栽作业质量。

技术特征：

1.一种基于3d点云重建的钵盘苗漏苗检测方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于3d点云重建的钵盘苗漏苗检测方法，其特征在于，步骤s2中，对穴盘种苗进行扫描，获取图像数据的过程为：将深度相机正对穴盘苗，使深度相机视野内光线明亮均匀，对穴盘苗进行扫描，获取点云数据。

3.如权利要求1所述的一种基于3d点云重建的钵盘苗漏苗检测方法，其特征在于，步骤s3中，预处理包括：采取高斯滤波进行去噪处理，卷积核大小设置为3x3，标准差设置为1；采取体素网格滤波(voxel grid filter)函数，将体素网格大小设置为1cm；将每个像素点的深度值转换为对应的三维坐标，并将这些坐标组合成点云数据集。

4.如权利要求1所述的一种基于3d点云重建的钵盘苗漏苗检测方法，其特征在于，步骤s4中，将点云数据分割成单个的种苗区域，使用基于k-means聚类方法，用于将点云数据分割成不同的聚类，对应不同的种苗区域：

5.如权利要求1所述的一种基于3d点云重建的钵盘苗漏苗检测方法，其特征在于，步骤s5中，对每个种苗进行形态重建采用poisson重建算法：设点云数据集x包含d个点，每个点的坐标表示为(xi,yi,zi)，其中i表示点的索引；对于每个点xi，使用基于最近邻的法向量估计方法得出其法向量ni，表示点云表面在该点处的法向量方向；poisson重建算法通过求解以下泊松方程来估计表面坐标数据f(x,y,z)，即物体表面的函数表示：

6.如权利要求5所述的一种基于3d点云重建的钵盘苗漏苗检测方法，其特征在于，使用open3d库读取物体表面网格模型数据，进行种苗三维点云可视化操作。

7.如权利要求1所述的一种基于3d点云重建的钵盘苗漏苗检测方法，其特征在于，步骤s6中，对重建出的种苗与完整健康苗点云数据集进行分析和比对，判断是否有漏苗，以及使用透视投影法将漏苗所在穴孔三维数据转换为二维坐标，公式如下：

技术总结本发明涉及一种基于3D点云重建的钵盘苗漏苗检测方法，通过深度相机采集钵苗盘点云数据信息，并对数据进行处理，将种苗与穴盘进行分割，从而判断种苗位于哪个穴孔并判断无苗穴孔所在位置，通过透视投影将无苗穴孔坐标计算出来，进行后续补栽作业。提高了移栽作业中对漏苗检测补栽的判断效率，可提升移栽作业质量。技术研发人员：金鑫,张龙,李明勇,侯一博,肖利强,解晓琳,马淏,冉晨辉受保护的技术使用者：河南科技大学技术研发日：技术公布日：2024/9/9