基于多层注意力融合和边缘结构引导的叶片点云补全方法

本发明涉及点云处理和深度学习，更具体地，涉及一种基于多层注意力融合和边缘结构引导的叶片点云补全方法。

背景技术：

1、智慧农业是农业信息化发展从数字化到网络化再到智能化的高级阶段，对农业发展具有里程碑意义，已成为世界现代农业发展的趋势。植物叶片作为植物生长和代谢的关键器官，其形态和结构对于了解植物生态和生长过程至关重要。近年来，三维激光扫描技术和结构光技术的发展使得获取植物叶片的三维点云数据成为可能，从而为深入研究植物形态和生长提供了新的途径；然而由于环境、设备等因素的限制，采集获得的点云往往存在较多缺失。

2、目前常用的解决方案是基于深度学习的三维点云补全方法，深度学习利用其强大的表示学习能力，学习缺失点云到完整点云的映射。最早的点云形状补全网络pcn直接对原始点云进行补全，分两阶段生成粗粒度的稀疏完整点云以及细粒度的稠密完整点云。后来的topnet，通过引入分层的树形结构网络用于点云生成，无需在基础点集上假设任意特定的拓扑结构。近年来，生成式网络也成为补全主流网络，pf-net利用基于特征点的多尺度生成网络对部分点云进行分层估计，让网络预测缺失部分的点云；另外，现有的专利文件中也公开了一种基于深度学习的点云补全方法，该方法包括：对原始点云集进行预处理；构建编解码器网络；将预处理后的点云数据输入编码器中获取输入点云的特征向量；将输入点云的特征向量输入解码器得到缺失部分点云；将缺失部分点云与输入残缺点云拼接得到完整的补全点云；设置损失函数，优化网络，得到最终优化输出结果；最后基于pointnet网络进行分类。

3、然而，上述现有的方案仅能够在形状规整、结构性强的数据集上表现良好，但由于植物叶片点云通常是表面不平整的片状结构，因此上述方案对植物叶片点云的特征敏感度欠佳，在补全后的叶基和叶尖处通常会出现形状模糊的问题。

技术实现思路

1、本发明为克服上述现有技术在进行植物叶片点云补全过程中，叶基和叶尖处形状模糊的缺陷，提供一种基于多层注意力融合和边缘结构引导的叶片点云补全方法，能够提高叶片补全的效果，提升农业自动化获取植物表型信息的精度，并减小自动化监测过程中测量数据与真实数据之间的误差。

2、为解决上述技术问题，本发明的技术方案如下：

3、一种基于多层注意力融合和边缘结构引导的叶片点云补全方法，包括以下步骤：

4、s1：获取植物叶片三维点云数据集并进行预处理；

5、s2：建立叶片点云补全网络；

6、所述叶片点云补全网络包括：依次连接的编码器和解码器；

7、所述编码器包括：依次连接的升采样模块、降采样模块和多层注意力融合模块；

8、s3：将预处理后的植物叶片三维点云数据集输入建立的叶片点云补全网络中，利用预设的总损失函数引导所述叶片点云补全网络进行迭代训练，获取训练好的叶片点云补全网络；

9、所述预设的总损失函数包括：边缘损失函数和整体损失函数；

10、s4：获取待补全的植物叶片点云，将待补全的植物叶片点云输入训练好的叶片点云补全网络中进行补全，完成植物叶片点云的补全。

11、优选地，所述步骤s1中的预处理包括：

12、对所述植物叶片三维点云数据集进行数据筛选，去除枯黄叶片的点云以及除叶片以外的杂类点集，获取数据筛选后的植物叶片三维点云数据集；

13、对所述数据筛选后的植物叶片三维点云数据集依次进行均值滤波平滑处理和点云坐标归一化处理，获取预处理后的植物叶片三维点云数据集，完成所述预处理。

14、优选地，所述步骤s2中，编码器的降采样模块包括：结构相同且依次连接的第一局部特征提取子模块sa和第二局部特征提取子模块sa；

15、所述升采样模块的输出与第一局部特征提取子模块sa的输入连接，第一局部特征提取子模块sa和第二局部特征提取子模块sa的输出分别与多层注意力融合模块的输入连接。

16、优选地，每个所述局部特征提取子模块sa均包括：采样层、分组层和特征编码层；所述采样层利用最远点采样算法fps对输入点云进行采样，获取采样点集；所述分组层利用k近邻算法对采样点集进行聚类分组，获取若干个局部中心的点集集合；所述特征编码层利用多层感知机mlp对所有局部中心的点集集合进行特征编码，获取点云局部特征，并将点云局部特征作为所述局部特征提取子模块sa的输出。

17、优选地，所述步骤s2中，编码器的多层注意力融合模块包括：第一注意力子模块、第二注意力子模块和卷积融合子模块；

18、所述第一注意力子模块和第二注意力子模块结构相同且并列设置，第一注意力子模块和第二注意力子模块的输出分别与卷积融合子模块的输入连接；第一注意力子模块的输入与第一局部特征提取子模块sa的输出连接，第二注意力子模块的输入与第二局部特征提取子模块sa的输出连接。

19、优选地，每个所述注意力子模块均包括依次连接的：若干个结构相同的offset-transformer块，以及卷积块；每个所述offset-transformer块的输入还分别与卷积块的输入连接；

20、每个所述offset-transformer块中，输入数据分别经过并列设置的3个第一多层感知机mlp后，对应获取数据1、数据2和数据3；将数据2进行矩阵转置操作后与数据1进行矩阵相乘操作，获取数据4；将数据4经过softmax运算后的结果记为数据5；将数据5的第二维度进行求和操作，获取数据6；将数据5与数据6进行矩阵相除操作，获取数据7；将所述数据3和数据7进行矩阵相乘操作后获取数据8；将输入数据与数据8进行矩阵相减操作后，获取数据9；将所述数据9依次经过第二多层感知机mlp和第一批归一化bn层后，获取数据10；将所述输入数据与数据10进行矩阵相加，获取所述offset-transformer块的输出数据；所述输入数据、数据1～10，以及输出数据均为三维向量；

21、所述卷积块包括依次连接的：第三多层感知机mlp、第二批归一化bn层和relu激活函数层；

22、所述卷积融合子模块包括：第四多层感知机mlp。

23、优选地，每个所述注意力子模块中，offset-transformer块的数量为4个。

24、优选地，所述步骤s3中，边缘损失函数l1具体为：

25、l1＝emd1(pg_edge,pf_edge)

26、其中，pg_edge为叶片点云的边缘真值；pf_edge为补全后叶片点云的边缘预测值；emd1为补全后叶片点云的边缘预测值和叶片点云的边缘真值的推土距离；

27、所述整体损失函数l2具体为：

28、l2＝emd2(pgt,pfake)

29、其中，pgt为叶片点云的真值；pfake为补全后叶片点云的预测值；emd2为补全后叶片点云的预测值和叶片点云的真值的推土距离；

30、所述预设的总损失函数loss具体为：

31、loss＝αl1+(1-α)l2

32、其中，α为超参数。

33、本发明还提供一种基于多层注意力融合和边缘结构引导的叶片点云补全系统，应用上述的基于多层注意力融合和边缘结构引导的叶片点云补全方法，包括：

34、数据获取和预处理单元：用于获取植物叶片三维点云数据集并进行预处理；

35、模型建立单元：用于建立叶片点云补全网络；

36、所述叶片点云补全网络包括：依次连接的编码器和解码器；

37、所述编码器包括：依次连接的升采样模块、降采样模块和多层注意力融合模块；

38、模型训练单元：用于将预处理后的植物叶片三维点云数据集输入建立的叶片点云补全网络中，利用预设的总损失函数引导所述叶片点云补全网络进行迭代训练，获取训练好的叶片点云补全网络；

39、所述预设的总损失函数包括：边缘损失函数和整体损失函数；

40、叶片点云补全单元：用于获取待补全的植物叶片点云，将待补全的植物叶片点云输入训练好的叶片点云补全网络中进行补全，完成植物叶片点云的补全。

41、本发明还提供一种计算机可读的存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法中的步骤。

42、与现有技术相比，本发明技术方案的有益效果是：

43、本发明提供一种基于多层注意力融合和边缘结构引导的叶片点云补全方法，首先获取植物叶片三维点云数据集并进行预处理；建立叶片点云补全网络；将预处理后的植物叶片三维点云数据集输入建立的叶片点云补全网络中，利用预设的总损失函数引导所述叶片点云补全网络进行迭代训练，获取训练好的叶片点云补全网络；最后获取待补全的植物叶片点云，将待补全的植物叶片点云输入训练好的叶片点云补全网络中进行补全，完成植物叶片点云的补全；

44、本发明提出了一个基于多层注意力融合的植物叶片点云补全网络，提高了网络对植物叶片形状的特征学习能力；针对叶片整体结构，设计了带有注意力机制的编解码器，通过融合模块融合多层注意力加权特征，提升模型对叶片结构的感知能力，使网络能更好地完成叶片点云补全任务；针对叶片片状结构，设计了边缘损失函数用于指导模型学习叶片边缘信息，从而提高植物叶片形态研究的精度，为生态学和植物生物学等领域的研究提供更为可靠的数据支持，同时为实现智能化农业提供了有力的支持。