叶片残缺信息生成模型的训练方法、装置和电子设备

本技术涉及深度学习，尤其涉及一种叶片残缺信息生成模型的训练方法、装置和电子设备。

背景技术：

1、棉花叶片是棉花生长的重要组成部分，在光合作用和蒸腾作用中发挥着关键作用。

2、对于形态复杂多样的棉株，通常因为器官之间存在相互遮挡，传感器本身的视角限制和操作人员操作不当等，导致获取的棉花叶片器官点云不完整，进而影响对棉花植株整体的自动监测。而获取到准确的叶片残缺信息，对于叶片信息补全是至关重要的。

3、因此，如何获取到准确的叶片残缺信息，是本领域技术人员亟待解决的技术问题。

技术实现思路

1、本技术提供一种叶片残缺信息生成模型的训练方法、装置和电子设备，通过训练基于深度学习的叶片残缺信息生成模型，使得可以通过叶片残缺信息生成模型生成叶片残缺信息，从而可以获取到准确的叶片残缺信息。

2、第一方面，本技术实施例提供一种叶片残缺信息生成模型的训练方法，该方法包括：

3、获取多个完整叶片样本各自的三维点云数据，并获取多个残缺叶片样本各自的目标叶片特征；

4、将所述多个完整叶片样本各自的三维点云数据输入至初始叶片残缺信息生成模型中的点云缩放模块，通过所述点云缩放模块对所述三维点云数据进行多次下采样，得到每次下采样后的下采样三维点云数据；

5、将所述多个完整叶片样本各自的三维点云数据和每次下采样后的下采样三维点云数据，输入至所述初始叶片残缺信息生成模型中的编码器中，通过所述编码器进行特征提取，得到多尺度叶片特征；

6、将所述多个完整叶片样本各自的多尺度叶片特征，和所述多个残缺叶片样本各自的目标叶片特征融合后的目标融合特征，输入至所述初始叶片残缺信息生成模型中的解码器中，得到不同分辨率下的解码特征；

7、基于所述不同分辨率下的解码特征更新所述始叶片残缺信息生成模型的模型参数，得到叶片残缺信息生成模型。

8、根据本技术提供的一种叶片残缺信息生成模型的训练方法，所述编码器包括多个并联的编码单元；

9、所述将所述多个完整叶片样本各自的三维点云数据和每次下采样后的下采样三维点云数据，输入至所述初始叶片残缺信息生成模型中的编码器中，通过所述编码器进行特征提取，得到多尺度叶片特征，包括：

10、针对各完整叶片样本，将所述完整叶片样本的三维点云数据输入至第一编码单元中，得到第一尺度下的叶片特征；

11、将所述完整叶片样本每次下采样后的下采样三维点云数据输入至对应的第二编码单元中，得到第二尺度下的叶片特征；

12、其中，所述完整叶片样本的多尺度叶片特征包括所述第一尺度下的叶片特征和所述第二尺度下的叶片特征。

13、根据本技术提供的一种叶片残缺信息生成模型的训练方法，所述解码器包括多个串联的全连接层和各全连接层对应的解码单元；

14、所述将所述多个完整叶片样本各自的多尺度叶片特征，和所述多个残缺叶片样本各自的目标叶片特征融合后的目标融合特征，输入至所述初始叶片残缺信息生成模型中的解码器中，得到不同分辨率下的解码特征，包括：

15、针对各完整叶片样本，将所述完整叶片样本的多尺度叶片特征进行融合，得到融合特征；

16、将所述多个完整叶片样本各自的融合特征和所述多个残缺叶片样本各自的目标叶片特征进行融合，得到所述目标融合特征；

17、将所述目标融合特征输入至所述多个串联的全连接层中，得到每次下采样后的下采样叶片特征；

18、将每次下采样后的下采样叶片特征，输入至对应的解码单元中，得到所述不同分辨率下的解码特征。

19、根据本技术提供的一种叶片残缺信息生成模型的训练方法，所述获取多个残缺叶片样本各自的目标叶片特征，包括：

20、获取植株样本在不同生长阶段下的多视角植株图像，并将所述多视角植株图像转换为对应的植株三维点云数据；

21、将所述植株三维点云数据输入至叶片分割模型中，通过所述叶片分割模型从所述植株三维点云数据中确定叶片三维点云数据；

22、基于所述叶片三维点云数据，获取所述多个残缺叶片样本各自的目标叶片特征。

23、根据本技术提供的一种叶片残缺信息生成模型的训练方法，所述基于所述叶片三维点云数据，获取所述多个残缺叶片样本各自的目标叶片特征，包括：

24、基于所述叶片三维点云数据中两两三维点云之间的距离，构造对应的邻接矩阵；

25、对基于所述邻接矩阵确定的拉普拉斯矩阵进行特征分解，得到多个特征向量；

26、基于预设数量对所述多个特征向量进行聚类，得到聚类结果，所述聚类结果用于表征一个叶片样本的叶片特征；

27、基于所述聚类结果和所述邻接矩阵，获取所述多个残缺叶片样本各自的目标叶片特征。

28、根据本技术提供的一种叶片残缺信息生成模型的训练方法，所述基于所述聚类结果和所述邻接矩阵，获取所述多个残缺叶片样本各自的目标叶片特征，包括：

29、针对各叶片样本，根据所述叶片样本对应的聚类结果，从所述邻接矩阵中确定所述叶片样本对应的目标邻接矩阵；

30、根据所述目标邻接矩阵两两三维点云之间的距离，确定所述叶片样本是否为残缺叶片样本；

31、在所述叶片样本为残缺叶片样本的情况下，将所述叶片样本对应的聚类结果中包括的特征向量，确定为所述残缺叶片样本的目标叶片特征。

32、根据本技术提供的一种叶片残缺信息生成模型的训练方法，所述通过所述叶片分割模型从所述植株三维点云数据中确定叶片三维点云数据，包括：

33、对所述植株三维点云数据依次进行数据增强处理、归一化处理及下采样处理，得到处理后的植株三维点云数据；

34、通过所述叶片分割模型从所述处理后的植株三维点云数据中，确定所述叶片三维点云数据。

35、根据本技术提供的一种叶片残缺信息生成模型的训练方法，所述叶片残缺信息生成模型包括更新后的编码器，所述方法还包括：

36、获取待处理的残缺叶片的三维点云数据；

37、基于所述残缺叶片的三维点云数据，提取所述残缺叶片的目标叶片特征；

38、将所述目标叶片特征输入至所述更新后的编码器中，生成所述残缺叶片的叶片残缺信息；

39、基于所述叶片残缺信息对所述残缺叶片的三维点云数据进行补全处理，得到目标三维点云数据。

40、第二方面，本技术实施例还提供一种叶片残缺信息生成模型的训练装置，包括：

41、第一获取单元，用于获取多个完整叶片样本各自的三维点云数据，并获取多个残缺叶片样本各自的目标叶片特征；

42、第一处理单元，用于将所述多个完整叶片样本各自的三维点云数据输入至初始叶片残缺信息生成模型中的点云缩放模块，通过所述点云缩放模块对所述三维点云数据进行多次下采样，得到每次下采样后的下采样三维点云数据；

43、第二处理单元，用于将所述多个完整叶片样本各自的三维点云数据和每次下采样后的下采样三维点云数据，输入至所述初始叶片残缺信息生成模型中的编码器中，通过所述编码器进行特征提取，得到多尺度叶片特征；

44、第三处理单元，用于将所述多个完整叶片样本各自的多尺度叶片特征，和所述多个残缺叶片样本各自的目标叶片特征融合后的目标融合特征，输入至所述初始叶片残缺信息生成模型中的解码器中，得到不同分辨率下的解码特征；

45、第四处理单元，用于基于所述不同分辨率下的解码特征更新所述始叶片残缺信息生成模型的模型参数，得到叶片残缺信息生成模型。

46、第三方面，本技术实施例还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面任一项所述的叶片残缺信息生成模型的训练方法、装置和电子设备。

47、第四方面，本技术实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一项所述的叶片残缺信息生成模型的训练方法、装置和电子设备。

48、第五方面，本技术实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一项所述的叶片残缺信息生成模型的训练方法、装置和电子设备。

49、本技术提供的叶片残缺信息生成模型的训练方法、装置和电子设备，通过获取多个完整叶片样本各自的三维点云数据和多个残缺叶片样本各自的目标叶片特征；将多个完整叶片样本各自的三维点云数据输入至初始叶片残缺信息生成模型中的点云缩放模块，通过点云缩放模块对三维点云数据进行多次下采样，得到每次下采样后的下采样三维点云数据；将多个完整叶片样本各自的三维点云数据和每次下采样后的下采样三维点云数据，输入至初始叶片残缺信息生成模型中的编码器中，通过编码器进行特征提取，得到多尺度叶片特征；将多个完整叶片样本各自的多尺度叶片特征，和多个残缺叶片样本各自的目标叶片特征融合后的目标融合特征，输入至初始叶片残缺信息生成模型中的解码器中，得到不同分辨率下的解码特征；基于不同分辨率下的解码特征更新始叶片残缺信息生成模型的模型参数，得到叶片残缺信息生成模型。这样基于多个完整叶片样本各自的三维点云数据和多个残缺叶片样本各自的目标叶片特征，训练基于深度学习的叶片残缺信息生成模型，使得可以通过叶片残缺信息生成模型生成叶片残缺信息，从而可以获取到准确的叶片残缺信息。