基于无人机多源数据和自监督对比学习的作物产量估测与倒伏判别方法

本发明涉及一种基于人工智能深度学习的作物多品种产量估测与倒伏判别方法，具体涉及一种基于无人机多源数据和自监督对比学习的作物产量估测与倒伏判别方法。

背景技术：

1、作物培育过程中需要对成百上千的品种材料进行调查。传统的田间调查费时费力且成本较高，不但调查性状有限，而且绝大多数无法实现时序性鉴定。近年来，随着高通量表型平台和信息技术辅助作物表型检测的快速发展，有助于育种家做出合理地决策。相比于卫星遥感监测技术，无人机近感平台具有高效、低成本和时空分辨率高的特点，已广泛用于作物病害识别、倒伏监测、叶绿素含量与生物量估算等。然而，这些方法仅实现对产量进行估测，缺乏对变异广泛的作物种质资源表型特征存在相似性问题的考虑。

2、随着信息技术的飞速发展，深度学习与无人机数据结合已经成功运用于作物表型的研究中。研究人员基于无人机多模态数据与深度学习方法对作物的病害、产量等表型任务进行估测。但这些传统的监督学习方法在很大程度上依赖于可用的带注释的训练数据量。同时，田间实测数据所需大量劳动力，使得目前基于监督训练的方法学习到的特征受限于样本标签，仅适用于目标表型特征预测，如仅产量预测或倒伏分类，而无法有效迁移到对其他表型特征的预测。因此，自监督学习方法应运而生，其集成了生成特征和对比的方法，能够利用未标记的数据来学习潜在的特征表达，用于不同的表型特征预测，使得模型具有普适性。

3、作物表型的差异是由品种与环境的多样性共同决定的。作物品种、田间微气候环境和土壤空间变异性等均会影响作物表型的差异。因此，基于育种目的作物表型估算更具挑战性。ren等采用无人机搭载的高光谱与rgb的图像提取不同品种植被指数、纹理等特征。研究中产量估计的特征重要性与遗传力计算中，花期与结荚期的特征植被指数遗传力相对较低，仅在灌浆阶段高光谱植被指数存在相对较高的遗传力。表明在多品种作物育种背景下，基于传统表型特征方法寻找与品种存在强关联的特征是困难的。因此，为了充分提取多品种无人机多模态数据的深层特征，结合对比学习方法是有必要的。

技术实现思路

1、本发明提供了一种基于无人机多源数据和自监督对比学习的作物产量估测与倒伏判别方法，该方法通过对多源数据类型进行融合，将传统表型特征与对比学习特征融合，用于表型监测等任务具有巨大的潜力，预测结果可以为作物育种计划提供决策依据，辅助加快育种进程，优化育种方案。

2、本发明的目的是通过以下技术方案实现的：

3、一种基于无人机多源数据和自监督对比学习的作物产量估测与倒伏判别方法，包括如下步骤：

4、步骤一、野外数据收集：

5、在野外数据采集中，对不同小区品种的作物进行株高、底荚高的测量，并统计小区内作物的主茎节数、有效分枝数、单株荚数、单株粒数、百粒重；通过农学知识对作物倒伏等级进行准确判断，并对每个小区作物单独收获、脱粒和晾晒，在作物水分含量低于13％时称重和测量产量；

6、步骤二、无人机多传感器图像采集：

7、无人机通过配备高分辨率rgb与多光谱镜头，在作物不同时期进行空中调查，无人机采用两种飞行模式：

8、(1)飞行高度为30m时，拍摄模式为倾斜摄影，采用常规航线，图像间重叠率为85％；

9、(2)飞行高度为5m，采用交叉环绕飞行航线，图像间重叠率为50％；

10、步骤三、原始数据预处理：

11、在无人机空中作业完成后，将采集得到的4种类型的图片数据进行导出与预处理，其中：

12、通过对无人机获取的4种类型的图片数据分别是：rgb影像、多光谱影像、数字表面模型(digital surface model,dsm)以及高精度的点云；

13、高分辨率rgb影像的预处理过程如下：将无人机倾斜摄影采集得到的高分辨率图片进行图像拼接，通过获取不同图片间的特征点进行配对，从而生成rgb影像，然后，对多时期的rgb影像进行配准，并建立不同小区的矢量区域进行裁剪，从而得到作物单个小区多时期的高分辨率图像；

14、多光谱影像的预处理过程如下：将无人机倾斜摄影采集到的多光谱图片进行图像拼接，通过获取不同图片间的特征点进行配对，从而生成多光谱影像；无人机获取的未处理格式的多光谱影像为各个波段像元亮度值(digital number,dn)，将原始影像通过辐射定标转换为基于反射率值的多光谱影像；最后，采用矢量裁剪的方法得到作物单个小区多时期的多光谱图像；

15、数字正射影像图的预处理过程如下：将无人机倾斜摄影采集得到的高分辨率图片进行图像拼接，通过获取不同图片间的特征点进行配对，以特征点构建地表起伏，从而生成数字正射影像图(digital orthomosaic map,dom)与数字表面模型；最后，采用矢量裁剪的方法得到作物单个小区多时期的dsm与dom；

16、高精度点云数据的预处理过程：将无人机采用交叉环绕航线作业拍摄的rgb图像进行拼接后，生成的高精度点云数据；然后，采用矢量裁剪的方法得到作物单个小区多时期的点云数据；将点云异常点与噪声点进行剔除，对地面区域采用ransac法进行拟合后，分离地面与作物植株，最后保留冠层高精度点云数据；

17、步骤四、多模态数据融合对比学习模型构建：

18、步骤四一、在对比学习特征提取阶段，对于二维数据和三维数据特征提取采用两种不同的网络结构：(1)在二维信息特征提取中，采用卷积神经网络对rgb、多光谱和dsm数据进行特征提取；(2)在三维信息特征提取中，采用pointnet模型作为点云数据特征提取方法；

19、步骤四二、在获取完二维与三维特征信息后，将两种信息进行融合投影ξ(·)，获得一组批量为n的特征表达，通过nt-xent损失函数，将不同品种的作物特征进行比较使得模型不断学习与迭代，目的是使得相同品种作物的特征表达相似度提高，而不同品种的作物特征表达相似度降低：

20、

21、

22、

23、其中，z为特征表达，sλ(zi,zj)表示第i个作物品种特征表达与第j个作物品种特征表达的余弦相似性计算方法，τ为温度系数，实验中设置为0.1，li,j表示第i个作物品种特征表达与第j个作物品种特征表达的损失值，n表示一组训练批次数量，l表示该组批次的损失值；

24、步骤四三、通过多任务学习的方法，采用弱训练对模型进行微调，即以一定量的标签样本进行少量的训练，从而达到适用于新的任务目的，其中多任务学习的损失函数表达为：

25、

26、其中，对于产量估测或生物量估测认为，损失函数设置为mse loss，对于倒伏或病虫害分类任务，损失函数为交叉熵(crossentropy)损失函数，在不同任务损失函数计算完后，对所有损失函数值进行融合：

27、

28、式中，l'i表示损失函数所计算得到的数值，wi表示不同任务的权重值，l'表示该批次数量为n的样本所计算得到的损失值；

29、步骤五、冠层光谱、结构与纹理信息提取：

30、步骤五一、冠层光谱信息提取：

31、采用rgb和多光谱图像提取每个小区冠层光谱信息，其中冠层光谱信息包括rgb图像植被指数与多光谱植被指数，采用支持向量机在rgb图像上构建作物植被与土壤掩膜，采用二元掩膜图像将土壤背景设置为空值，仅计算小区内冠层植被区域光谱信息；

32、步骤五二、冠层纹理信息提取：

33、采用灰度共生矩阵作为rgb纹理特征信息提取的方法，将rgb图像转化为灰度图像后，分别提取均匀性、对比度、不同性、熵、第二矩与相关性；

34、步骤五三、冠层结构信息提取：

35、通过无人机倾斜摄影获取高分辨率rgb图像并进行拼接，从而构建数字高程模型；采用作物不同时期dsm与早期裸土表面dem进行像素相减，从而获得冠层高度；对高精度点云进行结构特征提取，其中包括点云凸包面积，95％与90％点云高度以及点云体积密度；

36、步骤六、传统表型特征与对比学习特征融合用于表型估测：

37、基于无人机和多源传感器获取的图像提取作物冠层光谱、纹理、结构特征被定义为传统表型特征方法，通过对比学习以及对模型进行微调之后，所获取一维特征被定义为对比学习所学特征；通过提取单个小区的传统表型特征与对比学习特征后，将两种特征用于产量估计或倒伏判别。

38、相比于现有技术，本发明具有如下优点：

39、1、本发明通过轻型无人机搭载rgb与多光谱镜头，以创新的交叉环绕(cco)路线，采集多时相下田间作物高精度的rgb图像、多光谱与点云数据。同时，基于自监督对比学习策略，提出多模态数据融合深度学习模型，在微调模型之后对作物种质资源进行产量估测与倒伏判别。

40、2、本发明通过对比学习方法融合多源数据类型提取作物深层特征，辅助传统表型特征用于产量估测与倒伏判别具有巨大潜力，能够为作物优化育种方案提供依据。

41、3、采用传统表型特征时，不同品种以及种植密度组间相似度较高(pearson’s均值0.90-0.99)，特征降维后出现内聚现象(r8:ch＝0.6,db＝29.5)，而对比学习获取作物不同品种材料在特征空间中的解耦特征，能有效降低不同品种间特征的关联性(pearson’s均值0.27-0.62)，特征降维后呈现分离状态(r8:ch＝12.4,db＝51.8)。基于多源数据不同特征提取方法进行融合，达到产量估测最佳精度。高密度时，rmse＝591.39kg ha-1，mae＝389.65kg ha-1；低密度时，rmse＝532.75kg ha-1，mae＝379.45kg ha-1，且表现出弱空间自相关性，mi＝0.07，p＝0.027。在倒伏判别中，判别精度达到最高，d3时f1-score为0.57，d6时f1-score为0.64。