基于激光雷达与遥感影像的单株树冠提取方法及系统

本发明涉及植被遥感图像处理，具体涉及一种基于激光雷达和无人机遥感影像数据的单株提取和树冠体积计算方法及系统。

背景技术：

1、目前单株提取和树冠体积计算技术仍然存在一些缺点和不足，主要包括以下几个方面：

2、数据采集困难：直接处理点云数据需要很高的计算和经济成本。单个树木提取通常需要超高空间分辨率信息的图像。在实际应用中，获取大规模、多样化的遥感图像数据仍然存在困难。标注数据的获取成本较高，缺乏充足的训练数据会影响深度学习模型的性能。

3、模型泛化能力有限：现有的深度学习模型往往是在特定数据集上进行训练的，对新的遥感图像数据的泛化能力有限，可能存在过拟合的问题。因此，需要进一步提高模型的泛化能力，以适应更广泛的遥感图像应用场景。

4、处理速度较慢：深度学习模型通常需要较长的训练时间和较高的计算资源，这使得模型在实际应用中的处理速度较慢。为了提高模型的实时性和效率，需要优化模型结构和算法，以减少模型的计算复杂度。

5、遥感图像中界限模糊不清：在遥感图像中，尤其是在像森林这样的复杂背景下，树木之间的界限经常模糊不清，很难从背景中区分目标。从大图像中提取感兴趣的小目标很困难。

6、单株难检测：单个树木检测中树木之间的相互遮挡，导致部分树冠被覆盖并且难以分离。单个树木检测通常需要高分辨率图像捕捉细节，但是高分辨率图像处理具有挑战性。

7、难以应对遥感图像的多尺度问题：遥感图像通常具有多个尺度的特征，如细节和整体特征，而深度学习模型通常只能处理特定尺度的信息。因此，在处理遥感图像时，需要考虑如何有效地结合多个尺度的信息，并在不同尺度之间进行有效的迁移和融合。

技术实现思路

1、发明目的：为了克服现有技术中存在的不足，本发明提供一种基于激光雷达与遥感影像的单株树冠提取方法及系统，本发明提出了深度神经网络yolotree模型，用于提取单个树以获得树冠和位置信息，将信息与空间映射的lidar图像结合以获得树高。提高了空间定位和树冠体积提取的精度。

2、技术方案：为实现上述目的，本发明采用的技术方案为：

3、一种基于激光雷达与遥感影像的单株树冠提取方法，包括以下步骤：

4、步骤s1，通过遥感影像采集树木rgb图像，创建treeld数据集。通过激光雷达采集树木点云数据。

5、步骤s2，使用深度神经网络yolotree从treeld数据集中对单株树冠识别并进行空间关联特征提取。根据识别出的单株树冠信息确定树冠长轴a和短轴b。

6、步骤s3，将识别出的单株树冠及其空间关联特征与点云数据结合来得到单株树冠高度c。

7、步骤s4，根据树冠长轴a、短轴b以及单株树冠高度c确定树冠体积。

8、优选的：在深度神经网络yolotree中引入注意机制，注意机制用于增强卷积神经网络的性能，注意机制将一些通道重塑为批量维度，并将其划分为多个子特征组，给定具有c个通道的输入特征图分成g组，每组包含c/g通道。每个子特征具有相同的空间维度，允许在每个子特征组内学习不同的语义表示。

9、优选的：采用三个并行的子网络来提取分组特征图的注意力权重。两个平行分支位于1×1分支中，重新校准每个并行分支的通道权重，并进一步聚合两个并行分支的输出特征以捕捉像素级配对关系。

10、优选的：对于分组特征图其中h和w分别是高度和宽度，1x1分支的输出首先被分别全局平均汇集，全局平均汇集沿特定维度的空间位置对整个特征图进行平均，将来自每个通道的信息转换成向量。然后对其进行1×1卷积运算以产生新的特征向量。

11、优选的：根据权利要求1所述基于激光雷达与遥感影像的单株树冠提取方法，其特征在于：利用权重矩阵来重新加权原始输入特征图，调整每个通道和空间位置的响应值。

12、优选的：在组合通道特征之后，联合激活加权和组合两个空间注意力图以生成最终输出特征图。最终输出特征图保留了输入特征图的维度，并包含个更丰富的空间和通道信息。

13、优选的：新的特征向量为：

14、

15、其中，表示卷积运算产生新的输出，c'表示输出通道，i表示x轴的位置信息，j表示y轴的位置信息，wc',k表示特征权重，表示特征向量沿通道维度连接起来得到的特征向量，h表示输入特征图的高度，w表示输入特征图的宽度，bc'表示输入通道的偏置，μc'表示平均值，rc'表示缩放参数，βc'表示移动参数，表示标准差，ε表示引入防止被零除的参数。

16、优选的：将来自每个通道的信息转换成向量的方法：当沿水平维度进行全局平均汇集时，每个通道的信息被转换成沿垂直维度的一组平均值，从而汇总沿垂直维度的位置信息。当沿着垂直维度执行全局平均汇集时，将其转换为沿着水平维度捕捉位置信息，确保每个通道的信息包含沿着水平维度的位置信息。

17、优选的：深度神经网络yolotree包括主干网络、颈部网络以及头部网络，所述主干网络包括依次连接的第一卷积层一、第二卷积层一、第一特征整合层一、第三卷积层一、第二特征整合层一、第四卷积层一、第三特征整合层一、第五卷积层一、第四特征整合层一、空间金字塔池化层。所述颈部网络包括依次连接的第一上采样层、第一拼接层、第一特征整合层二、第二上采样层、第二拼接层、第二特征整合层二、第一卷积层二、第三拼接层、第三特征整合层二、第二卷积层二、第四拼接层、第四特征整合层二，所述空间金字塔池化层的输出端分别与第一上采样层的输入端、第四拼接层的输入端连接，所述第三特征整合层一的输出端与第一拼接层的输入端连接，所述第二特征整合层一的输出端与第二拼接层的输入端连接，所述第一特征整合层二的输出端与第三拼接层的输入端连接，所述第二拼接层的输出端与第三特征整合层二的输入端连接，所述第一上采样层的输出端与第二卷积层二的输入端连接。所述头部网络包括目标分类单元、边界盒回归单元和置信度评估单元，所述目标分类单元包括第一分类模块一和第二分类模块一，所述第一分类模块一包括依次连接的第一卷积三一、第一二维卷积一、第一边界框损失模块，所述第二分类模一块包括依次连接的第二卷积三一、第二二维卷积一、第一类别损失模块，所述第二特征整合层二的输出端分别与与第一卷积三一的输入端、第二卷积三一的输入端连接。所述边界盒回归单元包括第一回归模块二和第二回归模块二，所述第一回归模块二包括依次连接的第一卷积三二、第一二维卷积二、第一边界框损失模块，所述第二分类模二块包括依次连接的第二卷积三二、第二二维卷积二、第二类别损失模块，所述第三特征整合层二的输出端分别与与第一卷积三二的输入端、第二卷积三二的输入端连接。所述置信度评估单元包括第一回归模块三和第二回归模块三，所述第一回归模块三包括依次连接的第一卷积三三、第一二维卷积三、第三边界框损失模块，所述第二分类模三块包括依次连接的第二卷积三三、第二二维卷积三、第三类别损失模块，所述第四特征整合层二的输出端分别与与第一卷积三三的输入端、第二卷积三三的输入端连接。

18、一种基于激光雷达与遥感影像的单株树冠提取系统，用于实现基于激光雷达与遥感影像的单株树冠提取方法，包括采集模块、特征提取模块、单株树冠高度提取模块以及树冠体积计算模块，其中：

19、所述采集模块用于通过遥感影像采集树木rgb图像，创建treeld数据集。通过激光雷达采集树木点云数据。

20、所述特征提取模块使用深度神经网络yolotree从treeld数据集中对单株树冠识别并进行空间关联特征提取。根据识别出的单株树冠信息确定树冠长轴a和短轴b。

21、所述单株树冠高度提取模块用于识别出的单株树冠及其空间关联特征与点云数据结合来得到单株树冠高度c。

22、所述树冠体积计算模块用于根据树冠长轴a、短轴b以及单株树冠高度c确定树冠体积。

23、本发明相比现有技术，具有以下有益效果：

24、本发明设计深度神经网络yolotree从rgb图像中提取单株树冠和位置信息，并将该信息与空间映射的lidar数据结合以获得树高，并提出建模方法计算树冠体积，采用rgb和lidar遥感数据相结合来预测单株树冠宽度和树冠体积计算。提出的新型网络结构yolotree提高了空间定位和树冠体积提取的准确性，提高了空间定位和树冠体积提取的精度。