果树冠层的提取方法及装置

本发明涉及图像处理，具体涉及一种果树冠层的提取方法及装置。

背景技术：

1、目前，准确地获取果树冠层分布不仅是树木长势监测、产量估计、农业金融保险应用和灾情评估等的重要依据，也是宏观掌控果树生长和调控果实贸易的依据。

2、近年来，无人机低空遥感技术和传感技术在农作物长势、病虫害检测等领域得到了广泛应用，可以为树冠的精准管理提供崭新的技术手段和数据基础。

3、相关技术中，大多数的果树冠层提取方法对样本数量和样本质量依赖度较高，需要精确勾画、标注树冠轮廓作为训练样本集，且训练过程需要大量的数据集。果树冠层提取在特征选取、特征融合、阈值参数设置等方面多数是针对特定实验场景、特定种类的果树定制化的方法。不同果树类型、不同地域，提取模型往往不能适用，需要重新勾画树冠轮廓作为样本数据集。因此，相关技术中的果树冠层提取方式的适用性差。

技术实现思路

1、本发明的目的在于针对现有技术中果树冠层提取方式的适用性差问题，提供一种果树冠层的提取方法及装置。

2、为解决上述技术问题，本发明采用如下技术方案：

3、本发明实施例的第一方面，提供一种果树冠层的提取方法，基于无人机航拍图像进行图像预处理，生成数字正射影像和果树的冠层高度模型图像；分别裁剪数字正射影像和冠层高度模型图像；采用sam(segment anything model，图像分割模型)对裁剪后的数字正射影像进行全分割，得到图像预分割结果；基于果树先验知识、裁剪后的数字正射影像和裁剪后的冠层高度模型图像，筛选图像预分割结果中的图斑得到部分图斑，基于部分图斑生成果树冠层交互分割的分割提示信息，基于分割提示信息和sam图像分割模型对裁剪后的数字正射影像进行交互分割，得到果树冠层的提取结果；其中，果树先验知识包括果树的空间特征、光谱特征和形态特征。

4、可选地，基于无人机航拍图像进行图像预处理，生成数字正射影像和果树的冠层高度模型图像，包括：基于无人机航拍图像拼接及处理软件和无人机航拍图像，生成数字正射影像、数字表面模型图像和数字地形模型图像；统一数字表面模型图像和数字地形模型图像的分辨率；基于第一图像和第二图像的灰度值的差值，生成冠层高度模型图像；其中，第一图像为统一分辨率后的数字表面模型图像，第二图像为统一分辨率后的数字地形模型图像。

5、可选地，分别裁剪数字正射影像和冠层高度模型图像，包括：对准数字正射影像和冠层高度模型图像的坐标系和空间位置；分别裁剪对准后的数字正射影像和冠层高度模型图像为多张小尺寸图像；其中，裁剪后的同一场景的数字正射影像和冠层高度模型图像具有相同的地理位置，且具有重叠区域。

6、可选地，空间特征指示果树的高度分布范围为第一高度分布范围；基于果树先验知识、裁剪后的数字正射影像和裁剪后的冠层高度模型图像，筛选图像预分割结果中的图斑得到部分图斑，基于部分图斑生成果树冠层交互分割的分割提示信息，包括：基于裁剪后的冠层高度模型图像进行局部极大值点检测，将局部极大值点作为树冠顶点，将树冠顶点处的像元值作为树的高度值；筛选高度值在第一高度分布范围内的树冠顶点，并统计筛选后的各个树冠顶点处的像元值，获取树的高度分布直方图；基于高度分布直方图，计算果树的高度均值和高度标准差，确定果树的第二高度分布范围。

7、可选地，光谱特征指示果树的目标植被指数灰度值在第一灰度范围，目标植被指数为绿叶指数；基于果树先验知识、裁剪后的数字正射影像和裁剪后的冠层高度模型图像，筛选图像预分割结果中的图斑得到部分图斑，基于部分图斑生成果树冠层交互分割的分割提示信息，包括：基于裁剪后的数字正射影像的波段，确定目标植被指数的植被指数灰度图像；基于植被指数灰度图像，获取基于第二高度分布范围过滤后的树冠顶点处的植被指数灰度值；筛选植被指数灰度值在第一灰度范围内的树冠顶点，并统计筛选后的各个树冠顶点处的植被指数灰度值，得到果树的植被指数分布直方图；基于植被指数分布直方图，计算果树的植被指数均值和植被指数标准差，确定果树的植被指数分布范围；其中，分割提示信息包括果树的植被指数分布范围。

8、可选地，形态特征指示果树的冠层长宽比在第一长宽比范围内；基于果树先验知识、裁剪后的数字正射影像和裁剪后的冠层高度模型图像，筛选图像预分割结果中的图斑得到部分图斑，基于部分图斑生成果树冠层交互分割的分割提示信息，包括：检测图像预分割结果中的图斑的最小外接矩形，得到每个图斑的长宽比；筛选图像预分割结果中长宽比在第一长宽比范围内的图斑；检测长宽比筛选后的图斑轮廓内的像素点集，得到果树图斑的面积分布直方图；基于果树图斑的面积分布直方图，计算果树图斑的面积均值和果树图斑的面积标准差，得到果树的树冠面积分布范围。

9、可选地，基于果树先验知识、裁剪后的冠层高度模型图像和裁剪后的数字正射影像，筛选图像预分割结果得到部分图斑，包括：从图像预分割结果中筛选树高在第二高度分布范围内的第一组图斑；从第一组图斑中筛选植被指数灰度值在植被指数灰度值范围内的第二组图斑；从第二组图斑中筛选长宽比在第三范围内，且树冠面积在树冠面积分布范围内的第三组图斑，该第三组图斑为果树冠层的部分图斑。

10、可选地，基于部分图斑生成果树冠层交互分割的分割提示信息，包括：基于果树冠层的部分图斑中每个图斑的外接矩形的四个角点的坐标，计算部分图斑中每个图斑的中心坐标点；将部分图斑中每个图斑的中心坐标点作为第1轮交互分割的分割提示信息，基于第1轮交互分割的分割提示信息和sam图像分割模型对裁剪后的数字正射影像进行特定目标为果树冠层的第1轮交互分割，得到第1轮交互分割结果；将第i轮交互分割结果中每个图斑的中心坐标点作为果树冠层的第i+1轮交互分割的分割提示信息，基于第i+1轮交互分割的分割提示信息和sam图像分割模型对裁剪后的数字正射影像进行特定目标为果树冠层的第i+1轮交互分割，得到第i+1轮交互分割结果；i为小于k的正整数，k为迭代次数，k为大于1的正整数；将第k-1轮生成的分割提示信息作为特定目标为果树冠层的交互分割的分割提示信息的学习结果。

11、可选地，基于分割提示信息和sam图像分割模型对裁剪后的数字正射影像进行交互分割，得到果树冠层的提取结果，包括：基于第k-1轮学习得到的分割提示信息，和sam图像分割模型对裁剪后的数字正射影像进行特定目标为果树冠层的第k轮交互分割，得到果树冠层最终的提取图斑。

12、本发明实施例的第二方面，提供一种果树冠层的提取装置，果树冠层的提取装置包括：图像预处理模块、裁剪模块、sam图像分割模块、筛选模块和生成模块；图像预处理模块，用于基于无人机航拍图像进行图像预处理，生成数字正射影像和果树的冠层高度模型图像；裁剪模块，分别裁剪数字正射影像和冠层高度模型图像；sam图像分割模块，用于采用sam图像分割模型对裁剪后的数字正射影像进行全分割，得到图像预分割结果；筛选模块，用于基于果树先验知识、裁剪后的数字正射影像和裁剪后的冠层高度模型图像，筛选图像预分割结果中的图斑得到部分图斑；生成模块，用于基于部分图斑生成果树冠层交互分割的分割提示信息；sam图像分割模块，还用于基于分割提示信息和sam图像分割模型对裁剪后的数字正射影像进行交互分割，得到果树冠层的提取结果；其中，果树先验知识包括果树的空间特征、光谱特征和形态特征。

13、可选地，图像预处理模块具体用于：基于无人机航拍图像拼接及处理软件和无人机航拍图像，生成数字正射影像、数字表面模型图像和数字地形模型图像；统一数字表面模型图像和数字地形模型图像的分辨率；基于第一图像和第二图像的灰度值的差值，生成果树的冠层高度模型图像；其中，第一图像为统一分辨率后的数字表面模型图像，第二图像为统一分辨率后的数字地形模型图像。

14、可选地，裁剪模块具体用于：对准数字正射影像和冠层高度模型图像的坐标系和空间位置；分别裁剪对准后的数字正射影像和冠层高度模型图像为多张小尺寸图像；其中，裁剪后的同一场景的数字正射影像和冠层高度模型图像具有相同的地理位置，且具有重叠区域。

15、可选地，空间特征指示果树的高度分布范围为第一高度分布范围；生成模块具体用于：基于裁剪后的冠层高度模型图像进行局部极大值点检测，将局部极大值点作为树冠顶点，将树冠顶点处的像元值作为树的高度值；筛选高度值在第一高度分布范围内的树冠顶点，并统计筛选后的各个树冠顶点处的像元值，获取树的高度分布直方图；基于高度分布直方图，计算果树的高度均值和高度标准差，确定果树的第二高度分布范围。

16、可选地，光谱特征指示果树的目标植被指数灰度值在第一灰度范围，目标植被指数为绿叶指数；生成模块具体用于：基于裁剪后的数字正射影像的波段，确定目标植被指数的植被指数灰度图像；基于植被指数灰度图像，获取基于第二高度分布范围过滤后的树冠顶点处的植被指数灰度值；筛选植被指数灰度值在第一灰度范围内的树冠顶点，并统计筛选后的各个树冠顶点处的植被指数灰度值，得到果树的植被指数分布直方图；基于植被指数分布直方图，计算果树的植被指数均值和植被指数标准差，确定果树的植被指数分布范围；其中，分割提示信息包括果树的植被指数分布范围。

17、可选地，形态特征指示果树的冠层长宽比在第一长宽比范围内；生成模块具体用于：检测图像预分割结果中的图斑的最小外接矩形，得到每个图斑的长宽比；筛选图像预分割结果中长宽比在第一长宽比范围内的图斑；检测长宽比筛选后的图斑轮廓内的像素点集，得到果树图斑的面积分布直方图；基于果树图斑的面积分布直方图，计算果树图斑的面积均值和果树图斑的面积标准差，得到果树的树冠面积分布范围。

18、可选地，筛选模块具体用于：从图像预分割结果中筛选树高在第二高度分布范围内的第一组图斑；从第一组图斑中筛选植被指数灰度值在植被指数灰度值范围内的第二组图斑；从第二组图斑中筛选长宽比在第三范围内，且树冠面积在树冠面积分布范围内的第三组图斑，第三组图斑为果树冠层的部分图斑。

19、可选地，生成模块用于，基于果树冠层的部分图斑中每个图斑的外接矩形的四个角点的坐标，计算部分图斑中每个图斑的中心坐标点；将部分图斑中每个图斑的中心坐标点作为第1轮交互分割的分割提示信息，基于第1轮交互分割的分割提示信息和sam图像分割模型对裁剪后的数字正射影像进行特定目标为果树冠层的第1轮交互分割，得到第1轮交互分割结果；将第i轮交互分割结果中每个图斑的中心坐标点作为果树冠层的第i+1轮交互分割的分割提示信息，基于第i+1轮交互分割的分割提示信息和sam图像分割模型对裁剪后的数字正射影像进行特定目标为果树冠层的第i+1轮交互分割，得到第i+1轮交互分割结果；i为小于k的正整数，k为迭代次数，k为大于1的正整数；将第k-1轮生成的分割提示信息作为特定目标为果树冠层的交互分割的分割提示信息的学习结果。

20、可选地，sam图像分割模块还用于，基于第k-1轮学习得到的分割提示信息，和sam图像分割模型对裁剪后的数字正射影像进行特定目标为果树冠层的第k轮交互分割，得到果树冠层最终的提取图斑。

21、本发明实施例的第三方面，提供一种电子设备，电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为：基于无人机航拍图像进行图像预处理，生成数字正射影像和果树的冠层高度模型图像；分别裁剪数字正射影像和冠层高度模型图像；采用sam图像分割模型对裁剪后的数字正射影像进行全分割，得到图像预分割结果；基于果树先验知识、裁剪后的数字正射影像和裁剪后的冠层高度模型图像，筛选图像预分割结果中的图斑得到部分图斑，基于部分图斑生成果树冠层交互分割的分割提示信息，基于分割提示信息和sam图像分割模型对裁剪后的数字正射影像进行交互分割，得到果树冠层的提取结果；其中，果树先验知识包括果树的空间特征、光谱特征和形态特征。

22、本发明实施例的第四方面，本发明实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的一种果树冠层的提取方法的步骤。

23、本发明实施例的第五方面，本发明实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的一种果树冠层的提取方法的步骤。

24、本发明实施例提供的果树冠层的提取方法，可以基于无人机航拍图像进行图像预处理，生成数字正射影像和果树的冠层高度模型图像；然后分别裁剪数字正射影像和冠层高度模型图像；之后采用sam图像分割模型对裁剪后的数字正射影像进行全分割，得到图像预分割结果；基于果树先验知识、裁剪后的冠层高度模型图像和裁剪后的数字正射影像，筛选图像预分割结果得到的部分图斑，基于部分图斑生成果树冠层交互分割的分割提示信息，基于分割提示信息和sam图像分割模型对裁剪后的数字正射影像进行交互分割，得到果树冠层的提取结果。由于使用的果树先验知识包括果树的空间特征、光谱特征和形态特征，可以准确学习到数字正射影像中的分割提示信息，基于学习到的分割提示信息对裁剪后的数字影像进行特定目标为果树冠层的交互分割，进而准确快速提取到果树冠层。因此无需像其他基于深度学习方法一样需要精确勾画树冠轮廓样本，无需精确人工设定阈值，也能实现对特定树木冠层(本发明中为果树)的精准提取。可以解决现有果树冠层提取方法严重依赖人工勾画样本数量和样本质量、不同场景下模型迁移性、适用性差的问题。