高光谱模型预训练方法、装置、电子设备及存储介质与流程

本公开涉及高光谱图像处理，尤其涉及一种高光谱模型预训练方法、装置、电子设备及存储介质。

背景技术：

1、自然语言处理transformer模型在图像处理和图像识别领域中具有广泛的应用。当前技术中，在对transformer模型通常是通过对比学习的思路进行预训练。对比学习是自监督学习领域的一个代表性框架，通过对两个样本的相似性进行编码实现特征表达，并在计算机视觉、自然语言处理等领域取得了显著成效。对比学习核心思想是度量样本的特征相似度，使正样本对之间的距离尽可能近并扩大负样本对之间的距离。为实现该目的，在没有标记样本参与训练的前提下，模型需要构造正、负样本获取自监督学习信号。传统的正、负样本构建往往通过数据增广方式实现，然而高光谱遥感影像中不同类样本的序列信息各不相同，裁剪、翻转、平移等手段会对序列信息产生破坏。本项目拟通过对高光谱影像空间、序列特征联合近邻的探索设计正、负样本获取方法，以充分利用高光谱数据内蕴信息。

2、但是，高光谱影像有着“图谱合一”的特性，同类地物的序列信息相似性高并具备成块聚集化分布的特点，并且局部区域内像元通常具有地物空间分布的一致性，更有可能属于同一地物类别。因此上述的训练方法在处理高光谱影像的transformer模型训练中，效果并不好。

技术实现思路

1、本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本公开的一个目的在于提出一种高光谱模型预训练方法。

3、本公开的第二个目的在于提出一种高光谱模型预训练装置。

4、本公开的第三个目的在于提出一种电子设备。

5、本公开的第四个目的在于提出一种非瞬时计算机可读存储介质。

6、本公开的第五个目的在于提出一种计算机程序产品。

7、为达上述目的，本公开第一方面实施方式提出了一种高光谱模型预训练方法，包括：获取待训练的初始高光谱特征模型以及初始训练像素点集合，并获取样本采样距离，其中，所述初始训练像素点集合包括至少一个高光谱图像的目标像素点；针对所述初始训练像素点集合中的任一目标像素点，基于所述样本采样距离和所述目标像素点，从所述高光谱图像中获取所述目标像素点的训练正样本和训练负样本；将所述训练正样本、所述训练负样本和所述目标像素点输入至所述初始高光谱特征模型进行预训练，以生成目标高光谱特征模型。

8、根据本公开的一个实施方式，所述基于所述样本采样距离和所述目标像素点，从所述高光谱图像中进行采样，以获取所述目标像素点的训练正样本和训练负样本，包括：基于所述样本采样距离，以所述目标像素点为中心建立采样框；基于所述采样框在所述高光谱图像中进行采样，以获取所述目标像素点的所述训练正样本和所述训练负样本。

9、根据本公开的一个实施方式，所述获取所述目标像素点的所述训练正样本，包括：获取所述采样框的范围内所有像素点与所述目标像素点的欧氏距离；基于所述欧氏距离从所述采样框的范围内所有像素点中选取目标像素点，作为所述训练正样本。

10、根据本公开的一个实施方式，所述基于所述欧氏距离从所述采样框的范围内所有像素点中选取目标像素点，包括：将所述采样框的范围内所有像素点按照欧氏距离由小至大的顺序进行排列，以获取排序序列；选取所述排序序列前第一设定数量的像素点作为所述目标候选训练像素点。

11、根据本公开的一个实施方式，获取所述目标像素点的所述训练负样本，包括：在所述采样框的范围外，对所述高光谱图像中的像素点进行随机采样，直至获取第二设定数量的采样像素点，作为所述训练负样本。

12、根据本公开的一个实施方式，所述基于所有所述训练正样本和所述训练负样本对所述初始高光谱特征模型进行预训练，以生成目标高光谱特征模型，包括：分别将所述训练正样本、所述训练负样本和所述目标像素点输入至所述初始高光谱特征模型中，以分别生成第一分类结果、第二分类结果和第三分类结果；基于所述第一分类结果、所述第二分类结果和所述第三分类结果对所述初始高光谱特征模型进行预训练，以生成目标高光谱特征模型。

13、根据本公开的一个实施方式，所述基于所述第一分类结果、所述第二分类结果和所述第三分类结果对所述初始高光谱特征模型进行预训练，包括：基于所述第一分类结果和所述第三分类结果计算所述训练正样本的第一样本得分，以及基于所述第二分类结果和所述第三分类结果计算所述训练负样本的第二样本得分；基于所述第一得分和所述第二得分计算所述初始高光谱特征模型的损失值，并基于所述损失值计算对所述初始高光谱特征模型进行预训练。

14、根据本公开的一个实施方式，所述基于所述第一分类结果和所述第三分类结果计算所述训练正样本的第一样本得分，以及基于所述第二分类结果和所述第三分类结果计算所述训练负样本的第二样本得分，包括：通过评分函数对所述第一分类结果和所述第三分类结果进行计算，以获取所述第一样本得分，以及通过所述评分函数对所述第二分类结果和所述第三分类结果进行计算，以获取所述第二样本得分。

15、根据本公开的一个实施方式，所述基于所述第一得分和所述第二得分计算所述初始高光谱特征模型的损失值，包括：将所有所述第一得分和所有所述第二得分进行相加，以计算获取第一分子；将所述第一得分和所述第一分子进行相除，以计算获取第二分子；对所述第二分子进行指对数函数运算，以计算获取第三分子；对所述第三分子进行对数函数运算，并将运算后的结果的绝对值作为所述损失值。

16、为达上述目的，本公开第二方面实施例提出了一种高光谱模型预训练装置，包括：获取模块，用于获取待训练的初始高光谱特征模型以及初始训练像素点集合，并获取样本采样距离，其中，所述初始训练像素点集合包括至少一个高光谱图像的目标像素点；针对所述初始训练像素点集合中的任一目标像素点，基于所述样本采样距离和所述目标像素点，从所述高光谱图像中获取所述目标像素点的训练正样本和训练负样本；将所述训练正样本、所述训练负样本和所述目标像素点输入至所述初始高光谱特征模型进行预训练，以生成目标高光谱特征模型。

17、为达上述目的，本公开第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以实现如本公开第一方面实施例所述的高光谱模型预训练方法。

18、为达上述目的，本公开第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于实现如本公开第一方面实施例所述的高光谱模型预训练方法。

19、为达上述目的，本公开第五方面实施例提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时用于实现如本公开第一方面实施例所述的高光谱模型预训练方法。

20、通过设定样本采样距离，在高光谱图像中确定目标像素点的训练正样本和训练负样本，相较于通过现有技术中数据增广方式采用的旋转、缩放、裁剪和平移等生成训练样本的方式，不会对高光谱的序列关系特性造成破坏，提升最终生成的目标高光谱特征模型训练效果。