一种基于SAM模型的遥感图像光伏识别方法

本技术属于计算机视觉，具体涉及一种基于sam模型的遥感图像光伏识别方法。

背景技术：

1、随着可再生能源的发展，光伏发电成为了重要的能源形式之一。光伏发电系统主要包括分布式光伏和集中式光伏两种形式。为了更好地监督和管理这些光伏设施，计算机视觉技术和遥感图像的应用变得越来越重要。通过这些技术，可以有效地对光伏设备进行监控、维护以及故障检测等管理工作。

2、目前，基于遥感图像的太阳能光伏分割技术大多采用的是基于监督学习的深度学习算法。这类算法通常是针对特定区域的光伏设施进行分割处理，因此非常依赖于带标注的训练数据集。这包括了数据采集、数据清洗、数据标注等多个步骤，其中数据标注尤其耗时且需要精细的操作。

3、现有的遥感光伏分割技术在应用时高度依赖于已经标注过的训练数据。这意味着，如果想要在一个新的地区或场景下应用，就需要重新收集并标注大量的数据，这不仅耗费时间，而且增加了项目的成本。

4、对于复杂的遥感图像而言，手动标注光伏区域是一个既繁琐又容易出错的过程。此外，当涉及到大规模的图像集合时，保证标注的一致性和准确性也是一个挑战。即便是在有经验的标注团队支持下，完成大规模数据集的标注工作也需要较长的时间，这对于快速部署和应用模型提出了挑战。

技术实现思路

1、本技术提供了一种基于sam模型的遥感图像光伏识别方法，以解决传统遥感光伏分割技术在监督学习应用中对标注数据的过度依赖、数据标注困难标注周期长的问题。

2、本技术所采用的技术方案为：

3、本技术实施例提供一种基于sam模型的遥感图像光伏识别方法，包括：

4、收集并预处理公开的多分辨率遥感光伏分割数据集，将所述数据集用于构建光伏识别的预训练权重，以优化图像编码器；

5、构建包含所述图像编码器、提示编码器和掩码解码器的sam分割网络，并将交互式点击信息和所述数据集输入到所述sam分割网络中；

6、在所述掩码解码器中加入分割输出层，以生成初步分割结果；

7、将所述初步分割结果反馈给交互模块进行交互式调整，调整后重新解码生成最终分割结果。

8、本技术提供的基于sam模型的遥感图像光伏识别方法还包括下述附加技术特征：所述收集并预处理多分辨率光伏分割数据集，将所述数据集用于构建光伏识别的预训练权重，以优化图像编码器，具体为：收集公开的任意地区的多分辨率光伏分割数据，以形成多分辨率光伏分割数据集；

9、对所述数据集进行筛选并得到合适的图像数据，对所述图像数据使用双边滤波器去除噪声并进行标准化处理，使所述图像数据具有相同的长和宽；

10、利用处理后的所述图像数据对预训练模型进行微调，并对预训练模型的原始预训练权重进行调整，从而优化图像编码器。

11、根据本技术的一个实施例，所述构建包含所述图像编码器、提示编码器和掩码解码器的sam分割网络，并将交互式点击信息和所述数据集输入到所述sam分割网络中，具体为：

12、通过交互模块的交互操作，获取所述数据集中的正负样本像素点，以形成交互式点击信息，基于所述交互式点击信息，构建所述提示编码器；

13、将所述图像数据和所述交互式点击信息传输到所述图像编码器和所述提示编码器中，得到编码信息。

14、根据本技术的一个实施例，所述在所述掩码解码器中加入分割输出层，以生成初步分割结果，具体为：在所述掩码解码器中加入分割输出层用于输出语义信息，通过多层感知机制在输出掩码时将所述语义信息与所述图像数据进行叠加，以输出所述初步分割结果。

15、根据本技术的一个实施例，所述通过多层感知机制在输出掩码时将所述语义信息与所述图像数据进行叠加，具体为：

16、所述图像数据通过交互模块传输给图像编码器；

17、所述图像数据被分块处理，并进行嵌入操作，即将输入的图像转化为嵌入向量，通过添加绝对位置信息来增强嵌入向量，从而得到编码后的向量；通过连接模块进行一系列的卷积操作和层归一化，最终输出相应的特征图。

18、根据本技术的一个实施例，还包括：所述提示编码器针对传入的点信息进行参数记录，包括嵌入维度以及图像嵌入尺寸，对位置编码层和提示嵌入层进行初始化；

19、所述掩码解码器在初始化阶段接收通道维度、模型类型、预测掩码数量、上采样激活函数以及深度和隐藏维度参数，并定义上采样器和列表，以及预测掩码质量的预测头；

20、所述掩码解码器接收图像编码器的输出图像嵌入、位置编码、点的嵌入和掩码输入的嵌入，生成掩码和掩码质量预测，输出相应的语义信息，并选择合适的掩码切片；

21、掩码解码器返回生成的掩码、掩码质量预测和语义信息的预测结果。

22、根据本技术的一个实施例，所述将所述初步分割结果反馈给交互模块进行交互式调整，调整后重新解码生成最终分割结果，具体为：

23、通过交互模块对初步结果中的正样本像素点或负样本像素点进行调整，以改善分割精度；

24、将调整后的信息重新输入到所述掩码解码器中进行解码，所述掩码解码器接收来自图像编码器和提示编码器的信息，并结合调整后的信息生成新的分割掩码；

25、所述掩码解码器输出更新后的掩码信息、指标信息以及语义信息。

26、一种包含指令的计算机程序产品，当其在设备上运行时，使得设备执行实现基于sam模型的遥感图像光伏识别方法中的步骤。

27、计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现基于sam模型的遥感图像光伏识别方法中的步骤。

28、电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现基于sam模型的遥感图像光伏识别方法中的步骤。

29、由于采用了上述技术方案，本技术所取得的有益效果为：

30、1.本技术通过预训练机制和掩码交互方式，可以高效地分割出光伏类别。这种方法不仅大大减少了标注时间，提高了预测效率，还通过微调方式降低了容错率，从而显著提高了分割遥感图像光伏数据的可用性和可靠性。

31、2.本技术提出了一种通过交互式图像点击和按键实现实时分割结果预测和展示的方法。结合遥感光伏分割模型获取语义信息，在分割完成后，用户可以通过按键浏览不同通道的分割结果并保存。该方法允许用户在图像上快速而准确地进行光伏信息的交互式分割，同时对分割结果进行微调和修正，提高了低分辨率情况下零样本光伏分割的准确率。

32、3.本技术能够识别低分辨率下的分布式光伏和集中式光伏，并对识别目标与相似目标进行交互式区分，避免遗漏，便于光伏区域的管理和规划。这一方法不仅提高了识别效率，减少了识别次数，还能更高效且准确地识别遥感光伏数据。

33、4.本技术通过微调预训练权重，更加专注于遥感图像中的光伏类别的分割。通过构建掩码交互模块，有效提升了光伏的分割效率。同时，改进的掩码解码器模块能够输出更加准确的语义信息。相较于原模型，该方法在光伏类别的语义分割任务中表现更优，显著提高了分割结果的精度和可靠性。