多模态火烧迹地检测方法、装置、设备及介质

本发明属于火烧迹地检测，尤其涉及一种多模态火烧迹地检测方法、装置、设备及介质。

背景技术：

1、目前，火烧迹地检测主要依赖于遥感影像技术，通过对卫星、无人机等设备获取的图像进行分析。传统的火烧迹地检测技术主要使用单一模态的遥感数据，提取特定的光谱指数，纹理信息和多光谱波段信息，根据合适的阈值或使用随机森林等机器学习方法区分烧毁和未烧毁的地区。然而，这些单一模态的方法面临多种挑战，如植被的季节性变化、云层覆盖和光照条件的变化，这些因素都可能影响检测的准确性和及时性。

2、由于成像条件的限制，如天气、时间、地形等因素的影响，无法保证在每次检测时都能获取到特定模态的影像数据，从而影响了火烧迹地检测结果的及时性和准确性。为了克服特定模态数据的局限性，需要设计一种多模态火烧迹地检测模型，能够处理不同模态的影像数据，如光学影像、红外影像、雷达影像等，减少火烧迹地检测模型对单一模态数据的依赖，提高模型的跨模态泛化能力和适用性。

3、然而，跨模态检测模型面临另一个具有挑战的问题，即模型可能在训练过程中无法一次性获取到所有模态的数据。在现实问题中，不同模态的数据可能需要逐步获取，这要求检测模型具备持续学习新模态知识的能力，能够不断学习新模态数据，及时更新和优化检测模型。然而，一般的机器学习模型在学习新任务的过程中会面临“灾难性遗忘”问题，即学习到新知识时会忘记之前已经学到的旧知识，导致模型在旧任务的表现上性能不佳。

技术实现思路

1、（一）要解决的技术问题

2、为解决现有技术中火烧迹地检测中所出现的上述技术问题至少之一，本发明的实施例提供了一种多模态火烧迹地检测方法、装置、设备及介质，通过在语义分割模型中设置记忆缓冲区，以使模型能够持续学习，根据新的模态数据自适应更新和优化模型，并缓解灾难性遗忘问题。

3、（二）技术方案

4、鉴于上述问题，本发明的实施例提供了一种多模态火烧迹地检测方法、装置、设备及介质。

5、根据本发明的第一个方面，提供了一种多模态火烧迹地检测方法，包括：获取目标火烧迹地遥感观测数据；对目标火烧迹地遥感观测数据进行特征提取，得到目标多维特征数据；以及将目标多维特征数据输入预先训练的目标语义分割模型中进行火烧迹地检测，得到目标火烧迹地遥感观测数据对应的火烧迹地检测数据，其中，目标火烧迹地遥感观测数据包括同一地区火灾前和火灾后的数据；目标语义分割模型能够处理多种模态的火烧迹地遥感观测数据；以及目标语义分割模型包括记忆缓冲区，以使模型能够持续学习，根据新的模态数据自适应更新和优化模型，以缓解灾难性遗忘问题。

6、在一些示例性的实施例中，预先训练得到目标语义分割模型包括：获取按照模态进行分组的多组任务数据，每组任务数据作为独立的训练任务；构建初始语义分割模型用于火烧迹地检测，初始语义分割模型包括记忆缓冲区；使用第一组任务数据对初始语义分割模型进行训练，利用第一损失函数计算分割损失，根据分割损失更新初始语义分割模型中的参数，同时用当前任务的数据更新记忆缓冲区；以及依次训练后续任务数据，更新上次任务数据训练得到的语义分割模型的参数，同时用当前任务的数据更新记忆缓冲区，直至完成所有任务数据的训练，得到目标语义分割模型，其中，第一组任务数据为多组任务数据中的任意一组。

7、在一些示例性的实施例中，获取按照模态进行分组的多组任务数据包括：获取多模态火烧迹地遥感观测数据及火烧迹地遥感观测数据对应的火烧迹地掩码数据；对多模态火烧迹地遥感观测数据和火烧迹地掩码数据进行特征提取，得到多维特征数据；以及将多维特征数据与掩码数据按照模态分组，得到按照模态进行分组的任务数据，其中，不同模态的多维特征数据具有相同的特征维数；多维特征数据包含火灾前和火灾后的信息；以及任务数据按照预设比例划分为训练样本和验证样本。

8、在一些示例性的实施例中，初始语义分割模型使用resnet和u-net结合的深度学习语义分割模型，其中，resnet作为u-net的编码器，将编码器中的每一层与解码器中对应层进行拼接，以使深度学习语义分割模型能够同时学习到浅层与深层的特征。

9、在一些示例性的实施例中，记忆缓冲区用于存储语义分割模型在之前任务训练过程中使用的训练样本以及经过之前任务训练后得到的语义分割模型对训练样本的输出结果，其中，若记忆缓冲区中已存储的数据量小于记忆缓冲区的大小，则将正在处理的数据直接存入记忆缓冲区；若记忆缓冲区中已存储的数据量等于记忆缓冲区的大小，则根据水库抽样方法随机决定是否将正在处理的数据替换记忆缓冲区中已存入的任务数据。

10、在一些示例性的实施例中，依次训练后续任务数据，更新上次任务数据训练得到的语义分割模型的参数，同时用当前任务的数据更新记忆缓冲区包括：基于上次任务数据训练得到的语义分割模型以及当前任务数据，利用第一损失函数计算分割损失，得到分割损失；基于记忆缓冲区中存储的任务数据，利用第二损失函数，计算均方损失作为蒸馏损失，以减少模型在当前任务训练过程中对旧任务知识的遗忘；利用分割损失和蒸馏损失的加权和构造第三损失函数，计算得到总损失；以及基于总损失更新语义分割模型的参数。

11、在一些示例性的实施例中，分割损失函数包括焦点损失函数。

12、本发明的第二方面提供了一种多模态火烧迹地检测装置，包括以下模块：获取模块，用于获取目标火烧迹地遥感观测数据；特征提取模块，用于对目标火烧迹地遥感观测数据进行特征提取，得到目标多维特征数据；以及检测模块，用于将目标多维特征数据输入预先训练的目标语义分割模型中进行火烧迹地检测，得到目标火烧迹地遥感观测数据对应的火烧迹地检测数据，其中，目标火烧迹地遥感观测数据包括同一地区火灾前和火灾后的数据；目标语义分割模型能够处理多模态火烧迹地遥感观测数据；以及目标语义分割模型包括记忆缓冲区，以使模型能够持续学习，根据新的模态数据自适应更新和优化模型，以缓解灾难性遗忘问题。

13、本发明的第三方面提供了一种电子设备，包括：一个或多个处理器以及存储器，存储器用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述方法。

14、本发明的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述方法。

15、（三）有益效果

16、从上述技术方案可以看出，本发明的实施例提供的一种多模态火烧迹地检测方法、装置、设备及介质至少具有以下有益效果其中之一：

17、（1）通过在语义分割模型中设置记忆缓冲区，使模型能够持续学习，能够根据新的模态数据自适应更新和优化模型，并缓解灾难性遗忘问题。

18、（2）本发明能够整合多模态数据，在数据可用性受限的情况下仍能保持高效的检测性能。

19、（3）明通过划分不同模态训练任务并使用记忆缓冲区，使模型保持对旧知识的记忆，并学习新任务的知识，提高了模型的跨模态泛化能力和适用性。

技术特征：

1.一种多模态火烧迹地检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，预先训练得到所述目标语义分割模型包括：

3.根据权利要求2所述的方法，其特征在于，所述获取按照模态进行分组的多组任务数据包括：

4.根据权利要求2所述的方法，其特征在于，所述初始语义分割模型使用resnet和u-net结合的深度学习语义分割模型，其中，resnet作为u-net的编码器，将编码器中的每一层与解码器中对应层进行拼接，以使所述深度学习语义分割模型能够同时学习到浅层与深层的特征。

5.根据权利要求3所述的方法，其特征在于，所述记忆缓冲区用于存储语义分割模型在之前任务训练过程中使用的训练样本以及经过之前任务训练后得到的语义分割模型对所述训练样本的输出结果，

6.根据权利要求2所述的方法，其特征在于，所述依次训练后续任务数据，更新上次任务数据训练得到的语义分割模型的参数，同时用当前任务的数据更新记忆缓冲区包括：

7.根据权利要求2所述的方法，其特征在于，所述分割损失函数包括焦点损失函数。

8.一种多模态火烧迹地检测装置，其特征在于，所述装置包括以下模块：

9.一种电子设备，其中，包括：

10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1~7中任一项所述的方法。

技术总结提供了一种多模态火烧迹地检测方法，适用于森林/草原火烧迹地检测技术领域。该方法包括：获取目标火烧迹地遥感观测数据，包括同一地区火灾前和火灾后的数据；对目标火烧迹地遥感观测数据进行特征提取，得到目标多维特征数据；以及将目标多维特征数据输入预先训练的目标语义分割模型中进行火烧迹地检测，得到火烧迹地检测数据，其中，目标语义分割模型能够处理多种模态的火烧迹地遥感观测数据；以及目标语义分割模型包括记忆缓冲区，以使模型能够持续学习，根据新的模态数据自适应更新和优化模型，以缓解灾难性遗忘问题。本发明还提供了一种多模态火烧迹地检测装置、设备及介质。技术研发人员：周增光,袁媛,李子扬,辛淇,李雪松,舒展,董裕民受保护的技术使用者：中国科学院空天信息创新研究院技术研发日：技术公布日：2025/1/6