图像融合方法、模型训练方法、装置、设备和存储介质与流程

本公开涉及图像处理，尤其涉及一种图像融合方法、模型训练方法、装置、设备和存储介质。

背景技术：

1、图像融合是将同一场景下的来自不同模态的图像融合生成一张信息更加丰富的图像。可见光图像具有较高的分辨率和较丰富的图像细节，红外图像能够更好地抵抗极端环境干扰，将该两种模态的图像进行融合，可以更好地利用两者图像之间的互补性，得到一张细节丰富且适应恶劣天气的图像。

2、目前对可见光图像和红外图像进行融合的算法中，一方面，需要在融合之前获得相同场景相同视角下严格配准的红外和可见光双模态数据，该数据主要通过仿射变换来实现。但是，因为这种图像配准方式的精度不高，导致两个图像之间的配准精度不高，降低了最终的融合图像的质量。另一方面，最终所得的融合图像是通过算法中的多个功能模块的衔接处理得到的，其无法达到整体最优的融合效果，同样会降低最终的融合图像的质量。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种图像融合方法、模型训练方法、装置、设备和存储介质。

2、第一方面，本公开实施例提供了一种图像融合模型训练方法，该方法包括：

3、获取可见光图像样本和红外图像样本；

4、将所述红外图像样本与所述可见光图像样本进行粗配准，生成红外配准图像样本；

5、将所述可见光图像样本和所述红外配准图像样本输入初始融合模型进行整体迭代训练，生成目标融合模型；其中，所述初始融合模型包括初始配准单元、初始提取单元、初始分割单元、初始融合单元和初始重建单元。

6、第二方面，本公开实施例还提供了一种图像融合方法，该方法包括：

7、获取目标红外图像和目标可见光图像，并确定目标融合模型；其中，所述目标融合模型通过本公开任意实施例中的图像融合模型训练方法预先训练获得；所述目标融合模型包括目标配准单元、目标红外提取单元、目标红外分割单元、目标可见光提取单元、目标融合单元和目标重建单元；

8、将所述目标红外图像和所述目标可见光图像输入所述目标配准单元，生成目标配准结果；

9、将所述目标配准结果分别输入所述目标红外提取单元和所述目标可见光提取单元，生成目标红外特征和目标可见光特征；

10、将所述目标红外特征输入所述目标红外分割单元，生成目标红外掩膜；

11、将所述目标红外特征、所述目标可见光特征和所述目标红外掩膜依次输入所述目标融合单元和所述目标重建单元，生成所述目标红外图像和所述目标可见光图像对应的目标融合图像。

12、第三方面，本公开实施例还提供了一种图像融合模型训练装置，该装置包括：

13、样本获取模块，用于获取可见光图像样本和红外图像样本；

14、粗配准模块，用于将所述红外图像样本与所述可见光图像样本进行粗配准，生成红外配准图像样本；

15、模型训练模块，用于将所述可见光图像样本和所述红外配准图像样本输入初始融合模型进行整体迭代训练，生成目标融合模型；其中，所述初始融合模型包括初始配准单元、初始提取单元、初始分割单元、初始融合单元和初始重建单元。

16、第四方面，本公开实施例还提供了一种图像融合装置，该装置包括：

17、图像获取模块，用于获取目标红外图像和目标可见光图像，并确定目标融合模型；其中，所述目标融合模型通过本公开任意实施例中的图像融合模型训练方法预先训练获得；所述目标融合模型包括目标配准单元、目标红外提取单元、目标红外分割单元、目标可见光提取单元、目标融合单元和目标重建单元；

18、目标配准结果生成模块，用于将所述目标红外图像和所述目标可见光图像输入所述目标配准单元，生成目标配准结果；

19、特征生成模块，用于将所述目标配准结果分别输入所述目标红外提取单元和所述目标可见光提取单元，生成目标红外特征和目标可见光特征；

20、目标红外掩膜生成模块，用于将所述目标红外特征输入所述目标红外分割单元，生成目标红外掩膜；

21、目标融合图像生成模块，用于将所述目标红外特征、所述目标可见光特征和所述目标红外掩膜依次输入所述目标融合单元和所述目标重建单元，生成所述目标红外图像和所述目标可见光图像对应的目标融合图像。

22、第五方面，本公开实施例还提供了一种的电子设备，该电子设备包括：

23、处理器和存储器；

24、所述处理器通过调用所述存储器存储的程序或指令，用于执行本公开任意实施例中所说明的图像融合模型训练方法或执行本公开任意实施例中所说明的图像融合方法。

25、第六方面，本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或所述指令使计算机执行本公开任意实施例中所说明的图像融合模型训练方法或执行本公开任意实施例中所说明的图像融合方法。

26、本公开实施例提供的图像融合模型训练的技术方案，能够获取可见光图像样本和红外图像样本；将红外图像样本与可见光图像样本进行粗配准，生成红外配准图像样本；将可见光图像样本和红外配准图像样本输入初始融合模型进行整体迭代训练，生成目标融合模型；该初始融合模型包括初始配准单元、初始提取单元、初始分割单元、初始融合单元和初始重建单元；实现了利用粗略配准的可见光图像和红外图像作为训练样本，对包含图像配准功能的初始配准单元和聚焦融合任务对应的对象的初始分割单元在内的初始融合模型进行整体训练，一方面可以增加对配准功能的模型训练，提升图像配准精度，从而提升训练所得的目标融合模型的融合精度，进而提升其融合红外图像和可见光图像所得的融合图像的质量；另一方面，可通过分割单元重点对融合任务关注的对象进行融合处理，提升目标融合模型对图像融合任务的适配性，进一步提升融合图像的准确性；又一方面，可对融合模型所包含的各功能单元进行整体的联合训练，避免各功能单元的单独训练优化所造成的局部最优问题，使得目标融合模型可达到整体最优的训练效果，从而提升目标融合模型的图像融合效果，进一步提升其所得的融合图像的质量。

27、本公开实施例提供的图像融合的技术方案，能够获取目标红外图像和目标可见光图像，并确定目标融合模型；该目标融合模型包括预先训练所得的目标配准单元、目标红外提取单元、目标红外分割单元、目标可见光提取单元、目标融合单元和目标重建单元；将目标红外图像和目标可见光图像输入目标配准单元，生成目标配准结果；将目标配准结果分别输入目标红外提取单元和目标可见光提取单元，生成目标红外特征和目标可见光特征；将目标红外特征输入目标红外分割单元，生成目标红外掩膜；将目标红外特征、目标可见光特征和目标红外掩膜依次输入目标融合单元和目标重建单元，生成目标红外图像和目标可见光图像对应的目标融合图像；实现了利用配准精度更高、融合区域更适配融合任务、且整体优化训练所得的目标融合模型，对可见光图像和红外图像进行融合处理，提升了所得的目标融合图像与融合任务的适配性，从而提升融合图像的质量。

技术特征：

1.一种图像融合模型训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述可见光图像样本和所述红外配准图像样本输入初始融合模型进行整体迭代训练，生成目标融合模型，包括：

3.根据权利要求1所述的方法，其特征在于，所述将所述可见光图像样本和所述红外配准图像样本输入初始融合模型进行整体迭代训练，生成目标融合模型，包括：

4.根据权利要求1至3任一项所述的方法，其特征在于，所述初始提取单元包括基于yolov8的目标检测与语义分割模型的特征提取分支；所述特征提取分支至少包括组合层、第一下采样层、第二下采样层、第三下采样层和第四下采样层；

5.根据权利要求4所述的方法，其特征在于，在所述初始融合模型的训练过程中，冻结所述第三下采样层、所述第四下采样层和所述分割分支的模型参数。

6.根据权利要求1至3任一项所述的方法，其特征在于，在所述初始融合模型的训练过程中，基于掩膜区域的信息密度构建所述初始融合单元对应的损失函数。

7.一种图像融合方法，其特征在于，包括：

8.一种图像融合模型训练装置，其特征在于，包括：

9.一种图像融合装置，其特征在于，包括：

10.一种电子设备，其特征在于，所述电子设备包括：

技术总结本公开实施例涉及一种图像融合方法、模型训练方法、装置、设备和存储介质。其中，图像融合模型训练方法包括：获取可见光图像样本和红外图像样本；将所述红外图像样本与所述可见光图像样本进行粗配准，生成红外配准图像样本；将所述可见光图像样本和所述红外配准图像样本输入初始融合模型进行整体迭代训练，生成目标融合模型；其中，所述初始融合模型包括初始配准单元、初始提取单元、初始分割单元、初始融合单元和初始重建单元。通过上述技术方案，训练了包含双模态的图像配准功能的整体最优的目标融合模型，从而提升了双模态的融合模型的精度，进而提升可见光图像和红外图像的配准精度及其对应的融合图像的融合效果与图像质量。技术研发人员：李义,杨峰,常智杰,崔东伟受保护的技术使用者：深圳市清岚微视科技有限公司技术研发日：技术公布日：2024/8/20