一种RAW域多曝光图像融合方法、装置及存储介质

本发明涉及图像处理，尤其是涉及一种raw域多曝光图像融合方法、装置及存储介质。

背景技术：

1、多曝光图像融合是一种常见的生成高动态范围(high dynamic range,hdr)图像的方法，旨在通过融合一组不同曝光的低动态范围(low dynamic range,ldr)图像来生成动态范围更高的hdr图像。近年来，得益于深度学习的发展，基于深度学习的方法在多曝光图像融合领域取得了一些进展，其大幅提升了融合算法的性能。

2、然而，现有的大多数基于深度学习的多曝光图像融合方法存在以下两个明显问题：(1)大多数现有方法都是在srgb域上进行多曝光图像融合，这需要使用图像信号处理(image signal processor,isp)操作将相机记录的raw图像转换为srgb图像，再融合多曝光图像。而isp流程通常是有损的，这会导致转换后的srgb图像信息有限，增加多曝光图像融合的难度。此外，随着输入不同曝光图像数量的增加，isp运算流程带来的计算成本也随之增加，导致算法效率低下。(2)现有的基于深度学习的方法通常采用光流或者基于注意力的对齐模块，这类方法难以有效地对齐不同曝光的图像。对于基于光流的方法，输入的多曝光图像亮度是不一致的，不符合光流预测的光照一致性假设，这导致光流难以预测准确，无法进行准确对齐。而基于注意力机制的对齐模块通常只考虑图像相同位置上的特征，难以将相邻图像中的运动区域加以利用。因此，现有的算法在应对运动幅度较大的场景时生成hdr图像时容易产生鬼影现象，生成的hdr图像的视觉质量不高。

3、因此，如何在应对运动幅度较大的场景时，有效避免产生鬼影现象，提高多曝光图像融合效果，生成视觉质量更高的hdr图像，同时提高算法效率，成为本领域需要解决的问题。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的isp运算带来的计算成本增加，且在应对运动幅度较大的场景时生成hdr图像时容易产生鬼影现象，生成的hdr图像的视觉质量不高的缺陷而提供一种raw域多曝光图像融合方法、装置及存储介质。

2、本发明的目的可以通过以下技术方案来实现：

3、根据本发明的第一方面，本发明提供一种raw域多曝光图像融合方法，包括以下步骤：

4、s1，获取多张不同曝光的raw ldr图像，并确定相邻图像和参考图像；

5、s2，利用训练好的多尺度对齐融合网络进行融合并预测，得到raw域hdr图像；

6、其中，所述多尺度对齐融合网络包括多尺度可形变对齐模块和渐进式融合模块，所述多尺度可形变对齐模块用于获取所述相邻图像与所述参考图像对齐后的多尺度特征，所述渐进式融合模块用于接收所述对齐后的多尺度特征，并在每个尺度上进行多曝光特征融合以及hdr预测，所述多尺度对齐融合网络利用预先获取的raw域的多曝光图像融合数据集和多尺度监督损失函数进行训练。

7、作为优选的技术方案，得到所述raw域hdr图像后，执行一次预设的isp运算，对所述raw域hdr图像进行转换，得到srgb域hdr图像。

8、作为优选的技术方案，所述对齐后的多尺度特征的获取过程包括：

9、s201，提取所述相邻图像的多尺度特征和所述参考图像的多尺度特征；

10、s202，在通道维度拼接所述相邻图像的多尺度特征与所述参考图像的多尺度特征，预测所述相邻图像的多尺度特征相对于所述参考图像的多尺度特征的偏移量；

11、s203，基于所述偏移量，对所述相邻图像的多尺度特征进行可变形卷积，得到相应的对齐后的多尺度特征。

12、作为优选的技术方案，所述多曝光特征融合的过程表示为：

13、

14、式中，表示第i个尺度下得到的初步融合特征，h(.)表示n个残差块，n＝4或8，[.]表示特征拼接操作，conv(.)表示卷积运算，表示第i个尺度下参考图像的特征，表示第i个尺度下与其中一个相邻图像特征相应的对齐特征，表示另一个与相邻图像特征相应的对齐特征。

15、作为优选的技术方案，第i个尺度下得到的最终融合特征表示为：

16、

17、式中，fusioni表示第i个尺度下得到的最终融合特征，表示第i个尺度下得到的初步融合特征，fusioni+1表示第i+1个尺度下得到的最终融合特征，skff(.)表示选择性核特征融合运算，ps(.)表示上采样运算，k(.)表示4个残差块。

18、作为优选的技术方案，所述raw域的多曝光图像融合数据集的获取过程具体包括：

19、s211，保持目标物体静止，捕捉多张目标物体的静态多曝光raw ldr图像；

20、s212，利用加权函数将多张所述静态多曝光raw ldr图像融合，得到raw hdr图像标签；

21、s213，从所述静态多曝光raw ldr图像中提取中等曝光的ldr图像；

22、s214，当画面中目标物体或相机移动时，获取低曝光的ldr图像和过曝光的ldr图像；

23、s215，将所述低曝光的ldr图像、所述中等曝光的ldr图像和所述过曝光的ldr图像合并，并将所述raw hdr图像标签作为对应的hdr图像标签，得到相应的raw hdr多曝光图像融合数据；

24、s216，重复s211～s215，得到所述raw域的多曝光图像融合数据集。

25、作为优选的技术方案，获取所述raw域的多曝光图像融合数据集后，进行黑阶校正和像素值范围归一化处理，将处理后的数据输入所述多尺度对齐融合网络进行训练和预测。

26、作为优选的技术方案，所述多尺度监督损失函数表示为：

27、

28、式中，l表示多尺度监督损失函数，t hi)表示色调映射后的第i个尺度的hdr图像标签，表示经过色调映射后的预测的第i个尺度的hdr图像。

29、根据本发明的第二方面，本发明提供一种raw域多曝光图像融合装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现所述的方法。

30、根据本发明的第三方面，本发明提供一种存储介质，其上存储有程序，所述程序被执行时实现所述的方法。

31、与现有技术相比，本发明具有以下有益效果：

32、1、本发明提出的多尺度对齐融合网络采用多尺度可形变对齐模块获取相邻图像与参考图像对齐后的多尺度特征，利用渐进式融合模块在每个尺度上进行多曝光特征融合以及hdr预测，该网络用于从raw域融合多张不同曝光的raw ldr图像，以从粗到细的方式在多个尺度上进行对齐和融合，生成raw hdr图像，能够从大量数据中隐式的学习对齐不同曝光的图像，不受传统光流对齐的光照一致性约束，可以更加准确的对齐不同曝光的图像，并灵活地应用相邻曝光图像中的运动区域来进行多曝光图像融合，因此，在应对运动较大的场景时，可以避免引入鬼影现象，实现更好的多曝光图像融合效果；

33、2、本发明提出的端到端的多尺度对齐融合网络用于从raw域进行多曝光图像融合，与传统的srgb域多曝光图像融合相比，本方法只需要执行一次isp操作，便可获得srgb域hdr图像，能够有效降低计算成本，算法效率更高，并且可以充分地利用原始raw图像蕴含的丰富信息进行多曝光图像融合；

34、3、本发明提出的多尺度对齐融合网络将多尺度可形变对齐模块和渐进式融合模块连接，其中的渐进式融合模块通过逐步融合对齐后的特征，从而逐渐增强对后续生成hdr图像有利的特征并且可以在每个尺度上都预测一张hdr图像，能够引导网络更好地进行多曝光图像融合，提高生成的hdr图像质量；

35、4、本发明提出的多尺度对齐融合网络，利用预先获取的raw域的多曝光图像融合数据集和多尺度监督损失函数进行训练，其中的多尺度监督损失函数可以有效地引导网络中的每一个尺度都实现有效地对齐和融合，从而实现更好的多曝光图像融合效果；

36、5、本发明提出一种有效的raw域的多曝光图像融合数据集构建方法，并构建了一个raw-hdr数据集用于训练和评估不同的多曝光图像融合方法，以弥补raw域多曝光图像融合数据集的缺乏。