基于扩散模型的图像去阴影方法、装置、设备和介质

本技术涉及光学图像增强，特别是涉及一种基于扩散模型的图像去阴影方法、装置、设备和介质。

背景技术：

1、近年来，随着人工智能的迅猛发展，各行各业都掀起了基于智能化技术的新一代技术革命浪潮，出现了变分自编码器（variational autoencoder，vae）、生成对抗网络（generative adversarial network，gan）、transformer、扩散模型（diffusion）等众多基础框架，并基于这些框架诞生了 chatgpt、sora 等模型，取得了诸多令人印象深刻的成果。这些成果的背后除了依赖于精心设计的网络框架外，还与训练数据集中的图像质量息息相关。

2、然而，由于目标位置、拍摄角度、环境天气等因素难以控制，成像系统在图像捕获的过程中不可避免地会引入失真，从而降低图像的质量。如何对低质量图像进行增强，使其能够满足一些图像处理任务对数据质量的需求，是当前计算机视觉领域非常火热的研究方向。阴影图像是低质量图像中的一个大类，其退化原因是拍摄场景中的光线被部分或者完全遮挡。虽然阴影为物体形状感知、照明位置、物体遮挡关系等方面提供了重要的视觉线索，但是无阴影图像有助于提高目标检测、识别、跟踪等任务的性能。此外，由于阴影会使图像的色度、亮度、纹理等语义信息发生损失，含阴影的图像不利于作为某些计算机视觉任务的数据集。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够有效进行阴影去除的基于扩散模型的图像去阴影方法、装置、设备和介质。

2、一种基于扩散模型的图像去阴影方法，所述方法包括：

3、获取待去阴影的光学图像；

4、利用阴影检测模型对所述光学图像中的阴影区域进行检测，得到阴影掩码图像；

5、利用本征图像分解模型将所述光学图像进行分解，得到照度图像和反射率图像；

6、将所述阴影掩码图像以及反射率图像作为所述光学图像的物理先验信息，基于所述物理先验信息设计阴影区域条件生成约束以及迭代结构纹理一致约束；

7、利用所述阴影区域条件生成约束以及迭代结构纹理一致约束引导扩散模型，在反向扩散过程中对高斯噪声图像进行去噪，得到去阴影后的增强图像。

8、在其中一实施例中，所述阴影检测模型以双向特征金字塔架构为基础，利用卷积神经网络构建得到；

9、其中采用循环注意残差块对卷积层提取的深层特征和浅层特征进行迭代整合。

10、在其中一实施例中，所述本征图像分解模型包括一个编码器以及两个解码器；

11、所述编码器提取所述光学图像的图像特征，两个所述解码器根据所述图像特征分别生成对应所述光学图像的照度图像和反射率图像；

12、所述编码器和解码器由使用基于局部增强窗口的transformer块组成的多级transformer 框架构建得到。

13、在其中一实施例中，在对所述本征图像分解模型进行训练时：

14、根据多组训练样本构建训练数据集，所述训练样本包括阴影图像以及对应的去阴影图像；

15、将一组训练样本输入至所述本征图像分解模型中，根据所述阴影图像得到对应的第一照度图像以及第一反射率图像，根据所述去阴影图像得到对应的第二照度图像以及第二反射率图像；

16、根据所述阴影图像、第一照度图像以及第一反射率图像计算图像重建损失函数，根据所述第一反射率图像以及第二反射率图像计算反射一致损失函数，根据所述第一照度图像计算照度平滑损失函数；

17、根据所述图像重建损失函数、反射一致损失函数以及照度平滑损失函数对所述本征图像分解模型中的参数进行调整，直至所述本征图像分解模型收敛，则得到训练好的本征图像分解模型。

18、在其中一实施例中，所述图像重建损失函数表示为：

19、；

20、在上式中，分别表示第一照度图像、第一反射率图像以及阴影图像；

21、所述反射一致损失函数表示为：

22、；

23、在上式中，分别表示第一反射率图像和第二反射率图像；

24、所述照度平滑损失函数表示为：

25、；

26、在上式中，表示所述第一照度图像，表示梯度算子，表示阴影掩码算子，表示阴影边缘提取器。

27、在其中一实施例中，在所述扩散模型对高斯噪声图像进行去噪时，采用多次迭代的方式对所述高斯噪声图像去噪，在每一次迭代的去噪过程中：

28、根据上一次迭代去噪的结果，在所述阴影区域条件生成约束下确保只对图像的阴影区域进行估计，并生成中间变量；

29、在所述迭代结构纹理一致约束下保证所述中间变量的反射率图与所述光学图像的反射率图保持一致，并生成当前次迭代去噪的结果。

30、在其中一实施例中，在所述阴影区域条件生成约束中，使用零值域分解对上一次迭代去噪的结果估计的无阴影图像进行修正后，再进行反向扩散得到所述中间变量；

31、在所述迭代结构纹理一致约束中，使用所述本征图像分解模型对以中间变量为条件估计的无阴影图像进行修正，得到与阴影图像反射率一致的无阴影估计图像后，再进行反向扩散得到所述当前次迭代去噪的结果。

32、本技术还提供了一种基于扩散模型的图像去阴影装置，所述装置包括：

33、阴影图像获取模块，用于获取待去阴影的光学图像；

34、阴影掩码图像得到模块，用于利用阴影检测模型对所述光学图像中的阴影区域进行检测，得到阴影掩码图像；

35、本征图像分解模块，用于利用本征图像分解模型将所述光学图像进行分解，得到照度图像和反射率图像；

36、约束生成模块，用于将所述阴影掩码图像以及反射率图像作为所述光学图像的物理先验信息，并基于所述物理先验信息设计阴影区域条件生成约束以及迭代结构纹理一致约束；

37、去阴影图像生成模块，用于利用所述阴影区域条件生成约束以及迭代结构纹理一致约束引导动态阴影感知扩散模型，在反向扩散过程中对高斯噪声图像进行去噪，得到去阴影后的增强图像。

38、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

39、获取待去阴影的光学图像；

40、利用阴影检测模型对所述光学图像中的阴影区域进行检测，得到阴影掩码图像；

41、利用本征图像分解模型将所述光学图像进行分解，得到照度图像和反射率图像；

42、将所述阴影掩码图像以及反射率图像作为所述光学图像的物理先验信息，基于所述物理先验信息设计阴影区域条件生成约束以及迭代结构纹理一致约束；

43、利用所述阴影区域条件生成约束以及迭代结构纹理一致约束引导扩散模型，在反向扩散过程中对高斯噪声图像进行去噪，得到去阴影后的增强图像。

44、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

45、获取待去阴影的光学图像；

46、利用阴影检测模型对所述光学图像中的阴影区域进行检测，得到阴影掩码图像；

47、利用本征图像分解模型将所述光学图像进行分解，得到照度图像和反射率图像；

48、将所述阴影掩码图像以及反射率图像作为所述光学图像的物理先验信息，基于所述物理先验信息设计阴影区域条件生成约束以及迭代结构纹理一致约束；

49、利用所述阴影区域条件生成约束以及迭代结构纹理一致约束引导扩散模型，在反向扩散过程中对高斯噪声图像进行去噪，得到去阴影后的增强图像。

50、上述基于扩散模型的图像去阴影方法、装置、设备和介质，利用阴影检测模型对待进行去阴影的光学图像中的阴影区域进行检测，得到阴影掩码图像，同时，利用本征图像分解模型将光学图像进行分解，得到照度图像和反射率图像，将阴影掩码图像以及反射率图像作为光学图像的物理先验信息，基于物理先验信息设计阴影区域条件生成约束以及迭代结构纹理一致约束，利用阴影区域条件生成约束以及迭代结构纹理一致约束引导动态阴影感知扩散模型，在反向扩散过程中对高斯噪声图像进行去噪，得到去阴影后的增强图像。采用本方法可有效提高低质量图像的去阴影性能。