一种基于轻量化卷积网络的深度色域压缩方法及装置与流程

本发明涉及图像处理，尤其是指一种基于轻量化卷积网络的深度色域压缩方法、装置及计算机可读存储介质。

背景技术：

1、色域是用于描述给定图像或设备能够显示或捕获的颜色范围，由于各类设备在色域上的差异，需要在连接色彩空间下进行色域压缩以确保跨设备的颜色一致性。色域压缩是跨设备颜色复现中一个必要手段，该算法在两个不同设备的色域间建立映射关系，以便在不同媒介间进行颜色映射，从而在不同设备上呈现出相似的颜色效果，而如何精确复现超出色域范围的彩色图像，同时尽可能的减少图像关键细节以及色彩损失，是色域压缩技术所要解决的核心问题。

2、现有的色域压缩方法包括逐点色域压缩、补偿类色域压缩和迭代类色域压缩；逐点色域压缩主要是在亮度、色调以及彩度空间下进行，通过保持色调角不变，对亮度和彩度值实现映射，该算法是针对单个像素点进行操作，每个像素点都有固定的映射公式，能够达到很高的处理速度，但是由于像素点之间是完全独立的，并未考虑图像的空间特征信息，导致色域压缩后的图像细节严重丢失；补偿类色域压缩算法属于空间类色域压缩算法，其通过高低频分离的方式对低频图像进行色域压缩后再与高频图像合并，对合并后的图像进行二次映射，但是此类算法将高低频图像直接相加，会导致压缩结果存在光晕和过度人工纹理；迭代类色域压缩算法将问题定义为约束优化问题，并以若干度量作为目标函数，从而最小化原始图像和目标图像的人眼感知，使用该算法进行色域压缩后的图像质量相对较高，但是该算法所需的优化准则依赖于复杂的图像质量评价模型，每次迭代都需要利用图像质量评价模型计算当前迭代结果的质量，迭代时间长且计算量大。

3、综上所述，现有的色域压缩方法无法同时兼顾色域压缩后的目标图像质量和色域压缩算法的处理速度。

技术实现思路

1、为此，本发明所要解决的技术问题在于克服现有技术中的色域压缩方法无法同时兼顾色域压缩后得到的目标图像的质量和处理速度的问题。

2、为解决上述技术问题，本发明提供了一种基于轻量化卷积网络的深度色域压缩方法，包括：

3、获取预先完成训练的深度色域压缩模型；所述深度色域压缩模型包括沿正传播方向依次串联的多个采样率不同的下采样编码模块和多个采样率不同的上采样模块；每个下采样编码模块均包括沿正传播方向依次串联的重聚焦深度可分离卷积单元、重聚焦深度卷积单元和池化单元；每个上采样模块均包括沿正传播方向依次串联的上采样单元、重聚焦深度可分离卷积单元和重聚焦深度卷积单元；

4、将待压缩图像输入沿正传播方向依次串联的多个采样率不同的下采样编码模块进行特征提取，输出目标特征图；

5、将所述目标特征图输入沿正传播方向依次串联的多个采样率不同的上采样模块中进行像素恢复，输出压缩后的目标图像。

6、优选地，将待压缩图像输入沿正传播方向依次串联的多个采样率不同的下采样编码模块进行特征提取，输出目标特征图包括：

7、将待压缩图像输入第一个下采样编码模块中的重聚焦深度可分离卷积单元进行卷积，输出第一特征图；

8、将所述第一特征图输入第一个下采样编码模块中的重聚焦深度卷积单元进行卷积，输出第二特征图；

9、将所述第二特征图输入第一个下采样模块中的池化单元进行最大池化，输出池化特征图；

10、将所述池化特征图作为下一个下采样编码模块的输入，将最后一个下采样编码模块中池化单元的输出作为目标特征图。

11、优选地，将所述目标特征图输入沿正传播方向依次串联的多个采样率不同的上采样模块中进行像素恢复，输出压缩后的目标图像包括：

12、将所述目标特征图输入第一个上采样模块中的上采样单元进行上采样，输出第一目标特征图；

13、将所述第一目标特征图输入第一个上采样模块中的重聚焦深度分离卷积单元进行卷积，输出第二目标特征图；

14、将所述第二目标特征图输入第一个上采样模块中的重聚焦深度卷积单元进行卷积，输出第三目标特征图；

15、将所述第三目标特征图作为下一个上采样模块的输入，将最后一个上采样模块中重聚焦深度卷积单元的输出作为压缩后的目标图像。

16、优选地，深度色域压缩模型的训练过程包括：

17、获取训练集中的图像样本；

18、将所述图像样本输入沿正传播方向依次串联的多个采样率不同的下采样编码模块中进行特征提取，输出目标特征图；

19、将所述目标特征图输入沿正传播方向依次串联的多个采样率不同的上采样模块中进行像素恢复，基于最后一个上采样模块的输出构建深度色域压缩损失函数；

20、利用训练集中的图像样本对多个采样率不同的下采样编码模块和多个采样率不同的上采样模块进行迭代训练，直到所述深度色域压缩损失函数的值最小，得到训练好的多个采样率不同的下采样编码模块和多个采样率不同的上采样模块；

21、基于训练好的多个采样率不同的下采样编码模块和训练好的多个采样率不同的上采样模块得到完成训练的深度色域压缩模型。

22、优选地，基于最后一个上采样模块的输出构建深度色域压缩损失函数包括：

23、基于最后一个上采样模块的输出和图像样本的标签图像，构建明度平均绝对值误差损失函数、彩度平均绝对值误差损失函数和色调平均绝对值误差损失函数；

24、基于最后一个上采样模块的输出和图像样本的标签图像之间的亮度相似度、对比度相似度和结构相似度，构建明度视觉感知多尺度结构相似性损失函数、彩度视觉感知多尺度结构相似性损失函数和色调视觉感知多尺度结构相似性损失函数；

25、基于所述明度平均绝对值误差损失函数和所述明度视觉感知多尺度结构相似性损失函数，构建图像样本在明度通道上的损失函数；

26、基于所述彩度平均绝对值误差损失函数和所述彩度视觉感知多尺度结构相似性损失函数，构建图像样本在彩度通道上的损失函数；

27、基于所述色调平均绝对值误差损失函数和所述色调视觉感知多尺度结构相似性损失函数，构建图像样本在色调通道上的损失函数；

28、对所述图像样本在明度通道上的损失函数、在彩度通道上的损失函数和在色调通道上的损失函数进行加权求和，得到深度色域压缩损失函数。

29、优选地，明度平均绝对值误差损失函数为：

30、

31、其中，表示明度平均绝对值误差损失函数，xl表示最后一个上采样模块的输出的图像样本压缩后的目标图像在明度通道上的像素表示，yl表示图像样本的标签图像在明度通道上的像素表示，yli表示图像样本的标签图像在明度通道上第i个像素点的值，xli表示图像样本压缩后的目标图像在明度通道上第i个像素点的值，n表示图像样本的像素点数量；

32、彩度平均绝对值误差损失函数为：

33、

34、其中，表示彩度平均绝对值误差损失函数，xc表示最后一个上采样模块的输出的图像样本压缩后的目标图像在彩度通道上的像素表示，yc表示图像样本的标签图像在彩度通道上的像素表示，yci表示图像样本的标签图像在彩度通道上第i个像素点的值，xci表示图像样本压缩后的目标图像在彩度通道上第i个像素点的值；

35、色调平均绝对值误差损失函数为：

36、

37、其中，表示色调平均绝对值误差损失函数，xh表示最后一个上采样模块的输出的图像样本压缩后的目标图像在色调通道上的像素表示，yh表示图像样本的标签图像在色调通道上的像素表示，yhi表示图像样本的标签图像在色调通道上第i个像素点的值，xhi表示图像样本压缩后的目标图像在色调通道上第i个像素点的值；

38、明度视觉感知多尺度结构相似性损失函数为：

39、

40、其中，表示明度视觉感知多尺度结构相似性损失函数，l(xl,yl)表示xl和yl之间的亮度相似度，α为表示l(xl,yl)重要性的参数，cj(xl,yl)表示xl和yl在第j个尺度上的对比度相似度，m表示图像样本的尺度，βj为表示cj(xl,yl)重要性的参数，sj(xl,yl)表示xl和yl在第j个尺度上的结构相似度，γj为表示sj(xl,yl)重要性的参数；

41、彩度视觉感知多尺度结构相似性损失函数为：

42、

43、其中，表示彩度视觉感知多尺度结构相似性损失函数，l(xc,yc)表示xc和yc之间的亮度相似度，α′为表示l(xc,yc)重要性的参数，cj(xc,yc)表示xc和yc在第j个尺度上的对比度相似度，βj′为表示cj(xc,yc)重要性的参数，sj(xc,yc)表示xc和yc在第j个尺度上的结构相似度，γj′为表示sj(xc,yc)重要性的参数；

44、色调视觉感知多尺度结构相似性损失函数为：

45、

46、其中，表示色调视觉感知多尺度结构相似性损失函数，l(xh,yh)表示xh和yh之间的亮度相似度，α″为表示l(xh,yh)重要性的参数，cj(xh,yh)表示xh和yh在第j个尺度上的对比度相似度，βj″为表示cj(xh,yh)重要性的参数，sj(xh,yh)表示xh和yh在第j个尺度上的结构相似度，γj″为表示sj(xh,yh)重要性的参数。

47、优选地，图像样本在明度通道上的损失函数为：

48、

49、其中，表示图像样本在明度通道上的损失函数，α1表示的权重，g表示高斯权重矩阵；

50、图像样本在彩度通道上的损失函数为：

51、

52、其中，表示图像样本在彩度通道上的损失函数，α2表示的权重；

53、图像样本在色调通道上的损失函数为：

54、

55、其中，表示图像样本在色调通道上的损失函数，α3表示的权重。

56、优选地，所述深度色域压缩损失函数为：

57、

58、其中，表示深度色域压缩损失函数，wl表示图像样本在明度通道上的损失函数的权重，wc表示图像样本在彩度通道上的损失函数的权重，wh表示图像样本在色调通道上的损失函数的权重。

59、优选地，所述训练集中每个图像样本的标签图像均为使用迭代色域压缩算法对所述图像样本进行色域压缩后得到的图像。

60、本发明还提供了一种基于轻量化卷积网络的深度色域压缩装置，包括：

61、模型获取模块，用于获取预先完成训练的深度色域压缩模型；所述深度色域压缩模型包括沿正传播方向依次串联的多个采样率不同的下采样编码模块和多个采样率不同的上采样模块；每个下采样编码模块均包括沿正传播方向依次串联的重聚焦深度可分离卷积单元、重聚焦深度卷积单元和池化单元；每个上采样模块均包括沿正传播方向依次串联的上采样单元、重聚焦深度可分离卷积单元和重聚焦深度卷积单元；

62、特征提取模块，用于将待压缩图像输入沿正传播方向依次串联的多个采样率不同的下采样编码模块进行特征提取，输出目标特征图；

63、像素恢复模块，用于将所述目标特征图输入沿正传播方向依次串联的多个采样率不同的上采样模块中进行像素恢复，输出压缩后的目标图像。

64、本技术提供的基于轻量化卷积网络的深度色域压缩方法将深度学习应用于图像的色域压缩领域，使用多个采样率不同的下采样编码模块对输入图像进行信息浓缩，逐步提取图像特征信息，通过较低采样率的下采样编码模块获取较大感受野内的全局信息，同时利用较高采样率的下采样编码模块提取图像中的局部细节特征；再利用多个采样率不同的上采样模块对下采样编码模块得到的目标特征图进行像素恢复，通过依次串联的采样率不同的上采样模块实现对目标特征图的逐级细化恢复，将目标特征图恢复至更高的分辨率，从而更好地保留原始图像的细节和纹理信息，保证了色域压缩后得到的目标图像的图像质量；同时，本技术通过使用重聚焦深度可分离卷积单元和重聚焦深度卷积单元替换下采样编码模块和上采样模块中的常规卷积单元，从而实现模型的轻量化，减少了模型的参数数量和计算量，提高了模型的运行速度，使得模型更容易在不同硬件和平台上进行部署和扩展。