高斯-斑状脉冲混合图像噪声的去噪方法、装置、电子设备和存储介质与流程

本发明一般地涉及图像去噪领域，特别地涉及深度学习图像去噪，具体是高斯-斑状脉冲混合图像噪声的去噪方法、装置、电子设备和存储介质。

背景技术：

1、ccd(charge-coupled device)和cmos(complementary metal oxidesemiconductor)等图像传感器为了能够实现对光信号的探测和可视化，必须经过光电转换、信号增益以及信号读出等步骤。然而，在对光信号进行一系列操作的同时也会不可避免的引入图像噪声，这会显著干扰图像原始信号从而降低图像质量，影响人的视觉观察和后续图像分割、目标识别、图像配准等高级视觉任务的准确性。在实际成像场景中，图像噪声往往并非单一类型的简单表现，而是多种噪声成分的复合体，如高斯噪声与脉冲噪声的叠加。

2、相较于传统图像脉冲噪声通常表现为显著高于周围邻域像素值的孤立点，其特点在于局部突变且不具有连续性或扩散性。实际的图像传感器采集到的图像脉冲噪声中通常存在一种随机分布的斑状噪声群。此类噪声在视觉效果上表现为随机分布的、过饱和状态的斑状像素群，具有明显的连续性和扩散性的特点，会导致传统去噪算法对图像的细节和纹理进行过度平滑或模糊化处理。因此针对这种高斯-斑状脉冲混合图像噪声去除的研究显得至关重要。

3、传统的图像去噪算法因其理论基础深厚、硬件兼容性好、在特定的场景中表现良好等特点，在图像处理领域一直扮演着重要的角色。但是，传统图像去噪方法在面对复杂的混合噪声时，具有数学推理复杂度高、优化过程复杂和效果表现不佳等缺陷。随着技术的发展，基于深度学习的图像去噪算法因其具有强大的特征提取和建模能力表现出更高的鲁棒性、自适应性、高效性和优秀的图像恢复能力。

4、因此，有必要基于深度学习研究对混合噪声的去噪方案，以至少部分地解决现有技术中存在的技术问题。

技术实现思路

1、根据本发明的示例实施例，提供了一种高斯-斑状脉冲混合图像噪声的去噪方案，规避了传统去噪技术在应对复杂混合噪声场景时存在的固有局限性。

2、在本发明的第一方面中，首先提供了一种高斯-斑状脉冲混合图像噪声的去噪方法，包括：分析图像噪声来源，确定图像噪声组成，所述图像噪声组成主要包括斑状脉冲噪声和高斯噪声；基于高斯-斑状脉冲混合图像噪声的特点，确定深度学习网络结构，所述深度学习网络结构为自监督双阶段盲点网络结构，包括：在阶段一，针对斑状脉冲噪声构建u-net去噪模型和noisy-noisy配对数据集，使用迭代策略进行训练，实现对斑状脉冲噪声的去除；在阶段二，基于对斑状脉冲噪声的去噪结果，针对高斯噪声设计并构建u型盲点网络bsn模型进行训练，实现对高斯噪声的去除。根据本发明提供的去噪方法，基于迭代思想和盲点网络(blind spot network,bsn)的设计框架，构建了一种新颖的自监督去噪模型，克服了监督学习方法在去噪领域的局限性，能够有效去除高斯-斑状脉冲混合图像噪声。

3、在一些实施例中，所述在阶段一，针对斑状脉冲噪声构建u-net去噪模型和noisy-noisy配对数据集包括：

4、模型架构采用u-net去噪模型，依据noisy-noisy配对数据集训练策略，将斑状脉冲噪声nsp添加到实际真实噪声图像得到更噪声的图像

5、以更噪声的图像为输入图像，实际真实噪声图像为学习目标，构建noisy-noisy配对数据集。

6、在一些实施例中，所述使用迭代策略进行训练包括：

7、首先建立作为初始数据集，经过模型一轮训练后得到一定程度去噪的第一轮输出

8、在此基础上建立数据集，再次经过一轮模型训练后得到一定程度去噪的第二轮输出建立新的数据集；

9、迭代交替进行上述过程，直至经过n轮训练后，模型对斑状脉冲噪声nsp具有很好的泛化能力。

10、在一些实施例中，所述使用迭代策略进行训练中，采用如下损失函数：

11、

12、其中，lone表示阶段一损失函数，i表示当前迭代轮数(i＝1,2,3,…,n)，表示第i轮所预测的干净图像。

13、在一些实施例中，所述在阶段二，基于对斑状脉冲噪声的去噪结果，针对高斯噪声设计并构建u型盲点网络bsn模型进行训练具体流程为：

14、模型架构采用u型盲点网络bsn，将输入图像通过一个cmconv block模块进行处理，该模块整合了一个用于增强图像特征表达能力的1×1通道扩张卷积以及一个采用中心盲点机制的3×3卷积层，用以提取关键的图像特征信息；

15、在网络的每次下采样阶段均采用尺度因子为s＝2的扩张卷积来替代传统的卷积层，以在不增加参数量的同时实现对感受野的扩大，从而充分发掘并利用目标像素点附近有效的局部信息和目标像素的自身信息；在上采样阶段采用中心盲点机制的3×3卷积层代替传统卷积层，以有效整合来自跳跃连接的前期特征信息的同时，去除潜在噪声的干扰；

16、整体的网络架构中每一层卷积操作之后均采用relu激活函数以引入非线性特性，从而提升模型对复杂图像特征的学习和表达能力。

17、在一些实施例中，所述针对高斯噪声设计并构建u型盲点网络bsn模型进行训练中：

18、首先对输入图像采用特定的像素重排下采样技术pixel-shuffle downsampling，得到一组子图像作为模型输入；

19、在输出时进行逆操作pd-1，以还原图像大小。

20、在一些实施例中，所述针对高斯噪声设计并构建u型盲点网络bsn模型进行训练中，采用如下损失函数：

21、ltwo＝‖pd-1(u(pd(xn)))-xn‖1  (2)

22、其中，ltwo表示阶段二损失函数，u表示网络模型，xn表示阶段一的结果。

23、故，总损失函数ltotal可表示为：

24、

25、在本发明的第二方面中，提供了一种高斯-斑状脉冲混合图像噪声的去噪装置，包括：图像噪声组成确定模块，被配置为分析图像噪声来源，确定图像噪声组成，所述图像噪声组成主要包括斑状脉冲噪声和高斯噪声；深度学习网络结构确定模块，被配置为基于高斯-斑状脉冲混合图像噪声的特点，确定深度学习网络结构，所述深度学习网络结构为自监督双阶段盲点网络结构，包括：斑状脉冲噪声去除模块，被配置为在阶段一，针对斑状脉冲噪声构建u-net去噪模型和noisy-noisy配对数据集，使用迭代策略进行训练，实现对斑状脉冲噪声的去除；高斯噪声去除模块，被配置为在阶段二，基于对斑状脉冲噪声的去噪结果，针对高斯噪声设计并构建u型盲点网络bsn模型进行训练，实现对高斯噪声的去除。

26、在本发明的第三方面中，提供了一种电子设备，所述设备包括：一个或多个处理器；以及存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据本发明的第一方面中所述的方法。

27、在本发明的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据本发明的第一方面中所述的方法。

28、有益效果：本发明提供的去噪方法，基于迭代思想和盲点网络(blind spotnetwork,bsn)的设计框架，构建了一种新颖的去噪模型，克服了监督学习方法在去噪领域的局限性，即在没有真实干净图像数据集作为参考的情况下仍能实现对高斯-斑状脉冲混合图像噪声的去除。同时所提出的创新性框架成功地规避了传统去噪技术在应对复杂混合噪声场景时存在的固有局限性，有效地实现了对噪声的深度去除与图像细节及纹理结构的高度保真之间的平衡。该框架能够有效降低图像噪声对于后续复杂视觉任务(如目标识别、图像分割、图像配准)等的潜在干扰问题。

29、应当理解，技术实现要素：部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。另外，本发明任一实施方式的实现并不意味要同时具备或达到上述有益效果的多个或全部。