一种基于生成式对抗网络的图像超分辨率重构方法

本发明涉及图像超分辨率重构，具体涉及一种基于生成式对抗网络的图像超分辨率重构方法。

背景技术：

1、医学成像技术是现代医学领域中不可或缺的一部分，特别是计算机断层扫描(ct)图，它在临床诊断中扮演着至关重要的角色。随着ct技术的不断进步，其在疾病诊断和治疗规划中的临床效益也显著提升，使医生能够更加精准地了解患者身体内部的结构和异常变化。然而，尽管ct技术取得了巨大的成功，但在实际上情况中，受采集设备与环境、网络传输介质与带宽、图像退化模型本身等诸多因素的约束，本实施例通常并不能直接得到具有边缘锐化、无成块模糊的理想的高分辨率的ct图像。图像分辨率与辐射剂量之间的平衡仍然是ct成像领域所面临的一项重大挑战。

2、单幅图像超分辨率重构是一个高度不适定的机器视觉问题，其旨在从一幅低分辨率(low resolution,lr)图片重构得到一幅高分辨率(high resolution,hr)图片。尽管超分辨率重建可以将一张低分辨率图像转换为多张高分辨率图像，但其结果并不唯一。此外，当图像的缩放尺度较大时，想要从低分辨率图像中恢复出高分辨率图像所丢失的高频信息会变得更加困难。因此，研究出一种分辨率更高，能够恢复出更加精密细致纹理特征的算法技术成为了一个亟待解决的技术问题。

3、目前解决图像超分辨率的方法主要分为三类：基于插值的方法，基于重建约束的方法以及基于机器学习的方法。其中基于插值方法图像的方法是一种最直接简单有效的方法，即最邻近插值、双三次插值、双线性插值等。这类方法简单快速，但在重构过程中会丢失高频信息，从而导致了最终生成的图像往往偏向于模糊，缺少细节信息。而基于重建约束的方法主要有最大后验概率法、凸集法等，当先验信息充足时，能够恢复出具有较高质量的图片。近年来，随着科学技术的不断发展，机器学习在计算机视觉领域取得了重大进展。特别是基于深度学习的超分辨率重构方法已成为研究热点。诸如edsr(enhanced deep super-resolution)、espcn(efficient sub-pixel convolutional neural network)、srcnn(super-resolution convolutional neural network)以及srgan(super-resolutiongenerative adversarial network)和esrgan(enhanced super-resolution generativeadversarial network)等方法均基于深度学习原理，旨在提高图像的分辨率质量。其中，edsr通过增强深度网络结构以提高超分辨率性能；espcn利用有效的子像素卷积实现图像的上采样；srcnn则通过卷积神经网络对低分辨率图像进行重建；而srgan则结合生成对抗网络的概念，使得生成的高分辨率图像更加逼真和细致；而esrgan在srgan的基础上进一步增强了图像的超分辨率性能。这些方法的研究和应用为图像超分辨率领域带来了新的思路和方法，为提升图像质量提供了有效的解决方案。尽管上述基于深度学习的超分辨率重构方法利用更快、更深的卷积神经网络取得了显著进展，提升了单幅图像超分辨率的准确性，但在对图像质量要求更高、细节要求更严苛的ct图像领域，如何有效地恢复更加精细的纹理细节仍然是一个重大挑战。

4、另一方面，医学图像领域也在不断探索和推进图像增强技术的发展，特别是随着深度学习技术的广泛应用，其在医学图像处理中所展现的显著效果备受关注。深度学习的快速发展使得卷积神经网络(cnn)成为医学图像处理的重要工具之一。其中，u-net架构的成功实现被视为医学图像处理领域的一次革命性突破，其卓越的特征捕获能力引发了广泛关注，并为医学图像相关领域带来了新的研究和应用可能性。

5、在这一背景下，现有的图像超分辨率重构方法在ct图像上存在的恢复质量不高、纹理细节不清晰以及受噪声影响较大等情况，成为亟待解决的技术问题。

技术实现思路

1、本发明的目的在于克服背景技术中存在的上述缺陷或问题，提供一种基于生成式对抗网络的图像超分辨率重构方法，其能够提高图像恢复质量，增强纹理细节清晰度，降低噪声影响。

2、为达成上述目的，本发明采用如下技术方案：

3、技术方案一：一种基于生成式对抗网络的图像超分辨率重构方法，其包括以下步骤：s10：构建深度学习网络模型，其基于生成式对抗网络架构构建，包括生成器和判别器；所述生成器包括双分支模块和自注意力模块；所述双分支模块基于u-net网络和resnet网络构建，所述u-net网络和resnet网络接收同一低分辨率图像作为输入，所述resnet网络的输出拼接至所述u-net网络的下采样的最终结果，并作为所述u-net网络上采样的初始输入；所述自注意力模块基于自注意力机制构建；所述判别器基于深度卷积神经网络构建；s20：训练深度学习网络模型，得到超分辨率重构神经网络模型；其中，所述生成器的训练集为成对的低分辨率图像和高分辨率图像，所述判别器的训练集为成对的真图像和假图像；s30：将低分辨率图像作为输入，通过s20训练得到的超分辨率重构神经网络模型，输出超分辨率图像。

4、基于技术方案一的技术方案二：所述生成器在训练过程中的损失函数为：其中，为均值绝对误差函数，为对抗损失函数，为感知损失函数，为总变差损失函数。

5、基于技术方案二的技术方案三：所述生成器中，在所述双分支模块和自注意力模块之间，还设置有基于残差网络(residual block)构建的残差模块，所述残差模块由卷积层、批量归一化层和激活函数层构成，其激活函数层采用relu激活函数。

6、基于技术方案三的技术方案四：所述生成器中，在所述自注意力模块之后还包括生成输出模块，所述生成输出模块由卷积层、批量归一化层、上采样层构成。

7、基于技术方案四的技术方案五：所述生成器中，在所述双分支模块和残差模块之间，还设置有转换模块，所述转换模块由卷积层和激活函数层构成，其激活函数层采用prelu激活函数。

8、基于技术方案五的技术方案六：所述判别器依次设有判别输入模块、多个通道模块和判别输出模块；所述判别输入模块由卷积层和激活函数层构成，其激活函数层采用leaky relu激活函数；所述通道模块由卷积层、批量归一化层和激活函数层构成，其激活函数层采用leaky relu激活函数；所述判别输出模块由平均池化层、卷积层、激活函数层和概率输出层构成，其激活函数层采用leaky relu激活函数，概率输出层采用sigmoid激活函数。

9、基于技术方案六的技术方案七：所述双分支模块的resnet网络包括浅层特征提取单元、深层特征提取单元和特征整合单元；输入的低分辨率图像依次经过所述浅层特征提取单元、深层特征提取单元和特征整合单元后，输出特征图至所述u-net网络；所述浅层提取单元由卷积层、批量归一化层和最大池化层、激活函数层构成；差密集子单元构成，每个残差密集子单元由卷积层、批量归一化层和激活函数层构成；resnet网络中的各激活函数层采用relu激活函数；所述特征整合单元由卷积层构成。

10、基于技术方案一的技术方案八：所述双分支模块的u-net网络的下采样部分包括卷积单元和多个下采样单元；所述卷积单元由卷积层、批量归一化层、激活函数层构成，其激活函数层采用relu激活函数；所述下采样单元由最大池化层和卷积单元构成。

11、基于技术方案八的技术方案九：所述双分支模块的u-net网络的上采样部分包括与下采样部分中的卷积单元和下采样单元数量总和一致的上采样单元；所述上采样单元由上采样层和卷积单一构成，上采样层采用线性插值进行上采样操作。

12、基于技术方案一的技术方案十：在步骤s10之前，还包括步骤s01：数据预处理；所述生成器的训练集中，低分辨率图像基于对应的高分辨率图像经过多次下采样形成；所述判别器的训练集中，真图像为高分辨率图像，假图像为高分辨率图像对应的低分辨率图像经过生成器重构后形成的超分辨率图像。

13、由上述对本发明的描述可知，相对于现有技术，本发明具有如下有益效果：

14、本发明提供的基于生成式对抗网络的图像超分辨率重构方法，其以生成式对抗网络为基础构建深度学习网络模型，同时有机结合resnet网络和u-net网络架构，并加入自注意力模块，经过训练后形成图像超分辨率重构神经网络模型，通过该模型即可完成低分辨率图像的超分辨率重构，其重构效果优秀，图像恢复质量高，纹理细节清晰，受噪声影响小。

15、其中，生成式对抗网络具有以下优点：通过对抗训练机制能够在潜在空间中学习到数据的真实分布，这使得它能够生成高度逼真的新样本；数据生成复杂度与数据维度的关系相对较小，随着数据维度增大，只需相应调整生成器网络的输出维度，而无需像传统方法那样面临计算成本的指数级增长；不需要明确指定数据的概率分布模型，而是通过两个网络间的竞争学习数据分布，从而避免了复杂的模型假设和参数设置；生成器和判别器均可采用不同结构的深度神经网络，可以根据任务需求灵活设计，这赋予了模型很高的设计自由度和强大的表达能力；利用对抗性训练方式，可以快速收敛并改进生成质量，两个网络互相推动对方优化，提高了整个训练过程的效率；可以直接从噪声源一次性生成一批新的样本，而不依赖于缓慢的马尔可夫链抽样过程，这加快了新样本的生成速度。

16、同时，基于u-net网络和resnet网络设计双分支模块，其能够解决梯度消失、长距离信息学习困难、细节和全局信息难以兼顾的问题。具体来说，传统的深度学习网络在层数加深时容易出现梯度消失现象，阻碍了网络的训练和优化。通过将resnet152残差网络融入u-net的编码器结构，构建双分支网络，该深度学习网络模型能够有效缓解梯度消失问题，确保深层网络信息的有效传播和优化；ures-net结构使得网络能够更好地学习和保留图像的长距离依赖信息，这对于超分辨率ct图像重建至关重要，因为要恢复出清晰的纹理细节和边缘轮廓，需要充分考虑图像全局和局部之间的关联性；在u-net网络解码器输出后接入残差模块和自注意力模块，使得模型不仅能关注ct图像的局部纹理细节，还能同时较好地保留和利用全局信息，这样生成的超分辨率图像不仅具有精细的局部纹理，而且整体结构连贯、自然。因此，这一深度学习网络模型的双分支网络架构通过融合u-net和resnet的优势，不仅提升了网络在处理复杂医学图像尤其是ct图像超分辨率任务时的性能，还增强了模型的稳定性和泛化能力，使其在不同人体器官、不同放大倍率的ct图像重建任务上都表现优秀，进而提高了医学诊断的准确性和图像质量。

17、此外，在深度学习网络模型中，判别器扮演着区分生成图像与真实图像的关键角色，其具有以下优点：判别器网络旨在识别输入图像是否为真实的高分辨率ct图像还是由生成器生成的图像，通过对生成图像的真实度进行评分，可以反馈给生成器以优化其输出，从而促使生成器生成更接近真实世界的高分辨率图像；通过对抗训练过程，判别器不断提升自身的识别能力，以便能准确地区分细微差别，迫使生成器不断提高生成图像的逼真度，尤其是在纹理细节、结构完整性和视觉真实性等方面；由于判别器网络采用了一系列的卷积层、leaky relu激活函数、批量归一化层和全局平均池化层，能够深入挖掘图像特征，提取高层次的抽象信息，因此能够对生成图像的质量做出细致入微的评价，促进生成器生成图像的整体质量和细节丰富度的提高；判别器的输出参与到了整个系统的损失函数计算中，特别是gan loss部分，它是整个对抗训练的核心组成部分，通过不断地迭代优化，判别器的存在有助于改进整个模型对ct图像超分辨率任务的表现，从而使生成的高分辨率图像在细节、清晰度、一致性等方面达到更高的标准。