基于残差增强医学图像超分辨率

本发明涉及图像处理，更具体的说是涉及一种基于残差增强医学图像超分辨率及其方法。

背景技术：

1、早在20世纪80年代末和90年代初，已经开始探索超分辨率技术的概念。早期的研究多数是在使用插值技术和信号处理方法来提高图像质量，但直到20世纪后期，随着计算机处理能力和图像处理算法的进步，超分辨率技术开始引入更复杂的数学模型和机器学习方法，如统计模型和基于深度学习的方法。2000年代初期，随着深度学习技术的兴起，基于卷积神经网络(cnn)的超分辨率和基于生成对抗网络的超分辨率为图像恢复和增强提供了更加准确和高效的方法，与此同时对于更高质量的图像和更精确的诊断需求促使研究人员开始探索超分辨率技术在医学图像中的应用。

2、由于临床诊断对于病情的需求，医学图像相对于普通真实图像来说需要更高的准确性和真实性，而常规的方法往往会出现不尽人意的伪影和失真的细节，所以医学图像超分辨率方法大多都是基于生成对抗网络的图像超分辨率重构。由于其网络的特点，重构出的高分辨率图像往往相比常规的超分辨率方法在纹理细节，图像质量和边缘信息等方面更加符合视觉观感和更具有真实性和准确性。因此本发明提出了一种基于深度学习的新的在医学图像领域的超分辨率框架。

技术实现思路

1、有鉴于此，本发明提供了一种基于3d注意力融合模块的医学图像超分辨率及其方法。

2、为了实现上述目的，本发明采用如下技术方案：

3、本发明采用一对基于循环的生成对抗网络，分别由hr和lr作为输入，方法包括：为了提取到高质量的纹理细节，使用增强残差块来对医学图像的纹理进行提取和增强，并使信息可以从较深层传播到较浅层，确保性能的同时减轻梯度消失和减少过拟合等问题。针对ct图像是一种包含多个层面信息的三维图像，而2d卷积只能处理单个层面，具有一定的个局限性。为了更全面地处理多个层面的信息，引入了3d卷积，并提出了新的注意力模块来有效处理这一挑战。通过这一创新设计，本发明能够更好地捕捉ct图像的层面特征，从而提高超分辨率重建的精度。引入了循环生成对抗网络。这一网络结构不仅有助于维持图像的前后一致性，还有效抑制了伪影的产生。通过在生成器和判别器之间进行对抗训练，本发明的模型能够更好地还原医学图像，避免生成图像中出现不自然的伪影。在增强残差块和3d卷积的协同作用下，我们的方法能够更全面、准确地提取并增强医学图像中的纹理细节。增强残差块的引入使得网络能够更深层次地理解图像信息，而3d卷积的运用则有效处理多个层面的信息，提高了模型的泛化性。通过大量对比实验表明，3d注意力和残差增强块的引入在包括ct图像在内的不同模块的医学图像超分辨率重构上取得了优秀的结果。

4、首先使用由3x3卷积和relu组成的残差增强模块来提取纹理特征，将提取到的特征信息送入由3d注意力和通道注意力，大核注意力组合而成的注意力融合模块mab-3d中，其中每个mab-3d由若干个afm-3d构成，特征信息输入注意力融合模块，其输出通过加权相加或元素级相乘的方式进行融合，形成最终的在三个方面(空间、全局、通道)都被认为是重要的信息的注意力融合特征图，然后经过上采用重建最终得到高质量的超分辨率重建图。

5、之后需要关注通道之外有意义的特征，本发明提出一种由两种注意力组成的融合模块。

6、本发明的3d注意力模块通过定义一个三维卷积层，将输入的特征图x沿着通道维度进行卷积，生成通道维度上的特征映射。为了提高模型的泛化能力和收敛速度，还加入了一层三维的批归一化层。将通道维度上的特征映射输入到sigmoid函数中进行非线性变换，生成通道维度上的注意力权重。最后，将注意力权重乘上原始输入特征图，加权合并得到增强后的特征图。具体可以用以下公式表示：

7、f3d(x)＝βα(fbn(f3d(x)))⊙fx+fx

8、在重构部分，使用亚像素卷积去重构图像从而提高图像的分辨率。

9、为了获得生成的高分辨率图像更多的全局信息和更多的局部纹理，本发明使用基于u-net的鉴别器d1对生成器g生成的图片进行判别，从而优化生成器进一步生成更高质量的图片。其中，鉴别器d通过使用谱归一正则化来帮助训练和防止过度锐化和伪影，从而使得生成器生成质量更高的图像。

10、本发明的mab-3d模块由5个mfm构成，每个mfm为3个3d注意力融合模块进行残差链接。

11、本发明的3d注意力融合模块首先利用通道注意力机制，通过对特征图中不同通道的特征进行加权处理，以赋予不同通道的特征不同的重要性。这一步骤有助于突出特定类型的组织或病变，并提高对关键结构的关注度。接着，利用全局池化层对特征图进行处理，重新编码上下文的全局信息，并通过sigmoid激活函数对特征进行重新缩放。在医学图像中，这种处理能够有效突出重要结构，提高图像的质量和对关键结构的识别能力。然后分别通过大核注意力分支和3d注意力分支来进一步处理特征，大核注意力主要关注于使用大尺寸的卷积核来捕获图像中的全局信息。这有助于识别图像中的整体模式和结构，从而提高超分辨率效果。

12、本发明使用的3d注意力融合模块可以表示为：

13、h3dfm＝hlka(hc(f))+h3d(hc(f))#

14、其中hlka表示大核注意力操作，hc表示空间注意力，f为输入注意力融合模块的特征。其中3d注意力可以用以下公式表达：

15、h3d(f)＝βα(fbn(f3d(f)))☉fx+fx#

16、其中α是激活函数sigmiod，⊙为元素的乘积，β为尺度因子，会在训练迭代中逐渐更新。fbn和f3d分别为批归一化层和3d卷积，fx为输入的特征图。

17、本发明使用的通道注意力如以下公式所示：

18、hs(f)＝β(hconv(havgpool(f)))#

19、上式中β表示relu激活函数，hconv为卷积操作，havgpool为平均池化操作。

20、本发明使用的残差增强模块，由三组3×3卷积层加relu激活函数构成来强化捕获到的纹理细节，并使用残差结构去使信息在不同层之间传播，更好地捕捉特征之间的相关性，最后输出的特征图可以包含更加丰富和有效的特征信息。残差增强块如式下式表示为：

21、hreb＝2relu(conv(4relu(conv(f))+2relu(conv(f))))#

22、其中relu表示relu激活函数，conv为3×3卷积，f为输入特征，+为残差运算学习，hreb为残差增强块输出的特征。

技术特征：

1.基于3d注意力融合模块的医学图像超分辨率，模型包括一对基于循环的生成对抗网络，分别由hr和lr作为输入；

2.根据权利要求1所述的基于3d注意力融合模块的医学图像超分辨率，其特征在于，生成器g的结构包括：

3.根据权利要求1所述的基于3d注意力融合模块的医学图像超分辨率，其特征在于，生成器l的结构包括；

4.根据权利要求1所述的基于3d注意力融合模块的医学图像超分辨率，其特征在于，损失函数包括：

技术总结本发明公开了基于3D注意力融合模块的医学图像超分辨率及其方法，模型包括：一对基于循环的生成对抗网络，分别由HR和LR作为输入；方法包括：本发明使用增强残差块来对医学图像的纹理进行提取和增强，并使信息可以从较深层传播到较浅层，确保性能的同时减轻梯度消失和减少过拟合等问题。针对CT图像是一种包含多个层面信息的三维图像，而2D卷积只能处理单个层面，具有一定的个局限性。本发明引入3D卷积并提出新的注意力模块来处理多个层面的信息，并且构建循环生成对抗网络来保证图像的前后一致性，从而抑制伪影的产生。本发明能够在有效的针对医学图像进行超分辨率的同时，保证更多纹理细节的提取和与原图片的循环一致性。技术研发人员：端木春江,孙乐贤受保护的技术使用者：浙江师范大学技术研发日：技术公布日：2024/8/5