基于子网注意力和尺度注意力甲状腺结节预测方法

本发明涉及图像处理，尤其涉及基于子网注意力和尺度注意力甲状腺结节预测方法。

背景技术：

1、超声成像技术凭借其无辐射、便捷成像快等诸多优点成为甲状腺结节检查的首选工具；甲状腺是位于颈部前方的一个内分泌腺体，在代谢调节、生长与发育、蛋白质合成、体温调节等方面起到重要作用。

2、甲状腺ti-rads分级系统成为判定甲状腺结节良恶性等级的重要手段；按照甲状腺结节在超声成像上的表现将甲状腺结节分成tr1、tr2、tr3、tr4、tr5，共5个级别，根据等级判断患者是否需要进行细针穿刺。

3、随着计算机技术和人工智能技术的发展，利用深度学习技术对超声影像进行分析，受到越来越多科研工作者的青睐；然而，由于深度学习模型的复杂性，其内部运作过程往往难以解释和理解。

4、公开号为cn111341443a专利，采用resnet34和rpn相结合，但在甲状腺结节的智能预测中结节的形状和纹理是两个主要辨别特征，该方法忽略了该问题。

5、公开号为cn113610859a专利，采用密集连接和空洞卷积策略的前端网络和后端网络repair-module(修正模块)实现了甲状腺结节区域的分割，然而对并没有对甲状腺结节的良恶性等级进行评估。

6、公开号为cn113888576a，采用采用resnet50作为骨干网络融合了双重注意机制网络层和aspp网络层，同样该方法仅仅对甲状腺结节进行了区域风格分割，没有进行结节恶性等级的评估。

技术实现思路

1、针对现有方法的不足，本发明利用子网注意力和尺度注意力融合，提升甲状腺结节超声图像识别准确性。

2、本发明所采用的技术方案是：基于子网注意力和尺度注意力甲状腺结节预测方法，包括以下步骤：

3、步骤一、获取甲状腺结节超声图像，并按照ti-rads标准将超声图像划分不同等级；

4、作为本发明的一种优选实施方式，对超声图像进行预处理，包括：裁剪、翻转、旋转和缩放操作。

5、步骤二、构建改进resnet50主干网络，在resnet50的5个stage后插入5个mnatt模块，利用mnatt模块首先将超声图像划分为若干分组，独立提取分组间特征；其次利用纹理子网捕捉甲状腺结节中的纹理特征；再其次利用形状子网捕捉甲状腺结节的形状特征；并将纹理特征和形状特征进行融合得到空间注意力图；

6、作为本发明的一种优选实施方式，mnatt模块包括通道分组模块、并行子网模块和空间融合模块；其中，

7、通道分组模块将输入图沿通道方向划分为若干分组子特征图，对子特征图学习不同语义。

8、作为本发明的一种优选实施方式，并行子网模块中利用形状子网首先将分组子特征图根据高度和宽度的维度进行自适应平均池化，再进行concat拼接和1x1卷积操作后分为两个向量，将两个向量分别输入sigmoid函数后再通过concat操作得到形状偏向特征图；利用纹理子网首先将分组子特征图进行自适应最大池化，再进行3×3卷积操作，得到纹理偏向特征图。

9、作为本发明的一种优选实施方式，空间融合模块包括平均池化和softmax函数构成的两个分支，将纹理偏向特征图和形状偏向特征图分别输入两个分支中，得到第一个空间注意力图和第二个空间注意力图；将两个空间注意力图进行逐元素相加和sigmoid函数操作得到融合空间注意力图；并将分组子特征图和融合空间注意力图进行矩阵乘法操作得到最终空间注意力图。

10、步骤三、将第二个mnatt模块至第四个mnatt模块的空间注意力图分别输入三个msatt模块中，对空间注意力图进行空间加权，得到空间加权特征图；

11、作为本发明的一种优选实施方式，msatt模块包括三个分支的自适应平均池化层，然后分别进行上采样后进行concat操作；再输入1×1卷积层、relu激活层、3×3卷积层和sigmoid激活层的空间注意力模块得到空间权值，再通过concat操作得到空间加权特征图。

12、步骤四、利用特征融合模块将空间加权特征图和空间注意力图进行融合，得到融合特征图；

13、作为本发明的一种优选实施方式，特征融合模块的输出公式为：

14、

15、

16、

17、其中，表示逐元素的加法操作，upsampling表示上采样操作，conv表示卷积操作；fmn4为第五mnatt模块输出特征图；fms1、fms2、fms3分别为第一、第二、第三msatt模块的输出特征图。

18、步骤五、利用分类模块对融合特征图进行分类；

19、作为本发明的一种优选实施方式，分类模块包括一个自适应平均池化层和一个全连接层。

20、步骤六、利用可视化模块对融合特征图进行梯度信息提取，并利用热力图生成器输出注意力热图。

21、作为本发明的一种优选实施方式，梯度信息提取的公式为：

22、

23、其中，a代表多子网特征图fmn4，k代表特征层a中第个k通道；c代表输入图像的类别；ak代表特征层a中通道k的数据。

24、作为本发明的一种优选实施方式，热力图生成器包括：求均值、加权求和relu操作。

25、本发明的有益效果：

26、1、本发明省去分割结节区域步骤，对结节的良恶性等级进行高精度的评估，提升的工作效率；

27、2、设计多子网注意力模块包含形状和纹理子网，提升甲状腺结节预测准确性；

28、3、将多子网注意力特征图和多尺度空间注意力特征图进行特征融合，提升甲状腺结节识别准确性。

技术特征：

1.基于子网注意力和尺度注意力甲状腺结节预测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于子网注意力和尺度注意力甲状腺结节预测方法，其特征在于，mnatt模块包括通道分组模块、并行子网模块和空间融合模块；其中，

3.根据权利要求2所述的基于子网注意力和尺度注意力甲状腺结节预测方法，其特征在于，并行子网模块中利用形状子网首先将分组子特征图根据高度和宽度的维度进行自适应平均池化，再进行concat拼接和1x1卷积操作后分为两个向量，将两个向量分别输入sigmoid函数后再通过concat操作得到形状偏向特征图；利用纹理子网首先将分组子特征图进行自适应最大池化，再进行3×3卷积操作，得到纹理偏向特征图。

4.根据权利要求2所述的基于子网注意力和尺度注意力甲状腺结节预测方法，其特征在于，空间融合模块包括平均池化和softmax函数构成的两个分支，将纹理偏向特征图和形状偏向特征图分别输入两个分支中，得到第一个空间注意力图和第二个空间注意力图；将两个空间注意力图进行逐元素相加和sigmoid函数操作得到融合空间注意力图；并将分组子特征图和融合空间注意力图进行矩阵乘法操作得到最终空间注意力图。

5.根据权利要求1所述的基于子网注意力和尺度注意力甲状腺结节预测方法，其特征在于，msatt模块包括三个分支的自适应平均池化层，分别进行上采样后进行concat操作；再输入1×1卷积层、relu激活层、3×3卷积层和sigmoid激活层构成的空间注意力模块得到空间权值，再通过concat操作得到空间加权特征图。

6.根据权利要求1所述的基于子网注意力和尺度注意力甲状腺结节预测方法，其特征在于，特征融合模块的输出公式为：

7.根据权利要求1所述的基于子网注意力和尺度注意力甲状腺结节预测方法，其特征在于，分类模块包括一个自适应平均池化层和一个全连接层。

8.根据权利要求1所述的基于子网注意力和尺度注意力甲状腺结节预测方法，其特征在于，梯度信息提取的公式为：

9.根据权利要求1所述的基于子网注意力和尺度注意力甲状腺结节预测方法，其特征在于，热力图生成器包括：求均值、加权求和relu操作。

10.根据权利要求1所述的基于子网注意力和尺度注意力甲状腺结节预测方法，其特征在于，对超声图像进行预处理，包括：裁剪、翻转、旋转和缩放操作。

技术总结本发明涉及图像处理技术领域，尤其涉及基于子网注意力和尺度注意力甲状腺结节预测方法，包括获取甲状腺结节超声图像；利用MNATT模块首先将超声图像划分为若干分组，使分组间特征提取独立；其次利用纹理子网强调捕捉甲状腺结节中的纹理特征；再其次利用形状子网强调甲状腺结节的形状特征；并将纹理特征和形状特征进行融合得到空间注意力图；对空间注意力图进行空间加权，得到空间加权特征图；利用特征融合模块将空间加权特征图和空间注意力图进行融合；利用分类模块对融合特征图进行分类；利用可视化模块对融合特征图进行梯度信息提取，输出注意力热图。本发明利用子网注意力和尺度注意力融合，提升甲状腺结节超声图像识别准确性。技术研发人员：毕卉,王蕃,熊宇豪,吕继东,邹凌受保护的技术使用者：常州大学技术研发日：技术公布日：2024/7/25