一种基于MSA-FA的甲状腺结节弹性超声图像分割方法

本发明属于智能医学图像处理领域，尤其涉及一种基于多尺度注意力和特征对齐(multi-scale attention and feature alignment，msa-fa)的甲状腺结节弹性超声图像分割方法。

背景技术：

1、甲状腺结节超声图像中包含甲状腺结节的大小、形态、结构和血流情况等信息，临床上常用灰阶超声、弹性超声等多种模态超声对甲状腺进行检查。与灰阶超声相比，弹性超声图像能够量化组织硬度，有助于医生更精准地判断病变组织的性质与状态。因此，实现甲状腺结节弹性超声图像分割，获得结节边缘和位置信息，能够提高甲状腺结节良恶性诊断的准确性。

2、基于区域和轮廓的甲状腺结节超声图像分割利用区域间灰度统计特性，或设定初始轮廓和先验形状信息分割甲状腺结节超声图像，需要人工设计特征，建模较困难且分割精度不高。基于深度学习的甲状腺结节超声图像分割利用深度神经网络捕获甲状腺结节超声图像高级语义和上下文信息，能够实现甲状腺结节的精准分割。然而，该方法通常依赖高质量的数据集，弹性超声图像数据采集和标注较困难，导致可用于模型训练的数据较少，限制了基于深度学习的甲状腺结节弹性超声图像分割的临床应用。

3、迁移学习能够缓解医学图像建模数据不足的问题，在数据量受限的情况下提高模型的性能。因此，本发明充分考虑甲状腺结节弹性超声图像和灰阶超声图像的共有特征，针对弹性超声图像样本较少影响甲状腺结节分割精度的问题，引入迁移学习，构建多尺度注意力模块、特征分布对齐网络，建立基于msa-fa的甲状腺结节弹性超声图像分割模型，实现甲状腺结节弹性超声图像的精准分割。

技术实现思路

1、本发明以提高甲状腺结节弹性超声图像分割精度为目的，发明一种基于msa-fa的甲状腺结节弹性超声图像分割方法，包括以下步骤：

2、步骤一：获取甲状腺灰阶超声和弹性超声图像中甲状腺结节的位置信息并进行裁剪，通过将原始图像旋转不同角度实现数据增强，构建甲状腺结节超声图像数据集；

3、步骤二：引入大核注意力机制，构建多尺度注意力模块应用于u-net跳跃连接层，采用dice损失函数和二元交叉熵损失函数之和作为模型损失函数，建立甲状腺结节灰阶超声图像分割模型；

4、步骤三：结合条件生成对抗网络，构建特征分布对齐网络，实现甲状腺灰阶超声图像和弹性超声图像的特征分布对齐；在步骤二所构建的甲状腺结节灰阶超声图像分割模型的基础上，采用权值共享策略，迁移灰阶超声图像分割网络的特征提取层参数，构建甲状腺结节弹性超声图像分割网络的目标函数，建立基于msa-fa的甲状腺结节弹性超声图像分割模型；

5、步骤四：输入待测甲状腺结节弹性超声图像，利用基于msa-fa的甲状腺结节弹性超声图像分割模型对弹性超声图像中的甲状腺结节进行分割，输出每个弹性超声图像中甲状腺结节的分割结果。

6、具体而言，步骤一包括如下步骤：

7、采集甲状腺结节灰阶超声图像数据、甲状腺结节弹性超声图像数据并去除无效边框，采用labelme标注工具绘制图像中的甲状腺结节边缘形状，生成json格式的标注文件，经过批量二值化处理转为png格式的标签文件；将原始甲状腺超声图像通过旋转角度、水平翻转、垂直翻转等变换进行数据增强，实现甲状腺结节超声图像数据预处理，构建甲状腺灰阶超声数据集和弹性超声数据集。

8、步骤二包括如下步骤：

9、多尺度注意力网络由批量标准化、gelu激活函数、大核注意力和卷积前馈网络组成，原理图如图1所示。大核注意力(large-kernel attention,lka)通过构建一个大内核卷积(大小21×21)来捕获甲状腺结节超声图像中的长距离依赖关系，由深度卷积(大小为7×7)、深度膨胀卷积(大小为5×5，膨胀率为4)和1×1点卷积组成，利用少量计算成本和参数估计甲状腺结节超声图像中某一区域的重要程度并生成注意力权重，其计算式为

10、attention＝conv1×1(dd-conv(d-conv(input)))  (1)

11、

12、式中，input∈rc×h×w为输入的甲状腺结节超声图像，c为甲状腺结节超声图像的通道数，h为甲状腺结节超声图像的长度，w为甲状腺结节超声图像的宽度；d-conv(·)表示深度卷积；dd-conv(·)表示深度膨胀卷积；conv1×1(·)表示点卷积；attention∈rc×h×w为注意力权重；为克罗内克积。

13、将u-net网络中的跳跃连接层替换为多尺度注意力网络模块，将骨干网络提取的前四层特征输入至多尺度注意力网络，利用多尺度注意力网络模块融合甲状腺结节灰阶超声图像的多尺度信息，并将输出的特征图与反卷积得到的特征图融合，充分提取甲状腺结节的边界和细节特征信息，基于多尺度注意力机制的甲状腺结节灰阶超声图像分割网络结构如图2所示。

14、甲状腺结节灰阶超声图像分割网络的损失函数loss为

15、loss＝lossdice+lossbce  (3)

16、式中，lossdice是dice损失函数；lossbec是二元交叉熵(binary cross entropy，bce)损失函数。

17、dice损失函数用于评估甲状腺结节超声图像中不同区域的相似度，dice损失函数值的计算式为

18、

19、式中，|x∩y|是甲状腺结节超声图像中区域x和区域y相交的面积；|x|和|y|分别表示甲状腺结节超声图像中区域x和区域y的面积。

20、bce损失函数用于衡量甲状腺结节超声图像分割模型的输出与真实值的差异程度，bce损失函数值的计算式为

21、lossbce＝-(y*log(p)+(1-y)*log(1-p))  (5)

22、式中，y表示甲状腺结节边缘的真实值；p表示模型输出的甲状腺结节边缘的预测值；log(·)表示对数计算。

23、利用步骤一构建的甲状腺结节灰阶超声图像训练数据对预训练分割模型进行训练，迭代网络参数至损失函数收敛，获得基于多尺度注意力机制的甲状腺结节灰阶超声图像分割模型。

24、步骤三包括如下步骤：

25、引入条件生成对抗网络，采用甲状腺结节灰阶超声图像分割网络的特征提取层来提取灰阶超声图像和弹性超声图像的特征，然后分为两支，一支使用灰阶超声图像特征和标签来训练灰阶超声图像鉴别器，另一支则是计算域分类误差，判定输入的特征是来自灰阶超声图像还是弹性超声图像，从而让模型理解并减小不同模态间的特征分布差异，实现跨模态特征分布的对齐。

26、甲状腺结节灰阶超声图像和弹性超声图像特征分布对齐网络如图3所示，结合条件生成对抗网络目标函数，构建甲状腺结节超声图像特征分布对齐网络的损失函数lossda为

27、lossda＝lmmd+lcoral  (6)

28、式中，lmmd为最大平均差异(maximum mean discrepancy，mmd)损失函数；lcoral为coral损失函数。

29、计算mmd损失值为

30、

31、式中，φ(·)表示非线性映射函数；n、m分别表示甲状腺结节灰阶超声图像和甲状腺结节弹性超声图像数量；xi和yj分别表示第i个甲状腺结节灰阶超声图像特征和第j个甲状腺结节弹性超声图像特征。

32、coral损失函数通过计算甲状腺结节灰阶超声图像与甲状腺结节弹性超声图像分布的二阶矩，表征分布的差异程度，coral损失函数值的计算式为

33、

34、式中，d为特征位数；cs和ct分别为灰阶超声图像特征和弹性超声图像特征经过域适应层输出的协方差矩阵。

35、结合损失函数和正则化项，构建甲状腺结节弹性超声图像分割网络的目标函数。目标函数l由dice损失函数、二元交叉熵损失函数和正则化项组成，通过误差的反向传播，不断更新模型参数，使目标函数收敛。模型的优化目标为

36、

37、式中，θ为甲状腺结节弹性超声图像分割模型参数；λ为正则化系数。

38、构建的甲状腺结节弹性超声图像分割模型的结构如图4所示，采用步骤一构建的甲状腺结节弹性超声图像训练数据对甲状腺结节弹性超声图像分割模型进行训练，迭代网络参数至目标函数收敛，获得基于msa-fa的甲状腺结节弹性超声图像分割模型。

39、步骤四包括如下步骤：

40、输入待分割的甲状腺弹性超声图像，加载步骤三训练完成的基于msa-fa的甲状腺结节弹性超声图像分割模型，对甲状腺结节弹性超声图像数据进行分割，输出最终弹性超声图像的甲状腺结节分割结果。

41、本发明的优点：针对甲状腺弹性超声数据较少影响甲状腺结节分割精度的问题，充分考虑了甲状腺结节弹性超声图像和甲状腺结节灰阶超声图像的共有特征，在u-net网络的跳跃连接中引入多尺度注意力，增强分割网络的甲状腺结节超声图像局部信息和全局信息提取能力，提高了甲状腺结节灰阶超声图像分割的精度；在此基础上，采用特征分布对齐网络和权值共享的策略，将灰阶超声图像特征迁移到弹性超声图像中，实现了甲状腺结节弹性超声图像的精准分割，提高了甲状腺结节弹性超声图像的分割精度。