基于TransUNet的甲状腺结节超声图像分割方法及系统

本发明涉及图像分割，具体为基于transunet的甲状腺结节超声图像分割方法。

背景技术：

1、甲状腺结节是甲状腺细胞异常增殖后出现在甲状腺组织中的组织块。由于甲状腺结节可能是甲状腺癌症的前兆，甲状腺结节的早期诊断和治疗至关重要。在临床诊断中，甲状腺结节分割的目的是从图像的复杂背景中描绘出感兴趣的结节对象，可用于甲状腺疾病的定量诊断和形态学分析。然而，由于成像的局限性，使医生难以准确识别病变区域的边缘信息；

2、为解决上述问题，近年来，医学图像分割领域学者主要基于u-net和transformer进行研究，transunet因综合了两者的优点在多器官分割和心脏分割中拥有竞争力，然而，在超声甲状腺结节分割领域，transunet忽略了对图像间通道信息的关注，导致特征提取不全面，跳跃连接长距离传输过程中存在特征丢失，为此，我们提出基于transunet的甲状腺结节超声图像分割方法及系统。

技术实现思路

1、本发明的目的在于提供基于transunet的甲状腺结节超声图像分割方法及系统，能够保持高分割精度及稳定性。

2、为实现上述目的，本发明提供如下技术方案：基于transunet的甲状腺结节超声图像分割方法，包括以下步骤：

3、接收甲状腺结节超声图像进行预处理，并将图像数据划分为训练集、验证集和测试集；

4、构建以transunet模型网络为基础的改进分割模型，改进分割模型中包括cnn-setrans编码器、解码器及跳跃连接，在跳跃连接中引入ghost模块，以补偿长距离传输过程中图像特征的损失；

5、在改进分割模型的输出端引入轻量级边界细化模块用于进一步细化边缘；

6、利用训练集对上述改进分割模型进行训练，以总体损失函数最小化为改进分割模型优化目标函数，并根据验证集对改进分割模型进行参数调整，进行新一轮训练，直至得到符合标准的改进分割模型；

7、采用优化后的改进分割模型对待识别超声图像进行识别和分割。

8、进一步地，接收甲状腺结节超声图像进行预处理，并将图像数据划分为训练集、验证集和测试集，具体如下：

9、(1)基于tn3k数据集下载得到甲状腺结节超声图像数据，上述图像数据包含来自不同设备和视角的高质量结节掩膜标记；

10、(2)将上述图像数据按照7：1：2的比例将其划分为训练集、验证集和测试集，对训练集样本进行数据增强处理，扩增训练样本。

11、进一步地，cnn-setrans编码器是基于transformer编码器引入se模块，并将se模块与msa模块串联以构建setrans编码器，用于全面提取图像信息，信息提取具体如下：

12、(1)给定输入图像x∈rh×w×c，空间分辨率为h×w，通道数为c，将cnn提取的特征映射为图像序列化表示，将其重塑为维数为(n，d)的补丁序列，每个补丁形状为xpatch∈rp×p×c；

13、(2)通过补丁嵌入将特征映射到新的嵌入空间，并将位置嵌入添加到补丁嵌入中，以获得每个补丁的空间信息，上述过程表示为：

14、

15、式中，代表线性投影，eposition为1d位置嵌入操作。

16、进一步地，所述msa模块是基于自注意力模块，以不同的学习线性投影h次将查询向量(q)、关键向量(k)和值向量(v)投影到dq、dk和dv维度上，然后，在q、k和v的每个投影版本上，并行执行sa，以生成dv维度的输出值，其中sa从输入向量构造q、k和v，上述过程具体表示为：

17、

18、q＝xwq

19、k＝xwk

20、v＝xwv

21、式中，x∈rn×d为输入序列，q∈rn×d,k∈rn×d,v∈rn×d，wq∈rd×d、wk∈rd×d和wv∈rd×d都为随机权重，其随着网络训练初始化更新；

22、msa(q,k,v)＝concat(h ead1,h ead2,…,h eadh)wo

23、

24、式中，和为投影的参数矩阵。

25、进一步地，所述se模块压缩操作及激励操作：

26、(1)压缩操作将每个通道的特征映射进行全局平均池化，将每个通道的高维特征表示压缩成一个单独的数值，具体为：

27、

28、式中xc(i,j)是通道c在位置(i,j)的像素值，h×w是特征图的尺寸；

29、(2)激励操作使用两个连续的全连接(fc)层和一个激活函数来学习一个权重向量，该向量用于重新校准压缩后的特征，第一个fc层后接一个relu激活函数，第二个fc层后接一个sigmoid激活函数，具体表示如下：

30、sc＝σ(g(zc,w))＝σ(w2relu(w1zc))

31、式中σ是sigmoid函数，g表示激励函数，w1和w2是全连接层的权重矩阵，zc是压缩后的特征；

32、激励输出的权重向量sc被用来重标定原始特征图xc(i,j)，通过逐元素相乘来增强重要的特征并抑制不重要的特征，见下式：

33、yc(i,j)＝sc×xc(i,j)

34、式中yc(i,j)是重标定后的特征图。

35、进一步地，所述ghost模块通过并行机制，使用1×1的点卷积对f进行操作，生成一组新的特征映射g；通过线性投影从g生成更多的特征映射，g’＝l(g)，其中l是一个线性变换；将原始特征映射f和新生成的特征映射g’进行拼接，形成更宽的特征映射[f,g’]。最后将这些加宽的特征映射送入后续的网络层中，用于进行进一步的处理和学习，上述过程具体表示如下：

36、g＝rel(bn(conv1×1))(f)

37、g′＝relu(bn(conv3×3))(g)

38、output＝[f，g′']

39、其中，bn表示批处理操作，output表示最终输出，[,]是串联操作。

40、进一步地，所述解码器包含3个阶段，每个阶段包括一个3×3普通卷积和一个深度可分离卷积，每个阶段之间采用转置卷积层增大特征图，所述深度可分离卷积包括一个逐深度卷积和一个逐点卷积组成，其中逐深度卷积独立地对每个输入通道使用一个滤波器进行处理；所述逐点卷积通过1×1的卷积操作来整合逐深度卷积产生的结果；

41、逐深度卷积将单个滤波器应用于每个输入通道，对于输入张量x∈rh×w×c，逐深度卷积使用相同大小的c个滤波器，输出也有c个通道，具体表示如下：

42、dc＝xc*kc

43、式中dc是第c个通道的输出特征图，xc是第c个通道的输入特征图，kc是第c个滤波器，*表示卷积运算；

44、逐点卷积应用1×1卷积来组合逐深度卷积的输出，若有m个输出通道，则对逐点卷积使用c×m个1×1滤波器，逐点卷积的输出p可以表示为：

45、

46、式中pcm是第c个元素的第m个通道的输出特征图，yc’是dwconv的第c个通道的输出特征图，kc’c是pwconv滤波器，从第c’个输出通道映射到第c个输出通道；

47、因此dsconv的输出表示为：

48、dsconv＝p(d(x))

49、式中，d(x)表示对输入x进行深度卷积操作，p表示对深度卷积的输出进行逐点卷积操作。

50、进一步地，所述轻量级边界细化模块通过两个3×3的普通卷积、一个激活函数的组合以及残差连接来进一步细化边缘，具体如下：

51、使用一个3×3的卷积核卷积到所需的通道数量，然后通过一个3×3的卷积、relu函数及残差连接来增强边缘特征以输出分割结果，具体表示如下：

52、lwbr＝conv3×3+(relu(conv3×3(conv3×3(x))))。

53、进一步地，所述总体损失函数为bce loss损失函数和dice损失函数之和，具体如下：

54、ltotal＝lbce+ldice

55、式中lbce为bce loss损失函数，ldice为dice损失函数；

56、其中bce loss损失函数具体如下所示：

57、

58、式中，n是样本数量，l为损失值，yi是第i个样本的真实标签，通常取值为0或1，yi’是第i个样本的预测值；

59、其中dice损失函数具体如下所示：

60、

61、式中x是预测的分割图，y是真实的分割图，|x∩y|表示x和y共同的像素数，|x|和|y|分别表示x和y中的像素总数。

62、根据本发明的另一方面，本发明提供一种基于transunet的甲状腺结节超声图像分割系统，包括：

63、预处理模块，用于接收甲状腺结节超声图像进行预处理，并将图像数据划分为训练集、验证集和测试集；

64、构建模块，用于构建以transunet模型网络为基础的改进分割模型，改进分割模型中包括cnn-setrans编码器、解码器及跳跃连接，在跳跃连接中引入ghost模块，以补偿长距离传输过程中图像特征的损失；

65、边缘细化模块，用于在改进分割模型的输出端引入轻量级边界细化模块用于进一步细化边缘；

66、训练模块，用于利用训练集对上述改进分割模型进行训练，以总体损失函数最小化为改进分割模型优化目标函数，并根据验证集对改进分割模型进行参数调整，进行新一轮训练，直至得到符合标准的改进分割模型；

67、分割输出模块，用于采用优化后的改进分割模型对待识别超声图像进行识别和分割。

68、本发明至少具备以下有益效果：

69、1.本发明基于transunet网络结构，将se模块引入transformer编码器，与msa模块串联以构建setrans编码器，全面提取通道信息和空间信息，能够提高网络的特征表示能力，且通过将ghost模块引入跳跃连接，能够补偿从cnn的低分辨率到解码器的高分辨率的长距离传输过程中图像特征的损失，还不会显著增加计算成本，同时采用深度可分离卷积(dsconv)取代了解码器中每层末尾的普通卷积，提高了特征提取的有效性；

70、2.本发明采用轻量级边界细化模块，通过残差连接结构进一步进行边缘细化，便于增强分割结果的精确度与稳定性。

71、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。