一种基于双分支解码器的医学图像分割方法及系统

本发明涉及一种基于双分支解码器的医学图像分割方法及系统，属于图像处理。

背景技术：

1、医疗图像分割在临床治疗中起着至关重要的作用，准确的分割结果可以为临床诊断和随访提供有价值的信息。在临床医学中，传统的图像分割方法使用了比较严格的人工干预算法和专业知识。然而，这个过程耗时、成本高昂，并且可能导致医生疲劳，从而影响诊断准确性。随着计算机硬件设备的进步，基于深度学习的图像分割技术受到了广泛的关注，通过该技术可以准确地从医学图像中分割出解剖结构和病理区域，促进了患者的治疗效果。医学图像分割技术已成为提高医疗咨询效率和精度的关键工具。

2、在众多基于深度学习的分割方法中，基于cnn架构的神经网络，尤其是全卷积网络(fcns)，凭借着其可以处理任意尺寸的图片而在医疗图像分割中占据主导地位。特别是u-net及其变体因其在捕获空间上下文和生成精确分割掩码方面的有效性而备受关注。这些基于cnn的方法都是通过堆叠卷积层和池化层来提取特征信息。卷积层通过卷积核在局部区域内提取特征，然后通过池化层降低特征图的空间尺寸，减少计算复杂度和参数数量。然而，这种方法可能会忽略全局上下文信息，导致分割结果缺乏全局一致性，尤其是在处理复杂解剖结构面临挑战。

3、为了解决传统基于cnn的模型在处理长距离依赖关系时存在的局限性，transformer被提出，通过引入自注意力机制来实现全局依赖关系的建模，由于其不受序列长度的限制而在自然语言处理(nlp)方面取得的重大进展。随后，研究人员开始尝试将transformer引入视觉领域。vision transformer(vit)是首次将transformer应用于图像识别任务，并且取得了显著的成就，证明transformer在处理图像任务上的有效性和潜力。尽管取得了成功，但transformer在有效处理空间信息和适应医学图像的像素级别性质方面存在困难。

4、将transformer架构整合到医学图像分割模型中，引发了新型混合方法的开发。用于处理医疗影像的混合模型的先驱就是transunet网络，它充分发挥了卷积神经网络(cnns)和transformer的优势，具体利用resnet50提取底层特征，然后通过transformer对这些底层特征进行编码，以捕获长距离相关性。transunet通过叠加cnn和transformer的方式，能够有效地同时学习详细的图像特征和全局背景，从而提高了分割准确性和泛化性能。然而，先前的工作主要集中于在编码器阶段整合transformer和cnn的长处，而未对解码器做出任何改进，忽略了优化解码器的重要性。在医疗图像分割领域，我们常常面临样本数据集不均衡的挑战。现有的像素级分割模型通常通过网络内部的特征提取和处理来对每个像素进行分类，从而生成分割结果。然而，这些模型并没有充分利用类别信息来辅助分割任务，导致模型的预测效果受到一定影响。mask transformers试图通过独立的transformer块来增强基于cnn的骨干网络。maxdeeplab将detr中的对象查询解释为用于端到端全景分割的内存编码查询。maxquery和kmax-deeplab提出将查询解释为聚类中心，并添加监管约束来学习查询的聚类表示。据我们了解，目前对基于mask transformer的方法的研究比较少，对于如何把mask transformer更好地结合到现有的骨干网络中还有很大的研究空间。

技术实现思路

1、本发明为解决现有技术中u形网络的解码器通常使用简单的级联上采样，未能最大化transformer捕获长距离依赖关系的能力，并且现有像素级分割模型没有利用类别信息的技术问题，进而提出一种基于双分支解码器的医学图像分割方法及系统。

2、本发明为解决上述问题采取的技术方案是：本发明提出一种基于双分支解码器的医学图像分割方法，包括：

3、步骤1：基于cnn-transformer混合编码器提取医疗图像的图像特征；

4、步骤2：构建像素解码器，基于像素解码器对医疗图像的特征图进行恢复分辨率；

5、步骤3：构建含有lmax transformer的增强解码器，基于增强解码器进行聚类捕获解码后的医疗图像特征的细节信息，获取医疗图像的分割预测结果；

6、步骤4：设计对比聚类分配损失，获取特征增强视图并增强特征增强视图和聚类结果之间的相似度；

7、步骤5：设计多尺度分割损失，基于对比聚类分配损失和多尺度分割损失获取总分割损失，通过总分割损失反向传播优化混合编码器和增强解码器的参数，完成医疗图像的自动分割。

8、可选的，步骤1中提取医疗图像的图像特征的步骤包括：

9、步骤1.1：将医疗图像x∈rh×w×c输入至cnn编码器中进行尺度划分，分别得到和四个尺度的特征图，每个尺度的特征图输出的隐藏特征序列为其中，c为通道数，h为图像高度，w为图像宽度；

10、步骤1.2：对cnn编码器中每个尺度的特征图输出的隐藏特征序列进行重塑，得到个图像块其中每个图像块的大小均为p×p；

11、步骤1.3：使用线性投影将重塑后的图像块映射成d维的embedding，并记录每个图像块的位置信息，获取医疗图像的局部特征；

12、步骤1.4：将d维的embedding输入至由多头自我注意和多层感知器组成的transformer编码器中获取医疗图像的全局特征，cnn-transformer混合编码器输出的隐藏特征序列为

13、可选的，步骤2中对医疗图像的特征图进行恢复分辨率的步骤包括：

14、步骤2.1：对混合编码器输出隐藏特征序列的尺度进行重塑，得到尺度为的隐藏特征序列；

15、步骤2.2：通过级联多个上采样块，将尺度重塑后的隐藏特征序列的分辨率从逐步恢复到h×w。

16、可选的，步骤3中获取医疗图像的分割预测结果的步骤包括：

17、步骤3.1：通过过跳跃连接融合像素解码器和cnn-transformer混合编码器四个尺度的像素特征；

18、步骤3.2：将融合后的每个尺度的像素特征依次输入kmax transformer模块进行聚类；

19、步骤3.3：利用截断正态分布对聚类中心进行初始化，得到输出聚类中心b0,b0∈rn×c；

20、步骤3.4：对聚类中心进行更新；

21、步骤3.5：基于更新后的聚类中心对每个聚类内的像素进行聚合，获取聚类结果；

22、步骤3.6：基于聚类结果获取医疗图像的分割预测结果，并输出特征图f。

23、可选的，步骤3.4中对聚类中心进行更新的步骤包括：

24、步骤3.4.1：将第一个上采样块得到的尺度为的像素特征和聚类中心b0作为第一阶段kmax解码器的输入，得到第一阶段更新的聚类中心b1；

25、步骤3.4.2：依次将所有上采样块输出的像素特征和每个阶段获取的聚类中心作为下一阶段kmax解码器的输入，完成聚类中心的更新。

26、可选的，步骤3.4.2中获取每个阶段获取的聚类中心的步骤包括：

27、步骤3.4.2.1：将像素特征和聚类中心分别进行卷积和归一化，并利用k-means交叉注意力融合像素和聚类中心信息；

28、步骤3.4.2.2：利用多头注意力模块对融合后的像素和聚类中心信息进行聚合和优化，并，得到聚类中心；

29、步骤3.4.2.3：基于前馈网路对多头注意力模块输出的聚类中心进行更新，得到每个阶段更新后的聚类中心；

30、k-means交叉注意力操作的表达式为：

31、zm＝bn(conv(zm))(1)

32、bl″＝kca(bn(conv(bl-1)),zm)+bl-1(2)

33、公式(1)和(2)中，conv()为卷积层，bn(·)为批次归一化算子，kca()为k-meanscross-attention，bl-1为上一层的聚类中心，bl”为第l个kca模块的输出；

34、多头注意力机制操作的表达式为：

35、bl'＝msa(bn(conv(bl”)))+bl”(3)

36、公式(3)中，msa为多头自注意力模块；

37、聚类中心更新的表达式为：

38、bl＝ffn(bn(conv(bl')))+bl'(4)

39、公式(4)中，ffn为前馈神经网络模块，bl为第1层ffn模块的输出。

40、可选的，步骤3.5中对每个聚类内的像素进行聚合的步骤包括：

41、步骤3.5.1：堆叠多层kmaxtransformer模块组成增强解码器；

42、步骤3.5.2：基于kmaxtransformer模块的交叉注意力机制和更新后的聚类中心对每个聚类内的像素进行聚合，得到聚类簇分配结果；

43、交叉注意力的计算表达式为：

44、

45、公式(5)中，c和p分别为查询和像素特征，qc,kp,vp分别为线性投影查询、键和值；聚合的表达式为：

46、

47、

48、公式(6)和(7)中，b、p、a分别为聚类中心、像素特征和聚类簇分配，且b∈rn×c,p∈rhw×c,a∈rhw×n。

49、可选的，步骤4中获取特征增视图并增强特征增强视图和聚类结果之间的相似度的步骤包括：

50、步骤4.1：对解码器最终输出的特征图f进行加噪生成两个增强视图f1和f2；

51、步骤4.2：基于增强视图f1和f2最大化特征图与聚类分类之间的相似度获取对比聚类损失；

52、对比聚类损失的表达式为：

53、

54、公式(8)中，τ为温度参数，f1、f2均为特征增强视图，b为聚类分类结果，q1和q2均由聚类分类结果b和特征增强视图f1和f2计算得到。

55、可选的，步骤5中通过总损失反向优化混合编码器和增强解码器的参数的步骤包括：

56、步骤5.1：对混合编码器和增强编码器中的ground truth进行下采样，得到h×w四个尺度的ground trurh；

57、步骤5.2：计算含有kmax transformer的增强解码器输出的不同尺度的特征图与相应尺度的ground trurh的多尺度分割损失；

58、步骤5.3：将多尺度分割损失和对比聚类损失加权求和，得到总分割损失；

59、步骤5.4：通过总分割损失反向优化混合编码器和增强解码器的参数，完成医疗图像的自动分割；

60、多尺度分割的表达式为：

61、

62、公式(9)中，lce和ldice分别为二元交叉熵损失和dice损失。λ为用于平衡每像素分割损失的超参数，λ1，λ2，λ3，λ4为常数，λ1，λ2，λ3，λ4分别为0.05，0.05，0.1，0.8；

63、总分割损失的表达式为：

64、ltotal＝αlseg+βlccl(10)

65、公式(10)中，参数α和β均为常数，α和β分别为0.5，0.1。

66、一种基于混合编码器和双分支解码器的医疗图像分割系统，包括：

67、医疗图像特征获取模块，用于提取医疗图像的图像特征；

68、医疗图像分辨率恢复模块，用于对疗图像的特征图进行恢复分辨率；

69、医疗图像分割预测模块，用于获取医疗图像的分割预测结果；

70、总分割损失获取模块，用于获取交换对比聚类分配损失和多尺度分割损失损失，并基于交换对比聚类分配损失和多尺度分割损失损失获取总分割损失；

71、医疗图像自动分割模块，用于通过总分割损失反向优化混合编码器和增强解码器的参数，完成医疗图像的自动分割。

72、本发明的有益效果是：

73、1.本发明在传统的u形网络分割图像的基础上，提出了双分支解码器，像素解码器和kmax transformer增强解码器。和仅有简单上采样的像素解码器相比，增强解码器充分利用了transformer的远程依赖关系捕获能力避免丢失细节信息。我们学习聚类中心和像素特征之间的交叉注意力，用聚簇分配概念实现分割，弥补上采样丢失的细节信息，得到更准确的分割结果。在心脏和多器官数据集上的实验结果充分证明了kmax-transu的优越性能。

74、2.本发明提出了一种交换对比聚类分配损失，通过将聚类分配作用于增强特征，可以提升特征增强视图之间的一致性，同时提升解码器的解码能力，进一步提高了分割的精度和鲁棒性。

75、3.本发明提出了多尺度分割损失，将模型解码器输出的四个维度的特征与其真实值做分割损失，使得模型更好地学习图像中不同区域的特征表示，并且在处理不同尺度或不同语义级别的结构时更具鲁棒性，改善模型泛化能力。