一种基于聚类融合交叉学习的半监督医学图像分割方法

本发明涉及图像分割，特别涉及一种基于聚类融合交叉学习的半监督医学图像分割方法。

背景技术：

1、医学图像分割是计算机辅助诊断中的一项基础且关键的任务，目的在于以像素级别准确识别出目标器官、组织或病变区域。在计算机辅助诊断(cad)领域，基于深度学习的自动医学图像分割技术已被广泛研究。尽管深度神经网络相比传统算法表现出了显著的进展，但其在训练过程中需要大量的标注数据作为支撑。在实际应用中医学图像语义复杂，标注过程耗时耗力，限制了深度学习算法在该领域的进一步发展。相对地直接获取大量的医学影像数据较为容易，因此为了减轻对标注的依赖、降低成本，半监督学习算法得到了广泛的关注和研究。

2、半监督图像分割方法利用少量标注数据以及大量未标注数据来增强分割模型的准确性和泛化能力，其主要挑战在于如何有效地充分利用未标注数据的信息。基于一致性正则化的方法作为半监督学习的典型方法，通过对图像或网络特征进行扰动，以加强在不同扰动下预测的一致性。一种常见的方法是利用不同结构或不同参数的网络进行交叉训练和学习，其中的代表性方法是交叉伪标签监督(cps)方法。cps将带标签和无标签的图像分别输入到两个具有相同结构但使用不同参数初始化的子网络中。对于带标签的数据，使用相应的真实分割标签对输出结果进行监督；而对于未标注的数据，则分别将两个子网络的预测结果作为伪标签来监督另一个子网络，从而强化两个子网络之间的一致性。然而，在这些方法中，两个子网络独立运行，仅依赖于它们的最终语义分割结果作为伪标签，缺乏网络之间的交互以及整个过程中的约束和引导，可能导致分割性能不佳。

3、针对以上问题，本发明提出了一种基于聚类融合的交叉学习(cfct)机制，将传统的基于像素的分割网络替换为基于聚类假设的mask transformer网络，并采用与cps类似的交叉训练方法来强化两个子网络之间的一致性。从聚类的角度来看，图像分割相当于将像素分配至不同的聚类中心。医学图像分割中常见的困难包括不规则的肿瘤或器官目标形状、模糊的边界和类似的强度分布等，传统的卷积神经网络面对上述困难往往表现不佳。聚类融合网络则通过将容易混淆的区域分配给相应的聚类中心能够更好地解决这些困难，在全局语义信息的配合下能够进行更加准确的语义类别分割。此外，本发明在聚类融合网络的基础上引入了基于聚类中心交换的训练方法，通过交换子网络之间的聚类中心进一步强化一致性，提高了半监督学习的鲁棒性和快速收敛能力。

技术实现思路

1、本发明目的就在于为了解决上述的问题，而提供一种基于聚类融合交叉学习的半监督医学图像分割方法。

2、为实现上述目的，本发明采取的技术方案为：包括cfct采用与cps类似的训练机制，通过两个子网络生成伪标签进行交叉训练学习来加强两个子网络之间的一致性，cfct使用基于聚类融合的mask transformer网络取代传统的基于像素的分割网络，cfn在原始卷积神经网络主干的基础架构中引入了一个目标查询向量，通过将其与cnn骨干网络解码器中输出的多尺度像素特征进行交叉注意力计算来更新目标查询向量，将更新后的目标查询向量视为聚类中心，该聚类中心经过交叉注意力计算得到了不同聚类与像素之间的亲和力，最后，通过一个分割头将更新后的聚类中心与骨干网络输出的图像像素特征合并，得到预测的分割结果。

3、进一步地，骨干网络采用经典的u型网络结构，像素编码器采用resnet50，并设计了一个由残差模块组成的像素解码器处理上采样特征。

4、进一步地，聚类transformer解码器采用双重注意力机制，包含聚类中心与像素特征的交叉注意力以及聚类中心的自注意力，具体如下：首先引入一个参数可学习的特征向量作为聚类目标查询向量，随后将该查询向量与来自骨干网络解码器输出的多尺度特征分别进行交叉注意力计算，并使用基于聚类的argmax函数替代传统的softmax激活函数得到注意力映射矩阵，然后通过注意力映射矩阵对相关像素特征进行加权，从而对聚类中心进行更新。交叉注意力的计算过程表达式如下：

5、

6、其中，表示n个通道数为d的聚类中心，表示更新后的聚类中心，表示从聚类查询向量中映射得到的查询矩阵，和分别表示从大小为d×h×w的像素特征中映射得到的键和值矩阵。

7、进一步地，分割头的设置是将骨干网络输出的图像像素特征与更新后的聚类中心进一步合并，得到最终的分割预测结果，具体如下：首先计算聚类中心和图像像素特征的乘积，得到聚类分配特征它表示每个像素与聚类中心之间的相似性，表达式如下：

8、

9、其中，表示从骨干网络输出的大小为d×h×w的图像像素特征，然后将聚类中心通过一个多层感知机层(mlp)，并通过一个基于维度n的softmax激活函数得到对应k个类别的聚类分类特征最后，将聚类分配结果(ca)与聚类分类特征(ck)进行聚合，生成最终的分割结果计算表达式如下：

10、

11、z＝(ck)t×ca (4)

12、进一步地，cfct中的两个并行子网络分别表示为子网络1和子网络2，均采用了聚类融合网络架构，区别在于它们使用不同的初始网络参数，分别记为θ1和θ2，当给定一张输入图像x，这两个子网络的预测结果表示如下：

13、p1＝f(x；θ1) (5)

14、p2＝f(x；θ2) (6)

15、其中，p1和p2分别代表子网络1和子网络2的预测结果，并且在两个子网络连接到分割头之前引入了两个交叉分支，通过交叉分支，对两个子网络中更新后的聚类中心进行交换，然后将交换后的聚类中心输入到相应子网络的分割头，从而产生两个新的预测结果，定义如下：

16、p1c＝f(x；θ1c)      (7)

17、p2c＝f(x；θ2c)         (8)

18、其中θ1c和θ2c分别表示交换聚类中心后的子网络1和子网络2的网络参数，p1c表示子网络1与子网络2交换聚类中心后的预测分割结果，反之p2c表示子网络2与子网络1交换聚类中心后的分割结果；

19、进一步地，cfct在两个子网络之间通过交换聚类中心以实现聚类交叉验证，并引入了一种新的混合损失函数，在网络训练阶段，首先采用传统的交叉伪监督方法来增强两个模型之间的一致性，根据cps中的训练方法，分别使用两个子网络的one-hot输出结果作为监督另一个子网络的伪标签，由这两个子网络生成的伪标签被定义为：

20、y1＝argmax(p1)     (9)

21、y2＝argmax(p2)          (10)

22、由于y1和y2是伪标签，因此在p1和y1之间或在p2和y2之间不设置梯度反向传播，由此可得无标注数据的交叉训练损失定义如下：

23、lct＝ldice(p1,y2)+ldice(p2,y1)       (11)

24、其中，ldice为dice损失函数，由于更新后的聚类中心聚合了来自不同尺度特征图的信息，根据遵循一致性正则化的原则，来自同一图像的不同子网络的聚类中心是具备一致性的，在此基础上，通过在两个子网络之间交换聚类中心，得到与交换前的子网络相似的预测结果，再得出未标注数据的csct损失定义如下：

25、lcsct＝ldice(p1c,y2)+ldice(p2c,y1)      (12)

26、csct进一步发挥了聚类中心的作用，通过交换聚类中心可以聚合来自初始子网络的多尺度像素特征，并与来自新子网络输出的图像特征进行交互，总体目标函数ltotal由已标注数据集上的有监督损失函数和无标注数据集上的无监督损失函数两部分组成：

27、

28、ltotal＝lsup+λ1lct+λ2lcsct       (14)

29、其中lsup表示监督损失，pl和分别表示从原始子网络和经过聚类交换的子网络获得的标注图像的预测结果，yl表示真实标签，lce和ldice分别表示交叉熵损失和dice损失，λ1和λ2是超参数，根据不同的数据集进行设定。

30、与现有技术相比，本发明具有如下有益效果：

31、(1)提出了一种新颖的基于交叉教学的半监督架构，采用了基于聚类融合的网络设计，将像素级语义分割视为聚类分配过程，从一个全新的角度促进不同子网络之间的一致性。

32、(2)在聚类融合网络的基础上提出了一种基于聚类中心交换的交叉训练方法，进一步为半监督学习过程提供指导和约束，从而提高了网络的鲁棒性和快速收敛性。