基于自监督学习的小肠肿瘤CT图像自动分割方法

本发明涉及一种基于自监督学习的小肠肿瘤ct图像自动分割方法，属于小肠肿瘤的精确分割。

背景技术：

1、癌症作为当前公认的主要健康威胁之一，其发病率和死亡率都居高不下。在全球范围内，胃肠癌占所有癌症发病率的25％以上，占癌症相关死亡率的35％。虽然小肠占整个消化道的四分之三，但与其他的胃肠癌相比，小肠癌是一种相对罕见的疾病。根据《ca：acancerjournal forclinicians》发布的2023年癌症统计报告数据，小肠肿瘤仅占所有胃肠道肿瘤的3.5％左右。但小肠肿瘤的发病部位较深且具隐匿性，受小肠生理特点、解剖结构及长度等因素的干扰，导致其早期临床诊断难度大，且后续康复效果较差。

2、近年来，深度学习技术进步飞速，并且在分类、定位、分割等生物医学图像分析中的应用显著提升。2015年，随着olafronneberger等人提出的u-net网络在图像分割领域展现出的优秀性能，为医学图像分割技术的发展提供了新思路。在此背景下，多种u-net变体网络被引入用来解决生物医学图像分割中的各种问题。isensee等人提出了一种自适应框架nnu-net，该框架可以动态地调整基于u-net的分割流程，包括数据预处理、数据增强等，以满足不同医学图像的分割需求。

3、然而，深度学习方法取得的优异结果很大程度上依赖于大量数据进行模型训练，即全监督的方法。由于医学图像的特殊性，为庞大的数据进行标注需要专业的医生和大量的手动勾画工作，这一方法不仅费时费力，还容易受到医生主观判断侧重点等因素的影响，导致出现人为错误。同时，在ct图像中小肠肿瘤有大有小、形态不一，其形态、亮度等特征与血管以及腹部的其他组织相似，这些因素导致现有的图像分割方法在针对数量有限的小肠肿瘤ct图像数据进行分割时的表现不尽人意。

4、通过数据增强技术对医学图像数据集进行扩展，可以有效解决因标注难度较大以及患者隐私保护需求而导致医学图像分割数据不足的问题。然而，当前多数图像增强算法难以保证生成图像-掩码样本对的真实性和多样性。扩散模型(diffusionmodel，dm)的出现，为这一问题的解决提供了新途径。它通过加噪和去噪的过程可以生成更加逼真、多样且符合数据真实分布的图像，有望在数据增强方面取得显著成就。

5、如何在标注数据有限的情况下充分利用大量未标注冗余数据进行训练，同样是当今医学图像分割面临的难题。自监督学习(self-supervisedlearning，ssl)是一项新兴技术，它旨在弥补在计算机视觉方向上与全监督方法的差距，用以解决可使用标注数据量有限的问题。自监督学习的目的是从大量未标记数据中学习复杂的特征进行预训练，得到有用且更好的数据样本表示；然后使用有限的标注样本对预训练模型进行微调，以适应分割、分类等实际任务。目前多数自监督学习方法依赖通过正样本与负样本计算损失，但在医学图像中存在同类相似性的冲突，生成和识别负样本的难度较大。

技术实现思路

1、针对现有技术存在的上述缺陷，本发明提出了一种改进扩散模型的小肠肿瘤ct图像增强方法和基于自监督学习的小肠肿瘤ct图像自动分割方法。

2、本发明所述的改进扩散模型的小肠肿瘤ct图像数据集扩充方法和基于自监督学习的小肠肿瘤ct图像自动分割方法，包括如下步骤：

3、s1：提出小肠肿瘤ct图像数据集扩充任务，包括如下小步：

4、s11：建立以unet3+为生成网络的扩散模型：使用unet3+作为扩散模型的生成网络，通过引入全尺度跳跃连接，实现了多层次的特征提取，使得模型能够捕获图像中不同尺度、不同级别的特征信息，有利于去除图像中的噪声；通过引入密集的上采样连接，更好地恢复图像的细节信息，帮助模型还原图像的清晰度和真实感；

5、s12：建立cp-unet3+网络结构：以unet3+网络作为基本框架，在跳跃连接的过程中引入了cbam(convolutionalblockattentionmodule)注意力机制和金字塔池化模块(pyramid poolingmodule，ppm)，这有利于模型对输入图像的通道信息以及空间位置信息进行捕捉，有效地融合了全局信息和细节信息；取消了unet3+结构中深度监督机制，减少模型计算量和参数量；

6、s13：引入cbam注意力机制模块：在unet3+跳跃连接过程中引入cbam注意力机制，可以动态地学习通道和空间注意力权重，弥补了通道注意力机制的不足，并将其应用于输入特征图，从而提高模型的性能；

7、s14：引入金字塔池化模块：在金字塔池化模块中引入自适应池化层和分组卷积，取代原有的池化层和卷积模块，可以更好地让模型提取到图像不同尺度的信息，降低了目标区域之间的尺寸相差较大给模型带来的负面影响；

8、s2：提出小肠肿瘤ct图像的自动分割任务，包括如下小步：

9、s21：建立bt-darce-unet网络结构：采用自监督学习barlowtwins结构与u-net网络相结合的方法，在预训练和微调的过程中，引入多尺度特征提取模块darb(depthwise separableconvolutionandasppresiualblock)和cbam、epsa(efficientpyramidsqueezeattention)注意力机制；

10、s22：建立预训练网络结构：通过基于特征去相关的barlowtwins自监督对比学习方法进行预训练，并引入cbam注意力机制，学习大量未标注数据的复杂特征；为更好地学习数据低维特征，去除冗余信息，引入由全局平均池化、全连接层、leakyrelu激活函数和批量归一化层组成的投影层结构；

11、s23：引入darb多尺度特征提取模块：引入深度可分离卷积，减少需要学习的参数量，并提升卷积核参数的使用效率；引入aspp(atrousspatialpyramidpooling)模块，用于更好地捕获多尺度的上下文信息；引入残差结构，以实现梯度信息的长距离传播，尽可能保留原始输入信息的完整性；

12、s24：引入组合损失函数：通过引入二元交叉熵损失lbce和dice系数损失ldice并进行合理地设计，提高图像分割精度，改进的组合损失函数定义如式(3)所示；

13、

14、

15、

16、式中：y表示小肠肿瘤ct图像的真实标签；

17、p(y)表示小肠肿瘤ct图像的预测结果；

18、n表示总像素数；

19、s3：建立小肠肿瘤ct图像数据集进行模型评估，包括如下小步：

20、s31：评价指标的选用：选取dice系数、准确率、jaccard相似系数、豪斯多夫距离和平均一致距离五种指标，其中：

21、dice系数：用于衡量分割结果与真实肿瘤区域之间的相似程度；

22、

23、准确率(accuracy，acc)：预测分割结果中正确预测的像素数量占总像素数量的比例；

24、

25、jaccard相似系数(jaccard)：比较肿瘤预测结果与真实标签之间的差异性和相似性；

26、

27、豪斯多夫距离(hausdorffdistance，hd)：度量分割结果与真实肿瘤区域之间的最大差异；

28、

29、平均一致性距离(meandistancetoagreement，mda)：衡量分割结果中每个像素与真实肿瘤区域之间的平均距离；

30、mda(l,p)＝meanl∈l,p∈p(l-p)(8)

31、式中：tp表示正确预测为肿瘤的像素数量；

32、tn表示正确预测为非肿瘤的像素数量；

33、fp表示错误预测为肿瘤的像素数量；

34、fn表示错误预测为非肿瘤的像素数量；

35、pl、pp分别表示真实肿瘤区域和预测肿瘤区域；

36、l、p分别表示真实标签与预测结果的肿瘤区域集合；

37、s32：评估模型有效性的验证：将bt-darce-unet与全监督学习模型u-net、transunet以及自监督学习模型byol-unet使用小肠肿瘤ct图像数据集进行对比验证，其中全监督学习模型使用全部标注数据进行训练，自监督学习模型使用使用全部未标注数据进行预训练和30％标注数据量进行微调，bt-darce-unet模型获得最优的分割效果，在dice、acc、hd和mda方面明显高于其他模型，jaccard系数同样取得较好的结果；

38、s33：评估微调数据量有效性的验证：使用不同微调数据量进行对比实验，为实际应用中的数据标注策略提供有力依据，在使用30％的微调数据量时，在dice、acc、jaccard、hd和mda均得到良好的效果，能够较好地实现在标注数据有限的前提下，利用大量未标注数据完成小肠肿瘤精确分割的目的。

39、优选地，所述步骤s11中，将原有数据集中的图像及标签输入到cp-unet3+网络中，得到对应的权重；通过扩散模型在高斯噪声中合成标签，然后利用此标签作为条件来合成相应的图像，从而实现生成图像和标签的配对，保证合成的样本对有足够的多样性。样本对图像生成网络基于dpmsolver++实现了加速采样，在只有15到20步的情况下，为像素空间和潜在空间的扩散模型生成高质量的引导采样。通过将u-net结构替换为融合cbam注意力机制和改进金字塔池化结构的cp-unet3+网络，确保模型能更好地捕捉和学习到图像的特征表示，从而生成更贴合实际的高质量样本对。

40、优选地，所述步骤s12中，将扩散模型中的u-net结构替换为unet3+结构并进行改进，得到cp-unet3+结构。在跳跃连接的过程中引入了cbam注意力机制和改进的ppm结构，这有利于模型对输入图像的通道信息以及空间位置信息进行捕捉，有效地融合了全局信息和细节信息，同时金字塔池化结构可以让更好地模型提取到图像不同尺度的信息，降低了目标区域之间的尺寸相差较大给模型带来的负面影响；同时取消了unet3+结构中深度监督机制，减少模型计算量和参数数量，从而加速网络的训练过程。

41、优选地，所述步骤s21中，bt-darce-unet模型由预训练和微调两部分组成。在预训练阶段，输入大量未标注的小肠肿瘤ct图像数据，经过随机仿射变换的增强方式后，进入融合darb模块和cbam注意力机制编码器网络进行预训练。在微调阶段，同样采用darb模块替代u-net模型中的特征提取模块，增强对于多尺度目标的特征提取能力；在u-net网络的中间层添加cbam注意力机制，提高模型捕捉图像通道信息和空间位置信息的能力；同时利用unet3+的设计思想，在编码器-解码器结构中合理地引入多条不同尺度下融合epsa注意力机制的跳跃连接，使得解码器路径中融合了多层下采样信息，降低网络在下采样过程中造成信息丢失的影响，同时也兼顾了整体网络的参数量。

42、优选地，所述步骤s23中，多尺度特征提取模块darb包含一个主路径和一个shortcut路径，主路径由一个3*3深度可分离卷积模块、一个批量归一化层、一个relu激活函数和一个aspp模块构成，并且在传统残差结构的尾部增加一个dropout层，进一步降低模型过拟合的风险；shortcut路径可以直接将输入层映射到输出层的输入中，主要由一个1*1深度可分离卷积模块和一个批量归一化层组成，在关注小肠肿瘤ct图像多尺度特征信息的同时，还可以有效地减少后续自监督学习分割网络的参数量，提升模型的计算效率。

43、优选地，所述步骤s32中，为了对比模型与全监督学习模型之外的分割网络之间的差异，加入自监督学习模型byol-unet进行对比实验，可得bt-darce-unet模型在上述模型中取得了最佳的分割效果。

44、本发明的有益效果是：

45、(1)本发明在自监督学习方法barlowtwins和u-net网络的基础上设计了一种新型自监督图像分割网络bt-darce-unet，用于小肠肿瘤ct图像的自动分割任务。

46、(2)本发明改进扩散模型，实现了小肠肿瘤ct图像的高质量数据增强，构建和扩充了小肠肿瘤ct图像数据集。