一种基于原型和半监督深度学习的细胞核分割方法和系统与流程

本发明属于生物医学图像处理，具体涉及一种基于原型和半监督深度学习的细胞核分割方法和系统。

背景技术：

1、在计算机辅助诊断和肿瘤疾病分析工作中，细胞核分割是一项基础而又重要的部分，细胞核的分割可以标记病理图像中每一个属于细胞核的像素，为病理医生提供基本的细胞核视觉信息和形态学特征，这些信息能够辅助病理医生对于病理图像进行组织分类等进一步处理，并有助于医生评估病情。但是人体组织切片经过染色剂染色后背景干扰较为严重，细胞边缘较为模糊，而且图像中密集的细胞具有较高的标注成本，分割难度较高。

2、传统的图像处理工具如边缘检测、阈值分割和分水岭分割算法等，虽已提供给病理科医生并应用于临床辅助，但受限于手工参数调整的繁琐、缺乏泛化能力、以及常受到背景干扰的影响等问题，难以有效应对复杂多变的病理图像。随着深度学习技术的快速发展，基于深度学习的分割算法逐渐应用于医学图像分割，其通常包含两个主要步骤：特征提取和物体分割。其中特征提取是指将原始图像的每个像素或者像素块映射到特征空间，有助于下游的分割任务将不同类别的像素或者像素块区分开，物体分割则是对图像中的每个像素根据特征进行类别判别。在病理图像中，背景和细胞的形态差异较小，细胞自身的形态种类又相对较多，所以研究的重点在于将背景和前景充分区分开，从而提升细胞核分割的精度。

3、利用深度学习技术能够使医学图像分割不再需要手工的特征，卷积神经网络成功实现了图像的多层次特征表示，医学图像处理得以从手动分割或者半自动分割向全自动分割发展。现有如cellpose等基于深度学习的细胞核分割工具能够自动分割细胞，但是作为一种监督学习算法，由于数据集的限制，还无法达到通用细胞核分割的能力。目前细胞核分割领域的深度学习方法大都依赖于监督学习，如早期的unet、nnunet到近期的mamba-unet，这些都在医疗图像分割任务上取得了一定的进展，但是这些方法依赖于大量数据上的人工标注。在病理图像上细胞分布是非常密集的，对其进行人工标注也是限制自动细胞核分割发展的一个因素。

4、半监督学习能够在大量的数据集中只选择少部分进行标注就能够得到媲美甚至超过全部标注的训练效果，大大节省了数据的人工标注成本。如公开号为cn113256646a的中国专利申请提供了一种基于半监督学习的脑血管图像分割方法，通过搭建基于区域连通性模型的半监督学习网络框架，解决了网络训练过程中需要大量人工标注的困难。再如公开号为cn117808837a的中国专利申请提供了一种基于半监督学习的医学图像器官分割方法，通过搭建与训练的基于半监督学习的器官分割模型，解决了训练模型时有标注的训练数据较少的问题。但由于细胞核分割病理图像的多样性和复杂性带来的分割难度大以及有标记数据缺乏的问题，需要对基于半监督学习的细胞核分割方法进一步研究以提升细胞核分割效果。

技术实现思路

1、鉴于上述，本发明的目的是提供一种基于原型和半监督深度学习的细胞核分割方法和系统，通过引入原型和利用半监督学习的方法能够使用更少的标注成本实现高精度的细胞核分割。

2、为实现上述发明目的，本发明提供的技术方案如下：

3、本发明实施例提供的一种基于原型的细胞核分割半监督深度学习方法，包括以下步骤：

4、将病理图像构建为有标签图像和无标签图像；

5、构建深度学习细胞核分割网络，其包括基于编码器、解码器、投影器和分类器构建的教师网络和学生网络，利用有标签图像对学生网络进行基于真值和学生网络细胞核分割第一预测结果的监督训练；

6、在监督训练基础上同时利用无标签图像对细胞核分割网络进行训练，包括：将两组不同数据增强的无标签图像分别输入教师和学生网络，提取各自特征并分别通过投影器映射到各自特征空间，再分别通过各自前景和背景的类别原型完成空间上的软分配，对前景和背景的原型进行对比学习；对两组不同数据增强的无标签图像裁剪相同空间位置，将这两部分裁剪图像通过教师和学生网络后的特征软分配进行对齐，经学生和教师网络分别得到第二预测结果和第三预测结果，将第三预测结果作为伪标签作为第二预测结果的监督；

7、利用训练后的学生网络进行待测病理图像细胞核分割。

8、具体地，所述将病理图像构建为有标签图像和无标签图像，包括：

9、对获取的病理图像划分为若干图像块，对其中的少量图像块进行人工标注得到有标签图像，未标注的图像块为无标签图像，并对有标签图像进行数据增强，对无标签图像分别进行不同组合的数据增强。

10、具体地，对有标签图像进行数据增强的方法包括裁剪、翻转、色彩变换、高斯模糊和随机曝光的组合；对无标签图像分别进行不同组合的数据增强，第一组合的数据增强方法包括色彩变换、高斯模糊、随机曝光、随机翻转和随机裁剪，第二组合的数据增强方法包括色彩变换、高斯模糊、随机翻转和随机裁剪。

11、具体地，所述提取各自特征并分别通过投影器映射到各自特征空间，再分别通过各自前景和背景的类别原型完成空间上的软分配，对前景和背景的原型进行对比学习，包括：

12、分别在学生网络和教师网络的解码器提取到各自的特征后，分别通过投影器将特征映射到各自的特征空间，表示为和，再分别通过各自前景和背景的类别原型和完成空间上的软分配，前景为细胞核区域，背景为细胞核外的区域，对这一阶段学到的前景和背景的原型进行对比学习，在对比学习过程中利用软分配对特征进行不同类别的空间分离，如下式：

13、，

14、，

15、其中，为学生和教师网络的类别原型对密集投影在空间上的软分配，和分别为相应的特征经过投影器l2归一化后的输出，和分别为l2归一化后的类别原型，为温度系数， k为类别原型个数， h为图像的高度， w为图像的宽度；

16、在训练过程中，原型和经过随机初始化之后，按照下式更新参数值：

17、，

18、，

19、其中， i为软分配图像和投影器输出图像上一共 i个像素的第 i个像素，为哈达玛乘积。

20、具体地，对比学习的损失函数为：

21、，

22、其中，为学生网络的类别原型，为教师网络的类别原型，为学生网络的第 k个类别原型，为l2归一化后的教师网络的第 k个类别原型， k为类别原型的个数， k’为 k的所有取值，为对比学习中学生网络的类别原型还需要经过的一个投影器，经过后对投影特征进行l2归一化，为温度系数。

23、具体地，所述对两组不同数据增强的无标签图像裁剪相同空间位置，将这两部分裁剪图像通过教师和学生网络后的特征软分配进行对齐，包括：

24、对教师网络和学生网络分别输入的经过两种随机数据增强的无标签图像对，取相同空间位置的裁剪图像分别输入教师网络和学生网络，基于类别原型对特征空间中分离得到的不同类别区域的特征，通过最小化损失函数进行教师网络和学生网络间的特征对齐：

25、，

26、其中， m为裁剪的特征图上长度 m个像素的第 m个， n为裁剪的特征图上宽度 n个像素的第 n个，为学生网络产生的裁剪特征图中的单个像素特征，为教师网络产生的裁剪特征图中的单个像素特征。

27、具体地，基于学生网络的细胞核分割的第二预测结果进行熵最小化约束，包括：

28、利用无标签图像的裁剪部分输入学生网络得到的细胞核分割的第二预测结果，计算熵损失函数如下：

29、，

30、其中， p为学生网络对于无标签图像的预测结果， l为图像上的共 l个像素总数的第 l个， c为分割的共 c个类别总数量中的第 c个；

31、通过最小化熵损失函数优化学生网络参数。

32、具体地，对细胞核分割网络进行半监督训练的总损失函数为：

33、，

34、其中，为监督训练中采用的基于真值和学生网络细胞核分割第一预测结果的交叉熵损失函数，为训练中采用的基于伪标签和第二预测结果的交叉熵损失函数，、和分别为通过实验确定的权重值。

35、具体地，在对细胞核分割网络进行半监督训练时，将教师网络的梯度冻结，在反向传播过程中只对学生网络的参数进行更新，每更新一次学生网络，将教师网络的参数按照以下公式更新：

36、，

37、其中，为第 i次更新对应的教师网络 t的参数，为第 i次更新对应的学生网络 s的参数，，为轮次。

38、为实现上述发明目的，本发明实施例还提供了一种基于原型的细胞核分割半监督深度学习系统，包括：图像获取模块、第一训练模块、第二训练模块和图像分割模块；

39、所述图像获取模块用于将病理图像构建为有标签图像和无标签图像；

40、所述第一训练模块用于构建深度学习细胞核分割网络，其包括基于编码器、解码器、投影器和分类器构建的教师网络和学生网络，利用有标签图像对学生网络进行基于真值和学生网络细胞核分割第一预测结果的监督训练；

41、所述第二训练模块用于在监督训练基础上同时利用无标签图像对细胞核分割网络进行训练，包括：将两组不同数据增强的无标签图像分别输入教师和学生网络，提取各自特征并分别通过投影器映射到各自特征空间，再分别通过各自前景和背景的类别原型完成空间上的软分配，对前景和背景的原型进行对比学习；对两组不同数据增强的无标签图像裁剪相同空间位置，将这两部分裁剪图像通过教师和学生网络后的特征软分配进行对齐，经学生和教师网络分别得到第二预测结果和第三预测结果，将第三预测结果作为伪标签作为第二预测结果的监督；

42、所述图像分割模块用于利用训练后的学生网络进行待测病理图像细胞核分割。

43、与现有技术相比，本发明具有的有益效果至少包括：

44、本发明首先利用少量有标签图像训练学生网络，再利用无标签图像对教师网络和学生网络进行训练，能够在节省人力标注成本的情况下，针对医学病理图像得到媲美甚至超过全部人工标注的数据集训练得到网络的预测精度。同时，本发明在预测时分别对特征图提取原型进行对比学习并应用于不同类别区域的分类，特别是对于复杂性和多样性高的细胞核分割病理图像能够对细胞完成像素级分割，大大提高分割预测的准确性，具有重要的临床应用价值。