一种基于多标签学习的乳腺组织病理智能辅助诊断方法与流程

本发明涉及医学图像处理，特别涉及一种基于多标签学习的乳腺组织病理智能辅助诊断方法。

背景技术：

1、乳腺癌是全世界女性最常见的恶性肿瘤，病理学专家通过对组织学样本的观察来提取定量数据，并确定肿瘤细胞的等级、类型、分布以及肿瘤分期，或者激素受体、基因评估和增殖指数等生物标志物，这些生物特征提供了有关乳腺癌类型的重要信息，从而为每个病例提供最合适的治疗方法。组织病理学图像中复杂的信息和千差万别的内容使这一过程成为一项高度专业化的任务，需要经验丰富的病理学家来完成，其效率却不高于传统的显微镜检查。整个过程耗时长、成本高，且易受注意力下降和疲劳等因素的影响，对患者的治疗效果产生重大影响。鉴于此，当前迫切需要设计针对乳腺组织病理全切片图像的智能辅助诊断方法，从而对大型乳腺组织病理学图像进行高效的自动分析。

2、乳腺癌肿瘤情况复杂，具体的病种涵盖100多个类别，呈现长尾分布，在对乳腺癌的治疗中，专业病理医生通常根据多分类结果快速准确地判断患者病况并制定相应的治疗方案。因此，针对乳腺组织病理全切片图像的辅助诊断方法，需要完成多标签分类任务。在现有的弱监督图像分类算法中，采用的方法是设计分类器，通过使用带有感兴趣区域的病理全切片来对乳腺组织病理图像进行二分类，即判别的结果为良性或恶性。这种方法无法满足具有多病种类别的乳腺疾病诊断需求。

3、针对该问题，目前主要的解决方法是：将多实例学习和多标签学习进行有效的组合。在多实例学习的训练过程中并没有给每个实例赋予标签，而多标签学习的训练样本能够与多个标签相关联，以多种形式描述样本。而将上面两种学习方式进行有效组合之后，每个训练样本由多个实例的包表示，并且每个包被分配多个类别的标签。

4、目前的乳腺组织病理图像多标签分类方法大多是基于弱监督框架下的病理全切片图像分类，这样并不能充分学习到有利于病理全切片分类的图像特征，而且它们大部分是基于已训练完成的特征提取器进行特征提取，这就导致模型的性能无法适应自身的分类任务，它存在以下两点缺点：

5、第一，上述方法提取的特征是通过颜色直方图、纹理直方图以及细胞核检测结果计算得到的，而不是深度学习模型得到的特征。这样的特征提取方式无法适应不同的数据类型和任务，

6、第二，它的学习过程中，每个实例对应于乳腺组织病理图像的感兴趣区域，而非小块切片级别的图像。它是来源于病理专家在观看乳腺组织病理全切片图像过程中所抽取的具有重要意义的潜在信息区域。但是每张感兴趣区域图像的尺寸各不相同，在学习过程中往往需要重置图像的尺寸，这样会导致学习每张感兴趣区域图像的感受野不一致，影响模型的性能。因此，这样的每个实例所对应的基本单位无法精准学习到病灶区域中的图像特征，从而影响分类诊断的结果。

技术实现思路

1、本发明提供一种基于多标签学习的乳腺组织病理智能辅助诊断方法，用以解决背景技术中提出的问题。

2、一种基于多标签学习的乳腺组织病理智能辅助诊断方法，包括：

3、s1：对乳腺组织的病理全切片图像进行二分类大标注，得到一类标签，将乳腺组织的病理全切片图像划分为若干个相同的图像切片块，对图像切片块进行小标注，得到二类标签；

4、s2：获取乳腺组织的病理全切片图像的一类标签和二类标签对特征提取器进行训练，基于特征训练结果，对目标病理全切片图像得到大标注特征和小标注特征；

5、s3：基于大标注特征和小标注特征对卷积神经网络模型和多实例学习模型进行训练，得到目标卷积神经网络模型和目标多实例学习模型；

6、s4：将待检测病理全切片图像分别输入目标卷积神经网络模型和目标多实例学习模型，根据输出结果进行智能辅助诊断。

7、优选的，所述s1中，对乳腺组织的病理全切片图像进行二分类大标注，得到一类标签，包括：

8、获取乳腺组织的病理全切片图像中的轻病理区域和重病理区域；

9、对轻病理区域赋予第一标签，对重病理区域赋予第二标签；

10、所述第一标签和第二标签组成一类标签。

11、优选的，所述s1中，将乳腺组织的病理全切片图像划分为若干个相同的图像切片块，对图像切片块进行小标注，得到二类标签，包括：

12、按照预设块尺寸，将乳腺组织的病理全切片图像划分为若干个相同的图像切片块；

13、基于病理全切片图像的一类标签的标签特征，为每个图像切片块赋予标签权重；

14、在所有图像切片块中按照标签权重随机提取预设数量的目标图像切片块；

15、基于乳腺癌具体类别，对目标切片块进行具体病变类型的小标注，得到二类标签。

16、优选的，所述s2中，获取乳腺组织的病理全切片图像的一类标签和二类标签对特征提取器进行训练，包括：

17、利用预设数据集预训练特征提取器的参数初始化特征提取器；

18、基于一类标签，特征提取器对病理全切片图像进行特征提取，得到一类特征向量，随机选取一个一类特征向量作为一类参考向量，获取其他一类特征向量与一类参考向量之间的一类向量差异值，并基于所述一类向量差异值确定一类函数损失值；

19、基于特征提取器，对一类标签相同二标签不同的病理全切片进行特征提取，得到二类特征向量，随机选取一个二类特征向量作为二类参考向量，获取其他二类特征向量与二类参考向量之间的二类向量差异值，并基于所述一类向量差异值确定第一二类函数损失值；

20、基于特征提取器，对一类标签不同二标签不同的病理全切片进行特征提取，得到三类特征向量，随机选取一个三类特征向量作为三类参考向量，获取其他三类特征向量与三类参考向量之间的三类向量差异值，并基于所述三类向量差异值确定第二二类函数损失值；

21、基于一类标签相同二标签不同的病理全切片的数量确定第一权重，基于一类标签不同二标签不同的病理全切片的数量确定第二权重；

22、基于第一二类函数损失值和第一权重，第二二类函数损失值和第二权重，确定二类函数损失值；

23、基于一类函数损失值和二类函数损失值，使用病理全切片图像对特征提取器进行迭代训练，得到目标特征提取器。

24、优选的，所述s2中，基于特征训练结果，对目标病理全切片图像得到大标注特征和小标注特征，包括：

25、基于目标特征提取器，对目标病理全切片图像进行一类特征编码，得到384维的一类特征向量，基于一类特征向量得到大标注特征；

26、基于目标特征提取器，对目标病理全切片图像进行二类特征编码，得到384维的二类特征向量，基于二类特征向量得到小标注特征。

27、优选的，所述s3中，基于大标注特征和小标注特征对卷积神经网络模型进行训练，得到目标卷积神经网络模型，包括：

28、基于大标注特征和小标注特征对卷积神经网络模型进行迭代训练，得到每次迭代训练的大标注损失值和小标注损失值；

29、将所述大标注损失值和小标注损失值进行相加并进行反向传播更新进行下一次的迭代训练；

30、基于预设验证集对每次迭代训练结果进行模型验证，直到模型性能不再提升，得到目标卷积神经网络模型。

31、优选的，所述s3中，基于大标注特征和小标注特征对多实例学习模型进行训练，得到目标多实例学习模型，包括：

32、s301：将所述大标注特征和小标注特征输入多实例学习模型中，通过线性投影将各个标注特征映射为序列向量；

33、s302：基于多实例学习模型中的自注意力机制对序列向量进行交互建模，得到信息权重矩阵；

34、s303：通过分类层对信息权重矩阵进行映射分类，得到输出标签矩阵，基于输出标签矩阵得到训练结果；

35、s304：按照s301-s303的方式对大标注特征和小标注特征进行迭代训练，并基于预设验证集对每次训练结果进行模型验证，直到模型性能不再提升，得到目标多实例学习模型。

36、优选的，所述s302中，基于多实例学习模型中的自注意力机制对序列向量进行交互建模，得到信息权重矩阵，包括：

37、将所述序列向量通过嵌入层进行映射，得到中间序列特征；

38、将所述中间序列特征分别通过查询变换矩阵，键值变换举证和信息变化矩阵进行举证变换，得到查询矩阵，键值矩阵和信息矩阵；

39、基于查询矩阵，键值矩阵和信息矩阵，并根据如下公式得到信息权重矩阵；

40、

41、其中，n表示信息权重矩阵，softmax()表示归一化指数函数，t表示常数，用于调节输出的平滑程度，q表示查询矩阵，k表示键值矩阵，v表示信息矩阵，d表示中间键值矩阵的向量长度。

42、优选的，所述s303中，通过分类层对信息权重矩阵进行映射分类，得到输出标签矩阵，基于输出标签矩阵得到训练结果，包括：

43、将所述信息权重矩阵依次通过分类层中的池化层和标准化层进行映射，输出得到输出标签矩阵；

44、基于输出标签矩阵中的标签特征与大标注特征和小标注特征之间的比较情况，得到训练结果。

45、优选的，所述s4中，将待检测病理全切片图像分别输入目标卷积神经网络模型和目标多实例学习模型，根据输出结果进行智能辅助诊断，包括：

46、将待检测病理全切片图像分别输入目标卷积神经网络模型和目标多实例学习模型，得到第一图像标注分类结果和第二图像标注分类结果；

47、按照标注程度，将第一图像标注分类结果和第二图像标注分类结果进行整合，得到目标图像标注分类结果；

48、将所述目标图像标注分类结果输入智能辅助诊断模型中，得到辅助诊断结果。

49、与现有技术相比，本发明取得了以下有益效果：

50、通过对乳腺组织的病理全切片图像进行二分类大标注，得到一类标签，将乳腺组织的病理全切片图像划分为若干个相同的图像切片块，对图像切片块进行小标注，得到二类标签，取乳腺组织的病理全切片图像的一类标签和二类标签对特征提取器进行训练，基于特征训练结果，对目标病理全切片图像得到大标注特征和小标注特征，基于大标注特征和小标注特征对卷积神经网络模型和多实例学习模型进行训练，得到目标卷积神经网络模型和目标多实例学习模型，将待检测病理全切片图像分别输入目标卷积神经网络模型和目标多实例学习模型，根据输出结果进行智能辅助诊断，通过利用大标注以及小标注，同时训练特征提取器和多实例学习模型，能够充分融合更具判别力的特征信息，使得模型能够学习到更好的特征，通过因此能够提高乳腺组织病理图像多标签分类的准确性，提高乳腺疾病辅助诊断的准确性。

51、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在本技术文件中所特别指出的结构来实现和获得。

52、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。