病理图像处理方法、系统及存储介质与流程

本公开涉及计算机，具体地，涉及一种病理图像处理方法、系统及存储介质。

背景技术：

1、乳腺癌在全球的发病率较高，呈现逐年上升趋势。在乳腺癌确诊后，往往根据组织病理检查结果判断疾病类型，并综合其他辅助手段进行分期，以指导后期治疗。例如，根据tnm(tumor node metastasis，肿瘤淋巴结转移)系统对乳腺癌进行分期，tnm系统对于预测肿瘤的复发转移有很高的临床价值，也是较为成熟的风险评估指标。

2、tnm系统中的n分期是描述癌细胞扩散的淋巴结的指标，病理分期需要对多个淋巴结病理检查进行确认，依靠传统病理专家人工阅片逐个检查的方式耗时长，且需要医生具有丰富经验，这种方式下耗时长、主观性强是快速准确判断病理切片类型的瓶颈。同时，进行pn分期(pathologic n stage，淋巴结病理分期)判断时需要大量病理切片，采用人工阅片方式也需要病理医生投入大量工作。

3、随着人工智能方法的发展以及数字化全视野病理扫描技术的发展，切片数字化处理成为可能。由此，如何将人工智能手段应用到数字化切片的图像处理中，提供所需要的图像识别结果，例如提供乳腺癌pn分期的准确参考，从而减少病理专家的工作量，成为亟待解决的问题。

技术实现思路

1、本公开的目的是提供一种病理图像处理方法、系统及存储介质，提高针对待预测病理图像预测得到的病灶转移类别以及病灶转移类别的类别概率的准确率。

2、为了实现上述目的，根据本公开实施例的第一方面，提供一种病理图像处理方法，包括：

3、获取待预测病理图像对应的多个待预测图像块；

4、将多个所述待预测图像块输入训练完成的块级转移概率预测模型，得到所述训练完成的块级转移概率预测模型输出的表征所述待预测图像块为病灶转移区域的多个块级转移概率；

5、基于所述多个块级转移概率生成所述待预测病理图像对应的热力图，并从所述热力图中提取整图特征；其中，所述热力图包括基于所述多个块级转移概率确定的目标病灶转移区域，所述整图特征包括基于所述目标病灶转移区域得到的热图特征、所述目标病灶转移区域的形态学特征以及所述目标病灶转移区域内的影像组学特征中的至少一者；

6、将所述整图特征输入训练完成的转移分类模型，得到所述训练完成的转移分类模型输出的所述待预测病理图像的病灶转移类别以及所述病灶转移类别的类别概率。

7、可选地，所述获取待预测病理图像对应的多个待预测图像块，包括：

8、获取多张不同分辨率的待预测病理图像；

9、对第一预设分辨率的待预测病理图像中像素在颜色对立空间中预设通道的值进行二值分割，得到表征细胞区域的像素点集合构成的感兴趣区域图像；

10、将所述感兴趣区域图像映射至第二预设分辨率的待预测病理图像，确定待提取特征图像；

11、通过滑窗法从所述待提取特征图像中确定多个待预测图像块；

12、其中，所述第一预设分辨率小于所述第二预设分辨率。

13、可选地，所述基于所述多个块级转移概率生成所述待预测病理图像对应的热力图，并从所述热力图中提取整图特征，包括：

14、基于所述多个块级转移概率生成所述待预测病理图像对应的热力图；

15、基于多个不同大小的预设阈值和所述热力图中每个像素点的热度值，对所述热力图进行阈值二值化操作，得到多个二值化热图；其中，所述二值化热图中为目标取值的像素点构成所述目标病灶转移区域；

16、对所述多个二值化热图进行分割掩膜操作，得到保留所述目标病灶转移区域的多个特征图；

17、从所述多个特征图中提取整图特征。

18、可选地，所述热图特征包括所述多个特征图中最大目标病灶转移区域的最大置信概率、最大目标病灶转移区域的平均置信概率、所有目标病灶转移区域平均置信概率的平均值、最大置信概率、以及所有置信概率的平均值；

19、所述形态学特征包括所述多个特征图中最大目标病灶转移区域面积、最大目标病灶转移区域主轴长度、最大目标病灶转移区域占最小凸区域的比例、最大目标病灶转移区域占整个感兴趣区域的比例、所有目标病灶转移区域面积之和、目标病灶转移区域数、所有目标病灶转移区域总和、以及所有目标病灶转移区域和背景区域比例；其中，所述感兴趣区域由表征细胞区域的像素点集合构成；

20、所述影像组学特征包括基于所述多个特征图得到的灰度依赖矩阵、灰度共生矩阵、邻域灰度差矩阵、灰度游程矩阵、灰度大小区域矩阵、二维形状特征以及像素强度分布特征。

21、可选地，所述块级转移概率预测模型的训练过程包括：

22、获取待预测病理图像样本对应的多个待预测图像块样本，所述待预测图像块样本对应有图像块样本标签；

23、根据所述多个待预测图像块样本以及所述图像块样本标签对待训练的块级转移概率预测模型进行多轮训练，得到训练完成的块级转移概率预测模型；

24、其中，所述多轮训练包括首轮训练和困难样本迭代训练，所述多个待预测图像块样本作为初始训练集，所述首轮训练采用从所述初始训练集中随机选取的部分样本进行训练，所述困难样本迭代训练包括多次迭代训练，每次所述迭代训练采用从所述首轮训练中获取的困难样本、从当前迭代训练之前的每次迭代训练中获取的困难样本以及所述初始训练集进行训练。

25、可选地，所述困难样本包括预测错误的错误图像块样本以及预测正确且预测概率小于概率阈值的正确图像块样本。

26、可选地，所述待预测图像块样本包括正样本图像块和负样本图像块，所述正样本图像块包括病灶转移区域，所述负样本图像块不包括病灶转移区域。

27、可选地，所述转移分类模型的训练过程包括：

28、获取训练完成的块级转移概率预测模型针对待预测病理图像样本对应的每一待预测图像块样本输出的多个块级转移概率样本，所述待预测病理图像样本对应有病灶转移类别标签；

29、基于所述多个块级转移概率样本生成所述待预测病理图像样本对应的热力图样本，并从所述热力图样本中提取整图特征样本；

30、通过预设特征选择方法从所述整图特征样本中选择目标特征样本；

31、通过预设特征降维方法对所述目标特征样本进行特征降维，得到目标降维特征样本，所述目标降维特征样本包括热图降维特征样本、形态学降维特征样本以及影像组学降维特征样本中的至少一者；

32、将所述热图降维特征样本、所述形态学降维特征样本以所述及影像组学降维特征样本中的至少一者融合，得到目标融合特征样本；

33、将所述目标融合特征样本输入待训练的转移分类模型，得到转移分类预测结果；

34、根据所述转移分类预测结果以及所述病灶转移类别标签调整所述待训练的转移分类模型的模型参数，得到训练完成的转移分类模型。

35、根据本公开实施例的第二方面，提供一种病理图像处理系统，包括：

36、获取模块，用于获取待预测病理图像对应的多个待预测图像块；

37、第一输入模块，用于将多个所述待预测图像块输入训练完成的块级转移概率预测模型，得到所述训练完成的块级转移概率预测模型输出的表征所述待预测图像块为病灶转移区域的多个块级转移概率；

38、生成模块，用于基于所述多个块级转移概率生成所述待预测病理图像对应的热力图，并从所述热力图中提取整图特征；其中，所述热力图包括基于所述多个块级转移概率确定的目标病灶转移区域，所述整图特征包括基于所述目标病灶转移区域得到的热图特征、所述目标病灶转移区域的形态学特征以及所述目标病灶转移区域内的影像组学特征中的至少一者；

39、第二输入模块，用于将所述整图特征输入训练完成的转移分类模型，得到所述训练完成的转移分类模型输出的所述待预测病理图像的病灶转移类别以及所述病灶转移类别的类别概率。

40、根据本公开实施例的第三方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第二方面中任一项所述方法的步骤。

41、通过上述技术方案，采用训练完成的块级转移概率预测模型对待预测病理图像对应的多个待预测图像块进行预测，得到表征待预测图像块为病灶转移区域的多个块级转移概率。在此基础上，基于多个块级转移概率生成待预测病理图像对应的热力图，并从该热力图中提取整图特征。其中，热力图包括基于多个块级转移概率确定的目标病灶转移区域，整图特征包括基于目标病灶转移区域得到的热图特征、目标病灶转移区域的形态学特征以及目标病灶转移区域内的影像组学特征中的至少一者。由此，整图特征融合了表征局部特征的块级转移概率，并且还可以体现热力图中的全局特征。通过将整图特征输入训练完成的转移分类模型，可以得到准确率更高的待预测病理图像的病灶转移类别以及病灶转移类别的类别概率。

42、通过本公开这种技术方案，可以同时关注待预测病理图像的局部特征和全局特征，从而提高针对待预测病理图像预测得到的病灶转移类别以及病灶转移类别的类别概率的准确率。

43、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。