基于深度学习的PD-L1病理切片自动判读方法及系统与流程

基于深度学习的pd-l1病理切片自动判读方法及系统
技术领域
1.本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的pd-l1病理切片自动判读方法及系统。


背景技术：

2.癌症是导致人类死亡的主要病症之一。通过切断肿瘤细胞与免疫细胞(如t细胞、b细胞等)之间pd-1/pd-l1结合，使免疫细胞正确识别肿瘤细胞并将其灭杀属于免疫治疗方法。随着各类以pd-l1免疫检查点为靶点的抑制剂药物陆续获批上市，免疫治疗正逐步成为癌症治疗的重要方式。免疫治疗用药对于部分患者会引起免疫相关的不良反应，故用药前必须做pd-l1检测，病理医生需要对pd-l1试剂染色的免疫组化切片进行pd-l1表达判读，根据判读结果才能制定合理的用药治疗方案。
3.pd-l1表达在多种细胞中存在，这些细胞在染色后无法与肿瘤细胞进行有效区分，临床判读难度大，且判读结果需要对于各类细胞进行定量分析，需要大量占用病理医生读片的时间，判读耗时严重且由于肉眼判读主观性强导致结果一致性较差。
4.中国专利cn111242961a公开了一种用于pd-l1抗体染色切片的自动读片方法及其系统，通过由预处理、区域获取和数量分析三大块构成的方法和系统获得pd-l1染色的数字切片图像目标区域内为膜阳性的细胞比例，从而实现对设定细胞的自动读片。但是，仍缺乏一种基于深度学习的快速、准确的pd-l1判读方法。


技术实现要素：

5.为解决现有pd-l1检测存在的判读难度大、耗时长、一致性难以保证的问题，并基于深度学习网络模型，本发明提供一种基于深度学习的pd-l1病理切片自动判读方法及系统。
6.为实现上述发明目的，本发明提供一种基于深度学习的pd-l1病理切片自动判读方法，包括：
7.s1.分别获取通过免疫组化染色和pd-l1免疫组化染色的病理切片图像；
8.s2.对所述免疫组化染色的病理切片图像中膜染的区域进行定位，识别肿瘤区域的位置；
9.s3.对所述肿瘤区域的肿瘤细胞进行识别并计数；
10.s4.利用图像配准技术获取免疫组化染色的病理切片图像和pd-l1免疫组化染色的病理切片图像之间的位置关系，并通过所述位置关系将所述肿瘤区域映射转换至所述pd-l1免疫组化染色的病理切片图像中，对所述pd-l1免疫组化染色的病理切片图像的肿瘤区域进行定位；
11.s5.对所述pd-l1免疫组化染色的病理切片图像的肿瘤区域内pd-l1阳性细胞进行识别并计数；
12.s6.对所述pd-l1免疫组化染色的肿瘤区域图像进行判读并显示判读结果。
13.根据本发明的一个方面，所述步骤s2包括：
14.s21.搭建深度残差网络模型；
15.s22.对所述免疫组化染色的病理切片图像以512
×
512像素大小进行分块；
16.s23.对分块后的免疫组化染色的病理切片图像进行分类标记，构建肿瘤区域分类数据集；
17.s24.对所述深度残差网络模型进行训练，并对所述肿瘤区域分类数据集进行迭代学习，构建肿瘤区域分类识别模型；
18.s25.利用所述肿瘤区域分类识别模型对所述免疫组化染色的病理切片图像的各区域进行分类，获取存在肿瘤细胞的图像，并根据分类结果对肿瘤区域的位置进行定位，识别所述免疫组化染色的病理切片图像的肿瘤区域。
19.根据本发明的一个方面，所述步骤s3包括：
20.s31.搭建由基于unet的语义分割模型与基于cornernet的关键点检测模型联合组成的肿瘤细胞精准计数网络模型；
21.s32.对分块后的免疫组化染色的肿瘤区域图像进行标注，对肿瘤区域进行mask位置标记并对各肿瘤细胞的中心点位置进行关键点标注，获取肿瘤细胞联合标注数据集；
22.s33.对所述肿瘤细胞精准计数网络模型进行训练，并对所述肿瘤细胞联合标注数据集进行迭代学习；
23.s34.利用所述肿瘤细胞精准计数网络模型对所述免疫组化染色的病理切片图像的肿瘤区域进行分割，再通过关键点检测定位所述肿瘤区域的肿瘤区域的位置，并获取所述肿瘤细胞的数量。
24.根据本发明的一个方面，所述步骤s5包括：
25.s51.搭建细胞级实例分割网络模型；
26.s52.对所述pd-l1免疫组化染色的肿瘤区域图像进行标注，对所述肿瘤区域内细胞膜线性染色的细胞逐一进行轮廓标注，并对所述pd-l1阳性细胞进行分类标识，获取pd-l1阳性细胞实例标注数据集；
27.s53.对所述细胞级实例分割网络模型进行训练，并对所述pd-l1阳性细胞实例标注数据集进行迭代学习，构建细胞级pd-l1阳性细胞识别模型；
28.s54.利用所述细胞级pd-l1阳性细胞识别模型对所述pd-l1免疫组化染色的病理切片图像的肿瘤区域的pd-l1阳性细胞进行精准识别与分类。
29.根据本发明的一个方面，在所述步骤s54中，所述pd-l1阳性细胞包括pd-l1阳性肿瘤细胞和pd-l1阳性免疫细胞，并分别获取所述pd-l1阳性肿瘤细胞和所述pd-l1阳性免疫细胞的数量。
30.根据本发明的一个方面，所述网络模型训练的过程包括：
31.将标记的数据集划分为训练集和测试集，并将所述训练集中的所有图像的像素值归一化至[0,1]范围内；
[0032]
将所述图像按照4的倍数组成图像batch输入至所述网络模型，在训练过程中对每次迭代输入的图像进行随机数据增广以产生更多不同的图像，调整各项训练参数，通过梯度下降的方式使所述网络模型中的变量持续迭代优化；
[0033]
将所述测试集对训练后的网络模型进行验证，获取最优的网络模型。
[0034]
根据本发明的一个方面，所述步骤s6包括：根据所述pd-l1阳性肿瘤细胞和所述pd-l1阳性免疫细胞的数量，对所述pd-l1免疫组化染色的肿瘤区域图像进行判读，自动输出并显示肿瘤细胞阳性比例分数和联合阳性分数的数值结果。
[0035]
根据本发明的一个方面，所述肿瘤细胞阳性比例分数通过以下公式获得：
[0036][0037]
所述联合阳性分数通过以下公式获得：
[0038][0039]
本发明还提供一种利用上述基于深度学习的pd-l1病理切片自动判读方法实现的基于深度学习的pd-l1病理切片自动判读系统，包括：
[0040]
图像采集模块，用于分别获取通过免疫组化染色和pd-l1免疫组化染色的病理切片图像；
[0041]
第一识别定位模块，用于对所述免疫组化染色的病理切片图像中膜染的区域进行定位，识别肿瘤区域的位置；
[0042]
第一计数模块，用于对所述肿瘤区域的肿瘤细胞进行识别并计数；
[0043]
第二识别定位模块，用于利用图像配准技术获取免疫组化染色的病理切片图像和pd-l1免疫组化染色的病理切片图像之间的位置关系，并通过所述位置关系将所述肿瘤区域映射转换至所述pd-l1免疫组化染色的病理切片图像中，对所述pd-l1免疫组化染色的病理切片图像的肿瘤区域进行定位；
[0044]
第二计数模块，用于对所述pd-l1免疫组化染色的病理切片图像的肿瘤区域内pd-l1阳性细胞进行识别并计数；
[0045]
判读模块，用于根据所述肿瘤细胞和所述pd-l1阳性细胞的数量，对所述pd-l1免疫组化染色的肿瘤区域图像进行判读并显示判读结果。
[0046]
根据本发明的另一个方面，所述pd-l1阳性细胞包括pd-l1阳性肿瘤细胞和pd-l1阳性免疫细胞。
[0047]
根据本发明的方案，通过开发细胞级深度学习分类、定位和识别算法，构建并训练相应的深度学习网络模型，实现在pd-l1病理切片图像中对恶性肿瘤区域的智能分析诊断，同时对肿瘤细胞进行精准计数并输出对应的判读结果，且该判读结果与专业病理医师的人工判读结果具有较高的一致性，可为病理医生提供快速、准确的pd-l1辅助诊断，并为病理医生对于免疫治疗药物的用药提供参考。
附图说明
[0048]
图1示意性表示本发明的一种实施方式的基于深度学习的pd-l1病理切片自动判读方法的流程图；
[0049]
图2示意性表示本发明的一种实施方式的基于深度学习的pd-l1病理切片自动判读方法的执行流程图；
[0050]
图3示意性表示本发明的一种实施方式的基于深度学习的pd-l1病理切片自动判读方法中免疫组化染色的病理切片图像无肿瘤细胞的示意图；
[0051]
图4示意性表示本发明的一种实施方式的基于深度学习的pd-l1病理切片自动判读方法中免疫组化染色的病理切片图像存在肿瘤细胞的示意图；
[0052]
图5示意性表示本发明的一种实施方式的基于深度学习的pd-l1病理切片自动判读方法中免疫组化染色的肿瘤区域图像的示意图；
[0053]
图6示意性表示本发明的一种实施方式的基于深度学习的pd-l1病理切片自动判读方法中免疫组化染色的肿瘤区域图像及细胞标注的示意图。
具体实施方式
[0054]
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0055]
下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。
[0056]
图1和图2分别示意性地表示本实施方式的基于深度学习的pd-l1病理切片自动判读方法的流程图和执行流程图。如图1所示，根据本发明的构思，本实施方式的基于深度学习的pd-l1病理切片自动判读方法主要包括以下步骤：
[0057]
s1.分别获取通过免疫组化染色和pd-l1免疫组化染色的病理切片图像；
[0058]
s2.对免疫组化染色的病理切片图像中膜染的区域进行定位，识别肿瘤区域的位置；
[0059]
s3.对肿瘤区域的肿瘤细胞进行识别并计数；
[0060]
s4.利用图像配准技术获取免疫组化染色的病理切片图像和pd-l1免疫组化染色的病理切片图像之间的位置关系，并通过位置关系将获取的免疫组化染色的病理切片图像的肿瘤区域映射转换至pd-l1免疫组化染色的病理切片图像中，对pd-l1免疫组化染色的病理切片图像的肿瘤区域进行定位；
[0061]
s5.对pd-l1免疫组化染色的病理切片图像的肿瘤区域内pd-l1阳性细胞进行识别并计数；
[0062]
s6.根据肿瘤细胞和pd-l1阳性细胞的数量，对pd-l1免疫组化染色的肿瘤区域图像进行判读并显示判读结果。
[0063]
根据本发明的一种实施方式，步骤s1通过对同一个病变组织连续切片后获取形状大小相近的组织切片，对两个组织切片分别用免疫组化试剂和pd-l1试剂进行免疫组化染色，对染色后的两张病理切片通过病理扫描仪扫描后获取对应的数字病理切片图像，得到免疫组化染色的病理切片图像和pd-l1免疫组化染色的病理切片图像。
[0064]
根据本发明的一种实施方式，步骤s2通过深度学习模型对对免疫组化染色的病理切片图像中膜染的区域进行定位，识别病理切片图像中肿瘤区域的位置，具体包括以下步骤：
[0065]
s21.搭建深度残差网络模型；s22.对免疫组化染色的病理切片图像以512
×
512像素大小进行分块；s23.对分块后的免疫组化染色的病理切片图像进行分类标记，如图3和图4所示，根据免疫组化染色的病理切片图像是否存在肿瘤细胞进行分类，构建肿瘤区域分类
数据集；s24.对深度残差网络模型进行训练，并对肿瘤区域分类数据集进行迭代学习，构建肿瘤区域分类识别模型；s25.利用肿瘤区域分类识别模型对免疫组化染色的病理切片图像的各区域进行分类，获取存在肿瘤细胞的图像，并根据分类结果对肿瘤区域的位置进行定位，识别免疫组化染色的病理切片图像的肿瘤区域。
[0066]
根据本发明的一种实施方式，步骤s3通过深度学习模型对免疫组化染色的病理切片图像的肿瘤区域中的肿瘤细胞进行识别并计数，具体包括以下步骤：
[0067]
s31.搭建由基于unet的语义分割模型与基于cornernet的关键点检测模型联合组成的肿瘤细胞精准计数网络模型；s32.对分块后的免疫组化染色的肿瘤区域图像进行标注，标注方式如图5和图6所示，对肿瘤区域进行mask位置标记并对各肿瘤细胞的中心点位置进行关键点标注，获取肿瘤细胞联合标注数据集；s33.对肿瘤细胞精准计数网络模型进行训练，并对肿瘤细胞联合标注数据集进行迭代学习；s34.利用肿瘤细胞精准计数网络模型对免疫组化染色的病理切片图像的肿瘤区域进行分割，再通过关键点检测定位肿瘤区域的肿瘤细胞的位置，并获取肿瘤细胞的具体数量。
[0068]
根据本发明的一种实施方式，步骤s5通过深度学习模型对pd-l1免疫组化染色的病理切片图像的肿瘤区域内pd-l1阳性细胞进行细胞层面的识别并计数，具体包括以下步骤：
[0069]
s51.搭建细胞级实例分割网络模型；s52.对pd-l1免疫组化染色的肿瘤区域图像进行标注，对肿瘤区域内细胞膜线性染色的细胞逐一进行轮廓标注，并对pd-l1阳性细胞进行分类标识，获取pd-l1阳性细胞实例标注数据集；s53.对细胞级实例分割网络模型进行训练，并对pd-l1阳性细胞实例标注数据集进行迭代学习，构建细胞级pd-l1阳性细胞识别模型；s54.利用细胞级pd-l1阳性细胞识别模型对pd-l1免疫组化染色的病理切片图像的肿瘤区域的pd-l1阳性细胞进行精准识别与分类，获取pd-l1阳性细胞的数量。
[0070]
根据本发明的一种实施方式，上述pd-l1阳性细胞包括pd-l1阳性肿瘤细胞和pd-l1阳性免疫细胞。在步骤s52中，采用不同的轮廓标注对pd-l1阳性肿瘤细胞和pd-l1阳性免疫细胞进行分类标识，标注方式如图6所示。在步骤s54中，还需分别获取pd-l1阳性肿瘤细胞的数量和pd-l1阳性免疫细胞的数量。
[0071]
根据本发明的一种实施方式，在上述步骤s2、步骤s3和步骤s5中，先分别搭建深度残差网络模型、肿瘤细胞精准计数网络模型和细胞级实例分割网络模型，然后通过标注的方式分别构建肿瘤区域分类数据集、肿瘤细胞联合标注数据集和pd-l1阳性细胞实例标注数据集。上述网络模型训练的过程都包括：
[0072]
将标注的数据集划分为训练集和测试集，并将训练集中的所有图像的像素值归一化至[0,1]范围内；
[0073]
将图像按照4的倍数组成图像batch输入至网络模型，在训练过程中对每次迭代输入的图像进行随机数据增广以产生更多不同的图像，调整各项训练参数，通过梯度下降的方式使网络模型中的变量持续迭代优化；
[0074]
将测试集对训练后的网络模型进行效果验证，获取上述三个步骤的最优的网络模型。通过这整个模型训练的过程，获取最终的肿瘤区域分类识别模型、肿瘤细胞精准计数网络模型和细胞级pd-l1阳性细胞识别模型。
[0075]
根据本发明的一种实施方式，步骤s6包括：根据pd-l1阳性肿瘤细胞、pd-l1阳性免
疫细胞和肿瘤细胞的数量，对pd-l1免疫组化染色的肿瘤区域图像进行判读，自动输出并显示肿瘤细胞阳性比例分数和联合阳性分数的数值结果。输出的肿瘤细胞阳性比例分数和联合阳性分数的数值结果可以为病理医生对于免疫治疗药物的用药提供参考，为病理医生提供快速、准确的pd-l1辅助诊断。其中，肿瘤细胞阳性比例分数通过以下公式获得：
[0076][0077]
联合阳性分数通过以下公式获得：
[0078][0079]
本发明的一种实施方式还提供一种利用上述基于深度学习的pd-l1病理切片自动判读方法实现的基于深度学习的pd-l1病理切片自动判读系统，主要包括：图像采集模块、第一识别定位模块、第一计数模块、第二识别定位模块、第二计数模块和判读模块。
[0080]
其中，图像采集模块，用于分别获取通过免疫组化染色和pd-l1免疫组化染色的病理切片图像；
[0081]
第一识别定位模块，用于对免疫组化染色的病理切片图像中膜染的区域进行定位，识别肿瘤区域的位置；
[0082]
第一计数模块，用于对肿瘤区域的肿瘤细胞进行识别并计数；
[0083]
第二识别定位模块，用于利用图像配准技术获取免疫组化染色的病理切片图像和pd-l1免疫组化染色的病理切片图像之间的位置关系，并通过位置关系将肿瘤区域映射转换至pd-l1免疫组化染色的病理切片图像中，对pd-l1免疫组化染色的病理切片图像的肿瘤区域进行定位；
[0084]
第二计数模块，用于对pd-l1免疫组化染色的病理切片图像的肿瘤区域内pd-l1阳性细胞进行识别并计数；
[0085]
判读模块，用于根据肿瘤细胞和pd-l1阳性细胞的数量，对pd-l1免疫组化染色的肿瘤区域图像进行判读并显示判读结果。pd-l1阳性细胞包括pd-l1阳性肿瘤细胞和pd-l1阳性免疫细胞。
[0086]
经验证，本发明利用基于深度学习的pd-l1病理切片自动判读方法的基于深度学习的pd-l1病理切片自动判读系统与专业病理医师人工判读结果具有较高的一致性，具体如下表1所示。现有的人工判读由于主观性问题，不同医师的判读存在差异且存在同一张病理切片的重复判读一致性差的问题，而本发明中的基于深度学习pd-l1病理切片自动判读方法的结果稳定，具有较强的客观性，并有效地解决了上述问题。
[0087][0088]
表1本方法与病理医师部分病理判读对比表
[0089]
以上所述仅为本发明的一个实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。