循环肿瘤细胞的机器阅片方法与流程

1.本发明涉及循环肿瘤细胞的自动检测，以机器自动识别完全取代人工阅片其中的检测方法。


背景技术：

2.转移和复发是癌症患者死亡的主要原因，而循环肿瘤细胞(circulating tumor cells,ctc)在癌症转移和复发中起着重要作用。循环肿瘤细胞检测在早期发现癌细胞的转移、复发、评估预后和选择个体化治疗方案方面有着重要作用。
3.循环肿瘤细胞检测是采集患者的适量外周血后先通过微流控等方式实现ctc富集，即剔除大部分白细胞，保留ctc。根据需要，对富集后的ctc样本添加各种荧光染料，而后制成玻片样本供后续在微分干涉差显微镜(dic)下观察，即阅片。
4.目前，主要采用人工阅片的方式：切换不同通道的光源激发荧光，通过荧光的有无和亮度来判断是否为ctc。
5.主要有五种通道可供选择：(1)明场(bf，bright field)，即可见光通道，通过它观察细胞的形状、大小、表面光洁度等；(2)dapi，该染料与细胞核结合，发出蓝色荧光的强度能指示细胞核的致密度；(3)tritc，该染料发出黄色荧光，而肿瘤细胞不染色；(4)fitc，该染料显示绿光；(5)cy5，该染料显示红光。
6.通过明场阅片的判别步骤和标准为：
7.(1)在明场通道浏览玻片样本来寻找疑似的肿瘤细胞，它的特点是具有细胞形态、直径比白细胞大、表面比较粗糙；
8.(2)发现疑似肿瘤细胞后，切换到dapi通道，看其对应位置蓝色荧光的强度：
9.(a)如果没有蓝色荧光，则说明是没有细胞核，属于杂质；
10.(b)如果蓝色荧光比周围白细胞的更致密、荧光范围更大，则对该位置进行拍照。之后通过将荧光强度和荧光范围与设定的阈值进行比较来判断是否为疑似肿瘤细胞。
11.(3)切换到tritc通道，如果该对应位置有黄色荧光，说明是白细胞，否则为疑似肿瘤细胞；
12.(4)切换到fitc和cy5通道，这两个通道中的对应位置处若有荧光，则为疑似肿瘤细胞。
13.综上，最终判断为肿瘤细胞的条件为：在明场通道直径较大且具有细胞形态；在dapi通道荧光致密且面积大于阈值；在tritc通道没有荧光，在fitc和cy5任一通道有荧光(即大于某微小阈值)。
14.还可以通过dapi通道阅片，即在dapi通道浏览玻片样本上的细胞，看到致密且大的细胞核荧光时判断为疑似肿瘤细胞，然后切换tritc、fitc和cy5通道来进行最终判断。
15.一般情况下，对一个人的血液样本进行阅片需要检测人员对着电脑显示器工作，一边移动显微镜下的玻片样本，一边在显示器上捕捉疑似的肿瘤细胞。发现疑似的肿瘤细胞时，就手动切换显微镜上的各个通道并进行拍照取样用于后续分析。这个过程大约花费
半个小时，检测人员的视力、经验和责任心都会影响检测结果。同时显示器的质量对人工阅片效果也有较大影响。
16.之后对拍照数据进行分析，需要人工在明场通道勾选出疑似肿瘤细胞的轮廓，之后软件计算该封闭轮廓的直径以及在各个通道的荧光亮度均值，与阈值进行比较，得出最终的结果。其中，勾选细胞轮廓耗时较长，对检测人员的视力和耐心要求较高。
17.现有的自动阅片仪，是把显微镜上的通道切换改装成电动，采用机器视觉对dapi通道阅片。即在电机移动玻片样本时，拍下dapi通道的图像，实时对dapi图像进行处理分析。dapi图像处理分析的方法为：对dapi图像进行二值化后得到每个细胞核的轮廓，计算每个细胞核的面积和荧光强度；如果发现超过阈值的细胞核，便电动切换tritc、fitc和cy5通道进行综合判断。
18.这种阅片仪相对人工阅片有较大自动化方面的提升，但是有如下缺陷：(1)有些肿瘤细胞有两个细胞核，就不会被检测到；(2)dapi通道不适宜长时间激发荧光，容易猝灭而影响其他通道的荧光检测，而本方法，激光持续照射在样本上，容易造成邻近细胞的荧光猝灭；(3)没有采用明场通道的检测，因此细胞形貌等信息没有被用于检测，这相比人工阅片减少了信息获取和利用，最终会对检测结果产生影响。
19.本发明提出一种更加忠实于人工阅片过程的机器阅片方法，用机器学习和机器视觉来实现先浏览明场来阅片，再结合其他通道的图像来综合判断，一次性得出检测结果，准确率高。


技术实现要素：

20.本发明提出一种循环肿瘤细胞检测的机器阅片方法，采用机器视觉和机器学习替代了人工阅片，又比现有的阅片仪更加准确可靠。
21.本发明是基于机械自动化切换显微镜的通道和移动玻片样本，结合人工智能算法，替代了人工阅片的手和眼的操作。具体发明内容为：
22.事先采用大量明场通道的图片(比如200张)训练yolov4网络模型，人工标记出所有的疑似ctc，这些图片的背景是大量正常的白细胞和一些杂质。只标记需要检测出的疑似ctc，对白细胞和杂质不进行处理。依次训练出来的检测模型测试map(平均准确率)达到94％。
23.在yolov4外加一些后处理程序来组成整个测试系统，后处理程序包括对其他通道的图片进行检测、发出切换通道的信号和移动玻片样本的信号。
24.各通道的图像拍摄后，要保证它们之间的坐标对齐，这样可以直接一个通道的相应位置直接找到另一个通道的同样位置的图像。
25.(1)在明场通道浏览玻片样本，采用事先训练好的yolov4模型进行测试，来从显微镜图像中识别出疑似ctc；
26.(2)当在视场中出现疑似ctc时，切换到dapi通道拍照，并把dapi图片输入后处理程序，后处理程序通过明场通道中该疑似ctc的位置找到它在dapi通道的图像，根据dapi通道的染色情况做判断；
27.(3)切换到tritc通道，在对应位置处找到疑似ctc的tritc染色情况，根据染色情况做判断；
28.(4)切换到ct5通道，判断其染色情况；
29.(5)切换到fitc通道，判断其染色情况；
30.(6)综合各个通道的染色情况，得到最终判断结果。
附图说明
31.图1为整个检测方法的流程图。
具体实施方式
32.本发明给出了一种循环肿瘤细胞的机器阅片方法，实现阅片过程和图像分析的全自动化一次性完成。下面结合具体实施例和附图进一步说明。
33.以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
34.本发明的实施相比现有市场上的检测方法需要三个方面的改进：(1)显微镜的改进；(2)图像检测方法的改进；(3)ctc检测流程的改进。本发明侧重于图像检测方法的创新。
35.本发明的机器阅片方法为以yolov4检测明场中的疑似ctc为主体的测试系统，包括yolov4检测出疑似ctc和后处理程序来检测其他通道的染色情况来做出最终的综合判断，并发出切换通道的信号和移动玻片的信号来自动化完成整个过程，代替了人工检测中的手和眼。
36.本发明的操作包括事先准备和检测过程两部分。
37.事先准备主要为训练模型yolov4来识别明场中的疑似ctc。收集实际检测中的200张明场图片，把人工检测时会认为可疑的疑似ctc框选出来，用labelimg做成标定样本。然后输入给yolov4模型进行训练，训练1000次后，测试所得模型的准确率达到94％。
38.另外，应设定其他各个通道的检测特征和相应的阈值。包括：
39.(1)在dapi通道的疑似ctc区域内，判断细胞核有染色为其荧光强度超过设定的阈值。优选地，判断细胞核有染色的标准是其荧光强度超过某一阈值light_min的面积大于阈值area_min。接着判断细胞核染色亮度和面积都超过阈值的标准为该面域最亮的前10％的平均亮度和面积相应地大于light_max和area_max.
40.(2)tritc通道的对应疑似ctc区域内，黄色荧光的亮度小于阈值tritc_valve。优选地，黄色荧光的亮度为最亮的50％的区域内的平均亮度。
41.(3)类似地，cy5通道和fitc通道也有相应地优选指标和阈值。
42.检测过程为从人体循环血中提取白细胞，并对ctc进行富集，然后平铺到玻片中，做成样本。这部分有采用细胞分选仪、微流控等手段，不是本发明的保护内容。
43.玻片样本放置在更自动化机械改造的荧光显微镜上，自动化改造包括可以根据电信号自动切换检测通道和移动显微镜的工作台。这部分也不是本发明的保护内容。
44.检测系统控制机械操作镜头和光源，首先切换到明场通道，玻片在二维工作台做间歇运动，一个视野拍完就移动到相邻的一个视野，移动的距离为视野的宽度。拍摄后，图片进入yolov4模型检测，如果视野没有发现疑似ctc，直接移动到下一个视野，直到发现有疑似ctc时，程序控制切换到dapi通道，根据yolov4模型在明场通道检测到的疑似ctc的位
置检测dapi通道相应位置的染色情况，判断规则依据事先准备的程序。如图1，如果该疑似ctc没有细胞核染色，就判断为杂质，回到明场通道并移动到下一个视野。如果有细胞核染色，就继续判断细胞核染色亮度和面积是否都超过阈值，如果不是，则判断为不是ctc，把它的明场和dapi图片都存档供后期修正模型参数；如果是，则继续切换到tritc通道，检测在疑似ctc位置的黄色荧光，如果其亮度大于阈值，则判断为白细胞，返回到明场通道并移动到下一个视野；如果其亮度小于阈值，切换cy5通道，检测其荧光亮度是否超过阈值，如果不超过，就继续切换到fitc通道，检测其荧光亮度是否超过阈值，如果也不超过，则判定不是ctc，否则cy5通道或fitc通道的任何一个的荧光亮度超过阈值则判定为ctc，把ctc的各通道图片保存下来用于检测报告生成。完成后返回明场，并移动到下一个视野继续检测。
45.对一个标本中检测到的ctc计数，并呈现每个ctc的图片到检测报告中，供医生做判断。