基于HPV和细胞学图像特征融合的细胞检测方法及系统

本发明涉及医学细胞检测，具体地，涉及一种基于hpv和细胞学图像特征融合的细胞检测方法及系统，同时提供了一种相应的计算机终端及计算机可读存储介质。

背景技术：

1、hpv(human papilloma virus，人乳头瘤状病毒)是导致宫颈癌发生的最主要因素，几乎所有宫颈癌活检组织中均可发现hpv的存在，高危型hpv持续感染与绝大部分宫颈癌的发病有关，hpv筛查联合细胞学筛查是三阶梯筛查的第一部分。

2、作为宫颈癌的两个重要筛查手段，细胞学检查与hpv检查结果具有广泛的共现性：细胞学检查结果与hpv检查结果对于同一被筛查者而言通常都是可获得的，这为两种模态的融合提供了可行性基础。此外，两种模态对于宫颈癌的筛查具有互补性：hpv筛查通常对cin2+以及cin3+病变具有高敏感性，且在一些高危病变上诊断相较细胞学检查具有更高的准确性。而也有一些非hpv相关病变如胃型腺癌无法通过hpv筛查检出，此时细胞学检查结果尤为重要。因此，hpv与细胞学检查的双模态融合具有可行性，且结合hpv与细胞学检查的双模态病变诊断可实现可诊断病变种类的更广覆盖和更高准确性。

3、近年来，已经有一些工作通过融合细胞学检查与hpv检查两个模态的数据来实现更优的宫颈癌筛查。然而，现有的融合方法将细胞学检查分级与hpv检查分级进行交叉组合，产生了大量新的分级，导致了部分分级的样本数量较少，因此模型在样本较少的分级上性能不够理想。除此之外，上述将细胞学和hpv检查融合的方法都是基于病历数据，即仅仅使用了医生阅读影像后的诊断结果。因此，现有的融合技术无法获得准确全面的检测结果，目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

技术实现思路

1、本发明针对现有技术中存在的上述不足，提供了一种基于hpv和细胞学图像特征融合的细胞检测方法及系统，同时提供了一种相应的计算机终端及计算机可读存储介质。

2、根据本发明的一个方面，提供了一种基于hpv和细胞学图像特征融合的细胞检测方法，包括：

3、查询细胞图像对应的hpv信息，将不同的hpv分型的状态进行统一的特征编码，得到细胞图像对应的hpv特征向量；

4、对所述细胞图像进行检测，得到候选区域特征图，基于所述候选区域特征图，提取候选区域的位置特征以及对应的分类特征，构建图像特征；

5、将所述hpv特征向量和每一个候选区域的图像特征进行融合，得到细胞的检测结果。

6、优选地，所述查询细胞图像对应的hpv信息，将不同的hpv分型的状态进行统一的特征编码，得到细胞图像对应的hpv特征向量，包括：

7、查询细胞图像对应的hpv信息，所述hpv信息包括四种hpv分型信息，分别为hpv16型、hpv18型、其他12型高危型和其他中危低危型，所述hpv分型的检测状态包括：阳性、阴性和未知；

8、对于状态为未知的hpv分型，引入状态标识，所述状态标识用于表达该hpv分型的检测状态未知；

9、采用one-hot编码对所述hpv分型信息的检测状态进行统一编码，得到hpv特征向量。

10、优选地，所述对所述细胞图像进行检测，得到候选区域特征图，基于所述候选区域特征图，提取候选区域的位置特征以及对应的分类特征，构建图像特征，包括：

11、采用候选区域提取网络rpn提取得到细胞矩形对象框的初始候选区域；

12、采用感兴趣区域池化roipooling得到每一个初始候选区域对应的候选区域特征图；

13、采用分类和回归检测头提取每一个候选区域的位置特征以及对应的分类特征，构建图像特征。

14、优选地，所述采用候选区域提取网络rpn提取得到细胞矩形对象框的初始候选区域，包括：

15、将细胞图像输入候选区域提取网络rpn，得到一组矩形对象框以及每一个矩形对象框的得分；

16、采用候选区域提取网络rpn得到矩形对象框后，按照矩形对象框的得分进行排序，提取分数排名前n0的矩形对象框，进行后处理后，得到矩形对象框的初始候选区域。

17、优选地，所述采用感兴趣区域池化roipooling得到每一个初始候选区域对应的候选区域特征图，包括：

18、采用感兴趣区域池化roipooling提取每一个初始候选区域对应的特征图，其中，所述感兴趣区域池化roipooling采用全图特征图和候选区域提取网络rpn的矩形对象框位置作为输入；

19、首先将所述矩形对象框的位置映射到全图特征图相同的尺度，得到候选区域的初始特征图，再将每一个初始特征图水平切分为多个等尺寸网格，对每一个所述网格进行最大池化处理，将大小不同的矩形对象框的特征图统一为固定大小，得到固定尺寸的候选区域特征图。

20、优选地，所述采用分类和回归检测头提取每一个候选区域的位置特征以及对应的分类特征，包括：

21、将所述候选区域特征图输入检测头，通过卷积层提取得到所述候选区域的位置特征以及对应的分类特征，构建图像特征。

22、优选地，所述将所述hpv特征向量和每一个细胞候选区域的图像特征进行融合，得到细胞的检测结果，包括：

23、对于类别预测，将所述hpv特征向量和每一个细胞候选区域的图像特征中的分类特征在通道维度进行拼接，经过分类层得到类别概率；

24、对于位置回归，将所述hpv特征向量和每一个细胞候选区域的图像特征中的位置特征在通道维度进行拼接，经过回归层得到位置预测量；

25、将得到所述类别概率和所述位置预测量，按照概率分数进行排序，进行后处理后，得到最终的细胞候选区域的检测结果。

26、根据本发明的另一个方面，提供了一种基于hpv和细胞学图像特征融合的细胞检测系统，包括：

27、hpv特征向量获取模块，该模块用于查询细胞图像对应的hpv信息，将不同的hpv分型的状态进行统一的特征编码，得到细胞图像对应的hpv特征向量；

28、图像特征获取模块，该模块用于对所述细胞图像进行检测，得到候选区域特征图，基于所述候选区域特征图，提取候选区域的位置特征以及对应的分类特征，构建图像特征；

29、特征融合模块，该模块用于将所述hpv特征向量和每一个候选区域的图像特征进行融合，得到细胞的检测结果。

30、根据本发明的第三个方面，提供了一种计算机终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该计算机程序时可用于执行本发明上述中任一项所述的方法，或，运行本发明上述中所述的系统。

31、根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可用于执行本发明上述中任一项所述的方法，或，运行本发明上述中所述的系统。

32、由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：

33、本发明提供的基于hpv和细胞学图像特征融合的细胞检测方法及系统，引入hpv分型信息，采用统一的特征向量对病人的hpv分型信息实现编码，然后融合细胞学图像特征和hpv分型特征，得到更加准确全面的细胞特征，促进更准确的细胞检测。

34、本发明提供的基于hpv和细胞学图像特征融合的细胞检测方法及系统，通过融合病人hpv分型的先验信息，并基于one-hot的统一hpv特征编码方式，可以有效处理缺失hpv检测结果的情况，提高了细胞检测的准确性。

35、本发明提供的基于hpv和细胞学图像特征融合的细胞检测方法及系统，建立了hpv-细胞学双模态深度融合模型来实现更准确的细胞检测，有效利用原始细胞学图像与hpv检测结果，挖掘出人类肉眼难以察觉的视觉特征，深度融合两个模态的数据，有效提取两种模态中的互补信息和知识关联，实现更加准确的检测。