一种基于神经网络模型的冰冻病理图像识别系统

本发明涉及病理诊断，特别涉及一种基于神经网络模型的冰冻病理图像识别系统。

背景技术：

1、冰冻切片技术是一种在手术中常用的病理学技术，通过将组织样本迅速冷冻、切片、染色和显微镜检查，能够在手术过程中提供快速的组织学诊断结果，帮助医生及时制定治疗方案。传统的冰冻切片技术在处理罕见或特殊类型的肿瘤时可能会受限，尤其在样本质量不佳的情况下。这一技术通常依赖于病理医生的经验和主观判断，导致诊断的过程中可能存在个体差异以及误差。同时，制作冰冻切片的过程较为复杂，包括组织采样、快速冷冻、切片制备、染色和显微镜下观察等对于操作人员技术要求高的操作，在手术过程中使用这种技术时，有可能导致手术时间延长，影响患者预后。也无法快速地对患者在多次检查中病情的发展进行清晰的回顾和对比分析。

2、早期的计算机辅助诊断系统虽然提供了某种程度的自动化，但是它们在处理不常见或复杂病例时表现不佳，反映了系统泛化能力的不足。此外，这些系统的性能还受限于当时的硬件和软件技术，早期的系统在泛化能力上存在不足，在识别不常见或复杂病例时表现不佳。

技术实现思路

1、有鉴于此，本发明提出了一种基于神经网络模型的冰冻病理图像识别系统，能够有效提高对于冰冻切片进行病理分析的效率，具体方案如下：

2、一种基于神经网络模型的冰冻病理图像识别系统，包括：

3、初筛单元：用于获取待测肿瘤冰冻切片图像及患者信息，分析待测肿瘤冰冻切片图像的属性是否符合预设识别要求。其中，属性可以包括冰冻切片图像的清晰度、病理标记物数量、细胞形态特征等。若不符合识别要求，则进行原因分析，在用户界面输出不符合识别要求的提示，直到输入的待测肿瘤冰冻切片图像符合识别要求。

4、输入单元：用于对符合识别要求的待测肿瘤冰冻切片图像进行预处理，将待测肿瘤冰冻切片图像输入预训练的冰冻切片图像识别模型。

5、识别单元：用于通过预训练的冰冻切片图像识别模型对待测肿瘤冰冻切片图像进行识别，利用不同尺寸的卷积核分别提取该图像的整体特征和局部特征，综合所述整体特征和所述局部特征，分析出至少涉及组织形状的病理数据，根据所述病理数据得到包括肿瘤良恶性、肿瘤类型和肿瘤特征的第一识别结果，将第一识别结果输入分析单元。需要说明的是，识别结果除了是文字的说明之外，也可以是包括图像的，如对冰冻切片图像局部异常区域等进行标注或高亮等分析。

6、历史记录获取单元：根据患者信息在存储单元中获取对应该患者的历史识别记录，并将历史识别记录输入分析单元。

7、分析单元：用于将历史识别记录与第一识别结果进行比较及分析，得到变化分析结果，将第一识别结果及变化分析结果作为最新识别结论在用户界面输出。需要说明的是，变化分析结果是通过对历史识别记录以及第一识别结果的比较而得出的一个新的分析结果，并不是将历史识别记录和第一识别结果简单相加。

8、存储单元：用于存储病例数据，病例数据包括患者信息以及患者信息对应的历史识别记录。在一个具体实施例中，病例数据还包括每一历史识别记录所对应的历史诊断结论。其中，历史诊断结论指的是在先前多轮的诊断过程的中的一轮或多轮针对冰冻切片图像识别模型所输出的识别结果所作出的最终的病理诊断以及医学建议的记录，即过往的诊断结论。这可以是由人工智能总结生成的，也可以是由医生或病理学家根据经验判断总结出的。历史诊断结论与历史识别记录不同，历史识别记录是模型根据训练及计算所得出识别结果的记录，诊断结论则是在识别结果的基础上作出的最终诊断。在一个实施例中，每一轮诊断过程结束后，诊断结论将存储至存储单元中，成为该患者的其中一条历史诊断结论。

9、在一个具体实施例中，当患者信息在存储单元中不存在历史识别记录时，分析单元将第一识别结果作为最新识别结论在用户界面输出。

10、还包括参考单元，参考单元用于根据第一识别结果和/或患者信息在存储单元中检索最相近的病例数据，并对这一最相近的病例数据进行脱敏处理，作为参考信息在用户界面输出。在实际应用中，参考单元可以根据第一识别结果中的对于肿瘤的描述关键词以及患者信息中的一些客观信息如年龄、烟龄、治疗方案、治疗结果等来检索存储单元中是否存在病况与本次的患者相似的病例，通过检索相似的病例并作为参考信息输出。在一个使用的过程中，分析单元在输出最新识别结论后，同时，对于所输入的冰冻切片病理图像的第一识别结果也将作为历史识别记录存储在所述存储单元。在一个实施例中，医生、病理学家等使用者可以将最新识别结论、患者实际情况以及自身经验相结合，得出最终的诊断结论，同时，还将这一诊断结论作为该患者的历史诊断结论输入至存储单元进行存储，这有助于在存储单元中构建病例数据库。在下一次使用系统时，本次的第一识别结果将作为下一次可供调用的历史识别记录、本次的最终诊断结论将作为下一次的可供调用的历史诊断结论。

11、在一个具体实施例中，还包括训练单元：用于构建并训练冰冻切片图像识别模型；其中，建构的具体步骤包括：

12、获取样本图像集，样本图像集包括预设时间范围内制成的多种类型的肿瘤冰冻切片的样本图像。其中，在获得样本图像集的过程中，样本图像集可以是由从多家医院和诊所挑选的病例冰冻切片扫描件组成；

13、对样本图像集中的样本图像进行增强处理，对样本图像进行切割，分别得到每一样本图像所对应的第一图像和第二图像；

14、构建深度卷积神经网络，在至少一个卷积层中使用不同尺寸的卷积核分别对样本图像集的第一图像和第二图像进行特征提取，得到第一特征向量和第二特征向量；应用池化层降低第一特征向量和第二特征向量的维度；将第一特征向量和第二特征向量进行特征融合，将得到的融合特征向量输入全连接层；全连接层用于整合融合特征向量并生成最终输出。其中，卷积核包括第一卷积核和第二卷积核，第一卷积核尺寸小于第二卷积核。其中，进行特征提取的具体步骤包括：使用第一卷积核对第一图像进行特征提取，得到第一特征向量；使用第二卷积核对第二图像进行特征提取，得到第二特征向量。在实际应用中，尺寸较小的所述卷积核尺寸为m×m，尺寸较大的所述卷积核尺寸为n×n；其中，m<＝7，n>＝9。

15、在一个具体实施例中，卷积层和池化层之间还包括dropout层，dropout层用于以预设概率或随机丢弃部分神经元以减少过拟合。

16、在一个具体实施例中，训练单元包括第一图像训练单元和第二图像训练单元，用于得到第一图像和第二图像，第一图像的尺寸小于第二图像。其中，第一图像训练单元用于对样本图像进行重合标注；对样本图像进行裁剪、归一化、和/或调整亮度、和/或调整对比度，以增强样本图像中的关键特征；对样本图像随机提取中心点，进行随机旋转、和/或缩放，以增强样本图像的多样性。在实际应用中，构建包学习训练模块，包学习训练模块包括对样本图像进行重叠滑动切割，将样本图像切割为多个小尺寸图像，采用重叠滑动切割能够提高分割图像的连接性，让模型更加平滑，减少模型的过拟合程度，提高模型的泛化能力和精确程度。再对小尺寸图像进行标记，对小尺寸图像进行正向训练和/或反向训练，得到第一图像。

17、在一个具体实施例中，样本图像中包括异常区域，在得到第一图像前，对包括异常区域的小尺寸图像进行标记；

18、对小尺寸图像进行正向训练，使用经过标记的小尺寸图像作为输入，用于使第一图像提取并学习助于肿瘤类型识别的特征；对小尺寸图像进行反向训练，调整模型参数以减小预测和图像标记的误差。第二图像训练单元用于对样本图像进行整图提取，确定所提取图像的中心点，以中心点为基准，将所提取图向外扩展多倍，在扩展后的图像上进行切割操作，得到第二图像。

19、在一个具体实施例中，在得到第一图像前，还将第二图像作为生成第一图像的背景资料输入。

20、在一个具体实施例中，还包括对冰冻切片图像识别模型进行验证及评估的步骤，具体包括：获得测试数据集，测试数据集小于样本数据集，测试数据集包括多种类型的肿瘤冰冻切片的样本图像。使用auc(area under the curve，是指模型将正类样本排在负类样本前面的概率，即roc曲线(receiver operating characteristic curve)下的面积，auc的取值范围在0到1之间，数值越接近1表示模型性能越好)作为评价指标评价冰冻切片图像识别模型的性能，当auc值达到预设合格值时，评价冰冻切片图像识别模型性能为合格；当auc值未达到预设合格值时，进行原因分析并对冰冻切片图像识别模型的训练进行调整。

21、有益效果：本发明提出了一种基于神经网络模型的冰冻病理图像识别系统，通过对这一系统进行应用，能够帮助医生在手术过程中更快地识别患者的肿瘤类型和肿瘤特征，可以有效改善患者的即时治疗效果，并且通过对同一患者历史的冰冻切片图像进行智能比对分析，有助于医生通过系统的分析观察病情的发展情况，以更好预后。加速诊断过程可以减少手术室使用时间和相关资源的消耗，从而降低医院的运营成本。此外，提高诊断准确性可以减少因误诊导致的额外治疗和法律责任风险。通过这一图像识别系统辅助医生提供更准确的诊断，可以改善患者治疗的总体效果，减少因疾病带来的社会负担。