基于胸部CT影像的多模态人工智能辅助肺炎鉴别诊断系统及终端

本发明涉及肺部感染病原鉴别，特别是涉及一种基于胸部ct影像的多模态人工智能辅助肺炎鉴别诊断系统及终端。

背景技术：

1、肺部感染的病原体种类繁多，传统的微生物检测方法存在敏感性、特异性、时效性差和受抗菌药物使用影响等问题，超过50％肺部感染无法明确。早期快速、准确的病原学诊断，尽早目标性治疗，是改善疑难肺部感染预后，降低病死率的关键。胸部ct影像作为肺部感染诊断的重要技术，可在一定程度上反映组织病理学上特征，使胸部ct在第一时间评估感染病原体成为可能。不少特定病原体引起的肺部感染病灶，在胸部ct影像学上的表现具有一定特征性。现实场景肺炎的诊断非常复杂，不只是限于病毒性肺炎、细菌性肺炎、真菌性肺炎、肺结核，如真菌性肺炎中耶氏肺孢子菌肺炎、肺隐球菌病、肺曲霉菌病诊断和治疗策略完全不一样。

2、目前肺部感染胸部影像学相关人工智能或深度学习模型主要用于鉴别covid-19与其他类型肺炎，或鉴别3-4种类型肺炎，主要包括细菌性肺炎、真菌性肺炎、病毒性肺炎和肺结核。现有技术中提出的深度学习模型或者鉴别系统，仅涉及肺炎种类、或个别病原体的鉴别，不同的病原体诊疗策略完全不同，既往的结果无法满足实际临床需求。

技术实现思路

1、鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于胸部ct影像的多模态人工智能辅助肺炎鉴别诊断系统及终端，用于解决现有技术中提出的深度学习模型或者鉴别系统，仅涉及肺炎种类、或个别病原体的鉴别，无法满足因不同病原体需不同诊疗策略的临床需求的技术问题。

2、为实现上述目的及其他相关目的，本发明提供一种基于胸部ct影像的多模态人工智能辅助肺炎鉴别诊断系统，所述系统包括：训练样本获取模块，用于收集涵盖10种肺炎类型的多个肺炎病例，并将每个肺炎病例的胸部ct图像以及临床文本信息分别作为标记有对应肺炎类型标签的训练样本；模型构建模块，连接所述训练样本获取模块，用于基于各训练样本中的胸部ct图像以及临床文本信息分别构建影像分类器以及非影像分类器，以建立肺炎鉴别诊断模型；诊断模块，连接所述模型构建模块，用于基于肺炎鉴别诊断模型，根据输入的肺炎病例的胸部ct图像以及临床文本信息，获得对应的肺炎鉴别结果。

3、于本发明的一实施例中，10种肺炎类型包括：细菌性肺炎、非典型病原体肺炎、诺卡菌肺炎、肺隐球菌病、肺曲霉菌病、耶氏肺孢子菌肺炎、肺结核、肺非结核分枝杆菌病、肺恶性肿瘤以及类肺炎。

4、于本发明的一实施例中，所述肺炎鉴别诊断模型包括：模型输入模块，用于输入肺炎病例的胸部ct图像以及临床文本信息；影像分类器，连接所述模型输入模块，用于根据输入肺炎病例的的胸部ct图像，获得对应的影像分类结果；其中，所述影像分类结果包括：每种肺炎类型的影像分类概率值；非影像分类器，连接所述模型输入模块，用于根据输入的肺炎病例的临床文本信息，获得对应的非影像分类结果；其中，所述非影像分类结果包括：每种肺炎类型的非影像分类概率值；结果整合模块，连接所述影像分类器以及非影像分类器，用于对影像分类结果以及非影像分类结果进行整合获得对应肺炎病例的肺炎鉴别结果。

5、于本发明的一实施例中，基于各训练样本中的胸部ct图像构建影像分类器的方式包括：对输入的各训练样本中的胸部ct图像进行预处理；对进行预处理后的各胸部ct图像进行肺窗口以及标准窗口的归一化；将经过由肺窗口以及标准窗口归一化后的图像通过双通道分别输入3d-densenet网络进行训练，获得影像分类器。

6、于本发明的一实施例中，对输入的各训练样本中的胸部ct图像进行预处理的方式包括：使用神经网络对胸部ct图像中的左右肺进行自动分割，得到左右肺的边界框；基于左右肺的边界框从胸部ct图像中提取肺野区域，获得多个肺野图像块；将各肺野图像块调整为同一像素。

7、于本发明的一实施例中，基于各训练样本中的临床文本信息构建非影像分类器的方式包括：对各训练样本中的临床文本信息进行预处理；利用进行预处理后的临床文本信息训练gbt网络获得非影像分类器。

8、于本发明的一实施例中，所述临床文本信息包括：性别、年龄、白细胞计数、中性粒细胞计数、红细胞沉降、c反应蛋白、降钙素原、癌胚抗原、t-spot.tb检测结果、症状及症状持续时间。

9、为实现上述目的及其他相关目的，本发明提供一种电子终端，包括：所述基于胸部ct影像的多模态人工智能辅助肺炎鉴别诊断系统。

10、如上所述，本发明是一种基于胸部ct影像的多模态人工智能辅助肺炎鉴别诊断系统及终端，具有以下有益效果：本发明利用涵盖10种肺炎类型的训练样本中的胸部ct图像以及临床文本信息分别构建影像分类器以及非影像分类器，以建立肺炎鉴别诊断模型；基于肺炎鉴别诊断模型，根据输入的肺炎病例的胸部ct图像以及临床文本信息，获得对应的肺炎鉴别结果。本发明可实现鉴别10种肺炎类型，并且准确性极高。临床医生可依据此诊断结果，有针对性地制定微生物送检或诊断策略，实施目标性抗感染治疗，从而显著减少不必要的抗菌药物使用，提升治疗效果以及减少误诊漏诊。

技术特征：

1.一种基于胸部ct影像的多模态人工智能辅助肺炎鉴别诊断系统，其特征在于，所述系统包括：

2.根据权利要求1中所述的基于胸部ct影像的多模态人工智能辅助肺炎鉴别诊断系统，其特征在于，10种肺炎类型包括：细菌性肺炎、非典型病原体肺炎、诺卡菌肺炎、肺隐球菌病、肺曲霉菌病、耶氏肺孢子菌肺炎、肺结核、肺非结核分枝杆菌病、肺恶性肿瘤以及类肺炎。

3.根据权利要求3中所述的基于胸部ct影像的多模态人工智能辅助肺炎鉴别诊断系统，其特征在于，所述肺炎鉴别诊断模型包括：

4.根据权利要求3中所述的基于胸部ct影像的多模态人工智能辅助肺炎鉴别诊断系统，其特征在于，基于各训练样本中的胸部ct图像构建影像分类器的方式包括：

5.根据权利要求4中所述的基于胸部ct影像的多模态人工智能辅助肺炎鉴别诊断系统，其特征在于，对输入的各训练样本中的胸部ct图像进行预处理的方式包括：

6.根据权利要求3中所述的基于胸部ct影像的多模态人工智能辅助肺炎鉴别诊断系统，其特征在于，基于各训练样本中的临床文本信息构建非影像分类器的方式包括：

7.根据权利要求6中所述的基于胸部ct影像的多模态人工智能辅助肺炎鉴别诊断系统，其特征在于，所述临床文本信息包括：性别、年龄、白细胞计数、中性粒细胞计数、红细胞沉降、c反应蛋白、降钙素原、癌胚抗原、t-spot.tb检测结果、症状及症状持续时间。

8.根据权利要求3中所述的基于胸部ct影像的多模态人工智能辅助肺炎鉴别诊断系统，其特征在于，对影像分类结果以及非影像分类结果进行整合获得对应肺炎病例的肺炎鉴别结果包括：

9.一种电子终端，其特征在于，包括：如权利要求1至8中任一项所述的基于胸部ct影像的多模态人工智能辅助肺炎鉴别诊断系统。

技术总结本发明提供一种基于胸部CT影像的多模态人工智能辅助肺炎鉴别诊断系统及终端，利用涵盖10种肺炎类型的训练样本中的胸部CT图像以及临床文本信息分别构建影像分类器以及非影像分类器，以建立肺炎鉴别诊断模型；基于肺炎鉴别诊断模型，根据输入的肺炎病例的胸部CT图像以及临床文本信息，获得对应的肺炎鉴别结果。本发明可实现鉴别10种肺炎类型，并且准确性极高。临床医生可依据此诊断结果，有针对性地制定微生物送检或诊断策略，实施目标性抗感染治疗，从而显著减少不必要的抗菌药物使用，提升治疗效果以及减少误诊漏诊。技术研发人员：胡必杰,金文婷,潘珏,姚雨濛,苏逸,张尧,王萌冉,马玉燕,骆煜,朱贝迪,方婷婷,武渊,钱奕亦受保护的技术使用者：复旦大学附属中山医院技术研发日：技术公布日：2024/11/14