一种基于多模态乳腺癌知识图谱的医疗辅助诊断系统模型的构建方法

本发明属于知识图谱应用领域，具体涉及一种基于多模态乳腺癌知识图谱的医疗辅助诊断系统模型的构建方法。

背景技术：

1、基于多模态乳腺癌知识图谱的医疗辅助诊断系统在计算机辅助乳腺癌诊断和预后中起着关键作用。国务院办公厅在《关于促进“互联网+医疗健康”发展的意见》中明确指出，社会各界应当运用信息化手段解决人民群众看病就医过程中的“难点”“堵点”问题。在此大背景下，计算机辅助医疗决策成为人工智能技术与医疗结合的重点领域，是信息技术赋能疾病诊疗全流程的突破点，在提升医疗质量和效率、优化区域间医疗资源配置、改善人民群众看病就医感受等方面具有积极作用。

2、根据世界卫生组织的《世界癌症报告》，乳腺癌是全世界妇女中发病率和死亡率最高的最常见癌症。早期筛查能够有效降低乳腺癌的死亡率。现阶段的辅助诊断系统是以电子病历评级为驱动的知识库体系，只能满足比较基础的的诊疗决策需求。而肿瘤科、心血管科等各个专科往往面临比较复杂的病历，需要更具差异化的专科知识体系。另外，现阶段的辅助诊断系统更多的是利用问诊及检查/检验结果的数据，但图像数据对诊断以及后续治疗方案的选择提供了额外的信息，特别是对于乳腺癌，往往是利用图像进行诊断。目前缺少能够融合临床数据和图像数据的辅助诊断系统。

技术实现思路

1、本发明所要解决的技术问题是提供一种针对乳腺癌的医疗辅助诊断系统，能够准确和有效地根据病人的电子病历和包括影像学检查、组织病理学检查等各类检查\检验结果结合而成的多模态信息给出可靠的病人被诊断为腺病、纤维肿瘤、导管癌、小叶癌等良性乳腺肿瘤或乳腺癌的诊断结果。为了能够进一步提高系统的准确性和有效性，使用多模态乳腺癌知识图谱，结合图谱中乳腺癌相关的多模态知识增强系统。

2、本发明公开了一种基于多模态乳腺癌知识图谱的医疗辅助诊断系统的构建方法，所述方法包括以下步骤：

3、1）构建多模态乳腺癌知识图谱。从大量不同来源的高质量医疗数据中收集大量的乳腺癌相关资料作为数据，对知识图谱中的本体进行建模，采用基于深度学习的实体、关系联合学习方法对数据进行实体、关系抽取，针对乳腺癌疾病类实体将其对应的典型图像数据如x线影像、组织病理学图像等作为其关联实体，生成多模态、大规模、专业性强的乳腺癌知识图谱；

4、2）构建乳腺癌知识图谱增强诊断系统模块。对诊断系统的每个输入，将其中涉及的实体选择出来，在知识图谱中查询对应的三元组，采用基于规则的方法筛选出其中对诊断乳腺癌权重较大的实体，这些实体分为文本数据和图像数据，将这些数据进行处理得到联合特征，作为诊断系统输入的额外特征；

5、3）构建医疗辅助诊断系统模型。将获取的去识别化的确诊为良性乳腺肿瘤、恶性乳腺癌的病人的电子病历和相关的各类检查结果结合而成的多模态数据作为模型训练数据，将样本中的多模态数据进行处理得到联合特征，结合从知识图谱中获取的相应的知识的联合特征，将特征映射到潜在的标签空间中，根据得到的标签表示和真实的标签对模型的参数进行梯度更新，通过最小化损失函数，不断拉近预测标签和真实标签之间的距离。

6、进一步，所述构建多模态乳腺癌知识图谱的步骤，具体包括：

7、1）数据采集及处理。从大量不同来源的高质量医疗数据中收集乳腺癌相关数据，并将这些数据进行标准化处理以便后续的知识提取；

8、2）本体建模。本体是知识图谱的主要数据模型，规定了知识图谱中涉及的实体类型、关系类型；

9、3）构建实体、关系抽取模型。选取基于深度学习的实体、关系联合学习的实体、关系抽取模型，用标注好的数据集对模型进行训练；

10、4）结合图像数据。针对乳腺癌疾病类实体，采集各类乳腺癌典型的x线影像、组织病理学图像等相关图像数据，采用基于深度学习的方法，将其作为对应乳腺癌疾病类实体以对应关系连接的关联实体。

11、进一步，所述构建乳腺癌知识图谱增强诊断系统模块的步骤，具体包括：

12、1）知识查询。诊断系统的输入，主要针对病人的病历信息，将其中涉及的实体选择出来，在知识图谱中查询相应的三元组；

13、2）知识筛选及处理。采用基于规则的方法，筛选出三元组中对诊断乳腺癌权重较大到的实体，这些实体的集合属于多模态数据，分为文本数据和图像数据，将这些数据进行处理得到联合特征，作为诊断系统输入的额外输入。

14、进一步，所述构建医疗辅助诊断系统模型的步骤，具体包括：

15、1）数据采集及处理。采集去识别化的确诊为良性乳腺肿瘤、恶性乳腺癌的病人的电子病历和相关各类检查结果结合而成的多模态数据，进行标准化处理，分为文本数据和图像数据；

16、2）提取文本数据特征。采用基于深度学习的方法对不同文本数据提取相应的特征；

17、3）提取图像数据特征。采用基于深度学习的方法对不同图像数据提取相应的特征；

18、4）学习文本和图像的联合表示。采用基于深度学习的方法利用文本数据表征和图像数据表征，学习文本和图像的联合表示，将文本和图像数据对齐到统一的语义空间；

19、5）构建乳腺癌诊断模块。选取合适的深度神经网络作为诊断模型，将文本和图像的联合表示与相应的知识联合表示结合起来，作为模型的输入，得到预测标签表示；

20、6）训练模型。根据得到的标签表示和真实的标签对模型的参数进行梯度更新，通过最小化损失函数，不断拉近预测标签和真实标签之间的距离。

21、与现有技术相比，本发明具有以下优点：

22、1）本发明面向乳腺癌专科领域，具有乳腺癌知识体系，能够针对性的处理乳腺癌的复杂病历；

23、2）本发明属于多模态数据融合的辅助诊断系统，不仅利用了问诊及检查/检验结果的数据，还充分利用了能够对诊断提供额外信息的图像数据，并将二者结合起来，以得到更可靠的诊断。

技术特征：

1.一种基于多模态乳腺癌知识图谱的医疗辅助诊断系统模型的构建方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种基于多模态乳腺癌知识图谱的医疗辅助诊断系统模型的构建方法，其特征在于，所述构建多模态乳腺癌知识图谱，具体包括：

3.根据权利要求1所述的一种基于多模态乳腺癌知识图谱的医疗辅助诊断系统模型的构建方法，其特征在于，所述构建乳腺癌知识图谱增强诊断系统模块，具体包括：

4.根据权利要求1所述的一种基于多模态乳腺癌知识图谱的医疗辅助诊断系统模型的构建方法，其特征在于，所述构建医疗辅助诊断系统模型，具体包括：

技术总结本发明公开了一种基于多模态乳腺癌知识图谱的医疗辅助诊断系统模型的构建方法，所述方法包括构建多模态乳腺癌知识图谱、构建乳腺癌知识图谱增强诊断系统模块、构建医疗辅助诊断系统模型三个部分：1）构建多模态乳腺癌知识图谱包含数据采集及处理、本体建模、构建实体和关系抽取模型、结合图像数据；2）构建乳腺癌知识图谱增强诊断系统模块包含知识查询、知识筛选及处理；3）构建医疗辅助诊断系统模型包含数据采集及处理、提取文本数据特征、提取图像数据特征、学习文本和图像的联合表示、构建乳腺癌诊断模块、训练模型。技术研发人员：何亮,刘雨涵,马静,郭文佳受保护的技术使用者：新疆大学技术研发日：技术公布日：2024/12/23