一种基于多模态深度学习的肺肿瘤诊断及预测系统

本技术涉及肿瘤诊断领域，特别涉及一种基于多模态深度学习的肺肿瘤诊断及预测系统。

背景技术：

1、随着医学成像技术和基因组学的进步，肺肿瘤的诊断和预后预测越来越依赖于多维度数据分析。虽然医学影像如ct和mri提供了肺肿瘤形态学的重要信息，但仅通过影像数据区分良恶性及预测预后仍具挑战性，临床依旧使用临床病理诊断作为肺肿瘤良恶性诊断的金标准。近年来，深度学习在医学影像分析领域取得了显著突破，但在病理图像领域，针对肺肿瘤良恶性的分类研究仍显不足，主要源于病理图像的复杂组织结构与纹理特征，以及不同病理类型间的微妙差异。因此，结合多种模态的数据进行综合分析成为关键研究方向。除了医学影像组学外，病理组学、转录组学等组学数据也能揭示肿瘤内的微观结构与基因表达信息，提高诊断和预后预测效果。

2、目前，深度学习在肺肿瘤的诊断和预后预测方面已有初步应用，如卷积神经网络(cnn)用于ct图像特征提取和分类，循环神经网络(rnn)用于时间序列医学数据建模预测肺肿瘤预后。然而，这些方案主要关注单一模态数据，未能充分利用多模态数据间的关联性和互补性，因此在肺肿瘤良恶性的精确鉴别和预后预测上仍有待提高。

3、尽管有些技术尝试整合多模态数据，但由于数据间的异质性和复杂性，整合效果并不理想，限制了其在肺肿瘤诊断和治疗中的应用。并且，由于数据收集和标注的困难，现有的相关模型在新数据上的表现不佳，限制了其泛化能力和实际应用价值。此外，许多现有的深度学习模型并未被有效地集成到现有的临床工作流程中，增加了医生的工作负担，也限制了模型的实际应用效果。

技术实现思路

1、有鉴于此，本技术提出了一种基于多模态深度学习的肺肿瘤诊断及预测系统，以解决前述背景技术中记载的技术问题中的至少一个。具体方案如下：

2、一种基于多模态深度学习的肺肿瘤诊断及预测系统，包括：

3、输入单元，用于获取患者包括涉及肺肿瘤病理图像的病理数据、涉及肺肿瘤组织rna转录情况的转录数据和涉及肺肿瘤患者临床治疗的临床预后数据中的至少两种数据；

4、预处理单元，用于对所述病理数据进行预设第一预处理得到病理输入图像、对所述转录数据进行预设第二预处理得到转录输入数据、对所述临床预后数据进行第三预处理得到临床输入数据；

5、分层处理单元，用于将所述病理输入图像、所述转录输入数据和所述临床输入数据输入到融合有病理模型、转录模型和临床模型的多模态预测模型中，使所述病理模型根据所述病理输入图像输出n个病理结果特征，使所述转录模型根据所述转录输入数据输出n个的，使所述临床模型根据所述临床输入数据输出n个临床结果特征；

6、融合处理单元，用于通过所述多模态预测模型融合n个所述病理结果特征、n个所述转录结果特征以及n个临床结果特征，得到最终的肿瘤预测结果；

7、生存时间预测单元，用于将所述病理输入图像输入到预设生存时间预测模型中，得到最终预测的患者的生存时间。

8、其中，所述病理结果特征、所述转录结果特征、所述临床结果特征和所述肿瘤预测结果均涉及预测的肿瘤类型及其概率，n为不小于2的整数。

9、在一些具体实施例中，所述多模态预测模型的表达式为：

10、

11、其中，表示多模态预测模型的输出，wclass是所述病理模型、所述转录模型和所述临床模型的输出的权重矩阵，batch表示批归一化层，dropout表示dropout函数，relu表示relu激活函数，wfusion是融合层的权重矩阵，bfusion是融合层的偏置项，f1、f2和f3分别表示所述病理结果特征、所述转录结果特征和所述临床结果特征；μbatch表示批次的平均值；表示批次的方差；∈是用于数值稳定性的小标量，γ和β是batchnorm层的可训练参数；x是融合层和之前操作的输出(relu，dropout)。

12、在一些具体实施例中，在所述多模态预测模型中：

13、通过融合层将n个病理结果特征、n个转录结果特征以及n个临床结果特征作为输入特征融合到低维空间中，得到融合特征；

14、在融合特征上应用relu激活函数引入非线性；

15、在relu激活后的特征上应用dropout函数，丢弃预设比例的输入特征以减少过拟合；

16、在dropout后的特征上应用批量归一化层进行特征规一化；

17、通过预设全连接层将所述融合特征映射最终的肿瘤类别上，得到最终的肿瘤预测结果。

18、在一些具体实施例中，所述第一预处理包括图像的亮度调整、对比度调整、饱和度调整、gamma校正以及像素标准化；所述第二预处理包括转录数据的标准化处理以及提取表达拷贝数非零的基因；所述第三预处理包括临床预后数据的缺失值处理和离群值处理。

19、在一些具体实施例中，所述第二预处理还包括：对所述转录数据进行标准化处理后，提取表达拷贝数非零的基因；对提取的基因表达矩阵降维至与预设肿瘤类型分类总数相匹配的维度dim，从降维后的数据中提取m*dim个分类高贡献基因得到所述转录输入数据，m为不小于2的整数。

20、在一些具体实施例中，所述转录模型的输入层具有m*dim个神经元；

21、所述转录模型具有两个全连接层；第一个全连接层之后引入有relu激活函数，以引入非线性；第一个全连接层之后应用有dropout函数来随机丢弃预设比例的输出，以减少过拟合；第二个全连接层具有n个神经元。

22、在一些具体实施例中，所述临床预后数据为以文字描述或图表形式展示的用于评估疾病发展可能的结果以及患者治疗效果和生存前景的统计指标；

23、所述第三预处理还包括：提取临床预后数据中包括肿瘤分期、生存时间在内的关键信息。

24、在一些具体实施例中，所述临床输入数据中包含数值特征和类别特征；

25、在所述临床模型中，使用嵌入层来处理所述类别特征，将其映射到高维空间；将所述数值特征和嵌入层输出的类别特征拼接，以形成单一的输入向量；通过两个全连接层对所述输入向量进行特征提取和降维，通过relu激活函数引入非线性，应用dropout函数以减少过拟合。

26、在一些具体实施例中，在所述病理模型中，输出层为具有n个神经元的全连接层；

27、在所述病理模型训练过程中，利用交叉熵损失函数来衡量模型输出与训练数据之间的差异，并通过反向传播算法计算损失相对于模型参数的梯度；使用sgd优化器根据计算出的梯度更新模型权重，其中学习率初始设置为0.001。

28、在一些具体实施例中，在所述融合处理单元中，所述病理结果特征、所述转录结果特征、所述临床结果特征均具有对应的权重，通过所述多模态预测模型融合n个所述病理结果特征、n个所述转录结果特征、n个所述临床结果特征及其对应的权重，得到最终的肿瘤预测结果。

29、在一些具体实施例中，在所述生存时间预测模型中，使用预训练的卷积神经网络模型提取所述病理输入图像的图像特征，然后使用多层感知机基于所述图像特征进行生存时间预测，得到最终的生存时间预测结果。

30、在一些具体实施例中，在所述生存时间预测模型的训练过程中：

31、使用均方误差(mse)作为损失函数，adam优化器进行参数优化；

32、在每个训练周期中，通过前向传播计算预测值，通过反向传播更新权重。

33、有益效果：本技术提供了一种基于多模态深度学习的肺肿瘤诊断及预测系统，针对传统深度学习预测模型数据单一的问题，利用多模态深度学习技术对病理组学、转录组学和临床预后数据进行有效融合，本技术利用深度学习技术对肺肿瘤病理组学、转录组学和临床预后数据进行有效融合，提高了诊断的准确性和模型的可解释性，生存时间预测能够实时地为医生提供预测结果，为医生提供更全面、深入的诊断及预后信息，帮助医生更好地制定治疗方案和决策。

34、针对多模态数据间的异质性，通过数据预处理和模态融合等技术手段消除差异和冲突，确保模型的有效性和稳定性，同时自适应调整不同模态数据的权重和贡献度。采用注意力机制、残差连接等先进技术优化模型性能，采用梯度下降、正则化、批量归一化等优化算法和技术手段加速模型收敛，利用数据增强和迁移学习等技术手段扩展训练数据集，提高模型准确性和泛化能力，使得模型能够同时处理多种模态的数据，并且具有更强的特征提取和分类能力。将多模态深度学习模型与临床工作流程相结合，为医生提供实时诊断建议和预后预测结果，能够适应不同临床场景需求。