一种基于多模态数据的小儿肺炎智能分类方法

本发明涉及医学图像处理，具体为一种基于多模态数据的小儿肺炎智能分类方法。

背景技术：

1、小儿肺炎是一种影响肺部的急性呼吸道感染，可由病毒、细菌或真菌引起，是全世界儿童因感染导致死亡的主要原因，占5岁以下儿童死亡总数的14%，但占1至5岁儿童死亡总数的22%。根据感染因子的不同，小儿肺炎可分为病毒性肺炎、细菌性肺炎和支原体肺炎。肺炎有效诊断和治疗对于提高儿童生存至关重要，而不同类型的肺炎对应的治疗方式也有所区别。因此医生需要先对小儿肺炎进行分类再治疗，

2、其中，三种肺炎症状类似，诊断时需要结合肺部x线片、病历主诉、临床特征等多模态数据综合评判，诊断过程费时费力且受医生熟练度等主观因素限制；虽然已有多种深度学习模型的算法，但在肺炎的表现上仍有不足，主要存在以下问题等待解：

3、（1）现有的深度学习模型在很大程度上与输入无关的属性是通过注意机制来实现的，该机制为输入数据的不同部分分配不同重要性，而不考虑这些数据是图像还是非图像性质的；

4、（2）现有的模型比如transformer模型计算成本随输入数量呈指数增长的缺点也是显而易见的；而在肺炎分类中需要结合大量的x线片数据、病史数据和临床特征数据；

5、因此，亟需一种基于多模态数据的小儿肺炎智能分类方法来解决上述问题。

技术实现思路

1、本发明的目的是提供一种基于多模态数据的小儿肺炎智能分类方法，能有效解决上述现有技术中存在的问题。

2、为解决上述技术问题，本发明采用了以下技术方案：一种基于多模态数据的小儿肺炎智能分类方法，包括如下步骤：

3、输入多模态数据集，包括x线片数据、病史数据和临床特征数据；

4、对x线片数据、病史数据和临床特征数据进行编码，并且各数据编码至少包括位置编码和模态编码；

5、将编码后的x线片数据、病史数据和临床特征数据进行拼接，获得一个多模态特征序列；

6、将多模态特征序列输入基于transformer的模块进行分类。

7、优选的，还包括对输入的多模态数据集进行预处理：

8、对x线片数据进行预处理：排除所有非正胸位病例；x线片数据图像大小统一为256×256像素后随机裁剪为224×224像素大小，并且所有x线片数据图像进行归一化和标准化操作；

9、对病史数据进行预处理：每个病史数据限制在80词以内，并去除所有标点符号；

10、对临床特征数据进行预处理：对于缺失数据采用病例平均值进行填充，并对所有数据进行归一化处理。

11、优选的，多模态数据集中以8：2的比例划分为训练集测试集。

12、所述位置编码包括：

13、获取x线片数据的图像块，并在每一个图像块添加位置编码，记录其位置信息；具体如下公式所示：

14、；

15、其中，是图像位置编码，是添加图像位置编码后的结果；

16、获取病史数据的词向量，并在每一个词向量进行位置编码，记录其位置信息；具体如下公式所示：

17、；

18、其中，是文本编码，m是文本的数量，是文本位置编码，是添加文本位置编码后的结果；

19、以向量表示预处理后的临床特征数据，并对每一个临床特征向量进行位置编码，记录其位置信息；具体如下公式所示：

20、；

21、其中，是临床特征编码，n是临床特征的数量，是临床特征位置编码，是添加临床特征位置编码后的结果；

22、优选的，所述模态编码包括：

23、获取x线片数据的图像块，对x线片数据图像所属模态类型以向量表示进行模态编码，记录其模态信息；并添加至每一图像块；具体如下公式所示：

24、；

25、其中，是图像模态编码，是添加图像模态编码后的结果；

26、获取病史数据的词向量，对病史数据所属模态类型以向量表示进行模态编码，记录其模态信息，并添加至每一词向量；具体如下公式所示：

27、；

28、其中，是文本模态编码，是添加文本模态编码后的结果；

29、对临床特征数据所属模态类型以向量表示进行模态编码，记录其模态信息，并添加至每一临床特征向量；具体如下公式所示：

30、；

31、其中，是临床特征模态编码，是添加临床特征模态编码后的结果。

32、优选的，获取x线片数据的图像块具体为：将预处理后的x线片数据图像输入基于resnet50的编码器，基于resnet50的编码方法将输出特征图转换为图像块，图像块的数量即图像序列长度，采用线性投影的方法将其映射至所需维度；

33、获取病史数据的词向量具体为：将预处理后的病史数据输入经预训练的bert模型并输出词向量；采用线性投影的方法将得到的词向量映射至所需维度。

34、优选的，对于x线片数据编码还包括进行类别编码：获取x线片数据的图像块，对每一个x线片数据图像所属小儿肺炎类型以向量表示进行类别编码，记录其类别信息，并拼接至所得的每一图像块；具体如下公式所示：

35、；

36、其中，是类别编码，是图像编码，t是图像块的数量，是类别编码和图像编码拼接后的结果。

37、优选的，基于transformer的模块主要由12个transformer编码网络层组成，每个transformer编码网络层都包括一个多头自注意力机制和一个多层感知机，且多头自注意力机制和多层感知机都使用跳跃连接和层归一化；具体过程可表述为：

38、；

39、；

40、其中，为每一层的输入，为每一层的中间输出，为每一层的输出，ln即层归一化，msa即多头自注意力机制，mlp即多层感知机；

41、将得到的输出中的分类向量取出，使用两个多层感知机及softmax函数将其映射为类别预测结果；以及

42、类别预测结果输出为每个病例属于每个类别的概率，并计算每个病例的最大概率及其所属类别作为其最终分类结果。

43、优选的，利用训练集进行训练过程中，对训练集进行随机扩增，扩增方法包括水平翻转、错切形变和图像旋转。

44、有益效果：本发明中通过对x线片数据、病史数据和临床特征数据进行编码；够将不同模态数据的特征准确提取出来，然后再拼成一组可方便处理的带有图像、病例文本多模态特征的序列数据，大大提高了效率和准确性，并且针对不同模态的医学数据，利用独特的数据编码方式，能够有效地提取不同模态数据的深度特征，提升最终的小儿肺炎类型识别准确率。

技术特征：

1.一种基于多模态数据的小儿肺炎智能分类方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于多模态数据的小儿肺炎智能分类方法，其特征在于：还包括对输入的多模态数据集进行预处理：

3.根据权利要求2所述的一种基于多模态数据的小儿肺炎智能分类方法，其特征在于：多模态数据集中以8：2的比例划分为训练集和测试集。

4.根据权利要求2所述的一种基于多模态数据的小儿肺炎智能分类方法，其特征在于：所述位置编码包括：

5.根据权利要求1所述的一种基于多模态数据的小儿肺炎智能分类方法，其特征在于：所述模态编码包括：

6.根据权利要求4或5所述的一种基于多模态数据的小儿肺炎智能分类方法，其特征在于：

7.根据权利要求6所述的一种基于多模态数据的小儿肺炎智能分类方法，其特征在于：对于x线片数据编码还包括进行类别编码：获取x线片数据的图像块，对每一个x线片数据图像所属小儿肺炎类型以向量表示进行类别编码，记录其类别信息，并拼接至所得的每一图像块。

8.根据权利要求1所述的一种基于多模态数据的小儿肺炎智能分类方法，其特征在于：基于transformer的模块主要由12个transformer编码网络层组成，每个transformer编码网络层都包括一个多头自注意力机制和一个多层感知机，且多头自注意力机制和多层感知机都使用跳跃连接和层归一化；具体过程表述为：

9.根据权利要求3所述的一种基于多模态数据的小儿肺炎智能分类方法，其特征在于：利用训练集进行训练过程中，对训练集进行随机扩增，扩增方法包括水平翻转、错切形变和图像旋转。

技术总结本发明公开了一种基于多模态数据的小儿肺炎智能分类方法，包括输入多模态数据集，包括X线片数据、病史数据和临床特征数据；对X线片数据、病史数据和临床特征数据进行编码，并且各数据编码至少包括位置编码和模态编码；将编码后的X线片数据、病史数据和临床特征数据进行拼接，获得一个多模态特征序列；将多模态特征序列输入基于Transformer的模块进行分类；大大提高了效率和准确性，并且针对不同模态的医学数据，利用独特的数据编码方式，能够有效地提取不同模态数据的深度特征，提升最终的小儿肺炎类型识别准确率。技术研发人员：张潇,吴佳伟,徐芊芊,孙伟琴,任鹏,刘付龙,赵岩受保护的技术使用者：徐州医科大学技术研发日：技术公布日：2024/8/20