基于多模态图像数据的多层次融合皮肤病诊断系统

技术特征：
1.一种基于多模态图像数据的多层次融合皮肤病诊断系统，其特征在于，包括：数据集构建模块，所述数据集构建模块采集临床图像和皮肤镜图像数据，并对获取的数据进行预处理，获取对应的多模态图像数据集；模态特征提取模块，模态特征提取模块与数据集构建模块连接，将所述多模态图像数据集中两种模态数据分别输入两个模态特征提取模块中，得到模态提取特征；通道维加权模块，所述通道维加权模块与两个模态特征提取模块连接，在特征提取过程中，通过通道维加权模块对输入特征进行加权，根据特征图对诊断的重要性，增加或减少相关特征的权重；特征融合模块，所述特征融合模块与两个模态特征提取模块连接，所述特征融合模块提取两个模态特征提取模块中多个层次的特征，对同一维度的特征进行特征级融合，得到多组融合特征；初步诊断模块，两个模态特征提取模块和所述特征融合模块均与所述初步诊断模块连接，所述初步诊断模块包括多个分类器，将模态提取特征和融合特征分别传入多个分类器，从而得到多组初步诊断结果；最终诊断模块，所述最终诊断模块与所述初步诊断模块连接，所述最终诊断模块包括自适应性决策融合模块，通过自适应决策融合模块融合分析初步诊断结果，得到最终诊断结果。2.根据权利要求1所述的系统，其特征在于,所述模态特征提取模块为残差网络。3.根据权利要求2所述的系统，其特征在于,所述残差网络包括四个由不同层数的bottleblock块组成的卷积部分，每个卷积部分后均嵌入一个通道维加权模块。4.根据权利要求3所述的系统，其特征在于,所述通过通道维加权模块对输入特征进行加权，根据特征图对诊断的重要性，增加或减少相关特征的权重过程具体包括：对于具有c个通道的特征图x，将其沿着通道维度进行特征压缩，将每个通道的二维特征图通过全局平均池化压缩成一个实数，得到压缩特征图；对压缩特征图通过1
×
1的卷积分配其通道维度间的权重关系，得到带权压缩特征图；将带权压缩特征图与原始特征图逐步相乘，完成在原始特征上的通道维度权重再分配。5.根据权利要求4所述的系统，其特征在于,所述提取两个模态特征提取模块中多个层次的特征，对同一维度的特征进行特征级融合，得到多组融合特征过程具体包括：提取两个模态特征提取模块四个卷积部分输出的特征，经过通道维加权后，对同一维度特征采用相乘的方式进行融合，得到四个不同维度的融合特征。6.根据权利要求5所述的系统，其特征在于,所述分类器为svm分类器，所述将模态提取特征和融合特征分别传入多个分类器，从而得到多组初步诊断结果过程具体包括：将所述两个模态特征提取模块提取的特征和四个融合特征分别传入svm分类器，得到六组初步诊断结果。7.根据权利要求6所述的系统，其特征在于,所述通过自适应决策融合模块融合分析初步诊断结果，得到最终诊断结果过程具体包括：将每个分类器的分类结果和每个分类器的准确率作为自适应决策融合算法的输入；统计得出具有最多相同诊断结果的分类器数量n；
比较n与设定的阈值，当n大于时，直接输出n个分类器的结果作为最终诊断结果，否则计算基于d-s证据理论融合产生的冲突因子k，若冲突因子大于0.5，则选用多数投票原则作为融合方法，反之则通过d-s证据理论作为融合规则，最后，输出通过融合得到的结果做为最终诊断。

技术总结
本公开实施例中提供了一种基于多模态图像数据的多层次融合皮肤病诊断系统，属于医学诊断技术领域，具体包括：数据集构建模块采集临床图像和皮肤镜图像数据；将多模态图像数据集中两种模态数据分别输入两个模态特征提取模块中；通过通道维加权模块对输入特征进行加权，根据特征图对诊断的重要性，增加或减少相关特征的权重；特征融合模块提取两个模态特征提取模块中多个层次的特征，对同一维度的特征进行特征级融合；初步诊断模块包括多个分类器；最终诊断模块包括自适应性决策融合模块，通过自适应决策融合模块融合分析初步诊断结果，得到最终诊断结果。通过本公开的方案，有效解决多模态融合时的信息丢失问题，并提高皮肤病早期诊断的准确性。病早期诊断的准确性。病早期诊断的准确性。


技术研发人员：陈先来 彭鹏 陈翔 赵爽
受保护的技术使用者：中南大学
技术研发日：2022.12.02
技术公布日：2022/12/30