一种联合异构网络与特征精化的皮肤病理图像诊断方法

本发明涉及计算机图像处理，特别涉及一种联合异构网络与特征精化的皮肤病理图像诊断方法。

背景技术：

1、皮肤癌是全球范围内最常见的癌症之一，其早期的诊断对于病症的控制和治疗至关重要。随着计算机辅助诊断（computer-aided diagnosis，cad）技术的飞速发展，融入主流人工智能技术的cad系统逐渐应用在癌症的临床诊断之中。越来越多基于人工智能技术的cad系统实现了对皮肤病理图像的自动诊断，这一技术不仅能够提高皮肤科医生的诊断效率，并减少主观差异对诊断结果的影响，还能够为皮肤科医生提供更为客观和更为全面的诊断结果，更好地支撑其临床工作。

2、目前皮肤病理图像分类的方法利用传统机器学习或使用神经网络进行疾病预测，取得了较好的分类性能，推动了基于cad的智能诊断发展，但现有工作存在如下弊端：一方面，基于手工特征的传统机器学习方法需要消耗大量的人力、物力，特征提取不充分，模型的准确率较低且泛化能力不足；另一方面，单一的深度学习网络在提取图像特征方面也存在局限性，它无法充分挖掘并利用图像中的局部病灶信息和全局上下文信息；再者，临床诊断场景中存在大量不同尺度的皮肤病理图像，单一尺度的图像特征无法充分描述皮肤病理图像中的空间上下文信息；此外，皮肤病理图像存在严重的数据不平衡问题，影响了最终的诊断精度。

技术实现思路

1、鉴于上述状况，本发明的主要目的是为了提出一种联合异构网络与特征精化的皮肤病理图像诊断方法，以解决上述技术问题。

2、本发明提出一种联合异构网络与特征精化的皮肤病理图像诊断方法，所述方法包括如下步骤：

3、步骤1、将皮肤病理图像数据集中的图像输入多尺度特征提取模块，获得并输出第二阶段特征、第三阶段特征和第四阶段特征；

4、所述多尺度特征提取模块分为四个阶段，第一阶段由局部聚合模块组成，第二阶段、第三阶段和第四阶段均由全局-局部融合模块组成；

5、步骤2、将第二阶段特征、第三阶段特征和第四阶段特征输入特征金字塔模块，获得并输出特征金字塔模块的第一层输出特征和特征金字塔模块的第二层输出特征；

6、步骤3、将第四阶段特征、特征金字塔的第一层输出特征和特征金字塔的第二层输出特征输入自适应特征融合模块，分别进行自适应平均池化层的处理后再将所有处理结果进行拼接，得到拼接后的特征；

7、将拼接后的特征通过逐点卷积处理，获得并输出最终的特征；

8、步骤4、将最终的特征输入softmax分类器，输出分类结果，完成分类预测。

9、与现有技术相比，本发明有益效果如下：

10、1、本发明设计多尺度特征提取模块，充分利用规则网络在局部特征提取和transformer在全局上下文信息提取方面的优势，同时考虑局部和全局图像病理信息，通过通道注意力和残差连接，促进规则网络和transformer之间局部和全局病理信息的深层次融合，增强特征的可辨别性；

11、2、本发明通过设计特征金字塔模块，同时处理不同尺度的皮肤病理图像特征，捕捉不同尺度特征的信息，获得全面而准确的图像表征；

12、3、本发明通过设计自适应特征融合模块，自适应融合来自不同层级的输出特征图，充分利用不同尺度特征之间丰富的互补语义信息，包括形状、颜色和纹理等，以更好地表征图像中的病理信息；

13、4、本发明采用多项式损失函数动态地调整各类别的权重，使模型在训练过程中更加关注数据量较少的类别，从而缓解数据不平衡问题。

14、本发明的附加方面与优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。

技术特征：

1.一种联合异构网络与特征精化的皮肤病理图像诊断方法，其特征在于，所述方法基于分类预测模型实现，所述分类预测模型由多尺度特征提取模块、特征金字塔模块、自适应特征融合模块和softmax分类器构成，所述方法包括如下步骤：

2.根据权利要求1所述的一种联合异构网络与特征精化的皮肤病理图像诊断方法，其特征在于，在所述步骤1中，多尺度特征提取模块分为四个阶段，第一阶段由局部聚合模块组成，第二阶段、第三阶段和第四阶段均由全局-局部融合模块组成，所述局部聚合模块的具体构成如下：

3.根据权利要求2所述的一种联合异构网络与特征精化的皮肤病理图像诊断方法，其特征在于，在所述步骤1中，多尺度特征提取模块分为四个阶段，第一阶段由局部聚合模块组成，第二阶段、第三阶段和第四阶段均由全局-局部融合模块组成，所述全局-局部聚合模块的具体构成如下：

4.根据权利要求3所述的一种联合异构网络与特征精化的皮肤病理图像诊断方法，其特征在于，在所述步骤1中，将皮肤病理图像输入多尺度特征提取模块，获得并输出第二阶段特征、第三阶段特征和第四阶段特征的具体步骤如下：

5.根据权利要求4所述的一种联合异构网络与特征精化的皮肤病理图像诊断方法，其特征在于，所述步骤2中，将第二阶段特征、第三阶段特征和第四阶段特征输入特征金字塔模块，获得并输出特征金字塔模块的第一层输出特征和特征金字塔模块的第二层输出特征，其中，特征金字塔模块中的交叉注意力计算公式为：

6.根据权利要求5所述的一种联合异构网络与特征精化的皮肤病理图像诊断方法，其特征在于，在所述步骤2中，将第二阶段特征、第三阶段特征和第四阶段特征输入特征金字塔模块，获得并输出特征金字塔模块的第一层输出特征和特征金字塔模块的第二层输出特征，具体步骤如下：

7.根据权利要求6所述的一种联合异构网络与特征精化的皮肤病理图像诊断方法，其特征在于，在所述步骤3中，将第四阶段特征、特征金字塔的第一层输出特征和特征金字塔的第二层输出特征输入自适应特征融合模块，分别进行自适应平均池化层的处理后再将所有处理结果进行拼接，得到拼接后的特征，对应过程存在的关系式为：

8.根据权利要求7所述的一种联合异构网络与特征精化的皮肤病理图像诊断方法，其特征在于，在所述步骤3中，将拼接后的特征通过逐点卷积处理，获得并输出最终的特征，对应过程存在的关系为：

9.根据权利要求8所述的一种联合异构网络与特征精化的皮肤病理图像诊断方法，其特征在于，在执行步骤4的过程中使用的分类损失表达式为：

技术总结本发明提出一种联合异构网络与特征精化的皮肤病理图像诊断方法，该方法包括：将皮肤病理图像数据集中的图像输入多尺度特征提取模块，获得第二阶段特征、第三阶段特征和第四阶段特征；将第二阶段特征、第三阶段特征和第四阶段特征输入特征金字塔模块，获得特征金字塔模块的第一层输出特征和特征金字塔模块的第二层输出特征；将四阶段特征、特征金字塔的第一层输出特征和特征金字塔的第二层输出特征输入自适应特征融合模块，获得最终的特征；将最终的特征输入Softmax分类器，输出分类结果，完成分类预测。本发明利用图像中的全局性和局部性特征，挖掘不同尺度下的空间上下文信息，提升皮肤病理图像的分类准确率，更好辅助临床诊断工作。技术研发人员：李广丽,周鑫炯,黄臣涛,张锦,冯雅,张红斌受保护的技术使用者：华东交通大学技术研发日：技术公布日：2024/11/18