一种乳腺癌组织病理图像分类的深度特征自适应融合方法

本发明涉及计算机视觉和医学图像分析，尤其涉及一种乳腺癌组织病理图像分类的深度特征自适应融合方法。

背景技术：

1、乳腺癌的诊断和治疗主要依赖于组织病理学检查，即通过显微镜观察乳腺组织活检切片的形态特征，判断乳腺癌的良性或恶性，以及其病理亚型。乳腺癌的病理亚型是指乳腺癌细胞在形态学、分子生物学和临床特征上的差异，不同的病理亚型对治疗方案和预后有重要的影响。因此，准确地识别乳腺癌的病理亚型对于提高患者的生存率和生活质量具有重要的意义。

2、目前，传统的组织病理学检查存在以下问题：(1)人工观察和判断的主观性和不一致性，导致诊断结果的差异；(2)人工观察和判断的耗时和低效，难以满足大量图像的快速分析和处理的需求；(3)乳腺癌组织病理图像的复杂性和多样性，使得图像分类的难度较大，例如，良性图像和恶性图像的细胞形态具有较高的相似性，仅凭肉眼难以区分。为了解决上述问题，近年来，计算机视觉和医学图像分析领域的研究者们尝试利用深度学习技术，特别是卷积神经网络(cnn)，来实现乳腺癌组织病理图像的自动分类。卷积神经网络是一种具有强大的特征提取和表征能力的深度模型，能够从图像中学习到抽象和高层次的特征，从而提高图像分类的性能。

3、然而，将卷积神经网络应用于乳腺癌组织病理图像分类仍然面临着一些挑战，如数据集的不平衡性、图像的多样性、特征的复杂性等。目前，已有一些研究者尝试使用不同的卷积神经网络模型来解决这一问题，如alexnet、vgg、resnet、densenet等，但是面对拥有高分辨率的组织病理学图像，仅获取抽象语义特征，难以准确地捕捉更丰富的多元特征。同时，根据组织病理图像的特点，如组织和细胞形态的不一致性、染色组织切片不均匀等，给图像分类带来了相当大的困难。

技术实现思路

1、发明目的：本发明的目的是提供一种乳腺癌组织病理图像分类的深度特征自适应融合方法，能够同时利用卷积神经网络的语义特征和局部细节特征，实现对不同通道特征的自适应加权和归一化，从而提高乳腺癌组织病理图像分类的准确性，同时减少参数量和计算量，提高模型的性能。

2、技术方案：一种乳腺癌组织病理图像分类的深度特征自适应融合方法，通过构建双分支深度特征自适应融合网络，从乳腺癌组织病理图像中提取出有效的多尺度特征，所述双分支深度特征自适应融合网络包括语义特征提取网络、局部细节特征提取网络和双分支特征融合网络；实现步骤如下：

3、s1，获取乳腺癌组织病理图像数据集，并对图像进行预处理；

4、s2，将预处理之后的数据同时输入到语义特征提取网络、局部细节特征提取网络，分别得到语义特征图和局部细节特征图；

5、s3，特征融合模块将语义特征图和局部细节特征图进行加权平均和归一化处理，并输入到一个全连接层中，得到病理组织图像的分类结果；

6、s4，根据病理组织图像的分类结果，输出相应的诊断报告。

7、进一步，所述语义特征提取网络sfnet以改进后efficientnetv2的网络结构为基本框架，由多个stage组成的，每个stage包括若干个mbconv模块，每个mbconv模块包括依次连接的一个1×1卷积层、一个深度可分离卷积层和一个1×1卷积层，以及一个eca通道注意力机制；

8、所述eca通道注意力机制的具体实现如下：将输入特征图经过平均池化，特征图从[h,w,c]的矩阵变成[1,1,c]的向量；根据特征图的通道数计算得到自适应的一维卷积核kernel_size；将kernel_size用于一维卷积中，得到对应特征图的每个通道的权重；将归一化权重和原输入特征图逐通道相乘，生成加权后的特征图。

9、进一步，所述局部细节特征提取网络dfnet是用于提取病理组织图像中的细胞间的空间关系；所述的网络结构由多个stage组成的，每个stage包括若干个倒残差块，每个倒残差块包括依次连接的一个1×1卷积层、一个深度可分离卷积层和一个1×1卷积层，以及一个线性混淆层。

10、进一步，所述双分支特征融合网络的具体实现如下：

11、首先，对语义特征提取网络和局部细节特征提取网络输出的特征进行平均池化，分别得到两个一维的特征向量；

12、然后，将两个特征向量拼接成一个二维的特征矩阵，对该特征矩阵进行一维卷积，得到一个新的特征矩阵；

13、接着，对新的特征矩阵进行softmax激活函数，得到一个特征权重矩阵，该特征权重矩阵的每个元素表示对应特征的权重；

14、最后，将特征权重矩阵与原始特征进行按元素乘法，得到加权后的特征；然后对语义特征提取网络和局部细节特征提取网络的加权特征进行按通道相加，得到最终的特征，作为自适应融合模块的输出特征。

15、进一步，步骤s3中，所述病理组织图像的类别为良性或恶性。

16、进一步，步骤s4中，输出相应的诊断报告包括病理组织图像的类别、置信度和原因分析。

17、本发明与现有技术相比，其显著效果如下：

18、1、采用了双分支深度特征自适应融合网络，能够同时语义特征网络(sfnet)与细节特征网络(dfnet)的特征提取能力，从不同的角度和层次提取乳腺癌组织病理图像中的语义特征和局部细节特征，从而获得更丰富和更完整的特征表示；

19、2、采用了通道注意力机制，能够根据不同图像的特征分布和重要性，对不同通道的特征进行自适应的加权和归一化，从而实现特征的自适应融合，提高特征的表达能力和区分能力；

20、3、采用了数据增强、归一化、裁剪等预处理操作，能够增加数据的多样性和稳定性，减少数据的噪声和偏差，提高数据的质量和可用性；

21、4、采用了adam优化器、交叉熵损失函数、softmax层等训练和优化技术，能够有效地优化网络的参数，降低网络的损失，提高网络的收敛速度和分类精度；

22、5、在开源的imagenet数据集的子集上对改进的网络进行预训练，并使用迁移学习优化深度特征的提取过程，提高了模型的鲁棒性。

技术特征：

1.一种乳腺癌组织病理图像分类的深度特征自适应融合方法，其特征在于，通过构建双分支深度特征自适应融合网络，从乳腺癌组织病理图像中提取出有效的多尺度特征，所述双分支深度特征自适应融合网络包括语义特征提取网络、局部细节特征提取网络和双分支特征融合网络；实现步骤如下：

2.根据权利要求1所述乳腺癌组织病理图像分类的深度特征自适应融合方法，其特征在于，所述语义特征提取网络sfnet以改进后efficientnetv2的网络结构为基本框架，由多个stage组成的，每个stage包括若干个mbconv模块，每个mbconv模块包括依次连接的一个1×1卷积层、一个深度可分离卷积层和一个1×1卷积层，以及一个eca通道注意力机制；

3.根据权利要求1所述乳腺癌组织病理图像分类的深度特征自适应融合方法，其特征在于，所述局部细节特征提取网络dfnet是用于提取病理组织图像中的细胞间的空间关系；所述的网络结构由多个stage组成的，每个stage包括若干个倒残差块，每个倒残差块包括依次连接的一个1×1卷积层、一个深度可分离卷积层和一个1×1卷积层，以及一个线性混淆层。

4.根据权利要求1所述乳腺癌组织病理图像分类的深度特征自适应融合方法，其特征在于，所述双分支特征融合网络的具体实现如下：

5.根据权利要求1所述乳腺癌组织病理图像分类的深度特征自适应融合方法，其特征在于，步骤s3中，所述病理组织图像的类别为良性或恶性。

6.根据权利要求1所述乳腺癌组织病理图像分类的深度特征自适应融合方法，其特征在于，步骤s4中，输出相应的诊断报告包括病理组织图像的类别、置信度和原因分析。

技术总结本发明公开了一种乳腺癌组织病理图像分类的深度特征自适应融合方法，通过构建双分支深度特征自适应融合网络，从乳腺癌组织病理图像中提取出有效的多尺度特征；步骤如下：S1，获取乳腺癌组织病理图像数据集，并对图像进行预处理；S2，将预处理之后的数据同时输入到语义特征提取网络、局部细节特征提取网络，分别得到语义特征图和局部细节特征图；S3，特征融合模块将语义特征图和局部细节特征图进行加权平均和归一化处理，并输入到一个全连接层中，得到病理组织图像的分类结果；S4，根据病理组织图像的分类结果，输出相应的诊断报告。本发明能有效地提取乳腺癌组织病理图像中的语义特征和局部细节特征，提高图像分类的准确性和鲁棒性。技术研发人员：刘伟,禹文明,李军受保护的技术使用者：无锡学院技术研发日：技术公布日：2024/7/29