一种基于改进SwinTransformer的砂岩显微图像分类方法及系统

本发明涉及基于人工智能的地质与油气勘查领域，具体涉及一种基于改进swintransformer的砂岩显微图像分类方法及系统。

背景技术：

1、在地质科学与油气勘查的领域，对砂岩显微图像进行精确的解析和分类是一项极为基础且关键的任务。这些图像通过其颜色、纹理和层次的变化直观地呈现了特定地质时代沉积岩层的信息，为理解地层特性、评估资源潜力以及制定有效的资源开发策略提供了直接的支持。传统方法主要依靠地质专家通过光学显微镜进行观察和解读，这一过程不仅费时费力、成本高昂，而且其结果极易受到个人经验和主观判断的影响，带来了不小的不确定性。

2、随着技术的不断进步，电子显微技术和数字图像处理技术的应用极大地提升了图像采集的效率和分析的精度。然而，在面对海量的砂岩显微图像数据时，如何实现快速且准确的分类和解读，仍是一大挑战。尽管计算机视觉和机器学习技术的发展为自动化图像分类提供了可能性，但这些技术在应对砂岩显微图像分类的特定问题时，仍然面临着许多难题。一是砂岩显微图像常呈现出高度复杂的纹理特征，不同类型砂岩在显微镜下的图像差异微妙，对分类算法的分辨力提出了较高的要求。二是样本间的类别不平衡，即某些砂岩类型的样本量可能远多于其他类型，这可能导致分类模型在训练过程中对数量较多的类别产生过拟合，而忽略了样本较少的类别。此外，由于地质图像数据的获取成本较高，可用于训练的高质量标注数据相对有限，这进一步限制了深度学习模型性能的提升。

3、近年来，深度学习技术的迅猛发展为砂岩显微图像的自动分类与解读提供了新的视角。特别是卷积神经网络(cnn)在图像识别和分类方面的出色表现，通过学习大量标注数据，使得深度学习模型能够自动提取图像的高层次特征，进而用于分类或回归任务。进一步地，自transformer模型在自然语言处理领域取得重大突破后，其在图像处理领域的应用也引起了广泛关注。swin transformer作为一种结合了卷积神经网络和transformer优势的新型网络架构，通过其独有的窗口化自注意力机制，在降低计算成本的同时保持了高性能，为处理复杂图像任务开辟了新途径。

4、然而，将深度学习技术直接应用于砂岩显微图像分类仍然面临诸多挑战。一方面，现有的深度学习模型对大量的标注数据有着极大的依赖，而高质量的砂岩显微图像标注数据却相对稀缺。另一方面，传统的深度学习模型在处理具有复杂纹理和细节特征的图像时，仍然存在着识别精度不足、泛化能力有限的问题。因此，如何设计和优化深度学习模型，以提升砂岩显微图像分类的准确率和效率，已成为研究领域的一个重要焦点。

5、关于砂岩显微图像的分类研究较少。文献号为cn113029899a的现有技术公开了一种基于显微图像处理的砂岩渗透率计算方法，其包括获取目标砂岩的砂岩显微图像；对砂岩显微图像进行二值化分割处理获取二值化孔隙网络图像、孔喉加强后孔隙网络图像；根据二值化孔隙网络图像确定砂岩显微图像的面孔率；根据孔喉加强后孔隙网络图像确定颗粒直径；根据孔喉加强后孔隙网络图像确定孔隙弯曲度；根据上述确定的面孔率、颗粒直径、孔隙弯曲度计算得到砂岩渗透率。本发明针对难以大量获取柱塞岩心的情况下，仅通过容易获取的由小碎块岩心拍摄的岩石显微照片，通过图像处理提取砂岩显微参数并计算砂岩渗透率，弥补渗透率数据的缺乏，更好地指导砂岩油气藏的勘探与开发。文献号为cn116612362a的现有技术，提供一种基于深度学习的致密砂岩图像增广方法，其包括：获取有标签的致密砂岩图像，并进行预处理；构建以stylegan网络为主体的致密砂岩图像生成模型；基于获取的致密砂岩图像，对构建的致密砂岩图像生成模型进行训练；在进行训练的过程中，根据过拟合程度调整增广强度，同时动态调整下次判断是否过拟合的位置；利用训练好的致密砂岩图像生成模型，生成致密砂岩图像。本发明能够生成高质量的致密砂岩图像，提升数据多样性，增广致密砂岩图像样本，为实现智能化致密砂岩图像分割提供支持。可看出现有技术对对砂岩显微图像分类技术并没有深入研究。

6、在地质科学和油气勘探的当代研究中，砂岩显微图像的分类及其解读技术占据着至关重要的位置。随着深度学习技术的迅速进步，特别是其在图像处理和分类任务中所展现的杰出能力，提供了对砂岩显微图像进行自动分类的全新思路。尽管如此，当前深度学习方法在应对这一特定领域的复杂性时仍面临巨大的挑战，其中包括砂岩图像本身的复杂纹理特性、类别间的微妙差异以及训练样本分布的不均衡性等问题。综上所述，砂岩显微图像分类技术的研究和进步对于推动地质科学研究和油气资源的有效开发具有至关重要的意义，因此亟需提供一种砂岩显微图像分类方法及系统。

技术实现思路

1、本发明要解决的技术问题是：针对砂岩图像本身的复杂纹理特性、类别间的微妙差异以及训练样本分布的不均衡性，利用现有的深度学习方法无法进行对砂岩显微图像进行准确分类的问题，本发明提供了一种基于(利用)改进swin transformer的砂岩显微图像分类方法及系统。

2、本发明为决解上述技术问题所采用的技术方案为：

3、一种基于改进swin transformer的砂岩显微图像分类方法，包括以下步骤：

4、步骤一、构建并应用涵盖多个地质区域的高质量砂岩显微图像数据集，用于模型的训练和评估，以提升分类任务的准确率和效率；

5、步骤二、集成空间自适应增强模块(saem)到swin transformer block中，并将其置于自注意力模块和多层感知器之间，

6、所述saem通过全局平均池化、1*1(1乘1)卷积和自适应深度可分离卷积实现对砂岩显微图像的特征(砂岩的纹理、颜色、形状)的动态调整，用于捕捉砂岩显微图像的整体特征，通过卷积操作精细地处理砂岩显微图像局部细节，在动态调整卷积核大小以适应不同输入特征时，响应不同像素位置；

7、所述saem通过sigmoid激活函数转化注意力权重以增强对砂岩显微图像中关键纹理的表达；

8、步骤三、将局部感知块(lpb)作为每个swin transformer block前的高级预处理单元；

9、步骤四、针对经步骤二、步骤三获得geo-swin-transformer模型利用步骤一中的砂岩显微图像数据集进行训练，在训练中应用平衡自适应机制(bam)动态调整总损失bamloss中的类别权重(解决样本不均衡问题，提高模型的泛化能力和分类准确性)；

10、步骤五、在训练阶段伴随着模型评估，模型评估包括准确率、召回率以及f1分数多个指标以全面评估模型性能，如果评估不达标，则返回步骤二、三、四，依次对空间自适应增强模块、局部感知块、平衡自适应机制进行结构改进，直至评估达标。结构改进的方式为调整网络层的深度和宽度、修改激活函数或优化层间的连接方式。

11、步骤二中，集成空间自适应增强模块(saem)到swin transformer block中，并将其置于自注意力模块和多层感知器之间，提供了几个关键优势以显著提升对图像细节和纹理的识别能力。首先，saem通过全局平均池化、1x1卷积和自适应深度可分离卷积实现对特征的动态调整。这一流程不仅捕捉整体上下文，还能通过卷积操作精细地处理局部纹理和细节，特别是在动态调整卷积核大小以适应不同输入特征时，能够对不同空间位置进行更敏感的响应。此外，saem在自注意力模块提取的特征上进一步强化局部特征的关注，通过sigmoid激活函数转化的注意力权重精确地增强了对图像中关键纹理和结构的表达。这种结构优化了特征表达，并使模型能够深入解析和突出重要的图像细节，从而在处理复杂图像时具有更好的适应性和精确性。

12、步骤三中，局部感知块(lpb)作为每个swin transformer block前的高级预处理单元，通过其深度和扩张卷积层广泛捕获空间特征，多头注意力机制增强对数据不同子空间的解读，同时优化的se块有效进行特征重标定。这种配置让lpb在数据流入swintransformer block之前就增强了关键局部特征的表示，为后续的transformer结构提供了更丰富和精细的特征输入。此举不仅显著提升了模型在处理图像细节和复杂模式时的性能，也优化了学习过程，使网络在依赖精细空间细节的视觉任务中展现出更佳的适应性和精确性。

13、进一步地，所述saem通过全局平均池化产生每个通道的全局描述符，并利用一维卷积网络调整通道自适应调整对砂岩显微图像不同像素位置的关注度。

14、saem的结构包括全局平均池化层、1x1卷积、自适应深度可分离卷积和sigmoid激活函数，所述组件的协同工作使saem能够自适应地调整对不同空间位置的关注度；全局平均池化层用于快速捕获整体特征，1x1卷积进行特征转换，自适应深度可分离卷积根据输入特征动态调整核大小以优化对砂岩显微图像局部细节的处理，得到处理后的特征；sigmoid激活函数将处理后的特征转换为注意力权重，增强对重要特征的专注。

15、空间自适应增强模块(saem)是为砂岩显微图像中复杂的纹理和形态特征量身定制的，用于显著提升模型的图像特征识别和分类性能。saem通过全局平均池化产生每个通道的全局上下文描述符，并利用一维卷积网络调整通道的重要性，从而增强模型在关键特征表达上的能力。该模块通过自适应地调整对图像不同空间(像素)位置的关注度，强化了对关键细节和纹理信息的捕捉。此外，它还根据图像中地质结构和矿物成分的独特纹理及形态特征，动态地分配关注权重，使模型专注于对分类判断至关重要的信息丰富区域。saem的结构包括全局平均池化、1x1卷积、自适应深度可分离卷积和sigmoid激活函数。这些组件的协同工作使saem能够自适应地调整对不同空间位置的关注度。全局平均池化快速捕获整体特征，1x1卷积进行特征转换，自适应深度可分离卷积根据输入特征动态调整核大小以优对化细节处理。最后，sigmoid激活函数将处理后的特征转换为注意力权重，进一步增强模型对重要特征的专注。这种设计使saem以一种轻量级而高效的方式捕捉通道间的依赖关系，强化了模型的通道注意力机制。

16、进一步地，所述局部感知块(lpb)用于提升模型对砂岩显微图像中复杂纹理和地质结构的识别；lpb的构成包括深度和扩张卷积层、多头注意力机制以及se块；深度和扩张卷积层通过广泛的空间覆盖来捕获复杂的纹理和结构，提供细节丰富的特征图；多头注意力机制用于增强对砂岩显微图像数据不同像素位置(子空间)的解析能力，se块则通过重标定通道特征，强化重要特征并抑制不重要的信息；

17、lpb处理输入特征时，结合局部窗口和空间偏移窗口技术，以优化对局部空间信息的捕捉，通过融合、卷积或注意力机制的操作生成更具代表性的特征图；

18、此外，lpb专门针对砂岩显微图像中矿物成分和纹理特征在局部区域的独特分布，细致分析这些局部信息以提升模型的分类性能，并通过局部细节和邻近信息的捕捉，扩展视野获取更广的特征信息，实现对图像空间信息的深入理解。通过这种结合局部窗口技术与空间偏移窗口策略的方法，lpb显著提升了对空间信息的捕捉和解析效率，从而增强了模型在解析图像中复杂纹理和地质结构的能力。

19、进一步地，其中所述平衡自适应机制(bam)用于通过结合加权交叉熵、双重焦点损失和在线难例挖掘(ohem)技术，针对难以分类的样本和类别不平衡进行优化处理，动态类权重用于缓解类别不平衡带来的影响；双重焦点损失部分更有效地训练难以分类的样本，减少易分类样本的影响；而ohem部分则通过聚焦于损失最大的样本，强化geo-swin-transformer对难分样本的学习。

20、进一步地，所述平衡自适应机制(bam)具体实现过程为：

21、首先定义基础的交叉熵损失：

22、

23、其中，y是真实标签的独热编码，是模型预测的概率分布，c是类别总数；

24、动态类权重通过以下公式给出：

25、weightedceloss＝celoss×w(y)

26、其中，w(y)是根据真实标签y选择的对应类别的权重；动态类权重能够动态地调整对不同类别的关注度；

27、双焦点损失的计算公式为：

28、dualfocall oss＝α·(1-pt)γ·weightedceloss

29、其中，pt是模型对正确类别的预测概率，α和γ是用于调节的超参数；

30、在线难样本挖掘(ohem)损失通过选取加权交叉熵损失最大的一部分样本来计算：

31、

32、总损失bamloss是dualfocalloss和ohemloss加权求和的结果：

33、bamloss＝ωdualfocalloss·dualfocalloss+ωohemloss·ohemloss

34、其中ωdualfocalloss和ωohemloss分别是dualfocalloss和ohemloss的权重，ωdualfocalloss和ωohemloss根据以下策略自适应调节：

35、

36、

37、如果某一个损失部分相对较高，中ωdualfocalloss和ωohemloss在下一轮训练中将会获得更大的权重。

38、进一步地，在步骤四中，训练过程包括：起始阶段，对基础的swin transformer模型进行训练，作为后续模块性能比较的基线；随后，为系统地探索各增强模块对模型性能的具体贡献，分别单独集成空间自适应增强模块(saem)和局部感知块(lpb)；saem旨在自适应增强图像细节特征的表达，而lpb专注于提升模型对图像局部特征的捕捉能力。接着，训练进入组合模块阶段，考察不同模块组合的协同效应：组合saem和lpb以优化对复杂地质纹理的识别精度；saem与平衡自适应机制(bam)的组合，用以调整分类中的类别权重，以应对类别不平衡问题；lpb与bam的组合，旨在同时增强局部特征识别和改善类别平衡。

39、进一步地，在步骤五中，利用混淆矩阵和roc曲线统计工具分析geo-swin-transformer模型在各类别上的识别能力和误分类行为。训练阶段都伴随着详尽的模型评估，包括准确率、召回率以及f1分数等多个指标，以全面评估模型性能。评估过程中特别关注模型在处理类别不平衡及复杂纹理识别方面的表现。此外，混淆矩阵和roc曲线等统计工具被用于进一步分析模型在各类别上的识别能力和误分类行为。最终，将saem、lpb和bam集成到一个改进的swin transformer模型中，形成了geo-swin-transformer。geo-swin-transformer模型旨在通过集成各个模块的优势，实现砂岩显微图像分类任务的最优性能。整个训练和评估过程都通过详尽的日志记录和性能监控，确保了实验结果的可重复性和科学性。

40、一种基于改进swin transformer的砂岩显微图像分类系统，该系统具有与上述技术方案的步骤对应的程序模块：数据预处理模块、模型训练模块和性能评估模块，以及用于实现saem、lpb和bam策略的相应算法模块；运行时执行所述的基于改进swin transformer的砂岩显微图像分类方法中的步骤。

41、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现上述的基于改进swin transformer的砂岩显微图像分类方法的步骤。

42、针对本发明的技术要点再进入如下说明：

43、本发明通过改进swin-transformer框架并引入三个关键技术模块——空间自适应增强模块(saem)、局部感知块(lpb)以及平衡自适应机制(bam)——有效应对了传统深度学习方法在砂岩显微图像分类任务中遇到的主要问题。这些模块的综合运用不仅增强了模型对砂岩显微图像中细微特征的捕获能力，还优化了模型在处理不同砂岩类别图像时的分类精度，并在处理样本不平衡问题上展示出了更佳的泛化能力。

44、空间自适应增强模块(saem)：通过增加自适应的空间注意力机制于swin-transformer框架中，saem显著增强了模型对图像中关键纹理和细节特征的识别能力。此模块自动调整模型对不同空间区域的关注度，使模型更聚焦于对分类决策有重大贡献的图像区域。

45、局部感知块(lpb)：考虑到砂岩显微图像中复杂纹理和结构的局部特性，lpb专注于提升模型对局部空间信息的处理能力，进而提高对复杂纹理和结构的识别精度。通过特殊的局部窗口机制，该模块强化了模型对图像局部特征的学习，以提高分类性能。

46、平衡自适应机制(bam)：针对砂岩显微图像数据中的类别不平衡问题，bam通过在损失函数中引入动态权重调整，平衡了模型对不同类别样本的学习。该机制自动优化权重，提升了模型对少数类别的识别能力，从而提高整体分类准确率和泛化性能。

47、本发明的技术方案不仅在特征提取能力、类别不平衡处理和模型结构上有所突破，还在地质科学研究和油气资源勘探等领域展现了广阔的应用潜力。通过实现一种高效、准确的自动分类技术，显著提升了地质样本分析的效率和准确性，加快了地质学研究的步伐，并为油气资源的勘探与开发提供了更为精确的科学依据，具有重大的经济和社会价值。

48、本发明系统由以下主要模块组成，以支持从图像输入到最终分类决策的全流程：

49、数据预处理模块：对输入的砂岩显微图像进行预处理，包括图像去噪、增强和标准化，以优化后续处理步骤的输入质量。

50、改进的swin transformer模型训练模块：整合了三个关键技术模块(saem、lpb、bam)的改良swin transformer框架，进行模型的训练与优化。此模块利用先进的深度学习技术，针对砂岩显微图像的特点，实现高效的特征提取和分类。

51、分类评估模块：对模型的分类性能进行全面评估，采用准确率、召回率、f1分数等指标确保模型的高性能。

52、结果解释与可视化模块：将分类结果进行可视化展示，并提供对模型决策依据的深入解释，帮助用户理解模型的工作原理。

53、本发明具有以下有益技术效果：

54、本发明通过提出一种改进swin-transformer框架，集成了空间自适应增强模块(saem)、局部感知块(lpb)以及平衡自适应机制(bam)，为砂岩显微图像的分类提供了一种高效、准确的方法。通过采纳和改进深度学习模型，尤其是结合改良的swin transformer框架，不仅可以显著提升砂岩显微图像的自动分类性能，还能为地质图像处理和分析领域带来新的技术方案和研究思路。本发明通过集成模块显著提升砂岩显微图像分类的准确率和效率，改进swin transformer的砂岩显微图像分类方法及系统为地质科学研究提供强大的技术支持。

55、在本发明(本研究)中，训练过程严格遵循一套分阶段的实验设计，以确保每个模块的效果都能得到准确评估。起始阶段，基础的swin transformer模型进行训练，作为后续模块性能比较的基线。随后，为了系统地探索各增强模块对模型性能的具体贡献，分别单独集成空间自适应增强模块(saem)和局部感知块(lpb)。saem旨在自适应增强图像细节特征的表达，而lpb专注于提升模型对图像局部特征的捕捉能力。

56、接着，实验进入组合模块阶段，考察不同模块组合的协同效应。具体来说，组合了saem和lpb以优化对复杂地质纹理的识别精度；saem与平衡自适应机制(bam)的组合，用以调整分类中的类别权重，以应对类别不平衡问题；以及lpb与bam的组合，旨在同时增强局部特征识别和改善类别平衡。

57、每个训练阶段都伴随着详尽的模型评估，包括准确率、召回率以及f1分数等多个指标，以全面评估模型性能。评估过程中特别关注模型在处理类别不平衡及复杂纹理识别方面的表现。此外，混淆矩阵和roc曲线等统计工具被用于进一步分析模型在各类别上的识别能力和误分类行为。

58、最终，将saem、lpb和bam集成到一个改进的swin transformer模型中，形成了geo-swin-transformer。geo-swin-transformer模型旨在通过集成各个模块的优势，实现砂岩显微图像分类任务的最优性能。整个训练和评估过程都通过详尽的日志记录和性能监控，确保了实验结果的可重复性和科学性。

59、该技术方案在砂岩显微图像分类领域中的应用，带来了显著的有益效果，具体包括：

60、1.显著提升分类准确性：saem模块通过其空间自适应增强能力，结合lpb模块对局部特征的精细捕捉，极大提升了模型对砂岩显微图像中复杂纹理和细节特征的识别能力。这种提升对地质学研究和油气勘探等领域至关重要，因其决策常基于对岩石样本的精确分类和深入解读。

61、2.有效应对类别不平衡问题：通过bam模块的引入，本发明有效应对了砂岩显微图像数据中存在的类别不平衡难题。该模块通过动态调整损失函数中各类别的权重，确保模型对所有类别保持高度敏感和准确识别，特别是对数量较少的类别也能进行有效识别，进而增强了模型的泛化性。

62、3.提升处理效率：本项技术改进不仅在分类准确性上取得进展，同样在处理效率方面也展现出明显优势。经过优化的swin-transformer架构使模型在处理复杂图像数据时计算效率更高，适宜于资源受限的环境中执行大规模砂岩显微图像分析，能够满足实时或近实时处理的需求。

63、4.促进地质科学研究与资源勘探进展：本发明通过提供一种更准确、高效的砂岩显微图像分类方法，有力推动了地质科学研究和油气资源勘探的发展。精确的岩石分类信息帮助地质学家和勘探工程师深入理解地层特性，为资源评估和开发决策提供了坚实的科学基础，具有重大的经济和社会价值。