一种黄铁矿SEM图像分割方法及装置

本发明涉及电子显微镜图像处理，尤其涉及一种黄铁矿sem图像分割方法及装置。

背景技术：

1、图像分类和图像分割是计算机视觉领域中的两个重要任务，在如今沉积地质学不断进步的时代，先进的图像分类和图像分割方法不断涌现。

2、大量的地质数据信息一直是地质学研究中重要的材料。具体的，在草莓状黄铁矿分析中，根据草莓状sem图像，快速并准确的获取到草莓状sem图像数据集是学者们一直探索的研究。其中，草莓状sem图像数据集可以包括图像数据、标注数据、地质信息、化学成分、物理特性等。

3、但是，相关技术中，根据草莓状sem图像获取草莓状sem图像数据集的方法，依旧更多采用人工和半自动追踪的方法。而采用人工的方法，存在人工检测费时费力的问题；而且如果草莓状sem图像数据集较小，则可能无法全面代表所有可能的形态变化和氧化还原条件，影响沉积分析；此外，人类的偏见(例如偏向于“更好”的样本)也会影响草莓状sem图像数据集的收集。此外，半自动图像处理方法中阈值化参数的选择也会因为主观偏差而导致草莓状sem图像数据集的检测差异。

4、而就图像分割而言，对扫描电子显微镜(sem)图像的精准分割对于材料科学、医学和地质沉积等领域至关重要。但是，传统的图像分割方法依赖于复杂的算法或人工处理，效率低且易受主观因素影响。近年来，深度学习技术的发展为图像分割提供了新的解决方案。然而，现有草莓状sem图像在分割时仍面临挑战，尤其是在图像的边界区域，效果欠佳。

5、综上所述，我们提出一种黄铁矿sem图像分割方法及装置，旨在提高分割精度。

技术实现思路

1、基于以上所述，本发明的目的在于提供一种黄铁矿sem图像分割方法及装置，旨在能够提高分割精度。

2、为达上述目的，本发明采用以下技术方案：

3、本技术的第一方面提供了一种黄铁矿sem图像分割方法，其包括：

4、收集并整理待处理sem图像，所述待处理sem图像中具有草莓状黄铁矿的图像信息；

5、利用目标sem图像分割模型处理所述待处理sem图像，以获得sem图像分割结果；

6、其中，所述目标sem图像分割模型基于segboundary模型构建，所述segboundary模型通过加入有sam边界感知模块的segformer模型构成，所述目标sem图像分割模型的图像分割处理包括encoder阶段和decoder阶段，在所述encoder阶段通过transformer层提取输入图像的多级特征，利用所述sam边界感知模块提取边界特征，获得多层特性信息；在所述decoder阶段对所述多层特性信息进行多尺度特征融合并进行掩码分割，以获得sem图像分割结果。

7、在一些实施方式中，在所述利用目标sem图像分割模型处理所述待处理sem图像，以获得sem图像分割结果的步骤之前，还包括训练并获得所述目标sem图像分割模型，所述训练并获得所述目标sem图像分割模型包括：

8、收集并整理待测试sem图像，整理获得待测试sem图像对应的分割标签；

9、利用所述待测试sem图像及所述分割标签制作训练数据集、验证数据集和测试数据集；

10、构建所述segboundary模型作为初始sem图像分割模型；

11、基于所述训练数据集和所述验证数据集，利用随机梯度下降方法优化所述初始sem图像分割模型，获得优化sem图像分割模型；

12、利用所述优化sem图像分割模型对所述测试数据集中的草莓状黄铁矿sem图像进行测试分割，获得预测结果；

13、将所述预测结果与所述测试数据集对应的标签草莓状黄铁矿分割数据进行对比分析，确定所述目标fmi图像裂缝分割模型。

14、在一些实施方式中，所述利用所述待测试sem图像及所述分割标签制作训练数据集、验证数据集和测试数据集，包括：

15、将所述待测试sem图像进行预处理，放缩为预设分辨率，获得预处理后sem图；

16、将所述预处理后sem图像，按预设比例分成训练数据集、验证数据集和测试数据集。

17、在一些实施方式中，所述基于所述训练数据集和所述验证数据集，利用随机梯度下降方法优化所述初始sem图像分割模型，获得优化sem图像分割模型包括：

18、使用adamw优化器和交叉熵损失对所述初始sem图像分割模型进行训练；其中，所述初始sem图像分割模型的学习率初始值设置为0.00006；

19、采用数据增强策略优化所述初始sem图像分割模型，所述数据增强策略包括随机缩放、随机水平翻转和随机裁剪。

20、在一些实施方式中，所述将所述预测结果与所述测试数据集对应的标签草莓状黄铁矿分割数据进行对比分析，以确定所述目标fmi图像裂缝分割模型包括：

21、将加入所述sam边界感知模块的所述优化sem图像分割模型的第一预测结果与未加入所述sam边界感知模块的segformer模型的对应于所述第一预测结构的第二预测结果进行对比，以分析交并比iou、召回率recall、精确度precision、准确度accuary和f1分数的提升情况，所述f1分数为精确度precision和召回率recall的调和平均值。

22、在一些实施方式中，所述在所述encoder阶段通过transformer层提取输入图像的多级特征，利用sam边界感知模块提取边界特征，获得多层特性信息，包括：

23、根据给定h×w大小的输入图像，将输入图像分割成4×4大小的补丁，并将每个补丁嵌入为h×w×c的维度；

24、将补丁传递给分层的transformer层，通过分层的transformer层的自注意力机制计算和前馈神经网络处理后，执行重叠补丁合并操作，获得分层特征图fi，其中，式中，i代表每一层，属于集合{1,2,3,4}，c代表维度；

25、将给定h×w大小的输入图像输入到图像编码器，提起图像特征，以获得初步特征图，所述图像编码器根据预训练的vit视觉变换器构成，预训练的vit视觉变换器包括窗口化注意力和四个等间隔的全局注意力块；

26、对初步特征图进行缩放处理和填充处理，获得处理后特征图；

27、对处理后特征图进行卷积和归一化操作，得到降维特征图；

28、将降维特征图输入到掩码解码器中，在掩码解码器中使用自注意力和交叉注意力机制，获得更新降维特征图；

29、对更新降维特征图进行上采样，以将更新降维特征图恢复到输入图像的分辨率，获得分辨率恢复后特征图；

30、通过mlp多层感知机对所述分辨率恢复后特征图进行操作，输出所述分辨率恢复后特征图中目标的分割掩码mb，所述目标为草莓状黄铁矿的图像信息；

31、通过canny边缘检测算法得到边界特征图fb，所述多层特性信息包括所述分层特征图fi和所述边界特征图fb。

32、在一些实施方式中，所述通过canny边缘检测算法得到边界特征图fb包括：

33、通过canny算法利用sobel算子计算所述目标的分割掩码mb在x和y方向上的梯度；

34、计算梯度的幅度和方向，以确定边缘的位置和方向；其中，

35、gx＝sobel(mb,x)；

36、gy＝sobel(mb,y)；

37、

38、θ＝arctan(gy/gx)；

39、fb＝canny(g,θ,100,200)；

40、式中，gx和gy分别是sobel算子在x和y方向上计算目标的分割掩码mb的梯度，g和θ为梯度幅度和方向。

41、在一些实施方式中，所述将补丁传递给分层的transformer层，通过分层的transformer层的自注意力机制计算和前馈神经网络处理后，执行重叠补丁合并操作，获得分层特征图fi，包括：

42、通过自注意力机制计算输入的各补丁间的自注意力，生成输出特征；其中，在自注意力机制计算中，每个查询向量q、键向量k、值向量v都具有相同的维度h×w×c，自注意力attention(q,k,v)为：

43、

44、式中，dhead表示键的维度，且在自注意力机制的计算中对补丁使用序列缩减过程，使用缩减比率r来缩减序列长度，最终维度为其中：

45、

46、式中，k代表要缩减的键向量；

47、将所述输出特征输入到前馈神经网络，前馈神经网络通过3×3的卷积和一个mlp多层感知机模块混合计算特征，输出最终输出，其中，

48、xout＝mlp(gelu(conv3×3(mlp(xin))))+xin；

49、式中，xin来自自注意力机制的输出特征，xout表示最终输出；

50、对每层transformer层输出的最终输出，执行重叠补丁合并操作，获得分层特征图fi，其中，所述重叠补丁合并操作包括定义k1、s、p，其中，k1是补丁大小，s是相邻补丁之间的步长，p是填充大小；设置k1＝9，s＝5，p＝4或者k1＝3，s＝2，p＝1，执行重叠补丁合并。

51、在一些实施方式中，所述在所述decoder阶段进行多尺度特征融合并进行掩码分割，以获得sem图像分割结果包括：

52、将从所述encoder阶段中得到的多层特性信息通过第一mlp层进行通道维度统一，得到统一维度特性信息

53、通过对统一维度特性信息上采样，提高分辨率到的大小，获得上采样结果然后进行拼接，获得拼接后特征；

54、采用第二mlp层对拼接后特征进行融合，得到融合后特征；

55、将融合后特征输入第三mlp层，预测分割的掩码，获得最终预测的分割掩码m；其中，分辨率为其中，

56、

57、m＝linear(c,nclass)(f)；

58、式中，m代表预测的掩码，c表示统一的通道维度，nclass是类别的数量，表示对上采样结果进行拼接，f表示融合后特征，m表示最终预测的分割掩码。

59、本技术的第二方面提供了一种黄铁矿sem图像分割装置，其包括：

60、至少一个处理器；

61、与该至少一个处理器通信连接的存储器；

62、该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行上述任一实施方式的黄铁矿sem图像分割方法。

63、其中，所述装置还包括用于接收黄铁矿sem图像的输入单元，用于显示分割结果的显示单元，用于存储分割后的图像数据和相关处理信息的存储单元，所述处理器被配置为从输入单元接收黄铁矿sem图像；根据存储器中的指令执行图像分割算法，对接收到的黄铁矿sem图像进行分割处理；将分割后的图像结果传输至显示单元进行展示；将处理后的图像数据和相关信息存储到存储单元中，以便后续分析和处理。

64、本发明的有益效果为：

65、本发明通过目标sem图像分割模型处理所述待处理sem图像。目标sem图像分割模型结合了segformer模型的高效分割能力和sam边界感知模块出色的零样本分割能力。通过将待处理sem图像送入到本发明设计的目标sem图像分割模型中，可以自动生成草莓状黄铁矿的分割掩码,其具有高效的分割能力，并通过sam边界感知模块提高了草莓状黄铁矿分割的准确度。

66、相比于其他的模型来说，本发明只需要进行简单的分辨率适配便可以在图片分割上达到不错的效果。因此，本发明在地质图像分割方面具有很大的潜力。