一种基于图像分割的共生矿物识别方法与系统

本发明实施例涉及矿物识别，具体涉及一种基于图像分割的共生矿物识别方法与系统。

背景技术：

1、矿物识别是地质研究的基础，可通过肉眼或显微镜下观察矿物的颜色、透明度、光泽等光学性质进行识别，但对识别人员的专业要求高且存在主观性；也可通过x射线衍射、电子探针、拉曼光谱等先进仪器对矿物进行识别，但耗时长、成本高、对矿物有破坏性。因此已出现通过相机图像进行矿物识别的方法，其对以共生形式存在的多种矿物使用多标签图像分类方法进行识别，但仅能识别图像中含有哪些矿物，不能找到图像中各矿物的准确位置。

技术实现思路

1、为此，本发明实施例提供一种基于图像分割的共生矿物识别方法与系统，以解决目前基于相机图像的矿物识别对于共生矿物只能给出类别，不能准确定位的问题。

2、为了实现上述目的，本发明实施例提供如下技术方案：

3、本发明提供一种基于图像分割的共生矿物识别方法与系统，其特征在于包括：

4、s1：获取矿物图像并构建及扩充矿物图像分割数据集；

5、s2：构建多尺度具有全局注意力的编码-解码结构的矿物图像分割模型；

6、s3：训练矿物图像分割模型。

7、进一步的，所述步骤s1“获取矿物图像并构建及扩充矿物图像分割数据集”具体包括：

8、在矿物数据库网站mindat.org上获取183,688张既有单种矿物又有多种共生矿物的图像，使用百度标注工具eiseg对其中包含多种矿物的1800张图像进行标注，构建矿物图像语义分割数据集，并通过随机水平翻转、随机垂直翻转、随机裁剪及随机色调变化进行10倍的扩充；

9、进一步的，所述步骤s2“构建多尺度具有全局注意力的编码-解码结构的矿物图像分割模型”具体包括：

10、构建由swin transformer、改进的特征金字塔、多尺度金字塔池化模块以及三个全局注意力模块组成的矿物图像分割模型。其中swin transformer是编码器，负责对输入的矿物图像进行高效的特征提取；改进的特征金字塔作为解码器接收来自swintransformer编码器提取的矿物特征后，从顶层到底层逐步上采样并与高分辨率特征图采用全局注意力模块进行跳跃连接后逐步将其恢复到与输入数据相同的空间维度，生成最终的像素级分类结果；swin transformer编码器的最后一层连接一个多尺度金字塔池化模块，以有效地融合编码器所提取到的深层和浅层不同尺度注意力特征信息，获得更好的多尺度特征表示，增强模型对不同尺度矿物的感知能力，提高矿物分割模型的泛化能力，减少过拟合风险；

11、将解码器端低分辨率矿物特征与编码器端高分辨率矿物特征进行跳跃连接的全局注意力模块由高层特征分支和低层特征分支组成，高层特征分支将高分辨率矿物图像特征进行全局平均池化操作后，使用1x1卷积核进行降维，通过批归一化处理和relu函数激活后生成权重系数矩阵，低层特征分支将低分辨率矿物图像特征输入3x3卷积核并进行批归一化处理后将其与高层特征分支的权重系数矩阵相乘并通过激活生成整合后的矿物特征，高层权重系数矩阵与低层矿物特征相乘的方式可以有效整合矿物图像的上下文信息，加强模型对于不同抽象级别特征的提取能力，为避免丢失原始的高分辨率矿物特征，保持特征图的丰富性，全局注意力模块还将高分辨率矿物图像特征与整合后的特征进行拼接；

12、swin transformer编码器最后一层与解码器连接处拼接了一个多尺度金字塔池化模块对编码器提取到的密集型像素级注意力特征进行处理。多尺度金字塔池化模块由多尺度特征池化分支和全局特征分支两部分组成，多尺度特征池化分支将输入的矿物图像特征分别通过四个尺度为{1，2，3，6}的2d自适应最大池化层生成不同感受野的矿物图像特征，再分别通过1x1卷积核与上采样后与全局特征分支上的原矿物图像特征在通道维度上进行拼接，之后经过1x1卷积、批归一化与relu激活函数后，输入解码器。2d自适应最大池化操作的四个矿物特征能够对不同尺度矿物进行有效识别，逐步将不同感受野的矿物特征图拼接能够将不同尺度的矿物特征信息进行融合，以获取更全面和丰富的矿物特征表示，帮助模型更好地理解图像内容，提高矿物分割性能。

13、接收来自swin transformer编码器提取的矿物特征的改进的特征金字塔解码器接收经过多尺度金字塔池化模块进行多尺度信息融合后的特征图为特征金字塔的最顶层特征，通过连续三次的上采样模块与全局注意力模块融合后分别获得特征金字塔中其余三层特征，其中上采样模块使用2倍双线性插值的方式将矿物特征图的宽和高翻倍，全局注意力模块采用跳跃连接的方式将不同层级的矿物特征图进行融合，最后将特征金字塔的四层特征进行融合得到用于矿物图像分割的多尺度矿物图像特征，上采样至原始矿物图像大小及降维至类别数后完成矿物图像分割；

14、进一步的，所述步骤s3“训练矿物图像分割模型”具体包括：

15、s31：获取编码器swin transformer在imagenet-1k数据集上的权重；

16、s32：以在imagenet-1k数据集上获取的权重为初始权重在矿物图像(除去1800张用于构建矿物图像分割数据集的图像)分类数据上训练swin transformer；

17、s33：冻结在矿物图像分类数据上训练好的swin transformer权重，使用s1中构建好的矿物分割数据集训练s2中构建好的矿物分割模型除swin transformer编码器的其余部分，损失函数采用交叉熵函数，使用adam优化器，学习率设置为1e-4，并为提高模型的收敛速度且避免陷入局部最优解，使用pytorch中的onecyclelr学习率调度器，在训练过程中动态调整学习率。

18、本发明实施例具有如下优点：

19、本发明实施例公开了一种基于图像分割的共生矿物识别方法与系统，构建了用于共生矿物识别的图像分割数据集及以swin transformer为编码器、改进的特征金字塔为解码器的矿物图像分割模型，并使用了多尺度金字塔池化及全局注意力模块以融合不同尺度的矿物特征信息，获取更全面和丰富的矿物特征表示，帮助模型更好地理解矿物图像内容，有效整合矿物图像的上下文信息，加强模型对于不同抽象级别特征的提取能力，保持特征图的丰富性，提高矿物分割性能，该方法不仅能对共生矿物进行准确识别还能对不同类别的矿物进行具体定位。

技术特征：

1.一种基于图像分割的共生矿物识别方法与系统，其特征在于包括：

2.根据权利要求1所述的一种基于图像分割的共生矿物识别方法与系统，其特征在于步骤s1“获取矿物图像并构建及扩充矿物图像分割数据集”包括：

3.根据权利要求1所述的一种基于图像分割的共生矿物识别方法与系统，其特征在于步骤s2“构建多尺度具有全局注意力的编码-解码结构的矿物图像分割模型”包括：

4.根据权利要求1所述的一种基于图像分割的共生矿物识别方法与系统，其特征在于步骤s3“训练矿物图像分割模型”包括：

技术总结本发明实施例公开了一种基于图像分割的共生矿物识别方法与系统，所述方法与系统包括获取矿物图像并标注及扩充矿物图像分割数据集，构建以Swin Transformer为编码器、改进的特征金字塔为解码器的矿物图像分割模型，并使用多尺度金字塔池化及全局注意力模块以融合不同尺度的矿物特征信息，获取更全面和丰富的矿物特征表示，有效整合矿物图像的上下文信息，加强模型对于不同抽象级别特征的提取能力，保持特征图的丰富性，提高矿物分割性能，训练时使用迁移学习冻结编码器Swin Transformer在ImageNet预训练后在矿物分类数据集微调后的权重后对模型使用矿物分割数据集进行训练，所得模型解决了现有方法和系统仅能识别共生矿物图像中矿物种类，不能对各种类矿物进行准确定位的问题。技术研发人员：季晓慧,吴宝坤,杨眉,何明跃,张招崇,曾姗受保护的技术使用者：中国地质大学（北京）技术研发日：技术公布日：2024/7/29