一种基于Mamba的超轻量图像分割方法及计算机装置

本发明涉及图像分割领域，具体涉及一种基于mamba的超轻量图像分割方法及计算机装置。

背景技术：

1、传统的图像分割通常使用以卷积和transformer架构为代表的深度学习网络来实现。卷积具有出色的局部特征提取能力，但在建立远程信息的相关性方面存在不足。自注意力机制虽然可以解决利用连续贴片序列进行远程信息提取的问题，但也带来了较大的计算负荷。为了提高模型的分割性能，大多数方法倾向于使用添加更复杂的模块。而这并不适用于需要实际应用场景，特别是移动检测设备，由于计算资源的限制，计算负载的模型不适合真实的应用场景。

2、近年来，以mamba为代表的状态空间模型(ssms)已成为传统卷积神经网络和transformer架构的有力竞争对手。状态空间模型(ssms)在输入大小和内存占用方面显示出线性复杂性，这使得它们成为轻量级模型基础的关键。此外，ssms擅长捕获远程依赖关系，这可以关键地解决用于长距离提取信息的卷积问题。而在工业的检测上，通常需要考虑实际的计算能力和内存约束。

技术实现思路

1、本发明的目的在于克服现有技术的缺点，提供一种基于mamba的超轻量图像分割方法及计算机装置，保持优秀分割性能的同时，能够最大化的优化计算资源，获得超轻量化的模型，更适用于移动检测设备。

2、本发明采取如下技术方案实现上述目的，第一方面，本发明提供一种基于mamba的超轻量图像分割方法，包括：

3、s1、获取原始图像，将原始图像预处理后得到原始图像集，将原始图像集按照设定比例划分为训练集、验证集和测试集；

4、s2、构建基于mamba的超轻量图像分割模型；

5、所述基于mamba的超轻量图像分割模型主要由编码器、解码器以及编码器及解码器之间的跳跃连接组成；

6、所述编码器包括第一残差卷积模块、第二残差卷积模块、第一并行卷积模块以及第二并行卷积模块，所述解码器包括卷积模块、第一并行视觉模块、第二并行视觉模块以及第三并行视觉模块，所述跳跃连接通过注意力机制模块进行多层次、多尺度的信息融合，所述注意力机制模块主要由空间注意力机制子模块以及通道注意力机制子模块组成；

7、所述第一残差卷积模块及第二残差卷积模块结构相同，主要由并行的三层卷积层组成，所述第一并行卷积模块以及第二并行卷积模块结构相同，主要由四个并行层组成，每个并行层主要由三个残差连接的分支构成，第一分支由视觉状态空间块和跳跃连接组成，第二分支由卷积核为3的标准卷积和跳跃连接组成，第三分支由卷积核为5的标准卷积和跳跃连接组成；

8、所述第一并行视觉模块、第二并行视觉模块以及第三并行视觉模块结构相同，主要由四个并行层组成，每个并行层主要由视觉状态空间块和跳跃连接组成，视觉状态空间块主要由两个分支组成，第一个分支主要由线性层和silu激活函数组成，第二个分支主要由线性层、深度卷积、silu激活函数、状态空间模型和层归一化层组成，最后通过逐元素乘法合并两个分支以输出；

9、s3、将训练集与验证集中的原始图像作为基于mamba的超轻量图像分割模型的输入，对基于mamba的超轻量图像分割模型进行图像分割训练；

10、s4、将测试集中的原始图像输入训练好的基于mamba的超轻量图像分割模型，得到图像的分割结果。

11、进一步的是，s3具体包括：

12、编码器训练过程：将原始图像分别输入第一残差卷积模块的3×3卷积层和5×5卷积层，得到对应的两个分支结果，再将两个分支结果进行合并得到第一特征图，然后将原始图像输入第一残差卷积模块的1×1卷积层得到特征图与第一特征图进行融合，融合后输出第二特征图，将第二特征图输入第二残差卷积模块，第二残差卷积模块输出第三特征图；

13、将通道数为c的第三特征图输入第一并行卷积模块的层归一化层，然后被划分为通道数为c/4的四个对应特征图，然后将每个对应特征图分别输入到各个并行层中，对并行层中的三个残差连接的分支的输出进行拼接和调整因子，得到三个对应的特征图，将每个分支的三个对应特征图进行对应元素相加得到通道数为c/4的4个中间特征图，通过拼接运算将通道数为c/4的四个中间特征图组合成通道数为c的第四特征图，最后分别通过层归一化层和投影操作层运算输出第五特征图。

14、进一步的是，s3具体还包括：

15、解码器训练过程：将编码器输出的通道数为c的特征图输入第三并行视觉模块的层归一化层，然后被划分为通道数为c/4的四个对应的特征图，然后将每个特征分别输入到vss block，然后进行残差拼接和调整因子，通过特征图拼接得到通道数为c的特征图，再分别通过层归一化层和投影操作层运算输出对应的特征图，将该对应的特征图输入卷积核为1的卷积模块，输出分割后的图像。

16、进一步的是，跳跃连接通过注意力机制进行多层次、多尺度的信息融合具体包括：

17、首先将特征图输入空间注意力机制子模块，分别进行最大池化和平均池化处理，然后将两个池化的结果沿通道维度进行拼接，再使用卷积层进行卷积操作，然后通过sigmoid 激活函数将输出结果限制在 [0, 1] 范围内，最后将输入的特征图与结果相乘，再与输入特征图相加得到空间注意力特征图；

18、将空间注意力特征图作为通道注意力机制子模块的输入，通过通道注意力机制子模块对输入的特征图进行全局平均池化，通过自适应池化将输入的特征图的空间维度进行压缩，保留通道信息，使用一维卷积计算全局注意力权重，使用全连接层或卷积层计算每个通道的注意力权重，再使用 sigmoid 激活函数将注意力权重限制在 [0, 1] 范围内，将计算的注意力权重应用于对应的输入特征图，与输入的特征图拼接后返回最终的注意力特征图。

19、第二方面，本发明提供一种计算机装置，包括存储器，所述存储器存储有程序指令，所述程序指令运行时，执行如上述所述的基于mamba的超轻量图像分割方法。

20、本发明的有益效果为：

21、本发明引入了视觉状态空间块块作为基础块来捕获广泛的上下文信息，同时结合卷积出色的局部特征提取能力，提出将通道进行划分和局部卷积进行并行的处理方法，极大地减少了参数量以及运算量，并构造了一个非对称的编码器-解码器结构。在保持优秀的分割性能的同时，获得超轻量化模型，最大化优化计算资源，更适用于移动检测设备。

技术特征：

1.一种基于mamba的超轻量图像分割方法，其特征在于，包括：

2.根据权利要求1所述的基于mamba的超轻量图像分割方法，其特征在于，s3具体包括：

3.根据权利要求2所述的基于mamba的超轻量图像分割方法，其特征在于，编码器训练过程还包括：

4.根据权利要求1所述的基于mamba的超轻量图像分割方法，其特征在于，s3具体还包括：

5.根据权利要求1所述的基于mamba的超轻量图像分割方法，其特征在于，跳跃连接通过注意力机制进行多层次、多尺度的信息融合具体包括：

6.根据权利要求5所述的基于mamba的超轻量图像分割方法，其特征在于，跳跃连接通过注意力机制进行多层次、多尺度的信息融合具体还包括：

7.一种计算机装置，包括存储器，所述存储器存储有程序指令，其特征在于，所述程序指令运行时，执行如权利要求1-6任意一项所述的基于mamba的超轻量图像分割方法。

技术总结本发明涉及图像分割领域，具体涉及一种基于Mamba的超轻量图像分割方法及计算机装置，保持优秀分割性能的同时，能够最大化的优化计算资源，获得超轻量化的模型，更适用于移动检测设备。技术方案包括：获取原始图像，将原始图像预处理后得到原始图像集，将原始图像集按照设定比例划分为训练集、验证集和测试集；构建基于Mamba的超轻量图像分割模型；将训练集与验证集中的原始图像作为基于Mamba的超轻量图像分割模型的输入，对基于Mamba的超轻量图像分割模型进行图像分割训练；将测试集中的原始图像输入训练好的基于Mamba的超轻量图像分割模型，得到图像的分割结果。本发明适用于图像分割。技术研发人员：王玲,陈春霞,丑西平,孙宏波,晏杭坤,徐子翕受保护的技术使用者：四川大学技术研发日：技术公布日：2024/9/9