一种基于特征信息重建增强的图像分割方法

本发明属于图像处理，具体涉及一种基于特征信息重建增强的图像分割方法。

背景技术：

1、图像分割是计算机视觉领域中的一项基础技术，它旨在将图像划分成多个区域或对象，以便于进一步的分析和处理。这项技术对于理解图像内容、提取有用信息至关重要，广泛应用于医学成像、遥感、视频监控、自动驾驶等多个领域。传统的图像分割技术依赖于像素级别的分析，通过边缘检测、阈值分割、区域生长等方法来区分不同的区域。例如，边缘检测算法通过寻找像素强度的显著变化来确定物体的轮廓；而阈值分割则是根据像素的灰度值将图像分为前景和背景。

2、随着深度学习的发展，基于卷积神经网络(cnn)的图像分割方法取得了显著进展。这些方法能够学习图像中的特征表示，并自动进行更准确的分割。典型的深度学习模型包括全卷积网络(fcn)、u-net、mask r-cnn等，它们利用编码器-解码器架构来捕捉图像的上下文信息，并进行精确的区域定位。

3、最近，transformer架构也被引入到图像分割中，利用自注意力机制来处理图像序列化表示，进一步提升了分割性能。这些方法能够更好地处理长距离依赖关系，捕捉全局上下文信息，适用于大规模和复杂的图像分割任务。

4、但是，图像分割领域任然存在着分割不彻底，特征信息融合不全面的问题。

技术实现思路

1、本发明的目的在于提供出一种基于特征信息重建增强的图像分割方法，通过对两张特征图的特征信息重建，提高全局信息关注度，通过特征信息重建(ufa)模块和跳跃注意力(sam)模块的互相协调，将特征信息的提取效率最大化，最终得到全面的特征信息。

2、本发明通过以下技术方案实现：

3、步骤一：输入两张原始图像，经过编码模块提取相应的特征图信息；

4、步骤二：分别将两种特征图信息经过具有特征信息重建(ufa)模块和跳跃注意力(sam)模块的分支进行特征信息重建和注意力计算；

5、步骤三：将得到的特征信息送入解码器后得出输出图。

6、进一步，所述的步骤一具体为：将whu数据集80％划分为训练集，20％划分为测试集，将训练集的两张图片送入轻量化模型mobilev2训练，降低损失，提取有效特征信息。

7、进一步，所述的步骤二具体为：将提取到的两张图的特征信息分别经过特征信息重建(ufa)模块，即对特征信息的特征统计量使用高斯重参数化技术重建得到新的特征信息，同时经过sam模块，对重建后的特征信息进行窗口化划分细分区域和线性变换转化，然后计算特征权重。

8、进一步，所述的特征信息重建(ufa)模块具体为：首先，分别对两张特征图的特征统计量进行不确定性估计，获得其概率分布，然后，基于估计的不确定性，建立每个特征统计量的概率分布，并使用高斯重参数化技术从这些分布中随机采样新的特征统计量，最后，将两张特征信息的统计量混合，生成具有语义变化的新查询特征，不确定性估计公式如下：

9、

10、其中，μq和σq表示图像的特征统计，var(μq)和var(σq)表示特征统计的方差，nbs表示小批量中的样本数。

11、进一步，所述的跳跃注意力(sam)模块具体为：首先将像素查询图和对应的编码特征信息通过卷积操作调整到相同的通道数后经过layer norm后，再经过窗口划分细分特征区域，然后经过linear层线性变换生成特征值，接着，在有限的窗口内计算注意力权重，使用关注各个区域特征的注意力算法来嵌入不同深度范围的信息，最后，通过kan网络层线性组合聚合每个像素的深度嵌入信息。

12、进一步，所述步骤三具体为：将经过ufa模块特征信息重建后的特征图和sam模块并行多窗口划分特征区域重视权重处理后的特征信息聚合，然后经过解码后得到处理后的输出图。

13、本发明的有益效果如下：

14、本发明通过特征信息重建(ufa)模块和跳跃注意力(sam)模块让模型更加关注多维尺度的特征信息，增强了特征信息，并丰富了信息特征的多样性，为处理图像特征信息提供了有效的方法。

技术特征：

1.一种基于特征信息重建增强的图像分割方法，其特征在于，所述的一种基于特征信息重建增强的图像分割方法包括如下步骤：

2.如权利要求1所述的方法，其特征在于，所述的步骤一具体为：将whu数据集80％划分为训练集，20％划分为测试集，将训练集的两张图片送入轻量化模型mobilev2训练，降低损失，提取有效特征信息。

3.如权利要求1所述的方法，其特征在于，所述的步骤二具体为：将提取到的两张图的特征信息分别经过特征信息重建(ufa)模块，即对特征信息的特征统计量使用高斯重参数化技术重建得到新的特征信息，同时经过sam模块，对重建后的特征信息进行窗口化划分细分区域和线性变换转化，然后计算特征权重。

4.如权利要求3所述的方法，其特征在于，所述的特征信息重建(ufa)模块具体为：首先，分别对两张特征图的特征统计量进行不确定性估计，获得其概率分布，然后，基于估计的不确定性，建立每个特征统计量的概率分布，并使用高斯重参数化技术从这些分布中随机采样新的特征统计量，最后，将两张特征信息的统计量混合，生成具有语义变化的新查询特征，不确定性估计公式如下：

5.如权利要求3所述的方法，其特征在于，所述的跳跃注意力(sam)模块具体为：首先将像素查询图和对应的编码特征信息通过卷积操作调整到相同的通道数后经过layer norm后，再经过窗口划分细分特征区域，然后经过linear层线性变换生成特征值，接着，在有限的窗口内计算注意力权重，使用关注各个区域特征的注意力算法来嵌入不同深度范围的信息，最后，通过kan网络层线性组合聚合每个像素的深度嵌入信息。

6.如权利要求1所述的方法，其特征在于，所述步骤三具体为：将经过ufa模块特征信息重建后的特征图和sam模块并行多窗口划分特征区域重视权重处理后的特征信息聚合，然后经过解码后得到处理后的输出图。

技术总结本发明公开了一种基于特征信息重建增强的图像分割方法，属于图像处理技术领域。本发明包括如下步骤：首先，输入两张原始图像，经过编码模块提取相应的特征图信息；然后，分别将两种特征图信息经过具有特征信息重建(UFA)模块和跳跃注意力(SAM)模块的分支进行特征信息重建和注意力计算；最后，将得到的特征信息送入解码器后得出输出图。本方法提高了模型的鲁棒性，为图像分割特征信息提取不全面提供了新的解决方法。技术研发人员：胡长江,刘敏贤,张梦洋受保护的技术使用者：西南科技大学技术研发日：技术公布日：2024/9/9