基于三维卷积-注意力联合机制的彩色偏振图像复原方法

本发明涉及偏振成像，特别涉及一种基于三维卷积-注意力联合机制的彩色偏振图像复原方法。

背景技术：

1、偏振作为强度、波长和相位之外描述电磁波基本属性的第四个重要信息维度，与物体的材质、形状、纹理结构、表面粗糙度及理化特性密切相关。偏振光学成像利用目标与背景的偏振差异，以提升成像质量、增强作用距离、提高探测能力及识别概率。近年来，分焦平面偏振传感器作为偏振成像新方案，通过微偏振阵列放置在传感器前端，每个传感器像元对应四个偏振方向的微偏振单元，具有成像同步、光学系统无关、体积小等优势。然而，该系统牺牲了空间分辨率，且微偏振阵列易引入噪声。因此，需要有效的偏振图像复原方法，即同时进行偏振图像超分辨率重建和去噪的方法，将低信噪比-低分辨率图像转换为高信噪比-高分辨率偏振图像，以获取准确的可见光与偏振信息。

2、偏振图像超分辨率重建和去噪技术可分为两大类：非数据驱动型和数据驱动型。非数据驱动型方法包括空间域插值、稀疏表示超分辨率重建，空间域图像滤波、变换域去噪和稀疏表示去噪。这些方法在一些情况下表现良好，但仍受限于先验模型和人工调参，缺乏普适性。数据驱动型方法，例如基于卷积神经网络、注意力机制的方法，通过深度学习在大量数据集上进行训练，能够有效进行偏振图像超分辨率重建，以及去除偏振图像噪声，通常优于非数据驱动方法。

3、尽管目前基于深度学习的偏振复原方法已取得显著进展，但现有的偏振复原方法仍存在不足之处：

4、1.特征提取方面，目前的方法主要聚焦于空间维度，未能充分挖掘偏振和色彩等多维信息；缺乏有效机制同时关注局部细节和全局信息，在局部细节和整体结构之间的平衡上存在不足；缺乏对于多尺度信息的利用；

5、2.模型训练和测试方面，缺少面向偏振信息损失函数设计，不能良好适应偏振复原场景；缺乏完善的偏振复原流程，缺乏从分焦平面偏振传感器原始数据到高质量可见光、偏振信息的端到端处理流程；

6、实际应用方面，现有偏振图像复原方法普遍缺乏同时进行超分辨率重建和去噪的能力，在改善分焦平面偏振传感器空间分辨率损失和信噪比降低的任务中应用受限。

技术实现思路

1、本发明的目的是为了克服现有技术的难题，解决分焦平面彩色偏振相机受空间分辨率损失和信噪比降低影响，难以提取彩色偏振信息的问题，提供一种基于三维卷积-注意力联合机制的彩色偏振图像复原方法。

2、本发明的目的是通过以下技术方案实现的：一种基于三维卷积-注意力联合机制的彩色偏振图像复原方法，该方法包括以下步骤：

3、s1. 建立由四维彩色偏振图像构成的成对偏振复原数据集，所述的数据集由分焦平面偏振相机和普通可见光相机组合装置拍摄而得；对四维彩色偏振图像进行偏振信息解算，得到三维可见光光强、偏振度、偏振角信息，扩充数据维度；使用数据增强方法扩增数据集，按规定比例随机划分数据集为训练集、测试集，用来训练和检测网络性能；

4、s2. 构建三维卷积-注意力联合偏振复原网络模型，包括浅层三维特征提取模块、空间-偏振三维注意力模块、空间-偏振三维卷积模块、模块融合；浅层三维特征提取模块由三维卷积层构成，用以提取空间、偏振维度的浅层三维特征；空间-偏振三维注意力模块基于滑动窗口机制和三维注意力机制，进行空间、偏振维度的全局长程依赖建模；空间-偏振三维卷积模块基于三维卷积残差网络，捕获局部三维信息；各模块连接和融合，形成多尺度的层次化u型网络；

5、s3. 设计基于斯托克斯物理模型的偏振复原损失函数，该损失函数包括四维彩色偏振图像损失、三维彩色光强损失、偏振度损失、偏振角损失；利用该损失函数训练三维卷积-注意力联合偏振复原网络模型；

6、s4. 基于训练得到的三维卷积-注意力联合偏振复原网络模型，提取、融合三维特征，并基于斯托克斯物理模型进行偏振信息解算，从而由低信噪比、低分辨率的四维彩色偏振图像得到高信噪比、高分辨率的四维彩色偏振图像及相应的三维可见光光强、偏振度、偏振角信息。

7、与现有技术相比，本发明方案所带来的有益效果是：

8、本发明公开一种基于三维卷积-注意力联合机制的彩色偏振图像复原网络。该网络利用三维特征计算，对空间、偏振和色彩等多个维度进行协同特征提取和融合。通过层次化连接网络形成多尺度的卷积-注意力联合机制，充分发挥了卷积在局部细节特征提取方面的优势，同时结合了注意力机制对长程依赖进行建模的优势。这一设计有效提高了彩色偏振图像复原的效果，使得网络能够更好地理解和恢复图像中的细微细节和整体信息。

9、本发明公开一种基于斯托克斯物理模型的偏振复原损失函数，用于训练模型。该损失函数主要包含四维彩色偏振图像损失、三维彩色光强损失、偏振度损失和偏振角损失。其中，四维彩色偏振图像损失约束了网络对于超分辨率重建和去噪任务的学习，有助于模型有效收敛；三维彩色光强损失有效约束了网络对彩色信息的学习；偏振度损失和偏振角损失有效约束了网络对偏振信息的学习。这一损失函数使得模型能够更加全面地考虑和学习彩色偏振图像复原问题的各个方面，从而提高了复原效果和模型的泛化能力。

10、本发明公开一种偏振图像复原方法，能够同时进行超分辨率重建和去噪，实现了由低信噪比、低分辨率图像，到高信噪比、高分辨率彩色可见光及偏振信息的端到端流程。这种方法在改善分焦平面偏振传感器空间分辨率损失和信噪比降低方面表现出色，为相关任务提供了有效的解决方案。

技术特征：

1.一种基于三维卷积-注意力联合机制的彩色偏振图像复原方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的基于三维卷积-注意力联合机制的彩色偏振图像复原方法，其特征在于，在步骤s1中，所述四维彩色偏振图像包括像素高、像素宽、偏振、彩色四个维度，按顺序表示为；数据集中四维彩色偏振图像按照高信噪比高分辨率-低信噪比低分辨率相互配对，配对的四维彩色偏振图像由普通可见光相机和分焦平面偏振相机组合装置拍摄所得；高信噪比高分辨率图像由前置旋转偏振片的普通可见光相机捕获，低信噪比低分辨率图像由分焦平面彩色偏振相机原始图像数据经像素重组获得，两相机光心对齐；对高分辨率低噪声的四维彩色偏振图像进行基于斯托克斯物理模型的偏振信息解算，得到三维可见光光强，线偏振，偏振角，扩充真值的数据维度。

3.根据权利要求1所述的基于三维卷积-注意力联合机制的彩色偏振图像复原方法，其特征在于，在步骤s2中，所述浅层三维特征提取模块通过三维卷积核提取空间-偏振维度的浅层三维特征，三维卷积计算公式为：

4.根据权利要求1所述的基于三维卷积-注意力联合机制的彩色偏振图像复原方法，其特征在于，在步骤s3中，所述基于斯托克斯物理模型的偏振复原损失函数由四维彩色偏振图像损失、三维彩色光强损失、偏振度损失、偏振角损失加权求和组成，公式如下：；

5.根据权利要求1所述的基于三维卷积-注意力联合机制的彩色偏振图像复原方法，其特征在于，在步骤s4中，低信噪比、低分辨率的四维彩色偏振图像，维度为，经过像素重组，得到网络输入，维度为；将其输入至训练得到的三维卷积-注意力联合偏振复原模型，提取、融合三维特征，得到高信噪比、高分辨率的四维彩色偏振图像，维度为；对高信噪比、高分辨率的四维彩色偏振图像做基于斯托克斯物理模型的偏振信息解算，得到相应的三维可见光光强，线偏振度，偏振角。

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所属的处理器执行所述程序时实现权利要求1至5任一项所述一种基于三维卷积-注意力联合机制的彩色偏振图像复原方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5任一项所述一种基于三维卷积-注意力联合机制的彩色偏振图像复原方法的步骤。

技术总结本发明公开了一种基于三维卷积‑注意力联合机制的彩色偏振图像复原方法。采用三维卷积‑注意力联合偏振复原模型，包括空间‑偏振三维注意力模块、空间‑偏振三维卷积模块，各模块连接融合形成多尺度层次化网络；设计基于斯托克斯物理模型的偏振复原损失函数来训练网络；提取、融合三维特征并进行偏振信息解算，从而由低信噪比、低分辨率图像得到高信噪比、高分辨率彩色可见光及偏振信息。本发明利用三维特征计算对空间、偏振、色彩多个维度进行协同特征提取和融合，通过层次化连接网络形成多尺度的卷积‑注意力联合机制，结合卷积对于局部细节特征提取的优势和注意力机制对于长程依赖建模的优势，从而提高彩色偏振图像复原效果。技术研发人员：张弘,芮思语,袁丁,杨一帆,冯亚春受保护的技术使用者：北京航空航天大学技术研发日：技术公布日：2024/9/29