基于空间-角度解耦机制的光场图像空间超分辨率方法

发明涉及光场图像超分辨率重建，具体涉及基于空间-角度解耦机制的光场图像空间超分辨率方法。

背景技术：

1、光场(lightfield，lf)成像同时记录了光线的强度和方向信息。与传统成像方法相比，lf成像在深度估计、虚拟现实和三维(threedimension，3d)重建等视觉领域具有潜在的应用前景。然而，由于lf成像传感器的限制，lf图像的空间分辨率较低，这阻碍了lf成像的实际应用。因此，开发鲁棒高效的lf图像空间超分辨率(superresolution，sr)方法具有十分重要的现实意义。

2、传统的lf图像空间sr方法主要利用手工提取的图像先验来提高分辨率，重建图像质量欠佳。近年来，随着深度神经网络的迅速发展，许多基于学习的方法已应用于lf图像空间sr领域。四维(fourdimension，4d)卷积是处理4dlf数据最简单的方法，但其计算复杂度和内存要求较高。因此，利用二维(twodimension，2d)、3d卷积或transformer来模拟4d卷积的伪4d模型成为了主流方法。在这些方法中，空间-角度解耦机制通常将四维4d光场图像转换为三种2d子空间图像来加以处理，即子孔径图像(sub-aperture image，sai)、宏像素图像(macro-pixelimage，macpi)和极线平面图像(epipolar-planeimage，epi)；在此基础上，设计各种网络模块来从三种2d子空间图像中提取4d光场图像的结构先验信息。一方面，现有方法平等地对待lf图像中的空间维度和角度维度，从而导致两维度上的感受野范围相同。然而，lf图像的空间维度和角度维度具有非对称性。例如，lytroiiium相机拍摄的lf图像的空间分辨率为37×540，而角度分辨率仅为14×14。同时，图3中单个sai和单个macpi之间的信息量差异也直观显示了lf图像空间-角度的非对称性。因此，使用相同的感受野来处理lf图像的空间和角度维度信息，通常会导致空间信息的提取不足和角度信息的冗余。另一方面，现有方法提出的空间-角度解缠机制通常采用单一的卷积级联来处理epi，由于卷积运算的局限性，未能充分捕获lf图像的长距离空间-角度特征信息。然而，由于epi中每条极线的斜率与场景的视差表现出很强的相关性，极线的变化反映出lf图像空间-角度的非局部相关性。因此，通过扩大epi的感受野范围，可实现空间-角度非局部相关性的有效建模。

3、因此，如何有效利用lf图像的空间-角度非堆成行和非局部相关性来设计高效的sr方法，以实现对三种2d子空间图像特征信息的充分提取，已成为本领域技术人员亟需解决的问题。

技术实现思路

1、针对上述现有技术的不足，本发明提供了基于空间-角度解耦机制的光场图像空间超分辨率方法，根据空间-角度的非对称性和非局部相关性，通过构建空间、角度以及极限平面图像特征提取器，利用不同感受野充分获取子孔径图像、宏像素图像以及极线平面图像中特征信息，获得深层次的光场内在特征，从而得到光场图像的空间超分辨率重建图像。

2、为了解决上述技术问题，本发明采用了如下技术方案：

3、基于空间-角度解耦机制的光场图像空间超分辨率方法，包括：

4、s1：获取待重建的目标光场图像；

5、s2：将目标光场图像输入训练后的空间超分辨重建模型，输出目标光场图像的空间超分辨率重建图像；

6、所述空间超分辨重建模型的训练步骤如下：

7、s201：将高分辨率的光场图像转换为低分辨率的光场图像作为训练样本，输入至空间超分辨重建模型；所述空间超分辨重建模型包括浅层特征提取网络、多维特征提取网络和上采样重建网络；

8、s202：所述浅层特征提取网络将模型输入的光场图像映射为浅层特征，作为多维特征提取网络的输入特征图；

9、s203：所述多维特征提取网络中包含有空间特征提取器、角度特征提取器和极线平面图像特征提取器，分别从输入特征图的子空间图像、宏像素图像和极线平面图像中提取空间特征、角度特征和极线平面图像特征，并融合生成光场图像的4d光场特征，作为上采样重建网络的输入；

10、s204：所述上采样重建网络对光场图像的4d光场特征进行上采样重建处理，生成光场图像的空间超分辨率重建图像；

11、s205：根据作为训练样本的光场图像的空间超分辨率重建图像与其对应的高分辨率的光场图像计算训练损失，并基于训练损失优化空间超分辨重建模型的参数；

12、s206：重复步骤s201至步骤s205，直至空间超分辨重建模型收敛或达到预设迭代次数；

13、s3：将空间超分辨重建模型输出的空间超分辨率重建图像作为目标光场图像的超分辨率重建结果。

14、作为优选方案，步骤s201中，对高分辨率的光场图像进行剪裁，并使用双三次插值法将剪裁后的光场图像进行下采样处理，获得低分辨率的光场图像，作为训练样本。

15、作为优选方案，步骤s203中，所述多维特征提取网络包括依次级联的若干个多维特征提取模块，每个多维特征提取模块包括顶部分支、底部分支和连接层；

16、其中，顶部分支包括级联的空间特征提取器和角度特征提取器，空间特征提取器用于提取输入特征图中子孔径图像的空间特征，得到的空间特征图输入至角度特征提取器用于进一步提取其宏像素图像的角度特征，得到输入特征图的多尺度空间-角度特征图；

17、底部分支包括权重共享依次级联的水平极线平面图像特征提取器和垂直极线平面图像特征提取器，水平极线平面图像特征提取器用于提取输入特征图的水平极线平面图像特征，得到的水平极线平面图像特征图输入至垂直极线平面图像特征提取器用于进一步提取垂直极线平面图像特征，得到输入特征图的极线平面图像特征图；

18、连接层用于将得到的多尺度空间-角度特征图和极线平面图像特征图进行拼接，并通过卷积激活单元激活处理后，再与输入特征图融合，生成光场图像的4d光场特征，作为上采样重建网络的输入。

19、作为优选方案，所述空间特征提取器包括依次连接的密集卷积网络、卷积激活单元和swin transformer模块；

20、密集卷积网络包括级联的ns个空间卷积单元，所述空间卷积单元包括级联的3×3卷积层和leaky relu激活函数层；其中，空间特征提取器的输入分别作为ns个空间卷积单元的输入，且上一空间卷积单元的输出分别作为后续空间卷积单元的输入并对ns个空间卷积单元的输出进行拼接作为密集卷积网络的输出，该密集卷积网络的输出作为卷积激活单元的输入；

21、卷积激活单元包括级联的1×1卷积层和leaky relu激活函数层；

22、swin transformer模块包括级联的层归一化多头注意力单元和层归一化感知单元，所述层归一化多头注意力单元包括级联的层归一化层和移动窗口多头自注意力模块，所述层归一化感知单元包括级联的层归一化层和多层感知器；其中，swin transformer模块的输入作为层归一化多头注意力单元的输入，层归一化多头注意力单元的输出与swintransformer模块的输入进行相加运算，作为层归一化感知单元的输入，层归一化感知单元的输出与层归一化感知单元的输入进行相加运算作为swin transformer模块的输出；

23、空间特征提取器中，先将光场图像的浅层特征整形转换为子孔径图像堆叠阵列，作为密集卷积网络的输入，密集卷积网络的输出作为卷积激活单元的输入，以生成作为卷积激活单元输出的多尺度空间特征图，将多尺度空间特征图作为swin transformer模块的输入，swin transformer模块的输出作为空间特征提取器的整体输出。

24、作为优选方案，所述空间特征提取器的处理过程通过如下公式表示：

25、

26、fln＝ln(fd)；

27、fs(w)＝sw-msa(fln)+fd；

28、

29、式中，si表示第i个密集连接的3×3空间卷积层，conv1×1表示1×1卷积层，cat表示通道级联，[·]表示级联，fd表示密集卷积网络和conv1×1生成的多尺度空间特征，表示子孔径图像堆叠阵列的特征，fln表示层归一化多头注意力单元中层归一化层的输出，fs(w)表示层归一化感知单元的输入，表示空间特征提取器的输出；sw-msa表示移动窗口多头自注意力模块，mlp表示多层感知器，ln表示层归一化层的正则化处理。

30、作为优选方案，所述角度特征提取器包括级联的na个角度卷积单元，所述角度卷积单元包括3×3角度卷积层和leaky relu激活函数层；角度特征提取器中，将空间特征提取器的输出特征整形转换为宏像素图像堆叠阵列，作为第一个角度卷积单元的输入，第na个角度卷积单元输出作为角度特征提取器的整体输出；所述角度特征提取器的处理过程通过如下公式表示：

31、

32、式中，表示角度特征提取器的输出，aj表示第j个3×3角度卷积层，表示宏像素图像堆叠阵列的特征。

33、作为优选方案，所述底部分支中的水平极线平面图像特征提取器和垂直极线平面图像特征提取器均为极线平面图像特征提取器，所述极线平面图像特征提取器包括并联的3个膨胀卷积单元和卷积激活单元，其中，膨胀卷积单元的并联结果与卷积激活单元级联；

34、所述并联的3个膨胀卷积单元分别为第一膨胀卷积单元、第二膨胀卷积单元和第三膨胀卷积单元；第一膨胀卷积单元包括膨胀率为1的3×3卷积层和leaky relu激活函数层，第二膨胀卷积单元膨胀率为2的3×3卷积层，第三膨胀卷积单元膨胀率为4的3×3卷积层；并联的3个膨胀卷积单元的输出进行拼接后，作为卷积激活单元的输入，卷积激活单元的输出再与输入的光场图像的浅层特征进行相加运算，作为极线平面图像特征提取器的输出；

35、所述底部分支中，先将光场图像的浅层特征整形转换为水平极线平面图像堆叠阵列，作为水平极线平面图像特征提取器的输入，提取得到水平极线平面图像特征，然后，将输出的水平极线平面图像特征整形转换为垂直极线平面图像堆叠阵列，作为垂直极线平面图像特征提取器的输入，提取得到极线平面图像特征图，作为多维特征提取网络中底部分支的输出。

36、作为优选方案，所述水平极线平面图像特征提取器和垂直极线平面图像特征提取器处理过程分别表示为：

37、

38、式中，和分别表示水平极线平面图像特征提取器和垂直极线平面图像特征提取器的输出；表示水平极线平面图像堆叠阵列的特征，表示垂直极线平面图像堆叠阵列的特征，e表示极线平面图像特征提取器。

39、作为优选方案，步骤s204中，所述上采样重建网络对光场图像的4d光场特征进行上采样后，再与模型输入的光场图像通过双三次插值法得到的特征图进行相加运算，生成作为模型输出的光场图像的空间超分辨率重建图像；

40、所述上采样模块包括依次级联的第一1×1卷积层、pixelshuffle层和第二1×1卷积层；其中，上采样模块的输入作为第一1×1卷积层的输入，将输入特征通道数增加到α2c，然后，将第一1×1卷积层的输出作为pixelshuffle层的输入，以进行将第一1×1卷积层的输出特征从通道维度重塑到空间维度，生成超分辨率特征αh×αw，最后，将超分辨率特征αh×αw作为第二1×1卷积层的输入进行超分辨率特征细化，输出得到上采样模块的输出；α为空间分辨率放大倍数。

41、作为优选方案，步骤s205中，通过如下公式计算训练损失：

42、

43、式中，l1表示损失函数，表示第m个训练样本的低分辨率光场图像的空间超分辨率重建图像，表示第m个训练样本的低分辨率光场图像对应的高分辨率光场图像，m表示训练样本集中包含的训练样本个数。

44、与现有技术相比，本发明具有以下技术效果：

45、1、本发明方法中，分别构建了空间特征提取器和角度特征提取器，利用不同的感受野非对称性地提取空间和角度特征，实现子孔径图像和宏像素图像中特征信息的最大化利用，解决了现有光场图像空间超分辨率方法中忽略了空间-角度不对称性，导致子孔径图像和宏像素图像特征信息提取不充分的问题。

46、2、本发明方法中，构建极线平面图像特征提取器，通过使用不同的填充率和膨胀率，使得极线平面特征提取器具有不同尺度的感受野，从而能够有效捕获长距离空间-角度信息，并实现空间-角度非局部相关性的有效建模，解决了现有光场图像空间超分辨率方方法利用常规卷积来提取极线平面图像的特征信息，忽略了空间-角度非局部相关性，导致未能充分利用长距离空间-角度特征信息这一问题。

47、3、本发明提出的方法所得到的光场图像的超分辨率重建结果，在视觉质量和定量质量指标方面，都优于现有技术的同类方法，为光场图像的更广泛实际应用提供了更有效的技术辅助手段。