无监督学习的三维光场显示景深压缩方法及装置

本发明涉及三维显示，尤其涉及一种无监督学习的三维光场显示景深压缩方法及装置。

背景技术：

1、当前的主流显示技术主要以二维图像的形式进行信息的获取、记录和显示，只能够记录客观世界单一视角的平面信息，无法满足人类对客观世界完全认知的需求。因此，使用三维图像的形式进行信息的获取、记录和显示是显示技术发展的必然趋势。

2、三维光场显示技术可以向观看者提供接近真实场景的立体视觉体验，符合人们观察客观世界的真实感受，是显示技术未来发展的方向。景深是裸眼三维显示装置最重要的特性之一，受限于三维显示器本身透镜孔径大小和衍射效应，三维显示器只能在一定的深度范围显示清晰的图像，超出显示器景深显示清晰度随之下降。

3、因此，三维光场显示设备在自身有限景深限制条件下，如何提升三维光场显示设备在显示大深度场景时产生的清晰度下降现象，是亟需解决的技术问题。

技术实现思路

1、本发明提供一种无监督学习的三维光场显示景深压缩方法及装置，用以解决如何提升三维光场显示设备因为固有的景深限制在显示大深度场景时产生的清晰度降低的问题。

2、本发明提供一种无监督学习的三维光场显示景深压缩方法，包括：

3、获取三维光场场景下的待压缩的深度图像和所述待压缩的深度图像对应的彩色图像；

4、将所述待压缩的深度图像输入至目标动态因子生成网络，得到所述目标动态因子生成网络输出的动态因子矩阵；所述目标动态因子生成网络是基于样本图像集训练得到的，所述样本图像集包括多对训练样本，每对训练样本包括样本深度图像和所述样本深度图像对应的样本彩色图像；

5、基于所述动态因子矩阵和动态映射函数，确定所述待压缩的深度图像对应的重映射深度图像；基于所述彩色图像和所述重映射深度图像，确定压缩后的光场显示图像。

6、根据本发明提供的一种无监督学习的三维光场显示景深压缩方法，所述目标动态因子生成网络是基于以下步骤训练得到的：

7、获取所述样本图像集；

8、将所述样本图像集中的所述样本深度图像输入至初始动态因子生成网络，得到所述初始动态因子生成网络输出的样本动态因子矩阵；

9、基于所述样本动态因子矩阵和所述动态映射函数，确定所述样本深度图像对应的预测重映射深度图像；

10、基于所述样本深度图像和所述预测重映射深度图像，计算总损失函数值；

11、基于所述总损失函数值，更新所述初始动态因子生成网络的参数，得到所述目标动态因子生成网络。

12、根据本发明提供的一种无监督学习的三维光场显示景深压缩方法，所述基于所述样本深度图像和所述预测重映射深度图像，计算总损失函数值，包括：

13、基于所述样本深度图像和所述预测重映射深度图像，分别计算结构一致性损失值和深度顺序损失值；

14、基于所述预测重映射深度图像，计算深度重分布约束损失值；

15、基于所述结构一致性损失值、所述深度顺序损失值和所述深度重分布约束损失值，计算所述总损失函数值。

16、根据本发明提供的一种无监督学习的三维光场显示景深压缩方法，所述结构一致性损失值lossstr基于以下公式(1)计算得到：

17、

18、其中，n表示局部区域的数量，ω(i)表示以像素i为中心的预设范围的局部邻域，表示所述预测重映射深度图像对应的局部区域ω(i)的方差，bj表示所述预测重映射深度图像中局部区域中的第j个像素的深度值，表示所述预测重映射深度图像中所有局部区域的深度值的平均值，表示所述样本深度图像对应的局部区域ω(i)的方差，aj表示所述样本深度图像中局部区域中的第j个像素的深度值，表示所述样本深度图像所有局部区域的深度值的平均值。

19、根据本发明提供的一种无监督学习的三维光场显示景深压缩方法，所述深度顺序损失值lossord基于以下公式(2)计算得到：

20、

21、其中，m表示所述样本深度图像或者所述预测重映射深度图像的宽度，n表示所述样本深度图像或者所述预测重映射深度图像的高度，表示所述样本深度图像ds中第(i,j)个像素值沿x方向的梯度，表示所述样本深度图像ds中第(i,j)个像素值沿y方向的梯度，表示所述预测重映射深度图像dp中第(i,j)个像素值沿x方向的梯度，表示所述预测重映射深度图像dp中第(i,j)个像素值沿y方向的梯度。

22、根据本发明提供的一种无监督学习的三维光场显示景深压缩方法，所述深度重分布约束损失值lossred基于以下公式(3)计算得到：

23、

24、其中，n表示所述预测重映射深度图像对应的不重叠的局部区域个数，e表示预设的深度中间平面深度值，σ表示与局部区域的深度相关的权重值，yi表示所述预测重映射深度图像中的以像素i为中心的局部区域。

25、根据本发明提供的一种无监督学习的三维光场显示景深压缩方法，所述动态映射函数采用公式(4)表示：

26、lq(x)＝lq-1(x)+αq*asin(πlq-1(x))  (4)

27、其中，lq(x)表示第q次迭代得到的重映射深度图像，lq-1(x)表示第q-1次迭代得到的重映射深度图像，αq表示所述动态因子矩阵中的第q个动态因子，a表示常数，x表示所述待压缩的深度图像的深度值。

28、本发明还提供一种无监督学习的三维光场显示景深压缩装置，包括：

29、第一获取模块，用于获取三维光场场景下的待压缩的深度图像和所述待压缩的深度图像对应的彩色图像；

30、第一生成模块，用于将所述待压缩的深度图像输入至目标动态因子生成网络，得到所述目标动态因子生成网络输出的动态因子矩阵；所述目标动态因子生成网络是基于样本图像集训练得到的，所述样本图像集包括多对训练样本，每对训练样本包括样本深度图像和所述样本深度图像对应的样本彩色图像；

31、第一确定模块，用于基于所述动态因子矩阵和动态映射函数，确定所述待压缩的深度图像对应的重映射深度图像；

32、压缩模块，用于基于所述彩色图像和所述重映射深度图像，确定压缩后的光场显示图像。

33、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述无监督学习的三维光场显示景深压缩方法。

34、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述无监督学习的三维光场显示景深压缩方法。

35、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述无监督学习的三维光场显示景深压缩方法。

36、本发明提供的无监督学习的三维光场显示景深压缩方法及装置，通过获取三维光场场景下的待压缩的深度图像和所述待压缩的深度图像对应的彩色图像；将所述待压缩的深度图像输入至目标动态因子生成网络，得到所述目标动态因子生成网络输出的动态因子矩阵；所述目标动态因子生成网络是基于样本图像集训练得到的，所述样本图像集包括多对训练样本，每对训练样本包括样本深度图像和所述样本深度图像对应的样本彩色图像；基于所述动态因子矩阵和动态映射函数，确定所述待压缩的深度图像对应的重映射深度图像；基于所述彩色图像和所述重映射深度图像，确定压缩后的光场显示图像。通过目标动态因子生成网络，能够准确并高效地得到动态因子矩阵，再基于动态映射函数，能够确定重映射深度图像，进而确定压缩后的光场显示图像，使得压缩后的光场显示图像的深度在三维显示器的显示范围之内，从而提升显示清晰度，同时，能够提升视觉舒适度。