三维光场图像生成方法、装置、显示设备及存储介质

本发明涉及三维视觉显示，尤其涉及一种三维光场图像生成方法、装置、显示设备及存储介质。

背景技术：

1、随着显示技术的不断发展，三维视觉显示技术成为了科技发展的重要趋势。在各种3d显示技术中，裸眼3d显示因其不需借助任何辅助设备即可直接观看三维影像的特性，受到了广泛的研究和应用探索。虽然裸眼3d显示技术为用户带来了前所未有的便捷与沉浸感，但技术实现上的复杂性和成本问题一直是制约其大规模普及的瓶颈。传统的三维光场图像生成往往需要多个相机组成相机阵列获取多个角度二维图像，依赖复杂的媒介硬件设备和昂贵的合成成本对多个角度二维图像进行图像合成，生成裸眼3d内容，由于制作复杂且成本高，限制了裸眼3d内容的创作与分发。

技术实现思路

1、本发明提供一种三维光场图像生成方法、装置、显示设备及存储介质，用以解决传统三维光场图像生成依赖复杂硬件且合成成本高的缺陷。

2、本发明提供一种三维光场图像生成方法，包括：

3、对单张二维彩色图像进行关键点检测和图像深度估计，获取关键点信息和初步深度图；

4、基于所述关键点信息进行尺度还原处理，得到两个关键点的位置，将所述两个关键点的位置投影到真实世界中获取两个关键点之间的间距，基于所述两个关键点之间的间距和预设标准间距计算出尺度因子，使用所述尺度因子对所述初步深度图进行微调，得到深度估计图；

5、依据所述深度估计图将所述二维彩色图像划分出不同深度级别的图像层，将每个图像层和所述二维彩色图像一同输入预测编解码网络，在所述预测编解码网络中通过所述每个图像层引导所述二维彩色图像在视锥投影下生成体空间，构建视锥体；

6、从多个角度对所述视锥体进行分层采样，将每层采样结果叠加并进行渲染得到多个视点图像；

7、对所述多个视点图像进行光场编码，生成三维光场图像。

8、根据本发明提供的一种三维光场图像生成方法，所述对单张二维彩色图像进行关键点检测，包括：

9、将所述单张二维彩色图像输入关键点检测模型，获取关键新信息，所述关键新信息包括是否存在预设的关键点、关键点的个数、两个关键点之间的像素距离中的至少一种。

10、根据本发明提供的一种三维光场图像生成方法，所述对单张二维彩色图像进行图像深度估计，包括：

11、将所述单张二维彩色图像输入图像深度估计模型，所述图像深度估计模型包括度量深度估计分支和相对深度估计分支，基于所述度量深度估计分支输出度量深度，基于所述相对深度估计分支输出相对深度，根据所述度量深度修正所述相对深度，根据修正后的相对深度构建初步深度图；

12、其中，所述图像深度估计模型的训练数据集基于预设掩膜裁剪阈值和预设深度裁剪阈值对原始训练集进行筛选得到。

13、根据本发明提供的一种三维光场图像生成方法，所述将所述两个关键点的位置投影到真实世界中获取两个关键点之间的间距，包括：

14、利用世界坐标系与像素坐标系转换关系将所述两个关键点的位置转换成世界坐标系下两个关键点的坐标信息，根据所述两个关键点的坐标信息获取两个关键点之间的间距。

15、根据本发明提供的一种三维光场图像生成方法，所述依据所述深度估计图将所述二维彩色图像划分出不同深度级别的图像层，包括：

16、确定所述深度估计图中的零深度平面以及多个深度级别阈值；

17、获取所述深度估计图中每个像素的深度信息与所述零深度平面对应深度值的深度差距；

18、将所述深度差距与所述多个深度级别阈值进行匹配，将所述二维彩色图像中每个像素归属到对应深度级别阈值的图像层中。

19、根据本发明提供的一种三维光场图像生成方法，所述预测编解码网络包括编码器和解码器，所述将每个图像层和所述二维彩色图像一同输入预测编解码网络，在所述预测编解码网络中通过所述每个图像层引导所述二维彩色图像在视锥投影下生成体空间，构建视锥体，包括：

20、通过所述编码器接收所述图像层和所述二维彩色图像，根据所述图像层和所述二维彩色图像生成系列特征图；所述解码器接收所述特征图和单个视差值，生成多个平面的图像；

21、通过每个图像层对所述二维彩色图像进行深度采样和密度估计，生成连续深度场视锥投影下的体空间，构建视锥体。

22、根据本发明提供的一种三维光场图像生成方法，所述从多个角度对所述视锥体进行分层采样，将每层采样结果叠加并进行渲染得到多个视点图像，包括：

23、依据所述视锥体中不同层级图像的深度数据，确定每个层级图像的渲染分辨率；

24、使用光场渲染算法将深度场投影到不同角度上，得到多个视点图像。

25、本发明还提供一种三维光场图像生成装置，包括：

26、估计模块，用于对单张二维彩色图像进行关键点检测和图像深度估计，获取关键点信息和初步深度图；

27、微调模块，用于基于所述关键点信息进行尺度还原处理，得到两个关键点的位置，将所述两个关键点的位置投影到真实世界中获取两个关键点之间的间距，基于所述两个关键点之间的间距和预设标准间距计算出尺度因子，使用所述尺度因子对所述初步深度图进行微调，得到深度估计图；

28、构建模块，用于依据所述深度估计图将所述二维彩色图像划分出不同深度级别的图像层，将每个图像层和所述二维彩色图像一同输入预测编解码网络，在所述预测编解码网络中通过所述每个图像层引导所述二维彩色图像在视锥投影下生成体空间，构建视锥体；

29、渲染模块，用于从多个角度对所述视锥体进行分层采样，将每层采样结果叠加并进行渲染得到多个视点图像；

30、生成模块，用于对所述多个视点图像进行光场编码，生成三维光场图像。

31、本发明还提供一种显示设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述的三维光场图像生成方法。

32、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的三维光场图像生成方法。

33、本发明提供的一种三维光场图像生成方法、装置、显示设备及存储介质，通过对单张二维彩色图像进行关键点检测和图像深度估计，获取关键点信息和初步深度图；基于关键点信息进行尺度还原处理，得到两个关键点的位置，将两个关键点的位置投影到真实世界中获取两个关键点之间的间距，基于两个关键点之间的间距和预设标准间距计算出尺度因子，使用尺度因子对初步深度图进行微调，得到深度估计图；依据深度估计图将二维彩色图像划分出不同深度级别的图像层，将每个图像层和二维彩色图像一同输入预测编解码网络，在预测编解码网络中通过每个图像层引导所述二维彩色图像在视锥投影下生成体空间，构建视锥体；从多个角度对所述视锥体进行分层采样，将每层采样结果叠加并进行渲染得到多个视点图像；对多个视点图像进行光场编码，生成三维光场图像，实现在没有传统相机阵列的条件下，也可以直接通过单张二维图像就能高效地重建三维光场图像，通过深度信息和光场结构运用图像分层信息和预测编解码网络构建视锥体，并进行分层渲染技术，对不同深度层级应用不同的视点数量和分辨率，进而生成新的视点图像，降低基于传统相机阵列获取场景不同视点信息的经济成本和时间成本，并显著提升其应用场景的灵活性。