基于多层显示屏的裸眼三维显示方法、装置及存储介质与流程

本发明涉及裸眼三维显示领域，尤其是涉及一种基于多层显示屏的裸眼三维显示方法、装置及存储介质。

背景技术：

1、现有技术中，通过利用多层的液晶显示器(lcd)来重建物体发出的光场，从而实现无需佩戴特殊眼镜或者其他设备的三维视觉效果。

2、光场是一种描述光在空间中的分布和传播的物理概念，它包含了光的位置、方向、相位和强度等信息。通过重建光场，可以模拟物体的三维形状、纹理、反射和透射等特性，从而产生逼真的立体图像。其自动立体显示，通常也被称为裸眼3d显示，其呈现理想的定义效果需要极高的空间带宽积(spatial bandwidth product,sbp)，超出了现有光学显示及数据传输技术的能力。现有方法只能在受限sbp约束下对观看角度和显示分辨率之间进行权衡。现有方法比较主流的就是基于离散视差的光场模拟(如视差壁障[1,2]、多投影仪[3]、视觉像差校正[4,5]、积分成像[6]、定向背光[7,8]、透镜阵列[9]以及它们的系列组合[10,11])，将成像空间分割成不同的方向，以扩大观察角度为代价的是视图的不连续性。与此同时，由于固有视差不充足导致的成像抖动以及其定制化的平面模拟所产生的投影不一致性导致的视差-调焦冲突(vergence-accommodation conflict,vac)，会使得产生的画面效果不自然流畅，用户观看也会产生一定的方向失调。当显示动态内容时，这种现象尤其严重，可能引起疲劳和眩晕。相比之下，带有偏振子的多层液晶显示器(liquid crystaldisplay,lcd)被认为是一种有效的避免vac方法，其通过堆叠屏幕来模拟直接深度线索，能提供更自然和舒适的观看体验。这类光场模拟遵循马吕斯定律，可视为层次深度处的光学图样(如采用光强[12]或光相位[13])的线性聚合。然而，尽管屏幕像素级别的对齐确保了物理上连续的空间视差，但这种密集化导致了由于sbp限制而极其受限的立体可视性视野。后续的一些改善的方法也仅仅旨在通过渲染优化层次光学图样提高受限角度的成像质量，例如焦点引导[14,15]和定制加权[16,17]。但所有这些方法都在过于理想化的更远观看距离下重建立体感，其中双目投影被简化为狭窄的(像素级别)移位，而不考虑旋转变形，阻止了观看空间中运动视差的形成。因此带来的严重缺点是视角是非常有限，通常只能在一个很小的范围内观看，否则会出现失真和模糊的现象。

3、[1]lanman,d.,hirsch,m.,kim,y.,raskar,r.:content-adaptive parallaxbarriers:optimizing dual-layer 3d displays using low-rank light fieldfactorization.in:acm siggraph asia 2010papers,pp.1–10(2010)

4、[2]lv,g.-j.,wang,q.-h.,zhao,w.-x.,wang,j.:3d display based onparallax barrier with multiview zones.applied optics 53(7),1339–1342(2014)

5、[3]kawakita,m.,iwasawa,s.,sakai,m.,haino,y.,sato,m.,inoue,n.:3d imagequality of 200-inch glasses-free 3d display system.in:stereoscopic displaysand applications xxiii,vol.8288,pp.63–70(2012).spie

6、[4]pamplona,v.f.,oliveira,m.m.,aliaga,d.g.,raskar,r.:tailoreddisplays to compensate for visual aberrations.acm transactions on graphics(tog)31(4),1–12(2012)

7、[5]huang,f.-c.,wetzstein,g.,barsky,b.a.,raskar,r.:eyeglasses-freedisplay:towards correcting visual aberrations with computational light fielddisplays.acm transactions on graphics(tog)33(4),1–12(2014)

8、[6]wetzstein,g.,lanman,d.r.,hirsch,m.w.,raskar,r.:tensor displays:compressive light field synthesis using multilayer displays with directionalbacklighting(2012)

9、[7]fattal,d.,peng,z.,tran,t.,vo,s.,fiorentino,m.,brug,j.andbeausoleil,r.g.,2013.a multi-directional backlight for a wide-angle,glasses-free three-dimensional display.nature,495(7441),pp.348-351.

10、[8]wang,p.,sang,x.,yu,x.,gao,x.,yan,b.,liu,b.,liu,l.,gao,c.,le,y.,li,y.,et al.:demonstration of a low-crosstalk super multi-view light fielddisplay with natural depth cues and smooth motion parallax.optics express 27(23),34442–34453(2019)

11、[9]takaki,y.,nago,n.:multi-projection of lenticular displays toconstruct a256-view super multi-view display.optics express 18(9),8824–8835(2010)

12、[10]nam,d.,lee,j.-h.,cho,y.h.,jeong,y.j.,hwang,h.,park,d.s.:flatpanel light-field 3-d display:concept,design,rendering,andcalibration.proceedings of the ieee 105(5),876–891(2017)

13、[11]hua,j.,hua,e.,zhou,f.,shi,j.,wang,c.,duan,h.,hu,y.,qiao,w.,chen,l.:foveated glasses-free 3d display with ultrawide field of view via a large-scale2d-metagrating complex.light:science&applications 10(1),213(2021)

14、[12]gotoda,h.:a multilayer liquid crystal display forautostereoscopic 3d viewing.in:stereoscopic displays and applications xxi,vol.7524,pp.227–234(2010).spie

15、[13]lanman,d.,wetzstein,g.,hirsch,m.,heidrich,w.,raskar,r.:polarization fields:dynamic light field display using multi-layer lcds.in:proceedings of the 2011siggraph asia conference,pp.1–10(2011)

16、[14]wang,s.,liao,w.,surman,p.,tu,z.,zheng,y.,yuan,j.:salience guideddepth calibration for perceptually optimized compressive light field 3ddisplay.in:2018ieee/cvf conference on computer vision and patternrecognition,pp.2031–2040(2018)

17、[15]takahashi,k.,kobayashi,y.,fujii,t.:from focal stack to tensorlight-field display.ieee transactions on image processing 27(9),4571–4584(2018)

18、[16]chen,d.,sang,x.,yu,x.,zeng,x.,xie,s.,guo,n.:performanceimprovement of compressive light field display with the viewing-position-dependent weight distribution.optics express 24(26),29781–29793(2016)

19、[17]sun,y.,li,z.,wang,s.,gao,w.:depth-assisted calibration onlearning-based factorization for a compressive light field display.opticsexpress 31(4),5399–5413(2023)

20、综上所述，现有技术的缺点主要有以下几点：

21、离散视差的自动立体显示方法会导致图像转换的突变和视觉-调节冲突(vac)问题，影响观看体验和视觉舒适度。

22、连续视差的自动立体显示方法通常假设观看者的视场角非常窄，只能在一个很小的范围内观看清晰的立体图像，限制了观看角度和距离的自由度。

23、现有的自动立体显示方法都需要在有限的空间带宽积(sbp)下权衡观看角度和显示分辨率，难以同时实现高质量和宽视角的立体显示效果。

24、现有较大可视范围的自动立体显示方法都需要复杂和昂贵的光学系统或数据传输技术，限制了其广泛的商业化应用。

技术实现思路

1、本发明的目的就是为了提供一种基于多层显示屏的裸眼三维显示方法、装置及存储介质，有效地利用空间带宽积，提高显示质量和效率，同时具有超宽视角和消除视差-调节冲突的优点。

2、本发明的目的可以通过以下技术方案来实现：

3、一种基于多层显示屏的裸眼三维显示方法，包括：

4、获取当前双眼的光场视线模型；

5、基于获取的视线模型，获取分别对应于双眼的视点图像；

6、对视点图像进行反透视投影变换，得到多张分解图像，其中，每一张视点图像经反透视投影变换后得到的分解图像的数量与多层显示屏的显示层数一致；

7、将对应于双眼的分解图像输入至训练好的合成模型中，得到多张层级图片，其中，所述层级图片的数量与显示屏的显示层数一致且一一对应；

8、通过多层显示屏的各层分别显示各对应的层级图片。

9、所述获取双眼的视线模型，包括：

10、捕捉人眼位置，并校准视线方向；

11、基于视线方向校准结果，获取视线的方向和范围；

12、基于视线的方向和范围建立在指定坐标系下的视线模型。

13、所述基于获取的视线模型，获取分别对应于双眼的视点图像，具体为：基于获取的视线模型从光场数据库获取视点图像。

14、所述对应于双眼的视点图像为同一时刻的视点图像。

15、所述对视点图像进行反透视投影变换，得到多张分解图像，包括：

16、将视点图像从视点投影至多层显示屏的每一个显示层；

17、将在每一个显示层形成的图像作为对应于该显示层的分解图像。

18、所述将视点图像从视点反透视投投影至多层显示屏的每一个显示层的过程中，对于单个显示层的过程包括：

19、给定显示屏所在光场的各个角点坐标和对应当前视线模型所得出的从视点到屏幕所在光场的投影矩阵[re|te]∈se3，计算得到变换后的图像角点相对于眼睛的三维坐标以及对应视网膜上的二维成像坐标

20、

21、其中：re为投影矩阵的旋转部分，te为投影矩阵的平移部分，f为像素尺度的焦距，w为图像的宽度，h为图像的高度，se3为三维特殊欧几里德群；

22、根据变换前的角点坐标解得对应的反透视变换矩阵m∈se2，实现原图片上的任意像素坐标(p,q)到新图片上的对应变换坐标(p′,q′)，得到变换后的图片：

23、[p′,q′,1]t＝m[p,q,1]t

24、所述合成模型为神经网络模型。

25、所述多层显示器的显示层数为3。

26、一种基于多层显示屏的裸眼三维显示装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述的方法。

27、一种存储介质，其上存储有程序，所述程序被执行时实现如上述的方法。

28、与现有技术相比，本发明具有以下有益效果：

29、1、相比于现有的多层显示器裸眼3d显示技术而言，利用视点跟踪技术，根据观察者的实时位置，实现了超宽视角范围，允许观察者从不同的角度和距离观看三维图像，保证了显示质量的一致性和连续性，增强了三维显示的沉浸感，此外，相对于普通的3d显示技术，还具有包括水平、垂直、运动、聚焦等在内的全连续视差的优点。

30、2、直接在观察点附近重现场景的连续光场，实现了水平、垂直和运动视差，以及自由聚焦的效果，不需要佩戴任何特殊的眼镜或设备，提高了三维显示的自然性和舒适性。

31、3、充分利用了空间带宽积的限制，通过对观察点附近的光场进行重现，最大化了显示系统的分辨率，避免了因为视角分割而导致的分辨率损失，提高了三维显示的清晰度和真实度。

32、4、采用了高效的层级光场重现算法，结合了几何信息和机器学习模型，能够快速地根据观察点的变化，生成相应的层级图样，实现了实时的光场显示，支持动态的三维内容的展示，拓展了三维显示的应用场景。