消除显示的三维图像的失真和移位的方法和装置与流程

本发明涉及一种消除向观看者显示的三维图像的失真和移位的方法和装置。

背景技术：

1、裸眼立体显示技术(autostereoscopic display)在过去二十年里备受关注。其最突出的特点之一是，观看者无需佩戴专用的眼镜装置就能感知三维图像。这项技术的关键在于屏幕上存在的光栅透镜或视差屏障，它能同时将左眼图像完全导入观看者的左眼，将右眼图像完全导入观看者的右眼。由此产生的三维图像可能出现在显示器前面，也可能出现在比显示器更远的地方(显示器的“后面”)。实际上，总会有一小部分光线到达并非其目标的眼睛，这就导致观看的三维图像受到影响，这种现象被称为“串扰”(crosstalk)。确定裸眼立体显示器中哪些像素将为左眼图像产生像素输出，哪些像素将为右眼图像产生像素输出的过程涉及图像的交错，这一过程通常称为“编织”(weaving)。为裸眼立体显示器执行此功能的装置通常称为“3d编织器”。

2、这项技术与眼球/面部跟踪技术相结合，还能实现所谓的“环视”效果，让观看者从不同角度观察显示的三维物体(即虚拟物体)，从而从不同的视角观看虚拟物体，在这些视角中，虚拟物体感知为处于现实世界中的相同位置。当观看者与显示的虚拟内容实际交互时，就能获得更加逼真的体验。例如，观看者只需伸手就能与虚拟物体进行交互，就像它们是真实的一样，例如用手指按下虚拟按钮或用真正的针刺破虚拟气球。然后，显示器利用传感器技术识别和跟踪真实物体(例如手指或针)。知道了这些真实物体的位置，显示器就能将它们与所显示的虚拟图像的位置联系起来。

3、然而，经验表明，在某些情况下，特别是当以不接近垂直于屏幕的角度观看屏幕(或其一部分)时，与虚拟对象的交互就会受到阻碍。这样，三维图像就会出现失真和/或移位。更重要的是，当观看者想要与物体交互时，交互并不会在他/她所期望的时间和地点发生。因此，已知的裸眼立体显示器在呈现尺寸、形状和位置正确的三维图像方面存在一些缺陷。

4、这一缺陷的相关后果是，环视效果会受到干扰。从不同角度观察显示的三维物体时，物体会因角度不同而变形，并且看起来并不是静止不动的。

技术实现思路

1、因此，本发明的目的是提供一种装置和/或方法，以改善裸眼立体显示器所显示的虚拟三维图像的渲染效果，从而减少甚至消除图像在尺寸、形状和位置上的偏差。具体而言，本发明的目的是改善显示器产生的环视效果。另一个目的是改善观看者与所显示的虚拟内容之间的交互，尤其是改善观看者的整体虚拟体验。

2、现已发现，通过应用特定的方法来消除导致三维内容错误显示的影响，可以达到其中一个或多个目的。

3、因此，在第一方面，本发明涉及一种消除由裸眼立体显示器装置显示给观看者的三维图像的感知失真和/或移位的方法，其中裸眼立体显示器装置包括

4、-眼球跟踪系统，其用于确定观看者眼睛相对于裸眼立体显示器装置的位置；以及

5、-显示器部分，其配置为显示由左图像和右图像组成的合成三维图像，其中左图像供观看者左眼观看，右图像供观看者右眼观看，所述显示器部分包括

6、o用于产生显示输出的像素阵列，其中每个像素都能产生像素输出；以及o透明板，其

7、-设置在阵列上方，并且包括视差屏障或包括具有光栅元件的光栅透镜，其中，透明板的正面朝向观看者，透明板的背面朝向像素阵列；

8、-具有光折射特性，其使观看者感知到显示装置所显示的三维图像的失真和/或移位；

9、所述方法包括

10、-使用眼球跟踪系统确定观看者眼睛相对于裸眼立体显示器装置的观看位置；

11、-提供三维图像数据；

12、-将三维图像数据编织到像素阵列中，所述编织包括根据观看者的眼睛相对于裸眼立体显示器装置的位置，选择产生左图像的像素输出的像素和产生右图像的像素输出的像素；

13、-相应地控制所选择的像素，以向观看者显示三维图像；

14、其特征在于，

15、所述方法同时考虑到透明板的折射特性、每个像素相对于透明板的位置以及观看者的眼睛相对于裸眼立体显示器装置的位置，从而消除由透明板导致的显示器装置显示的三维图像的感知失真和/或移位。

16、另一方面，本发明涉及一种裸眼立体显示器装置，包括

17、-眼球跟踪系统，其用于确定观看者眼睛相对于裸眼立体显示器装置的位置；以及

18、-显示器部分，其配置为显示由观看者的左眼观看的左图像和由观看者的右眼观看的右图像的合成三维图像，所述显示器部分包括

19、o用于产生显示输出的像素阵列，其中每个像素都能产生像素输出；以及

20、o透明板，其

21、-设置在阵列上方，并且包括视差屏障或包括具有光栅元件的光栅透镜，其中，透明板的正面朝向观看者，透明板的背面朝向像素阵列；

22、-具有光折射特性，其使观看者感知到显示装置所显示的三维图像的失真和/或移位；

23、-用于控制像素的装置，其在考虑到观看者的眼睛相对于裸眼立体显示器装置的位置的情况下，根据图像数据向观看者显示三维图像；

24、其特征在于，

25、控制像素的装置包括用于消除由透明板导致的显示器装置显示的三维图像的感知失真和/或移位的装置，同时考虑到透明板的折射特性、每个像素相对于透明板的位置以及观看者的眼睛相对于裸眼立体显示器装置的位置。

26、本发明还涉及一种计算机可读介质，其包括表示指令的暂时性或非暂时性数据，所述指令用于使处理器系统执行上述的消除感知失真和/或移位的方法。

27、本发明还涉及在计算机上执行上述用于消除感知失真和/或移位的方法的软件。

技术特征：

1.一种消除三维图像的失真和移位的方法，所述三维图像由裸眼立体显示器装置显示给观看者，观看者感知到失真和位移，其中所述裸眼立体显示器装置包括

2.根据权利要求1所述的方法，考虑到透明板的折射特性、每个像素相对于透明板的位置以及观看者眼睛的观看位置，首先将三维图像数据修改为修改后的三维图像数据，以便使用修改后的三维图像数据进行编织，并使观看者能够感知到三维图像，所述三维图像的比例和位置与未修改的三维图像数据所包含的比例和位置相对应。

3.根据权利要求1所述的方法，其中在编织期间对像素的选择进行修改，所述修改包括将阵列中第一位置处的所选像素的特定像素输出分配给阵列中第二位置的不同像素，同时考虑到透明板的折射特性、每个像素相对于透明板的位置以及观看者眼睛的观看位置，使得观看者感知到特定像素输出来自阵列中的第一位置，而实际上所述特定像素输出来自阵列中的第二位置，从而使观看者能够感知到三维图像，所述三维图像的比例和位置与三维图像数据所包含的比例和位置相对应。

4.根据权利要求2所述的方法，其中三维图像数据的修改的执行包括计算所选的图像数据的修改，然后进行插值以确定不属于所选部分的图像数据的修改。

5.根据权利要求3所述的方法，其中对像素组进行插值的执行为通过计算对所选的像素的修改来确定对所选的像素的修改，然后进行插值以确定对不属于所选部分的像素的修改。

6.根据权利要求1所述的方法，其中消除三维图像的感知失真和/或移位包括以下步骤：

7.根据权利要求2或4所述的方法，其中消除三维图像的感知失真和/或移位包括以下步骤：

8.根据权利要求3或5所述的方法，其中消除三维图像的感知失真和/或移位包括以下步骤：

9.根据权利要求6至8中任一项所述的方法，其中在使用折射模型之前，通过对显示器部分的所有像素重复以下步骤来校准显示器部分：

10.根据权利要求1至9中任一项所述的方法，其中透明板是具有均匀厚度的板，或者在考虑到透明板的折射特性时，透明板近似于具有均匀厚度的板。

11.根据权利要求1至10中任一项所述的方法，其中透明板包括内衬有透明覆盖层的光栅透镜，所述透明覆盖层形成透明板的正面，所述光栅透镜包括透明间隔板，所述透明间隔板形成透明板的背面。

12.根据权利要求1至11中任一项所述的方法，其中通过使用双眼位置的单个值来近似观看者的眼睛的观看位置，所双眼位置的单个值通常是双眼中间的位置。

13.根据权利要求1至12中任一项所述的方法，其中所述方法包括执行串扰校正。

14.一种裸眼立体显示器装置，其包括

15.根据权利要求14所述的裸眼立体显示器装置，其包括存储器，所述存储器包括用于显示器部分的折射模型。

16.根据权利要求14或15所述的裸眼立体显示器装置，其包括处理器和存储器，其中存储器包括计算机可执行的代码，当所述代码由处理器执行时，使处理器执行根据权利要求1至13中任一项所述的方法。

17.一种计算机可读介质，其包括表示指令的暂存或非暂存数据，所述指令用于使处理器系统执行根据权利要求1至13中任一项所述的方法。

18.一种当其在计算机上执行时用于执行权利要求1至13中任一项所述的方法的软件。

技术总结本发明涉及一种用于消除由裸眼立体显示器装置的观看者所感知的三维图像的失真和位移的方法，其中消除失真和位移是通过考虑1)显示器装置的折射特性；2)显示器装置中每个像素的位置；以及3)观看者眼睛的观看位置来实现的。以这种方式，观看者就能更真实地感知三维虚拟内容。这包括改善观看者的环视效果，以及改善观看者与所显示的三维虚拟内容之间的交互。优选使用显示器装置的折射模型来消除失真和/或移位。技术研发人员：J·卡尔斯,P·W·T·德容,P·G·J·M·佩特斯受保护的技术使用者：迪门科控股有限责任公司技术研发日：技术公布日：2024/8/1