具有基于机器学习（ML）的宽视场立体视图合成的显示系统的制作方法

本专利申请总体上涉及显示系统，并且更具体地，涉及在各种人工环境中具有基于机器学习(machine-learning，ml)的宽视场(field of view，fov)立体视图合成的显示系统。

背景技术：

1、近年来，随着技术的不断进步，内容创作和递送的普及和激增大大增加。特别地，交互式内容已对消费者具有吸引力，该交互式内容例如为虚拟现实(virtual reality，vr)内容、增强现实(augmented reality，ar)内容、混合现实(mixed reality，mr)内容、以及在真实和/或虚拟环境(例如，“虚拟实境(metaverse)”)中的内容和与真实和/或虚拟环境相关联的内容。

2、为了便于该内容和其它相关内容的递送，服务提供商已经努力提供各种形式的可穿戴显示系统。一个这样的示例可以是头戴式设备(head-mounted device，hmd)，例如可穿戴头戴式视图器(headset)、可穿戴眼部用品(eyewear)、或眼镜(eyeglasses)。在一些示例中，头戴式设备(hmd)可以使用第一投影仪和第二投影仪来分别引导与第一图像和第二图像相关联的光通过每个相应透镜处的一个或多个中间光学部件，以产生供用户观看的“双目”或“立体”视觉。

技术实现思路

1、本发明涉及根据权利要求1所述的方法、根据权利要求11所述的显示系统、根据权利要求13所述的非暂态计算机可读存储介质，以及根据权利要求14所述的软件产品。

2、有利实施例可以包括从属权利要求的多个特征。

3、因此，根据本发明的一种方法包括：从安装在hmd的正面并与用户的眼睛位于同一视觉平面上的至少一个面向外部的rbg相机收集用于视图合成的图像；以及根据基于机器学习(ml)的技术提供视图合成，该基于ml的技术包括以下中的至少一项：深度估计；图像锐化(imaging sharpening)；前向泼溅(forward splatting)；去遮挡(disocclusion)滤波；或融合。

4、在一些实施例中，安装在hmd的正面的至少一个面向外部的rbg相机可以向透传(passthrough)配置提供立体输入，该透传配置在视图合成期间最小化去遮挡滤波中的去遮挡。

5、在一些实施例中，去遮挡可以由于至少一个面向外部的rbg相机与用户的眼睛之间的视角差而出现在目标视图中。

6、在一些实施例中，去遮挡区域β的大小可以由以下表达式表示：

7、

8、其中，表示rbg相机与用户的眼睛在深度轴(大约是hmd的厚度)上的距离，dn和df分别表示近遮光器的深度和背景的深度(dn<df)，并且θ∈[0,π)测量其中去遮挡旨在被消除的角度区域。可选地，可以根据以下表达式来最小化去遮挡区域β：

9、

10、其中，α表示rbg相机与用户的眼睛的观看方向之间的偏移量。此外，可选地，最小立体相机基线可以由以下表达式表示：

11、

12、其中，ρ表示目标瞳孔间距离(interpupillary distance，ipd)。

13、在一些实施例中，深度估计可以是基于深度图的，该深度图是使用神经网络通过基于深度学习的视差估计在每个输入视点处计算的。可选地，深度估计可以使用要在每帧校正的输入颜色对，以便将视差估计从2d对应匹配降低到更有效的1d匹配解决方案。或者，深度估计可以使用raft-stereo算法来计算多个立体输入视图中的每个立体输入视图处的视差图，然后视差图可以使用预校准参数而被转换为深度图，这些深度图可以表示如下：

14、dl＝stereo_depth(cl,cr)

15、dr＝flip(stereo_depth(flip(cr),flip(cl)))

16、其中，cl和cr分别表示经校正的左输入图像和右输入图像，dl和dr分别表示左视图和右视图处的输出深度图，stereo_depth表示深度估计算法，并且flip表示用于水平翻转图像的操作符。可选地，通过立体深度估计推理，用于水平翻转图像的操作符可以满足对视差值的预期符号的任何要求。

17、根据本发明的一种显示系统包括头戴式显示器(hmd)头戴式视图器，该hmd头戴式视图器具有：至少一个面向外部的rbg相机，该至少一个面向外部的rbg相机安装在hmd的正面并与用户的眼睛位于同一视觉平面上，其中，该至少一个面向外部的rbg相机收集用于视图合成的图像；处理器；以及存储器，该存储器存储有指令，这些指令在被处理器执行时，使得处理器执行上述各方法中的任一种方法或根据基于机器学习(ml)的技术来提供视图合成，该基于ml的技术包括以下中的至少一项：深度估计；图像锐化；前向泼溅；去遮挡滤波；或融合。

18、在一些实施例中，至少两个面向外部的rbg立体相机可以被放置在线性平移平台上以允许可配置的相机基线，使得相机基线的范围为5.4cm到10cm以支持针对采样的ipdρ＝6cm的θ＝25°的角度区域，在该角度区域中，去遮挡基本上被消除了，或者等同地，对于ρ＝7cm，θ＝18°，并且相机与眼睛在深度轴上的距离也可以是使得rgb相机可以以720p的分辨率和90°的视场(fov)在30hz下运行。

19、根据本发明的一种非暂态计算机可读存储介质具有在其上存储的可执行文件，该可执行文件在被执行时，指示处理器执行上述各方法中的任何一种方法，或者指示处理器：从安装在hmd的正面且与用户的眼睛位于同一视觉平面上的至少一个面向外部的rbg相机收集用于视图合成的图像；以及根据基于机器学习(ml)的技术提供视图合成，该基于ml的技术包括以下中的至少一项：深度估计；图像锐化；前向泼溅；去遮挡滤波；或融合。

20、根据本发明的一种软件产品包括指令，这些指令在被执行时，指示处理器执行上述各方法中的任何一种方法，或者指示处理器：从安装在hmd的正面且与用户的眼睛位于同一视觉平面上的至少一个面向外部的rbg相机收集用于视图合成的图像；以及根据基于机器学习(ml)的技术提供视图合成，该基于ml的技术包括以下中的至少一项：深度估计；图像锐化；前向泼溅；去遮挡滤波；或融合。

技术特征：

1.一种方法，包括：

2.根据权利要求1所述的方法，其中，安装在所述hmd的正面的所述至少一个面向外部的rbg相机向透传配置提供立体输入，所述透传配置在视图合成期间最小化去遮挡滤波中的去遮挡。

3.根据权利要求1或2所述的方法，其中，所述去遮挡由于所述至少一个面向外部的rbg相机与所述用户的眼睛之间的视角差而出现在目标视图中。

4.根据权利要求1至3中任一项所述的方法，其中，去遮挡区域β的大小由以下表达式表示：

5.根据权利要求4所述的方法，其中，根据以下表达式来最小化所述去遮挡区域β：

6.根据权利要求4或5所述的方法，其中，最小立体相机基线由以下表达式表示：

7.根据权利要求1至6中任一项所述的方法，其中，所述深度估计是基于深度图的，所述深度图是使用神经网络通过基于深度学习的视差估计在每个输入视图处计算的。

8.根据权利要求7所述的方法，其中，所述深度估计使用要在每帧校正的输入颜色对，以便将所述视差估计从2d对应匹配降低到更有效的1d匹配解决方案。

9.根据权利要求7或8所述的方法，其中，所述深度估计使用raft-stereo算法来计算多个立体输入视图中的每个立体输入视图处的视差图，所述视差图然后使用预校准参数而被转换为深度图，所述深度图能够表示如下：

10.根据权利要求9所述的方法，其中，通过立体深度估计推理，用于水平翻转图像的所述运算符满足对视差值的预期符号的任何要求。

11.一种显示系统，包括：

12.根据权利要求11所述的显示系统，其中，至少两个面向外部的rbg立体相机被放置在线性平移平台上以允许可配置的相机基线，使得相机基线的范围为5.4cm到10cm以支持针对所采样的ipdρ＝6cm的θ＝25°的角度区域，在所述角度区域中，去遮挡基本上被消除了，或者同等地，对于ρ＝7cm，θ＝18°，并且所述相机与所述眼睛之间在深度轴上的距离也能够是使得所述rgb相机能够以720p的分辨率和90°的视场(fov)在30hz下运行。

13.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质具有存储在其上的可执行文件，所述可执行文件在被执行时，指示处理器执行根据权利要求1至10中任一项所述的方法或指示处理器：

14.一种软件产品，所述软件产品包括指令，所述指令在被执行时，指示处理器执行根据权利要求1至10中任一项所述的方法或指示处理器：

技术总结根据各示例，一种显示系统可以包括头戴式显示器(HMD)头戴式视图器。该HMD可以包括至少一个面向外部的RBG相机，该至少一个面向外部的RBG相机安装在HMD的正面并与用户的眼睛位于同一视觉平面上。该至少一个面向外部的RBG相机可以收集用于视图合成的图像。该HMD可以包括处理器和存储器，该存储器存储有指令，这些指令在被处理器执行时，使得处理器根据基于机器学习(ML)的技术来提供视图合成，该基于ML的技术包括以下中的至少一项：深度估计；图像锐化；前向泼溅；去遮挡滤波；或融合。技术研发人员：道格拉斯·罗伯特·兰曼,萨拉赫·艾丁·努里,乔尔·赫格兰,肖磊受保护的技术使用者：元平台技术有限公司技术研发日：技术公布日：2024/9/12