利用眼动追踪技术的混合现实交互的制作方法

本专利申请总体上涉及近眼显示设备，并且尤其涉及基于眼动追踪、结合其它输入来控制与所显示的内容的交互。

背景技术：

1、随着最近技术的进步，内容创建和传递的流行和扩散近年来大大增加。尤其是，交互式内容(例如虚拟现实(virtual reality，vr)内容、增强现实(augmented reality，ar)内容、混合现实(mixed reality，mr)内容)、以及在真实环境和/或虚拟环境(例如，“虚拟实境”)内且与该真实环境和/或虚拟环境相关联的内容已经变得吸引消费者了。

2、为了促进对这些内容和其它相关内容的传递，服务提供者已经努力提供各种形式的可穿戴显示系统。一个这种示例可以是头戴式显示器(head-mounted display，hmd)设备，例如可穿戴眼镜、可穿戴头戴式设备(headset)或眼镜。在一些示例中，头戴式显示器(hmd)设备可以投射或引导光，以便可以如在虚拟现实(vr)应用、增强现实(ar)应用或混合现实(mr)应用中显示虚拟对象或将真实对象的图像与虚拟对象相结合。例如，在ar系统中，用户可以同时观看虚拟对象的图像(例如，计算机生成的图像(computer-generatedimage，cgi))和周围环境。头戴式显示器(hmd)设备还可以呈现交互式内容，其中用户(佩戴者)的凝视可以用作交互式内容的输入。

技术实现思路

1、在本公开的一些示例中，混合现实(mr)用户交互可以通过眼动追踪(用户凝视确定)与辅助输入(例如手指姿势、手部姿势、眼睛姿势、身体运动、腕带设备输入、手持控制器输入和类似输入)的组合来实现。具有眼动追踪能力的近眼显示设备可以向用户显示在该设备处生成或存储的内容、或者流式传输到该设备的内容。可以通过用户的凝视和/或注视/扫视来识别所显示的内容中的感兴趣位置。基于凝视的感兴趣位置识别可以被认为是主要输入。可以基于辅助输入来在感兴趣位置上执行诸如缩放、旋转、平移、移动、打开可操作菜单、从所呈现的选项中进行选择等动作，该辅助输入通过近眼显示设备上的图像传感器或其它传感器采集、或者由其它设备采集并传输给近眼显示设备的控制器。

技术特征：

1.一种近眼显示设备，包括：

2.根据权利要求1所述的近眼显示设备，还包括：

3.根据权利要求2所述的近眼显示设备，其中，所述图像传感器包括以下中的至少一者：

4.根据权利要求1所述的近眼显示设备，还包括：

5.根据权利要求1所述的近眼显示设备，其中，所述控制器用于通过有线通信或无线通信接收来自输入设备的所述辅助输入。

6.根据权利要求5所述的近眼显示设备，其中，所述输入设备包括以下中的至少一者：

7.根据权利要求1所述的近眼显示设备，其中，所述虚拟现实内容作为增强现实ar内容的一部分而呈现。

8.根据权利要求1所述的近眼显示设备，其中，所述虚拟现实内容包括交互式地图。

9.根据权利要求8所述的近眼显示设备，其中，

10.根据权利要求1所述的近眼显示设备，其中，所述眼动追踪系统用于基于所确定的所述凝视来确定至少一个注视和至少一个扫视。

11.一种方法，包括：

12.根据权利要求11所述的方法，其中，接收所述辅助输入包括以下中的至少一者：

13.根据权利要求12所述的方法，其中，所述输入设备包括：

14.根据权利要求11所述的方法，进一步包括：

15.根据权利要求11所述的方法，其中，显示所述虚拟现实内容包括显示交互式地图，并且所述方法进一步包括：

16.根据权利要求11所述的方法，其中，显示所述虚拟现实内容包括显示交互式地图，并且所述方法进一步包括：

17.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质具有存储在其上的可执行文件，所述可执行文件在被执行时指示处理器以：

18.根据权利要求17所述的非暂态计算机可读存储介质，其中，所述可执行文件还指示所述处理器以：

19.根据权利要求17所述的非暂态计算机可读存储介质，其中，所述可执行文件还指示所述处理器接收来自以下项的所述辅助输入：

20.根据权利要求17所述的非暂态计算机可读存储介质，其中，所述可执行文件还指示所述处理器以：

技术总结提供了利用眼动追踪技术的混合现实交互。混合现实(MR)用户交互通过眼动追踪(用户凝视确定)与辅助输入(例如手指姿势、手部姿势、眼睛姿势、腕带设备输入、手持控制器输入和类似输入)的组合来实现。可以通过用户的凝视、注视、和/或扫视来识别所显示的内容中的感兴趣位置，或者可以基于辅助输入来在感兴趣位置上执行其它动作(例如缩放、旋转、平移、移动、打开可操作菜单等)。技术研发人员：内森·阿森巴赫,贾斯汀·斯特劳恩受保护的技术使用者：元平台技术有限公司技术研发日：技术公布日：2024/7/29