用于增强现实的徒手打字的制作方法

本公开总体上涉及在虚拟/增强现实中利用智能手机键盘打字运动技能的用户输入。更具体地，本公开包括在不需要手持设备的情况下模拟智能手机打字/滑动的拇指在皮肤上打字/滑动。

背景技术：

1、使用手持控制器的文本输入在虚拟现实(virtual reality)和增强现实(augmented reality)(vr/ar)应用中被广泛采用。目前的vr/ar应用还结合了使用悬浮在空中的虚拟键盘、眼睛追踪或手指轻击，以在沉浸式环境或虚拟现实(vr)环境内接收输入文本或解释用户输入。然而，这些文本输入方法需要占用用户手部(即，手持设备)，这限制了用户在体验vr/ar应用时的能力，由于这些文本输入方法不同于人们在当今生活中打字的方式，用户大多不熟悉这些文本输入方法，并且这些文本输入方法对用户来说可能总体效率低下。因此，需要一种可在vr/ar系统中实现的高效且适应性强的文本输入方法。

技术实现思路

1、本主题公开提供了用于徒手打字的系统和方法。在本公开的一方面中，该方法包括：在客户端设备处接收来自一个或多个传感器的数据；基于该数据追踪所述客户端设备的用户的手部位置；识别预设姿势的执行，该预设姿势正在由客户端设备的用户来执行；基于手部位置确定虚拟键盘的位置，其中，该位置是基于正在被执行的预设姿势而确定的；以及在该位置处显示虚拟键盘，其中，该虚拟键盘被显示在用户的总视图中，用户使用至少一只手经由虚拟键盘来执行输入选择，并且虚拟键盘的显示响应于正在被释放的预设姿势而被终止。

2、本公开的另一方面涉及一种被配置用于徒手打字的系统。该系统包括一个或多个处理器和存储指令的存储器，这些指令在由一个或多个处理器执行时使该系统执行操作。这些操作包括：在客户端设备处接收来自一个或多个传感器的数据；基于该数据追踪客户端设备的用户的手部位置；识别预设姿势的执行，该预设姿势是正在使用客户端设备的用户的至少一只手而执行的；基于手部位置确定虚拟键盘的位置，其中，该位置是基于正在被执行的预设姿势而确定的；以及在用户的总视图内，在该位置处显示虚拟键盘，其中，用户使用至少一只手经由虚拟键盘来执行输入选择，该虚拟键盘的显示响应于正在被释放的预设姿势而被终止，并且虚拟键盘的位置被确定为使得经由虚拟键盘的输入选择能够实现触觉反馈。

3、本公开的又一方面涉及一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质具有包括在其上的指令，这些指令由一个或多个处理器执行以执行本文描述的用于徒手打字的一个或多个方法。该方法可以包括：在客户端设备处接收来自一个或多个传感器的感测数据，所述客户端设备是ar应用的至少一部分并且由用户佩戴；至少部分地基于用户的拇指位置、关节位置、关节移动和手部移动以及手部位置追踪来分析感测数据；确定用户何时使用至少一只手执行预设姿势或手势；基于该分析来确定虚拟键盘的位置；以及在该位置处显示虚拟键盘，其中，在预设姿势被保持时该显示被保持，并且虚拟键盘的位置被确定为使得经由虚拟键盘的输入选择能够实现触觉反馈。

4、这些实施例和其它实施例在本公开中将是显而易见的。

技术特征：

1.一种由至少一个处理器执行的用于徒手打字的计算机实现方法，所述方法包括：

2.根据权利要求1所述的计算机实现方法，其中，追踪所述手部位置还包括：追踪手部移动和拇指关节。

3.根据权利要求1所述的计算机实现方法，其中，所述预设姿势是以下中的至少一者：(i)由一只或两只手利用食指外表面和一个或两个拇指朝向向上方向而执行的指节姿势，并且当所述指节姿势由两只手来执行时，每只手中的相同手指的至少一个关节被放在一起；以及(ii)由一只或两只手利用所述一只或两只手的掌面和一个或两个拇指朝向向上方向而执行的张开手掌姿势。

4.根据权利要求1所述的计算机实现方法，其中，所述虚拟键盘的位置是由参数集合定义的，所述参数集合包括所述虚拟键盘的布局、大小、高度、各键之间的距离、和方位，并且所述参数集合是至少基于与所述用户相关联的所述数据而调整的。

5.根据权利要求1所述的计算机实现方法，还包括：

6.根据权利要求1所述的计算机实现方法，其中，所述虚拟键盘与所述手部位置平齐，并且被显示为像是在距所述用户的手部的预定距离内。

7.根据权利要求1所述的计算机实现方法，还包括：

8.根据权利要求1所述的计算机实现方法，其中，所述虚拟键盘的位置被确定为使得经由所述虚拟键盘的所述输入选择能够实现触觉反馈。

9.根据权利要求1所述的计算机实现方法，还包括：

10.根据权利要求1所述的计算机实现方法，还包括：

11.一种用于徒手打字的系统，所述系统包括：

12.根据权利要求11所述的系统，其中，所述一个或多个处理器还执行用于以下操作的指令：追踪手部移动和拇指关节。

13.根据权利要求11所述的系统，其中，所述预设姿势是以下中的至少一者：(i)由一只或两只手利用食指外表面和一个或两个拇指朝向向上方向而执行的指节姿势，并且当所述指节姿势由两只手来执行时，每只手中的相同手指的至少一个关节被放在一起；以及(ii)由一只或两只手利用所述一只或两只手的掌面和一个或两个拇指朝向向上方向而执行的张开手掌姿势。

14.根据权利要求11所述的系统，其中，所述虚拟键盘的位置是由参数集合定义的，所述参数集合包括所述虚拟键盘的布局、大小、高度、各键之间的距离、和方位，并且所述参数集合是至少基于与所述用户相关联的所述数据而调整的。

15.根据权利要求11所述的系统，其中，所述一个或多个处理器还执行用于以下操作的指令：

16.根据权利要求11所述的系统，其中，所述虚拟键盘与所述手部位置平齐，并且被显示为像是在距所述用户的手部的预定距离内。

17.根据权利要求11所述的系统，其中，所述一个或多个处理器还执行用于以下操作的指令：

18.根据权利要求11所述的系统，其中，所述一个或多个处理器还执行用于以下操作的指令：

19.根据权利要求11所述的系统，其中，所述一个或多个处理器还执行用于以下操作的指令：

20.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质具有包括在其上的指令，所述指令能够由一个或多个处理器执行以执行用于徒手打字的方法并使所述一个或多个处理器执行以下操作：

技术总结提供了用于增强现实的徒手打字。主题技术的各个方面涉及用于在AR/VR应用中徒手打字的系统、方法和机器可读介质。各个方面可以包括：在客户端设备处接收来自一个或多个传感器的数据。各方面还可以包括：基于该数据追踪客户端设备的用户的手部位置。各方面还可以包括；识别用户对预设姿势的执行。各方面还可以包括：基于手部位置来确定虚拟键盘的位置，其中，该位置是基于正在被执行的预设姿势而确定的；以及在该位置处显示虚拟键盘。该位置可以被优化，使得当用户(使用至少一只手)经由虚拟键盘执行输入选择时，虚拟键盘的显示能够实现触觉反馈。虚拟键盘可以被显示在用户的总视图中。技术研发人员：赫曼特·苏拉莱,迈克尔·格鲁克,克里斯托弗·柯林斯,艾米·卡尔森,金泰俊,阿卡尔·古普塔受保护的技术使用者：元平台技术有限公司技术研发日：技术公布日：2024/10/17