预测化身的下半身运动的制作方法

本公开涉及在虚拟现实(virtual reality，vr)应用和增强现实(augmentedreality，ar)应用中生成化身。更具体地，本公开提供了用于vr/ar应用的下半身化身重建。

背景技术：

1、在vr/ar应用的领域，穿戴头戴式设备(headset)的用户可以根据他们的面部动作和对沉浸式现实环境的即时反应来实时塑造他们自己的化身。然而，用户的全身形象通常是卡通化的、不现实的，并且与用户当前的活动、姿势和举止几乎没有联系。用户的下半身形象的保真度的缺乏降低了用户的沉浸式体验。

技术实现思路

1、在第一实施例中，一种计算机实现的方法包括：为头戴式设备的用户生成上半身化身；追踪该头戴式设备的该用户的下半身姿势；将该下半身姿势重构(retarget)成下半身模型；以及将该下半身模型与该上半身化身合并，以形成该头戴式设备的该用户的全身化身。

2、在第二实施例中，一种系统包括：存储器，该存储器存储多个指令；以及一个或多个处理器，该一个或多个处理器被配置成执行该多个指令以使该系统执行操作。这些操作包括：为头戴式设备的用户生成上半身化身；追踪该头戴式设备的该用户的下半身姿势；将该下半身姿势重构成下半身模型；以及将该下半身模型与该上半身化身合并，以形成该头戴式设备的该用户的全身化身。

3、在第三实施例中，一种用于训练模型以向虚拟现实头戴式设备中的自动立体显示器提供主体的视图的计算机实现的方法包括：根据捕捉脚本，采集处于不同姿势的一个或多个主体的下半身的多个图像；使用该一个或多个主体的该下半身的多个图像更新三维下半身模型中的姿势编码器和运动编码器；以及利用该三维下半身模型生成新主体的下半身的合成视图。

4、在另一实施例中，一种非暂态计算机可读介质，该非暂态计算机可读介质存储指令，这些指令在由计算机中的处理器执行时使得该计算机执行一种方法。该方法包括：为头戴式设备的用户生成上半身化身；追踪该头戴式设备的该用户的下半身姿势；将该下半身姿势重构成下半身模型；以及将该下半身模型与该上半身化身合并，以形成该头戴式设备的该用户的全身化身。

5、在又一实施例中，一种系统包括：第一装置，该第一装置用于存储指令；以及第二装置，该第二装置用于执行这些指令以使该系统执行一种方法。该方法包括：为头戴式设备的用户生成上半身化身；追踪该头戴式设备的该用户的下半身姿势；将该下半身姿势重构成下半身模型；以及将该下半身模型与该上半身化身合并，以形成该头戴式设备的该用户的全身化身。

6、考虑到以下内容，这些实施例和其它实施例对于本领域普通技术人员来说是清楚的。

技术特征：

1.一种计算机实现的方法，所述计算机实现的方法包括：

2.根据权利要求1所述的计算机实现的方法，其中，生成所述上半身化身包括：利用安装在所述头戴式设备上的传感器追踪所述用户的面部动作。

3.根据权利要求1所述的计算机实现的方法，其中，追踪所述用户的所述下半身姿势包括：利用安装在所述头戴式设备上的摄像头采集所述用户的手臂、腿部、手部或脚部中的至少一者的图像。

4.根据权利要求1所述的计算机实现的方法，其中，追踪所述用户的所述下半身姿势包括：接收来自移动设备的所述用户的所述下半身姿势的图像。

5.根据权利要求1所述的计算机实现的方法，其中，追踪所述用户的所述下半身姿势包括：接收来自所述头戴式设备中的惯性测量单元的加速度信号。

6.根据权利要求1所述的计算机实现的方法，其中，追踪所述用户的所述下半身姿势包括：根据来自所述头戴式设备中的惯性运动单元的加速度信号的频率来识别跑步运动或步行运动。

7.根据权利要求1所述的计算机实现的方法，其中，追踪所述用户的所述下半身姿势包括：识别所述用户的坐姿或站姿。

8.根据权利要求1所述的计算机实现的方法，其中，追踪所述用户的所述下半身姿势包括：基于对下半身运动的物理约束来确定所述下半身姿势。

9.根据权利要求1所述的计算机实现的方法，其中，将所述下半身姿势重构成所述下半身模型包括：利用所述下半身姿势作为所述下半身模型中的损失函数的地面真值基准来优化所述损失函数。

10.根据权利要求1所述的计算机实现的方法，其中，将所述下半身模型与所述上半身化身合并包括：消除所述下半身模型与沉浸式现实应用中的对象的对象碰撞。

11.一种系统，所述系统包括：

12.根据权利要求11所述的系统，其中，为了生成所述上半身化身，所述一个或多个处理器执行用于利用安装在所述头戴式设备上的传感器追踪所述用户的面部动作的多个指令。

13.根据权利要求11所述的系统，其中，为了追踪所述用户的所述下半身姿势，所述一个或多个处理器执行用于利用安装在所述头戴式设备上的摄像头采集所述用户的手臂、腿部、手部或脚部中的至少一者的图像的多个指令。

14.根据权利要求11所述的系统，其中，为了追踪所述用户的所述下半身姿势，所述一个或多个处理器执行用于接收来自移动设备的所述用户的所述下半身姿势的图像的多个指令。

15.根据权利要求11所述的系统，其中，为了追踪所述用户的所述下半身姿势，所述一个或多个处理器执行用于接收来自所述头戴式设备中的惯性测量单元的加速度信号的指令。

16.一种用于训练模型以向虚拟现实头戴式设备中的自动立体显示器提供主体的视图的计算机实现的方法，所述计算机实现的方法包括：

17.根据权利要求16所述的计算机实现的方法，其中，更新所述三维下半身模型中的所述运动编码器包括：识别来自运动传感器的指示所述一个或多个主体的所述不同姿势的信号。

18.根据权利要求16所述的计算机实现的方法，其中，所述不同姿势包括一个主体的健美姿势，所述计算机实现的方法还包括：采集来自该主体的心率信号并且用所述心率信号更新所述运动编码器。

19.根据权利要求16所述的计算机实现的方法，所述计算机实现的方法还包括：将所述三维下半身模型与所述新主体的上半身模型合并，以形成所述新主体的全身模型。

20.根据权利要求16所述的计算机实现的方法，所述计算机实现的方法还包括：将所述三维下半身模型提供给安装在所述头戴式设备中的沉浸式应用。

技术总结本发明涉及预测化身的下半身运动。提供了一种用于预测化身的下半身运动的方法。该方法包括：为头戴式设备的用户生成上半身化身；追踪该头戴式设备的该用户的下半身姿势；将该下半身姿势重构成下半身模型；以及将该下半身模型与该上半身化身合并，以形成该头戴式设备的该用户的全身化身。还提供了一种系统，该系统包括存储器和处理器，该存储器存储多个指令，该处理器被配置成执行该多个指令并且使该系统执行上述方法。技术研发人员：让·查尔斯·巴赞,索菲恩·布阿齐兹受保护的技术使用者：元平台技术有限公司技术研发日：技术公布日：2024/10/10