实时运动和外观转移的制作方法

本公开内容总体上涉及使用消息收发应用提供增强现实(ar)体验。

背景技术：

1、增强现实(ar)是对虚拟环境的修改。例如，在虚拟现实(vr)中，用户完全沉浸在虚拟世界中，而在ar中，用户沉浸在将虚拟对象与真实世界组合或将虚拟对象叠加在真实世界上的世界中。ar系统旨在生成并呈现与真实世界环境真实地交互并且彼此之间进行交互的虚拟对象。ar应用的示例可以包括单人或多人视频游戏、即时消息收发系统等。

技术实现思路

技术特征：

1.一种方法，包括：

2.根据权利要求1所述的方法，其中，所述第一真实世界对象包括第一人，并且所述第二真实世界对象包括第二人。

3.根据权利要求1至2中任一项所述的方法，其中，表示所述第一真实世界对象的所述外观的所述外观数据包括所述第一真实世界对象的三维(3d)姿势数据、所述第一真实世界对象的全身分割数据、所述第一真实世界对象的一组密集关键点以及所述第一真实世界对象的服装分割数据。

4.根据权利要求1至3中任一项所述的方法，其中，提取所述外观数据包括：将第一机器学习技术应用于所述第一视频，所述第一机器学习技术被训练成针对输入视频估计外观数据和运动数据，所述外观数据包括所述第一真实世界对象的纹理数据和颜色数据。

5.根据权利要求4所述的方法，其中，提取所述运动数据包括：将所述第一机器学习技术应用于所述第二视频，所述运动数据包括表示所述第二真实世界对象的姿势的姿势数据。

6.根据权利要求1至5中任一项所述的方法，其中，所述第一机器学习技术被训练成同时生成所述输入视频中描绘的给定真实世界对象的三维(3d)姿势、所述给定真实世界对象的全身分割数据、所述给定真实世界对象的一组密集关键点以及所述给定真实世界对象的服装分割数据。

7.根据权利要求1至6中任一项所述的方法，还包括：

8.根据权利要求7所述的方法，其中，所述第一机器学习技术和所述第二机器学习技术是端对端训练的，以在具有表示第一训练视频中描绘的第一运动的第一运动数据的训练真实世界对象的外观数据与表示具有第二训练视频中描绘的第二运动的训练真实世界对象的外观的外观数据之间建立关系。

9.根据权利要求1至8中任一项所述的方法，还包括：通过迭代一系列操作来训练所述第一机器学习技术和所述第二机器学习技术，所述一系列操作包括：

10.根据权利要求9所述的方法，还包括：

11.根据权利要求1至10中任一项所述的方法，其中，所述第一训练视频和所述第二训练视频中描绘的所述真实世界对象包括穿着特定衣服制品的人。

12.根据权利要求1至11中任一项所述的方法，其中，所述第一机器学习技术包括外观提取模块和运动数据提取模块，并且所述第二机器学习技术包括图像生成器模块。

13.根据权利要求1至12中任一项所述的方法，其中，所述第一真实世界对象包括第一用户，并且其中，所述第二真实世界对象包括第二用户，所述方法还包括：

14.根据权利要求13所述的方法，其中，使用所述客户端设备的后置摄像装置捕获所述第二视频，并且使用所述客户端设备的前置摄像装置捕获所述第一视频。

15.根据权利要求1至14中任一项所述的方法，其中，使用客户端设备的不同摄像装置同时捕获所述第一视频和所述第二视频。

16.根据权利要求1至15中任一项所述的方法，其中，在捕获所述第一视频和所述第二视频时实时生成所述第三视频。

17.根据权利要求1至16中任一项所述的方法，其中，所述第一视频描绘处于第一姿势并且穿着第一衣服制品的所述第一真实世界对象，其中，所述第二视频描绘处于第二姿势并且穿着第二衣服制品的所述第二真实世界对象，并且其中，所述第三视频描绘处于所述第二真实世界对象的所述第二姿势并且穿着所述第一衣服制品的所述第一真实世界对象。

18.根据权利要求17所述的方法，还包括：在所述第一衣服制品上模拟一组新像素，以描绘处于所述第二真实世界对象的所述第二姿势并且穿着所述第一衣服制品的所述第一真实世界对象。

19.一种系统，包括：

20.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令在由处理器执行时使所述处理器执行操作，所述操作包括：

技术总结公开了用于执行将运动从一个真实世界对象实时转移到另一个真实世界对象的操作的方法和系统。该操作包括：接收第一视频，该第一视频包括对第一真实世界对象的描绘；以及从视频中提取第一真实世界对象的外观。该操作包括：获得第二视频，该第二视频包括对第二真实世界对象的描绘；以及从第二视频中提取第二真实世界对象的运动。该操作包括：将从第二视频中提取的第二真实世界对象的运动应用于从第一视频中提取的第一真实世界对象的外观。该操作包括：生成包括对第一真实世界对象的描绘的第三视频，对第一真实世界对象的描绘具有第一真实世界对象的外观和第二真实世界对象的运动。技术研发人员：阿维豪伊·阿苏利纳,伊塔马尔·贝格尔,尼尔·马尔宾,贾勒·萨松受保护的技术使用者：斯纳普公司技术研发日：技术公布日：2024/8/1