针对对象的像素深度确定的制作方法

本公开内容总体上涉及使用消息传送应用来提供增强现实(ar)体验。

背景技术：

1、增强现实(ar)是对虚拟环境的修改。例如，在虚拟现实(vr)中，用户完全沉浸在虚拟世界中，而在ar中，用户沉浸在将虚拟对象与现实世界结合或将虚拟对象叠加在现实世界上的世界中。ar系统旨在生成和呈现与现实世界环境以及彼此之间现实地交互的虚拟对象。ar应用的示例可以包括单玩家或多玩家视频游戏、即时消息系统等。

技术实现思路

技术特征：

1.一种方法，包括：

2.根据权利要求1所述的方法，其中，所述兴趣点包括所述人的胸骨，并且其中，所述机器学习模型的所述第一阶段和所述第二阶段是同时输出所述兴趣点的深度和所述图像的所述部分中的每个像素对于所述兴趣点的所预测的深度的相对深度的所述机器学习模型的公共部分的一部分。

3.根据权利要求1至2中任一项所述的方法，其中，所述第一机器学习模型阶段包括第一机器学习模型并且所述第二机器学习模型阶段包括第二机器学习模型。

4.根据权利要求1至3中任一项所述的方法，其中，所述机器学习模型的所述第一阶段的所述输出包括在第一坐标系中用于捕获所述图像的摄像装置与所述兴趣点之间的距离，所述第一坐标系对于所述图像是全局的。

5.根据权利要求4所述的方法，其中，所述机器学习模型的所述第二阶段的所述输出包括针对所述图像的所述部分中的每个前景像素的来自所述兴趣点的深度和每个像素的分割掩码，针对所述图像的所述部分中的每个前景像素的来自所述兴趣点的所述深度在对于所述图像的所述部分是局部的之第二坐标系中被表示。

6.根据权利要求1至5中任一项所述的方法，还包括基于所述密集深度重建来生成密集点云。

7.根据权利要求1至6中任一项所述的方法，其中，应用所述一个或更多个ar元素包括基于所述人的身体的几何形状、所述人的头发、所述人的衣服或所述人穿戴的一个或更多个配件中的至少之一来应用所述一个或更多个ar元素。

8.根据权利要求1至7中任一项所述的方法，还包括：

9.根据权利要求1至8中任一项所述的方法，其中，所述ar元素被应用于包括所述图像的实时视频馈送。

10.根据权利要求1至9中任一项所述的方法，其中，应用所述一个或更多个ar元素包括用一个或更多个视觉效果替换表示所述对人的描绘的数据。

11.根据权利要求1至10中任一项所述的方法，其中，应用所述一个或更多个ar元素包括：

12.根据权利要求11所述的方法，还包括：

13.根据权利要求1至12中任一项所述的方法，其中，所述图像是描绘所述人的视频的第一帧，所述方法还包括：

14.根据权利要求13所述的方法，其中，以所述第一方式修改所述ar元素包括遮挡所述第一视觉效果。

15.根据权利要求1至14中任一项所述的方法，其中，以所述第一方式修改所述ar元素包括将第一动画应用于所述ar元素。

16.根据权利要求1至15中任一项所述的方法，其中，所述机器学习模型包括神经网络，所述神经网络被训练成建立描绘人体的不同取向的图像部分与所述人体的兴趣点的深度之间的关系。

17.根据权利要求16所述的方法，还包括通过执行操作来训练所述机器学习模型，所述操作包括：

18.根据权利要求1至17中任一项所述的方法，其中，所述机器学习模型生成分割向量，所述分割向量将所述图像中的每个像素与所述像素是对应于背景还是对应于表示所述对人的描绘的所述数据的指示相关联，所述一个或更多个ar元素还基于所述分割向量来应用。

19.一种系统，包括：

20.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质具有存储在其上的指令，所述指令在由客户端设备的处理器执行时，使所述处理器执行操作，所述操作包括：

技术总结公开了用于执行用于将增强现实元素应用于图像中描绘的人的操作的方法和系统。操作包括：接收包括表示对人的描绘的数据的图像；提取图像的一部分；将第一机器学习模型阶段应用于该部分，以预测针对表示对人的描绘的数据的兴趣点的深度；将第二机器学习模型阶段应用于图像的该部分，以预测图像的该部分中的每个像素对于兴趣点的所预测的深度的相对深度；基于机器学习模型的第一阶段和第二阶段的输出，生成表示对人的描绘的数据的密集深度重建；以及基于密集深度重建将一个或更多个AR元素应用于图像。技术研发人员：迈迪亚尔·艾特巴耶夫,布赖恩·富尔克森,勒扎·阿尔普·居莱尔,乔治斯·帕潘德里欧,希米·塔姆受保护的技术使用者：斯纳普公司技术研发日：技术公布日：2024/11/18