用于混合模式沉浸式远程呈现应用的基于聚散度的凝视匹配的制作方法

本公开描述了大体上涉及媒体处理的实施例，包括实时沉浸式远程呈现应用。

背景技术：

1、本文提供的背景描述是为了总体呈现本公开的上下文。在该背景技术部分中描述的程度上，目前署名的发明人的工作以及该描述的在提交时可能不符合现有技术的方面既不明确也不隐含地被认为是本公开的现有技术。

2、实时沉浸式远程呈现应用程序(例如，视频聊天、培训和教育)可以让远程人员进行实时对话、培训和各种教学模式。在一些示例中，在实时沉浸式远程呈现应用期间，显示屏被放置在第一用户面前，并且显示屏可以显示第二用户的图像，以模拟面对面环境。

技术实现思路

1、本公开的各方面提供了用于凝视匹配的方法和装置。在一些示例中，处理电路确定第一用户的感兴趣物体的位置，并且接收由相机在与感兴趣物体的位置不同的相机位置拍摄的第一用户的一个或多个第一图像。处理电路检测第一用户的眼睛的第一聚散度或旋转，计算用于观看感兴趣物体的第一聚散度或旋转的失配，并且基于用于观看感兴趣物体的第一聚散度或旋转的失配，执行一个或多个第一图像的凝视校正。

2、在一些示例中，处理电路接收第二用户的一个或多个第二图像，第二用户和第一用户进行沉浸式远程呈现。处理电路从一个或多个第二图像中导出第二用户的瞳孔间位置；显示一个或多个第二图像，其中，瞳孔间位置被设置在第一用户的显示屏的屏幕平面上；以及将显示屏的屏幕平面处的瞳孔间位置确定为第一用户的感兴趣物体的位置。

3、在一些示例中，处理电路将第一用户的显示屏的中心点确定为第一用户的感兴趣物体的位置。

4、在一些示例中，处理电路接收第二用户的一个或多个第二图像，第二用户和第一用户进行沉浸式远程呈现；在显示屏上为第一用户显示一个或多个第二图像；以及将显示屏上用于显示第二用户的眼睛的位置确定为第一用户的感兴趣物体的位置。

5、在一个示例中，基于与相机分离的眼睛检测传感器感测第一聚散度或旋转。在另一示例中，基于第一用户的一个或多个第一图像的图像分析来检测第一聚散度或旋转。

6、在一些示例中，处理电路基于第一用户的头部位置计算第一用户的眼睛的第一聚散度或旋转。

7、在一些示例中，处理电路根据第一用户的眼睛的第一聚散度或旋转和第一用户的头部位置来确定凝视点；以及计算凝视点与第一用户的感兴趣物体的位置的失配。

8、在一个示例中，处理电路修改第一用户在一个或多个第一图像中的头部位置。在另一示例中，处理电路修改第一用户在一个或多个第一图像中的身体位置。在另一示例中，处理电路修改第一用户在一个或多个第一图像中的头部姿势。在另一示例中，处理电路修改第一用户在一个或多个第一图像中的身体姿势。在另一示例中，处理电路修改第一用户在一个或多个第一图像中的头部旋转角度。在另一示例中，处理电路修改第一用户在一个或多个第一图像中的身体旋转角度。在另一示例中，处理电路修改第一用户在一个或多个图像中的眼睛聚散度或旋转角度。

9、在一些示例中，处理电路根据显示屏上的人的面部表情、显示屏上的人的视觉情绪分析或显示屏上的人的情绪中的至少一个来确定感兴趣物体的位置。

10、在一些示例中，处理电路通过使用惯性测量单元(inertial measurement unit，简称imu)、深度传感器、光检测和测距(light detection and ranging，简称lidar)传感器、近红外(near infrared，简称nir)传感器或空间音频检测器中的至少一个来检测第一用户的眼睛的第一聚散度或旋转。

11、本公开的各方面还提供了一种存储指令的非暂时性计算机可读存储介质，该指令在由计算机执行时，使得计算机执行凝视匹配的方法。

技术特征：

1.一种凝视匹配的方法，包括：

2.根据权利要求1所述的方法，其中，所述确定所述感兴趣物体的所述位置还包括：

3.根据权利要求1所述的方法，其中，所述确定所述感兴趣物体的所述位置还包括：

4.根据权利要求1所述的方法，其中，所述确定所述感兴趣物体的所述位置还包括：

5.根据权利要求1所述的方法，其中，检测所述第一用户的所述眼睛的所述第一聚散度还包括以下至少一项：

6.根据权利要求1所述的方法，其中，所述检测所述第一用户的所述眼睛的所述第一聚散度还包括：

7.根据权利要求1所述的方法，其中，所述计算用于观看所述感兴趣物体的所述第一聚散度的所述失配还包括：

8.根据权利要求1所述的方法，其中，所述执行所述凝视校正还包括以下至少一项：

9.根据权利要求1所述的方法，其中，所述确定所述第一用户的所述感兴趣物体的所述位置还包括：

10.根据权利要求1所述的方法，其中，所述检测所述第一用户的所述眼睛的所述第一聚散度包括：

11.一种电子系统，包括处理电路，所述处理电路被配置为：

12.根据权利要求11所述的电子系统，其中，所述处理电路被配置为：

13.根据权利要求11所述的电子系统，其中，所述处理电路被配置为：

14.根据权利要求11所述的电子系统，其中，所述处理电路被配置为：

15.根据权利要求11所述的电子系统，其中，所述处理电路被配置为：

16.根据权利要求11所述的电子系统，其中，所述处理电路被配置为：

17.根据权利要求11所述的电子系统，其中，所述处理电路被配置为：

18.根据权利要求11所述的电子系统，其中，所述处理电路被配置为：

19.根据权利要求11所述的电子系统，其中，所述处理电路被配置为：

20.根据权利要求11所述的电子系统，其中，所述处理电路被配置为：

技术总结本公开的各方面提供了用于凝视匹配的方法和装置。在一些示例中，处理电路确定第一用户的感兴趣物体的位置，并且接收第一用户的一个或多个第一图像，该一个或多个第一图像是由相机在与感兴趣物体的位置不同的相机位置拍摄的。处理电路检测第一用户的眼睛的第一聚散度，计算用于观看感兴趣物体的第一聚散度的失配，并且基于用于观看感兴趣物体的第一聚散度的失配，执行一个或多个第一图像的凝视校正。技术研发人员：车耳·伊桑,许晓中,刘杉受保护的技术使用者：腾讯美国有限责任公司技术研发日：技术公布日：2024/9/12