一种基于虚拟仿真数字的人声音动作同步算法的制作方法

本发明涉及虚拟仿真数字的人声音动作同步算法，具体的讲是一种基于虚拟仿真数字的人声音动作同步算法。

背景技术：

1、虚拟现实(virtual reality，vr)技术是一种综合应用计算机图形学，人机接口技术，传感器技术以及人工智能等技术，制造出逼真的人工模拟环境，并能有效地模拟人在自然环境中的各种感知的高级的人机交互技术。随着vr技术的发展，其应用场景越来越广泛。但是，目前缺少能够高实时性地同步虚拟仿真场景与现实场景的方法。

技术实现思路

1、本发明要解决的技术问题是针对以上不足，提供一种基于虚拟仿真数字的人声音动作同步算法。

2、为解决以上技术问题，本发明采用以下技术方案：

3、一种基于虚拟仿真数字的人声音动作同步算法，包括以下步骤：

4、步骤1、采集现实场景的目标对象图像和声音数据；

5、步骤2、基于所述图像数据和声音数据，以及所述现实场景与所述现实场景对应的虚拟仿真场景之间的缩放比例参数，对声音进行噪声过滤处理，将同一时刻的图像数据和声音数据进行匹配关联，生成第一点云数据集；

6、步骤3、计算本次生成的第一点云数据集与上一次生成的第一点云数据集之间的差异数据，得到第二点云数据集并传输到vr设备；

7、步骤4、vr设备根据本次获取的第二点云数据集和上一次获取的第二点云数据集生成图像和声音同步的所述虚拟仿真场景。

8、进一步的，步骤3具体包括以下步骤：

9、步骤3.1、判断所述上一次生成的第一点云数据集是否为空集，若是则转到步骤3.3，否则转到步骤3.2；

10、步骤3.2、计算本次生成的第一点云数据集与上一次生成的第一点云数据集之间的差异数据，得到第二点云数据集；

11、步骤3.3、定义本次生成的第一点云数据集为所述第二点云数据集。

12、进一步的，得到所述第一点云数据集的方法具体包括以下步骤：

13、步骤2.1、基于所述图像数据，对所述现实场景进行三维重建，得到第三点云数据集；

14、步骤2.2、去除所述第三点云数据集中的冗余数据，基于预设缩放比例，调整所述第三点云数据集中坐标数据的大小和数量，得到所述第一点云数据集，所述缩放比例参数包括所述预设缩放比例；

15、步骤2.3、将每一帧图像与对应时刻的声音数据进行关联匹配存储。

16、进一步的，所述步骤2.1中，去除所述第三点云数据集中的冗余数据的方法为，去除所述第三点云数据集中的噪声数据、第三点云数据集中除所述待同步三维物体对应的坐标数据之外的其他坐标数据以及离散坐标数据后，得到所述第三点云数据集。

17、进一步的，所述步骤2中对声音进行噪声过滤处理的方法为对环境噪声进行降噪过滤，保留人声。

18、本发明采用以上技术方案后，与现有技术相比，具有以下优点：

19、本发明减小了数据的传输量和vr设备在生成虚拟仿真场景时的数据计算量，对图像和声音进行了噪声过滤和冗余数据筛除，提高了图像和声音的清晰度，而且对图像和声音进行了同步匹配关联处理，进而提高了虚拟仿真场景与现实场景同步的实时性。

20、下面结合附图和实施例对本发明进行详细说明。

技术特征：

1.一种基于虚拟仿真数字的人声音动作同步算法，包括以下步骤：

2.根据权利要求1所述的基于虚拟仿真数字的人声音动作同步算法，其特征在于，步骤3具体包括以下步骤：

3.根据权利要求1所述的基于虚拟仿真数字的人声音动作同步算法，其特征在于，得到所述第一点云数据集的方法具体包括以下步骤：

4.根据权利要求3所述的基于虚拟仿真数字的人声音动作同步算法，其特征在于，所述步骤2.1中，去除所述第三点云数据集中的冗余数据的方法为，去除所述第三点云数据集中的噪声数据、第三点云数据集中除所述待同步三维物体对应的坐标数据之外的其他坐标数据以及离散坐标数据后，得到所述第三点云数据集。

5.根据权利要求3所述的基于虚拟仿真数字的人声音动作同步算法，其特征在于，所述步骤2中对声音进行噪声过滤处理的方法为对环境噪声进行降噪过滤，保留人声。

技术总结本发明涉及一种基于虚拟仿真数字的人声音动作同步算法，包括以下步骤，采集现实场景的目标对象图像和声音数据；基于所述现实场景与所述现实场景对应的虚拟仿真场景之间的缩放比例参数，对声音进行噪声过滤处理，将同一时刻的图像数据和声音数据进行匹配关联，生成第一点云数据集；计算本次生成的与上一次生成的第一点云数据集之间的差异数据，得到第二点云数据集并传输到VR设备；VR设备根据本次获取的第二点云数据集和上一次获取的第二点云数据集生成图像和声音同步的所述虚拟仿真场景。本发明对图像和声音进行了噪声过滤和冗余数据筛除，而且对图像和声音进行了同步匹配关联处理，进而提高了虚拟仿真场景与现实场景同步的实时性。技术研发人员：孙庆山,段国亮受保护的技术使用者：苏州三真智能科技有限公司技术研发日：技术公布日：2024/1/15