一种基于AI数字人的交互回复生成方法及系统

本发明涉及数字人，特别涉及一种基于ai数字人的交互回复生成方法及系统。

背景技术：

1、数字人是一种通过人工智能、计算机图形学等技术来实现，在外形、动作、智能对话和交互等方面模拟人类的虚拟实体。随着3d数字人的建模技术、渲染和驱动引擎技术的不断发展，3d数字人其形象、表情、动作更逼真，应用场景更丰富等优势愈发突出。omniverseaudio2face等技术，更是提供了直接以音频来驱动3d数字人的面部表情的方法。

2、虚拟数字人无论是在影视动画、游戏娱乐、远程教育和会议以及广告宣传等领域都发挥着较为重要的作用。

3、现有技术当中，虚拟人脸存在着特征提取不全面，导致虚拟人脸动画不准确，从而产生音唇不同步的情况，由于虚拟人大都采用多个曲面组成的皮肤，动态的虚拟人需要多个曲面组成的皮肤的变化来进行演变，使得虚拟人在做出动作的过程中，会产生皮肤坍塌以及不够顺滑的问题。

技术实现思路

1、基于此，本发明的目的是提供一种基于ai数字人的交互回复生成方法及系统，以至少解决上述现有技术当中的不足。

2、第一方面，本发明提供一种基于ai数字人的交互回复生成方法，所述方法包括：

3、从人体模型库中获取人体模型，从所述人体模型中导出模型数据，并对所述模型数据进行解析，以提取出人体数据信息，并基于所述人体数据信息以三角网格的形式绘制模型表面皮肤层；

4、提取所述模型表面皮肤层的若干特征点，计算所述人体模型的全身顶点到若干所述特征点的最小测地距离，并将所述全身顶点以按预设数量的所述特征点的最小测地距离进行聚类，以将所述人体模型划分为若干分支区域，并得到初步骨架模型；

5、对所述人体模型进行拓扑层次划分，以将所述人体模型划分为若干细化分支区域，基于若干所述细化分支提取出骨架点；

6、基于所述骨架模型以及所述骨架点构建若干个骨骼段，并基于所述模型表面皮肤层的顶点到若干所述骨骼段的最小距离绑定所述模型表面皮肤层与所述骨骼段，以得到全身虚拟人模型；

7、获取输入的语音信号，并对所述语音信号进行处理得到二维语音输入特征；

8、获取人脸表情数据集，从所述人脸表情数据集中选取若干表情基，并将若干所述表情基与所述人脸表情数据集中的表情进行映射，以得到表情基列表；

9、初始化所述二维语音输入特征以及所述表情基列表，基于初始化后的所述二维语音输入特征进行音频输出，并更新初始化后的所述表情基列表中的表情基的权重，并将更新权重后的所述表情基映射至所述全身虚拟人模型的脸部。

10、与现有技术相比，本发明的有益效果是：通过骨架模型、骨架点以及骨骼段使得全身虚拟人模型在做出动作时模型表面皮肤层更加的顺滑，不会产生坍塌的情况，而通过将更新初始化后的表情基列表中的表情基权重，且将更新权重后的表情基映射到全身虚拟人模型的脸部，以使得全身虚拟人模型在输出声音时，其脸部上的动作会与声音同步，并且由于模型表面皮肤层更加的顺滑，使得脸部的嘴部动作不会产生不协调的情况。

11、进一步的，所述从所述人体模型中导出模型数据，并对所述模型数据进行解析，以提取出人体数据信息，并基于所述人体数据信息以三角网格的形式绘制模型表面皮肤层的步骤包括：

12、分块导出所述人体模型中的模型数据，并采用3d软件对所述模型数据进行解析，以得到所述人体数据信息，所述人体数据信息包括三维坐标信息、索引信息、顶点法线信息、材质信息以及纹理贴图信息；

13、基于所述人体数据信息提取三角面片索引以及三维顶点坐标，并通过预设图形库以及根据所述取三角面片索引和所述三维顶点坐标以三角网格的形式绘制模型表面皮肤层。

14、进一步的，所述计算所述人体模型的全身顶点到若干所述特征点的最小测地距离，并将所述全身顶点以按预设数量的所述特征点的最小测地距离进行聚类，以将所述人体模型划分为若干分支区域的步骤包括：

15、提取所述模型表面皮肤层的末端特征点，并读取所述模型表面皮肤层的模型三维坐标数据以及索引数据，以得到所述模型表面皮肤层在三维坐标系中的结构图；

16、基于所述结构图获取所述模型表面皮肤层的头部点位置以及四肢末端点位置，并基于所述头部点位置以及所述四肢末端点位置得到所述模型表面皮肤层的特征点三维坐标信息；

17、以所述头部点位置以及所述四肢末端点位置为基准计算所述模型表面皮肤层的所述全身顶点至每一个所述特征点的最小测地距离；

18、将所述头部点位置以及所述四肢末端点位置按照五个所述特征点的最小测地距离进行聚类，以得到不同类别的顶点，并对所述不同类别的顶点进行标记，以将所述人体模型划分为五个分支区域。

19、进一步的，所述对所述人体模型进行拓扑层次划分，以将所述人体模型划分为若干细化分支区域，基于若干所述细化分支提取出骨架点的步骤包括：

20、采用分类函数对所述人体模型进行拓扑层划分，并计算所述分类函数的值域；

21、将所述值域划分为若干段，以将所述模型表面皮肤层划分为若干个等间隔的水平集，并得到若干细化分支区域；

22、基于若干等间隔的所述水平集提取骨架点。

23、进一步的，所述计算所述分类函数的值域的表达式为：

24、；

25、式中，表示所述分类函数的值域，表示所述模型表面皮肤层的顶点与相应末端特征点的测地距离，表示所述模型表面皮肤层的顶点与相应末端特征点的测地距离，表示测地距离的最大值，表示测地距离的最小值，表示所述模型表面皮肤层的顶点数，、分别表示所述模型表面皮肤层的任意两点。

26、进一步的，所述基于所述骨架模型以及所述骨架点构建若干个骨骼段，并基于所述模型表面皮肤层的顶点到若干所述骨骼段的最小距离绑定所述模型表面皮肤层与所述骨骼段的步骤包括：

27、初始化所述骨架模型以及所述骨架点，基于所述骨架模型以及所述骨架点构建若干骨骼段，并将所述骨架模型存储为若干骨骼向量；

28、计算所述模型表面皮肤层的顶点到若干所述骨骼段的最小距离，以得到所述模型表面皮肤层的顶点与所述骨架模型的绑定信息，并基于所述绑定信息生成全身虚拟人模型。

29、进一步的，所述计算所述模型表面皮肤层的顶点到若干所述骨骼段的最小距离的步骤之后，所述方法还包括：

30、基于对角矩阵公式以及所述最小距离计算影响所述模型表面皮肤层变形的骨骼段数，所述计算影响皮肤变形的骨骼段数的表达式为：

31、；

32、式中，表示对角矩阵的值，表示影响所述模型表面皮肤层变形的骨骼段数，表示常数，表示所述最小距离，表示所述模型表面皮肤层的顶点在所述骨架模型上的投影位置；

33、基于所述模型表面皮肤层的顶点的投影位置判定所述模型表面皮肤层与所述骨骼段的绑定关系。

34、进一步的，所述并对所述语音信号进行处理得到二维语音输入特征的步骤包括：

35、采用重叠取帧的方式对所述语音信号进行分帧；

36、对分帧后的所述语音信号进行lpc分析，以得到对应的预测系数，并对所述语音信号提取预设阶数的lpc系数，以得到所述二维语音输入特征。

37、进一步的，所述并更新初始化后的所述表情基列表中的表情基的权重，并将更新权重后的所述表情基映射至所述全身虚拟人模型的脸部的步骤包括：

38、建立初始化后的所述二维语音输入特征以及初始化后的所述表情基列表的对应关系，并保存所述二维语音输入特征相关的所述表情基列表中的表情基名称；

39、根据所述表情基名的称查询对应的输出方式，并将所述输出方式映射至所述全身虚拟人模型的脸部；

40、逐帧更新所述表情基列表中所有所述表情基的参数，并通过循环遍历的方式更新所述表情基的权重，并将更新权重后的所述表情基映射至所述全身虚拟人模型的脸部。

41、第二方面，本发明提供一种基于ai数字人的交互回复生成系统，所述系统包括：

42、获取导出模块，用于从人体模型库中获取人体模型，从所述人体模型中导出模型数据，并对所述模型数据进行解析，以提取出人体数据信息，并基于所述人体数据信息以三角网格的形式绘制模型表面皮肤层；

43、提取聚类模块，用于提取所述模型表面皮肤层的若干特征点，计算所述人体模型的全身顶点到若干所述特征点的最小测地距离，并将所述全身顶点以按预设数量的所述特征点的最小测地距离进行聚类，以将所述人体模型划分为若干分支区域，并得到初步骨架模型；

44、划分提取模块，用于对所述人体模型进行拓扑层次划分，以将所述人体模型划分为若干细化分支区域，基于若干所述细化分支提取出骨架点；

45、构建绑定模块，用于基于所述骨架模型以及所述骨架点构建若干个骨骼段，并基于所述模型表面皮肤层的顶点到若干所述骨骼段的最小距离绑定所述模型表面皮肤层与所述骨骼段，以得到全身虚拟人模型；

46、获取处理模块，用于获取输入的语音信号，并对所述语音信号进行处理得到二维语音输入特征；

47、获取映射模块，用于获取人脸表情数据集，从所述人脸表情数据集中选取若干表情基，并将若干所述表情基与所述人脸表情数据集中的表情进行映射，以得到表情基列表；

48、初始化模块，用于初始化所述二维语音输入特征以及所述表情基列表，基于初始化后的所述二维语音输入特征进行音频输出，并更新初始化后的所述表情基列表中的表情基的权重，并将更新权重后的所述表情基映射至所述全身虚拟人模型的脸部。