基于对比学习的风格化三维人体运动生成方法

本发明属于三维人体运动生成，尤其涉及基于对比学习的风格化三维人体运动生成方法。

背景技术：

1、风格是人体运动非常重要的一个组成部分，它反映了人的个性、情感、意图等各个方面。因此，风格的表现力对于动画角色和虚拟形象至关重要。然而，获得风格化的动作是一项非常具有挑战性的任务，风格在某种程度上是微观和主观的，通常需要专业演员或动画师来捕捉和编辑动作，而即使有了他们的参与这个过程也很漫长，因为同一种风格可以有多种表达方式，这就使得生成高质量的风格化运动序列成本高昂且耗时。

2、研究发现，可以从一段实例运动中提取风格特征，并且将它应用到另一段运动中，这样可以创建风格化的人体运动，但仍然存在一些限制。现有的三维人体运动生成技术具体存在如下问题：

3、(1)现有的三维人体运动生成技术只捕捉了时间维度上的平均全局风格特征，而忽略了局部风格特征。因此，在表现从动态运动中提取的风格时效果就会差一些，如跳跃等动作。

4、(2)目前的方法虽能够生成流畅的风格化三维人体运动序列，但是其用一维卷积来构建的风格注入分支并没有考虑到关节之间的空间关系，因此在不同的动作类型之间的风格迁移效果不是很好，如从“骄傲地—出拳”到“年老的—跳跃”，结果是“骄傲地—跳跃”，虽然可视化效果能够表现出骄傲的风格特点，但是由于是在跳跃的动作下，骨架中表现的风格特点被减弱。

5、(3)现有的方法没有对风格的潜在空间进行约束，导致虽然能够从中获取到想要的风格特征，但是由于风格特征在潜在空间中的分布是杂乱的，因此生成的风格化运动序列的质量就参差不齐。

6、为了解决上述问题，本发明提出了基于对比学习的风格化三维人体运动生成方法，对风格注入的方法进行进一步改进。本发明提出了用来提取风格特征的sa模块和ta模块，提取动作内容特征并剔除原有风格特征的sain模块和tain模块，注入风格特征并生成风格化三维人体运动序列的sada模块和tada模块，根据模型的功能而细化网络的机构，在保留原始动作的本质和准确性的情况下通过风格特征改变其固有的运动模式和路径。

技术实现思路

1、本发明的目的在于提供基于对比学习的风格化三维人体运动生成方法，以解决上述背景技术中提出的现有技术中在时间维度上只捕捉平均全局风格特征未考虑局部风格特征影响所提取的风格效果，及并未考虑到运动关节之间的空间关系导致降低不同的动作类型之间的风格迁移效果等问题。

2、为实现上述目的，本发明采用以下技术方案实现：

3、基于对比学习的风格化三维人体运动生成方法，包括以下步骤：

4、s1、通过风格提取器对真实的人体运动序列从局部和全局两个维度提取运动风格特征；

5、s2、通过内容提取器对生成的人体运动序列从局部和全局两个维度提取运动内容特征，且提取过程中同时剥离生成的人体运动序列中原有的运动风格；

6、s3、通过风格注入器将所提取的运动风格特征注入到所提取的运动内容特征中，得到风格化的三维人体运动序列。

7、优选地，所述s1中风格提取器采用sa模块和ta模块对真实的人体运动序列s1：t＝{s1，s2，...，st}进行编码提取局部信息和全局信息，风格提取器的提取采用如下公式表示：

8、sf＝ta(sa(s1：t；wsa))，wta)              (1)

9、其中，sf表示风格提取器提取的运动风格特征，wsa和wta是sa模块和ta模块的相关参数。

10、优选地，所述s2中内容提取器采用sain模块和tain模块从生成的人体运动序列提取运动内容特征，内容提取器的提取采用如下公式表示：

11、

12、其中，cf表示内容提取器提取的运动内容特征，wsain和wtain是sain模块和tain模块的相关参数。

13、优选地，所述s3中风格注入器采用tada模块和sada模块将提取的运动风格特征sf注入到运动内容特征cf中，输出序列该过程采用如下公式表示：

14、

15、其中，wsada和wtada是sada模块和tada模块的相关参数。

16、应用于上述方法中的基于对比学习的风格化三维人体运动生成模型，包括风格提取器、内容提取器和风格注入器；

17、所述风格提取器包括sa模块和ta模块；所述sa模块包括空间注意力模块和多层感知机；所述ta模块包括时间注意力模块和多层感知机；所述多层感知机由线性层和gelu激活函数组成；

18、所述内容提取器包括sain模块和tain模块；所述sain模块在sa模块的基础上添加实例标准化层进行构建，所述tain模块在ta模块的基础上添加实例标准化层进行构建；通过实例标准化层去除人体运动序列中原有的运动风格；

19、所述风格注入器包括sada模块和tada模块；所述sada模块在sa模块的基础上添加自适应实例标准化模块进行构建，所述tada模块在ta模块的基础上添加自适应实例标准化模块进行构建；自适应实例标准化模块包括实例标准化层和线性层。

20、优选地，所述空间注意力模块在时间为第t帧时，逐个对人体骨架中的每个关节点it，用一个可训练的线性层来计算出特征对应的查询向量键向量和值向量对于每一个关节点对(it，jt)的查询向量和键向量做点积操作来获取表示这两个关键点之间连接强度的权重根据对所有关节点对应的值向量计算加权和，从而获取关节点it对应的新的嵌入向量所述空间注意力模块的工作表达式为：

21、

22、所述时间注意力模块的工作表达式为：

23、

24、其中，i和j分别表示单独的时间步，即第i帧和第j帧，αij表示计算得到的注意力权重，zi表示对于时间步i，所有的姿态帧的特征经过注意力权重加权后的总体表示。

25、优选地，所述风格提取器的工作过程如下：

26、将经过位置嵌入的特征向量e输入到sa模块中，sa模块计算空间自注意力，获取关节之间的局部相关性，然后连接到残差连接，输出spsa_out，将spsa_out输入到多层感知机中，最后经过一层残差连接，输出是sa_out；

27、

28、将经过位置嵌入的特征向量e2输入到ta模块中，ta模块计算时间注意力，捕捉到不同时间步之间的依赖关系，然后经过多层感知机，特征向量表示为e2，接着经过一个残差连接，输出tpta_out，将tpta_out传递到一个结构相同的多层感知机中，输出为ta_out；

29、

30、风格提取器包括l个sa模块和ta模块，根据输入的真实的人体运动序列s1：t提取到的风格特征sf，整个风格提取的过程用如下公式表示：

31、

32、其中，表示线性层参数，表示位置嵌入；和分别代表sa模块中空间注意力模块和多层感知机的参数；和分别表示ta模块中时间注意力模块和多层感知机的参数；mlp为多层感知机。

33、优选地，将对比学习的思想应用到风格提取器训练过程中，实现在特征空间上拉进同类型特征的距离，并将不同类型的序列的样本分散开；

34、风格提取器的风格对比损失的原理用如下公式(13)表示：

35、

36、其中，对于一个批次内的风格特征si，same(i)表示s中和si有相同风格的所有样本的风格特征索引集，序列s＝{si|i∈β}，β＝{1，2，...，bs}是风格特征的索引集，其中bs是批量大小；a(i)表示β中除i之外的元素集合，τ表示温度参数。

37、优选地，所述内容提取器的工作过程如下：

38、给每个关节都加上位置嵌入用于标记关节点之间的空间关系，输出为e′；sain模块的输出是sain_out，处理流程如下面的公式(15)-(18)所示；

39、

40、tain模块的输出tain_out，处理流程如下面的公式(19)-(23)所示；

41、

42、内容提取器由l个sain模块和l个tain模块堆叠而成，从生成的人体动作序列中提取动作内容特征cf，并去除掉中原有的风格特征，内容提取器的工作流程用公式(24)表示：

43、

44、其中，表示线性层参数，表示位置嵌入；和分别是sain模块中空间注意力模块和多层感知机的参数，和是实例标准化层的参数。

45、优选地，将对比学习的思想应用到内容提取器的训练过程中，实现在特征空间上拉进同类型特征的距离，并将不同类型的序列的样本分散开；

46、内容提取器的内容对比损失的原理用如下公式(25)表示：

47、

48、其中，对于一个批次内的动作内容特征ci，p(i)表示c中和ci具有相同动作类别标签的所有动作内容特征的索引集，运动内容特征集c＝{ci|i∈{1，...，bs}}，bs是批量大小；b(i)表示c中除ci之外的所有动作内容特征的索引集，τ表示温度参数。

49、优选地，所述风格注入器的工作过程如下：

50、在自适应实例标准化模块中，首先用实例标准化层将cf按照通道维度进行标准化，然后用线性层将sf的通道维度映射到和cf对齐，输出为h，再将h切分成γ和β，最后将标准化后的动作特征乘γ加β，根据每个样本实例的均值和方差对特征进行批标准化，实现运动风格的注入，输出为ada_out；该过程用如下公式表示：

51、h＝ln(sf，wln)                             (26)

52、[γ，β]＝chunk(h，chunks＝2)                 (27)

53、ada_out＝γ·(in(cf，win))+β                      (28)

54、其中，wln和win是线性层和实例标准化层的参数；

55、将ada_out传递到到时间注意力模块和多层感知机中，实现不同时间步下动作内容特征的加权融合，tada模块的工作原理用公式表示如下：

56、

57、

58、其中，表示tada模块中时间注意力模块的参数，和表示tada模块中自适应实例标准化模块的参数，表示tada模块中多层感知机的参数；

59、将tada_out和和运动风格特征sf输入到sada模块中，通过自适应实例标准化模块实现运动风格的注入，用空间注意力模块提取运动序列局部特征，再用多层感知机进行特征提取，sada模块的工作原理的公式表示如下：

60、

61、其中，表示sada模块中空间注意力模块的参数，和表示sada模块中自适应实例标准化模块的参数，表示sada模块中多层感知机的参数；

62、将sada模块的输出sada_out经过一个线性层，将注入风格后的高维运动特征还原成三维位置坐标表示的人体运动序列该过程用公式(37)表示如下：

63、

64、其中，表示线性层的参数。

65、与现有技术相比，本发明的有益效果是：

66、(1)、本发明在空间注意力模块和时间注意力模块的基础上提出了sa模块和ta模块，以此来提取运动序列中的局部风格特征和全局风格特征，还提出了它们的变体sain模块、sada模块、tain模块和tada模块，将sain模块和tain模块应用于动作内容特征提取的过程中，在剥离风格特征的同时从局部和全局两个维度提取动作内容特征，最终将提取到的风格特征通过由sada模块和tada模块构成的风格注入器和提取到的动作内容特征相融合，实现运动风格的注入。

67、(2)、本发明中将对比学习的思想应用到了模型的训练中，提出了风格对比损失和内容对比损失，使得同类的风格特征和内容特征在特征空间里分布地更加紧密，不同类型的风格特征和内容特征在特征空间中距离地更远，减少特征之间的黏连，从而提高风格提取器和内容提取器对风格特征和内容特征的提取能力，能够更加准确地表达特定的动作和风格，提高风格表现力，生成更加逼真和多样化的人体运动序列。并且通过在xia数据集中的大量实验证明，本发明的方法相较于现有的方法在效果上具有明显的优势。