基于小波变换混合增强对比学习的微动作识别方法及装置

本技术涉机器学习，具体的说是基于小波变换混合增强对比学习的微动作识别方法及装置。

背景技术：

1、人类的肢体动作是表达情感的重要形式之一，在某种程度上与面部表情和语言文字同样重要。现有的大多数对于的情感识别技术研究方案主要集中在表达性和宏观层面的身体动作上，如挥手、鞠躬或点头等。这些肢体动作通常是有意且自觉地进行的，用于与他人交流，而并不反映个人的内在情感。相比之下，微动作是隐藏人类情感状态的细微且自发的身体动作，如挠头、摸鼻子或搓手。微动作与常规身体手势的主要区别在于，微动作没有明确的交流或互动目的，而是由外部刺激引发的自发的身体反应。这些反应难以控制，因此能比常规的肢体动作或面部表情更可靠地传达隐藏的情感信息，特别是人们在社交场景下有意隐瞒或调节情感时。微动作与常规手势有很大不同，因其低强度、高变异性和复杂背景而更难分析。因此，微动作识别是理解人类隐藏情感的新颖且重要的任务。

2、当前微动作识别面临样本量小、标注少、类别区分度低等问题。对比学习作为一种自监督学习，可以有效缓解上述问题。对比学习与骨架数据结合在人体动作识别领域已经得到了广泛应用。然而，针对微动作识别的无监督工作很少，尽管其数据模态与人体动作识别相同，并面临相似的标注困难和数据量少的困境。只有少数工作为基于骨架的微动作识别设计了对比学习框架，并在微动作数据集imigue和smg上进行了实验。尽管这些方法能够取得较好的结果，但它们并非专门为微动作设计，因此忽略了微动作与常规手势之间的差异。大多数方法没有考虑微动作的特殊数据特性，采用的对比框架仅学习全局特征和高层次上下文信息。具体来说，微动作在时间和空间尺度上都比常规手势范围更短。微动作通常仅发生在人体的局部区域，如单独的一只手，其持续时间更短，通常不到3秒。微动作数据集smg中一条样本的平均持续时间为1.8秒，而常规肢体动作则可能持续超过10秒，这启发我们引导模型从微动作的短期或高频特征中学习更多表示信息。

技术实现思路

1、在本实施例中提供了基于小波变换混合增强对比学习的微动作识别方法及装置，以解决上述问题。

2、第一方面，本发明实施例提供基于小波变换混合增强对比学习的微动作识别方法，所述微动作识别方法包括：

3、获取原始微动作样本视频，根据所述原始微动作样本视频生成骨架序列及原始骨架样本；

4、利用随机增强技术将所述原始骨架样本增强为两个不同的骨架序列，利用两个编码器对两个所述骨架序列嵌入编码，利用第一infonce损失函数进行全局对比学习；

5、将原始骨架样本视为一维时间信号，采用离散小波变换将所述骨架序列分解为高频分量和低频分量；将所述高频分量和所述低频分量通过小波重构生成新的困难样本，利用第二infonce损失函数进行局部对比学习；

6、将所述损失函数加权求和获取整体对比损失函数，进行自监督预训练，利用训练后的模型进行微动作识别。

7、在一个可选地实施例中，获取原始微动作样本视频，根据所述原始微动作样本视频生成骨架序列及原始骨架样本包括：

8、通过openpose工具对原始微动作样本视频逐帧进行骨架提取，得到包括面部及上半身的二维骨架序列；

9、将所述骨架序列在时间维度上将其统一下采样为90帧，得到维度为的微动作原始骨架样本；其中，为批数量，为通道数，为时间序列长度，为骨架节点数，为主体数。

10、在一个可选地实施例中，所述编码器包括第一编码器和第二编码器，其中，第二编码器用于对其中一所述骨架序列编码，得到键值特征，所述键值特征嵌入形成存储队列。

11、在一个可选地实施例中，利用随机增强技术将所述原始骨架样本增强为两个不同的骨架序列，利用两个编码器对两个所述骨架序列嵌入编码，利用第一infonce损失函数进行全局对比学习包括：

12、通过第一编码器和第二编码器对两个所述骨架序列编码，获取特征；

13、将获取的特征嵌入经过全局平均池化和一层全连接层，得到正样本对；通过所述存储队列中获取负样本对；

14、采用第一infonce损失函数进行全局对比学习。

15、在一个可选地实施例中，将原始骨架样本视为一维时间信号，采用离散小波变换将所述骨架序列分解为高频分量和低频分量；将所述高频分量和所述低频分量通过小波重构生成新的困难样本，利用第二infonce损失函数进行局部对比学习包括：

16、将通道数、骨架节点数以及主体数合并，将原始骨架样本视为一维时间信号；

17、对时间通道采用离散小波变换将骨架序列分解为高频分量和低频分量；

18、获取同一训练批的不同样本的高频分量和低频分量；

19、将不同样本的高频分量与低频分量通过小波重构生成新的困难样本；

20、采用多头自注意力机制对困难样本的特征嵌入添加掩码以构造对比学习样本对；

21、采用第二infonce损失函数进行局部对比学习。

22、在一个可选地实施例中，采用多头自注意力机制对困难样本的特征嵌入添加掩码以构造对比学习样本对包括：

23、对编码器的输出特征嵌入求其自注意力矩阵，通过计算获得掩码对；

24、将所述掩码对分解为显著特征和非显著特征；

25、输入所述编码器获取的特征并分别通过与所述掩码对作点积得到正样本对；

26、通过从历史存储队列中获取负样本，将负样本与正样本对作为对比学习样本。

27、在一个可选地实施例中，将所述损失函数加权求和获取整体对比损失函数，进行自监督预训练，利用训练后的模型进行微动作识别：

28、通过自监督预训练获取权重；

29、冻结部分参数，并进行有监督微调；

30、将微调后的模型在预收集数据集上进行验证和测试；

31、利用测试后的模型进行微动作识别任务。

32、与现有技术相比，本发明的基于小波变换混合增强对比学习的微动作识别方法的有益效果如下：

33、通过将微动作片段的骨架数据视为一维时间信号，采用离散小波变换将其分解，并在高频分量上添加随机的权重增益，之后以乱序将同一批中的高频与其他样本的低频分量组合，产生新的无标签样本对。将此增强策略应用到微动作骨架识别对比学习框架中，实现了困难样本对的扩充，可以让模型学习到更加丰富的特征。此外，结合全局对比学习与局部对比学习的策略，也能够使模型在学习全局宏观特征的同时兼顾局部微观特征，从而大幅提升了微动作识别的性能。

34、第二方面，本发明实施例提供基于小波变换混合增强对比学习的微动作识别装置，包括：

35、预处理模块，用于获取原始微动作样本视频，根据所述原始微动作样本视频生成骨架序列及原始骨架样本；

36、全局对比学习模块，用于利用随机增强技术将所述原始骨架样本增强为两个不同的骨架序列，利用两个编码器对两个所述骨架序列嵌入编码，利用第一infonce损失函数进行全局对比学习；

37、局部对比学习模块，用于将原始骨架样本视为一维时间信号，采用离散小波变换将所述骨架序列分解为高频分量和低频分量；将所述高频分量和所述低频分量通过小波重构生成新的困难样本，利用第二infonce损失函数进行局部对比学习；

38、训练识别模块，用于将所述损失函数加权求和获取整体对比损失函数，进行自监督预训练，利用训练后的模型进行微动作识别。

39、第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑指令，以执行如第一方面所提供的方法的步骤。

40、第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所提供的方法的步骤。

41、与现有技术相比，本发明的基于小波变换混合增强对比学习的微动作识别装置、电子设备及存储介质的有益效果与第一方面所述的基于小波变换混合增强对比学习的微动作识别方法相同，故此处不再赘述。