基于扩散模型的人类骨架样本特征多样化的分类方法、装置及设备

本发明属于虚拟骨架样本生成，具体涉及一种基于扩散模型的人类骨架样本特征多样化的分类方法、装置及设备。

背景技术：

1、行为识别是计算机视觉领域的一个重要任务，旨在通过分析图像或视频数据来推断出人类或动物的行为。其中，骨架行为识别是行为识别中的一个重要方向，它通过分析和理解人体关节点的运动模式和姿势来推断出人的行为。

2、虚拟特征样本生成技术是一种利用计算机算法和技术生成新的样本数据的方法。它在机器学习和数据科学领域中被广泛应用。虚拟特征样本生成技术旨在通过生成新的样本数据，提高机器学习模型的性能、泛化能力和数据的多样性。它在数据科学、机器学习和人工智能领域具有重要的应用价值。常见的虚拟特征样本生成技术有生成对抗网络(gan)，变分自编码器(vae)等。虚拟特征样本生成技术可以辅助行为识别任务，特别是在数据有限或不平衡的情况下。通过生成虚拟特征样本，可以扩充训练数据集，改善模型的泛化能力和鲁棒性。

3、近年来随着扩散模型理论的发展，扩散模型被用作一种数据生成方法来生成虚拟特征样本。通过对扩散模型的参数进行调节，可以模拟物质或信息在空间中的传播和扩散过程，从而生成具有类似特征的新样本数据。这种方法在某些领域的数据生成任务中已经得到了一定的应用。

4、yifan jiang等人在其发表的论文(spatial-temporal transformer-guideddiffusion based data augmentation for efficient skeleton-based actionrecognition)中使用扩散模型生成虚拟特征样本来辅助特征提取模型训练。该方案采用基于transformer结构的扩散模型，生成完整的虚拟骨架数据样本。

5、专利文献(cn117422783a)公开了图像样本生成模型的训练方法、图像样本生成方法及装置，该方案使用多种文本约束方式指导扩散模型生成伪造图像，包括获取至少一张银行卡图像作为原始图像；基于伪造任务，确定所述原始图像中的伪造区域和伪造内容；基于所述伪造区域，确定位置约束条件文本；确定内容约束条件文本，以描述所述伪造内容；确定内容指导文本，以描述所述伪造任务；将所述原始图像输入预训练的扩散模型中进行图像样本生成，并在反向扩散过程中，通过所述位置约束条件文本、所述内容约束条件文本和所述内容指导文本对所述扩散模型进行微调。

6、专利文献(cn117173607a)公开了多层级融合多目标跟踪方法、系统及计算机可读存储介质，该方案包括子方法一、联合零次分割网络提取目标重识别特征，子方法二、目标关系图神经网络处理，子方法三、多层级长程轨迹融合；子方法一，其包括：基于transformer的分割模型sam对人体目标进行分割预处理；分割预处理后的目标图片框输入到预训练重识别网络，提取人体目标的重识别特征；子方法二，其包括：给定一个连续的视频片段与对应的检测框集合，使用gnn构建目标关系图模型；子方法三，其包括：按照不同层级的顺序训练多个子方法二中所述的目标关系图模型，并利用该目标关系图模型链接不同大小的视频片段。该方法具有提高多目标跟踪的特征识别准确性的效果。

7、专利文献(cn117372524a)公开了基于条件生成网络的高仿真地空影像匹配方法及系统，该方案使用全局对准算法对输入图片进行数据预处理；预处理后的图像导入第一个条件生成网络生成跨视图图像，采用的生成器网络命名为g1；将生成器g1输出的合成图像输入第二个条件生成网络，并在同一视图中合成分割图，采用的生成器网络记为g2，根据其功能命名为分割器；将g1与g2同时进行网络训练；针对g1与g2分别构建鉴别器网络d1、d2；在跨视角数据集平台上训练g1、g2、d1以及d2网络；基于跨视角数据集平台，根据具体应用场景和领域构建对应子数据集，对网络参数进行微调；对输入摄街景图片，利用前述步骤中训练完成的网络进行检索，实现对输入图片的地理定位。

8、以上现有技术的扩散模型生成样本方法仅在逆扩散过程中加入文本信息引导，然而仅仅使用一次文本语言引导仍然不足以约束生成过程，使得生成样本的语义与真实样本的语义偏差较大。而使用gan或者vae等生成模型生成虚拟特征样本从而扩充数据集的方案，由于直接生成完整的原始训练样本使得生成时间和训练成本成倍提高。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种基于扩散模型的人类骨架样本特征多样化的分类方法、装置及设备。本发明要解决的技术问题通过以下技术方案实现：

2、第一方面，本发明提供了一种基于扩散模型的人类骨架样本特征多样化的分类方法包括：

3、s100，从图像设备采集人体的关节点坐标数据；

4、s200，将所述关节点坐标数据输入至训练好的特征提取网络中，以利用所述特征提取网络提取关节点特征，并将所述关节点特征输入至训练好的分类网络中进行分类，得到人体行为状态；

5、其中，所述训练好的特征提取网络和所述训练好的分类网络，均利用扩散模型辅助训练得到，在训练过程中所述扩散模型通过在每个输入样本中随机引入噪声得到对应的多个噪声特征样本，并对所述多个噪声特征样本逆向去噪得到虚拟特征样本，根据虚拟特征样本的损失调整所述特征提取网络和所述分类网络的各层参数。

6、第二方面，本发明提供了一种基于扩散模型的人类骨架样本特征多样化的分类装置包括：

7、采集模块，被配置为从图像设备采集人体的关节点坐标数据；

8、分类模块，被配置为将所述关节点坐标数据输入至训练好的特征提取网络中，以利用所述特征提取网络提取关节点特征，并将所述关节点特征输入至训练好的分类网络中进行分类，得到人体行为状态；

9、其中，所述训练好的特征提取网络和所述训练好的分类网络，均利用扩散模型辅助训练得到，在训练过程中所述扩散模型通过在每个输入样本中随机引入噪声得到对应的多个噪声特征样本，并对所述多个噪声特征样本逆向去噪得到虚拟特征样本，根据虚拟特征样本的损失调整所述特征提取网络和所述分类网络的各层参数。

10、第二方面，本发明提供了一种设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

11、存储器，用于存放计算机程序；

12、处理器，用于执行存储器上所存放的程序时，实现第一方面所述的方法步骤。

13、有益效果：

14、本发明提供了一种基于扩散模型的人类骨架样本特征多样化的分类方法、装置及设备，从图像设备采集人体的关节点坐标数据；并输入至训练好的特征提取网络中，以利用所述特征提取网络提取关节点特征，并将关节点特征输入至训练好的分类网络中进行分类，得到人体行为状态；由于训练好的特征提取网络和分类网络均利用扩散模型辅助训练得到，而在训练过程中扩散模型通过在每个输入样本中随机引入噪声得到对应的多个噪声特征样本，多样化了特征样本种类并且增加了样本数量，之后对多个噪声特征样本逆向去噪得到虚拟特征样本，根据虚拟特征样本的损失调整所述特征提取网络和所述分类网络的各层参数。因此本发明可以提高对关节点数据分类得到人体行为状态的准确率。

15、以下将结合附图及实施例对本发明做进一步详细说明。