基于稀疏化热图的骨架行为识别方法、装置及电子设备与流程

本发明涉及图像识别，具体涉及一种基于稀疏化热图的骨架行为识别方法、装置及电子设备。

背景技术：

1、人体行为识别作为视频理解识别的一项基本任务，在视频监控、人机交互和视频检索等多个领域具有广泛的应用。其中基于骨架的人体识别是最主要的识别方法之一，相比于rgb视频序列，骨架序列更加紧凑，计算速度更快，存储空间需求更小，且由于骨架数据不具备色彩信息，剔除了复杂背景和环境因素的影响。

2、现有骨架行为识别方法中，poseconv3d作为一种非常好的骨架行为识别方法，在使用高斯热图表示人体骨架时，可以将骨架点数据转换为欧氏空间下的伪热图，以增加骨架点在空间位置的容错范围，获得高鲁棒性的识别效果。然而，骨架热图在获取高识别性能的同时也面临着较高计算开销和难以感知关键部位特征的问题，通常poseconv3d会对每个骨架点生成对应的高斯热图，这些热图并未保持人体骨架的稀疏性，产生了大量冗余特征，导致模型计算过程产生额外的计算开销，降低模型效率。此外，poseconv3d中的3d卷积通常会一致性地作用于整个热图，并未考虑到不同骨架点或肢体的特征差异，模型难以关注到具有更多行为语义的高敏感性特征，缺乏感知关键信息的能力，以至于识别准确率降低。因此现有的骨架行为识别方法中，模型缺乏感知关键信息能力，会导致模型识别的准确率降低，以及高斯热图未保持人体骨架的稀疏性，存在冗余特征，导致模型效率降低。

技术实现思路

1、有鉴于此，有必要提供一种基于稀疏化热图的骨架行为识别方法、装置、电子设备及计算机可读存储介质，用于解决现有技术中模型缺乏感知关键信息能力，影响模型识别的准确率，以及高斯热图未保持人体骨架的稀疏性，存在冗余特征导致模型效率降低的技术问题。为了解决上述问题，一方面，本发明提供了一种基于稀疏化热图的骨架行为识别方法，包括：

2、获取待识别骨架热图；

3、对待识别骨架热图预处理和稀疏化处理得到输入热图特征，对输入热图特征进行稀疏卷积得到卷积特征，基于注意力生成确定卷积特征的激活掩码，基于激活掩码对卷积特征进行稀疏算子特征筛选得到筛选热图特征，对筛选热图特征稠密化后预测分类得到骨架热图行为识别结果。在一种可能的实现方式中，对待识别骨架热图预处理和稀疏化处理得到输入热图特征，包括：

4、基于高斯概率图法将待识别骨架热图进行数据转换得到伪图像；基于低维张量将伪图像降维映射得到输入热图特征。在一种可能的实现方式中，对输入热图特征进行稀疏卷积得到卷积特征，包括：

5、基于常规稀疏卷积对输入热图特征进行稀疏卷积得到卷积特征。在一种可能的实现方式中，基于注意力生成确定卷积特征的激活掩码，包括：

6、基于特征引导注意力生成确定卷积特征的注意力特征，根据卷积特征的注意力特征确定卷积特征的激活掩码。

7、在一种可能的实现方式中，基于激活掩码对卷积特征进行稀疏算子特征筛选得到筛选热图特征，包括：

8、基于激活掩码常规稀疏卷积和激活掩码子流型稀疏卷积对卷积特征进行稀疏算子特征筛选得到筛选热图特征。

9、在一种可能的实现方式中，激活掩码常规稀疏卷积，包括：对激活掩码常规稀疏卷积输入特征进行注意力特征融合得到常规稀疏融合注意力特征；

10、根据所述激活掩码将所述第一融合注意力特征划分为激活区域和非激活区域；

11、对所述常规稀疏融合注意力特征的激活区域进行常规稀疏卷积得到第一稀疏特征，对所述第一融合注意力特征的非激活区域特征进行最大化处理得到第二稀疏特征，将所述第一稀疏特征和所述第二稀疏特征并集得到激活掩码常规稀疏卷积输出特征。

12、在一种可能的实现方式中，激活掩码子流型稀疏卷积，包括对激活掩码子流型稀疏卷积输入特征进行注意力特征融合得到子流型稀疏融合注意力特征；

13、根据所述激活掩码将所述子流型稀疏融合注意力特征划分为激活区域和非激活区域；

14、对所述子流型稀疏融合注意力特征的激活区域进行子流型稀疏卷积后和所述子流型稀疏融合注意力特征的非激活区域拼接得到激活掩码子流型稀疏卷积输出特征。

15、在一种可能的实现方式中，对筛选热图特征稠密化后预测分类得到骨架热图行为识别结果，包括：

16、对筛选热图特征依次通过稠密化处理、全局平均池化和全连接层后进行骨架行为预测，得到骨架热图行为识别结果。

17、另一方面，本发明还提供了一种基于稀疏化热图的骨架行为识别装置，包括：

18、骨架热图获取单元，用于获取待识别骨架热图；行为识别单元，用于对待识别骨架热图预处理和稀疏化处理得到输入热图特征，对输入热图特征进行稀疏卷积得到卷积特征，基于注意力生成确定卷积特征的激活掩码，基于激活掩码对卷积特征进行稀疏算子特征筛选得到筛选热图特征，对筛选热图特征稠密化后预测分类得到骨架热图行为识别结果。

19、另一方面，本发明还提供了一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现根据上述的基于稀疏化热图的骨架行为识别方法。本发明的有益效果是：在本发明提供的基于稀疏化热图的骨架行为识别方法中，通过生成卷积特征的激活掩码以感知关键特征信息，提高模型的准确率，通过稀疏算子特征筛选以提高人体骨架特征的稀疏性，减少冗余特征，提高模型计算效率。

技术特征：

1.一种基于稀疏化热图的骨架行为识别方法，其特征在于，包括：

2.根据权利要求1所述的基于稀疏化热图的骨架行为识别方法，其特征在于，所述对所述待识别骨架热图预处理和稀疏化处理得到输入热图特征，包括：

3.根据权利要求1所述的基于稀疏化热图的骨架行为识别方法，其特征在于，所述对所述输入热图特征进行稀疏卷积得到卷积特征，包括：

4.根据权利要求1所述的基于稀疏化热图的骨架行为识别方法，其特征在于，所述基于注意力生成确定所述卷积特征的激活掩码，包括：

5.根据权利要求1所述的基于稀疏化热图的骨架行为识别方法，其特征在于，所述基于所述激活掩码对所述卷积特征进行稀疏算子特征筛选得到筛选热图特征，包括：

6.根据权利要求5所述的基于稀疏化热图的骨架行为识别方法，其特征在于，所述激活掩码常规稀疏卷积，包括：

7.根据权利要求5所述的基于稀疏化热图的骨架行为识别方法，其特征在于，所述激活掩码子流型稀疏卷积，包括

8.根据权利要求1所述的基于稀疏化热图的骨架行为识别方法，其特征在于，所述对所述筛选热图特征稠密化后预测分类得到骨架热图行为识别结果，包括：

9.一种基于稀疏化热图的骨架行为识别装置，其特征在于，包括：

10.一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行程序时，实现根据权利要求1至7任一项所述的基于稀疏化热图的骨架行为识别方法。

技术总结本发明提供了一种基于稀疏化热图的骨架行为识别方法、装置及电子设备，涉及图像识别技术领域，其方法包括：获取待识别骨架热图；对待识别骨架热图预处理和稀疏化处理得到输入热图特征，对输入热图特征进行稀疏卷积得到卷积特征，基于注意力生成确定卷积特征的激活掩码，基于激活掩码对卷积特征进行稀疏算子特征筛选得到筛选热图特征，对筛选热图特征稠密化后预测分类得到骨架热图行为识别结果。综上，本发明通过生成卷积特征的激活掩码以感知关键特征信息，提高模型的准确率，通过稀疏算子增强以提高人体骨架特征的稀疏性，减少冗余特征，提高模型计算效率。技术研发人员：韩守东,龚雨舟,李翰林,李洪全,汪泓,刘剑,张国珍,姜良刚受保护的技术使用者：山东电工电气集团有限公司技术研发日：技术公布日：2024/7/29