目标识别方法、目标识别装置以及计算机存储介质与流程

本申请涉及计算机视觉，特别是涉及一种目标识别方法、目标识别装置以及计算机存储介质。

背景技术：

1、现有技术中，仅使用关键点或者部位特征进行目标识别，通过解析部位提取更精细的特征，但对于序列的整体动态特征会有一定的缺失，过于关注局部或者过少关注局部都会更容易受到难例样本的影响，模型的鲁棒性较差。

技术实现思路

1、为解决上述技术问题，本申请提出了一种目标识别方法、目标识别装置以及计算机存储介质。

2、为解决上述技术问题，本申请提出了一种目标识别方法，所述目标识别方法包括：基于待识别目标数据，获取部位轮廓图序列和关键点图序列；将所述部位轮廓图序列输入双流目标检测模型的部位局部权重预测网络，提取部位局部权重；将所述关键点图序列输入所述双流目标检测模型的关键点图局部权重预测网络，提取关键点局部权重；利用所述部位局部权重对所述部位轮廓图序列进行处理后，通过所述双流目标检测模型的第一特征提取网络，提取部位特征；利用所述关键点局部权重对所述关键点图序列进行处理后，通过所述双流目标检测模型的第二特征提取网络，提取关键点特征；通过所述双流目标检测模型的分类网络，对所述部位特征和所述关键点特征融合的分类特征进行识别，获取所述待识别目标数据的目标识别结果。

3、其中，所述关键点图序列为关键点热图序列；所述目标识别方法，还包括：基于所述待识别目标数据，获取每一张目标图的关键点集合；基于所述关键点集合中的每一关键点及其邻近像素点，生成关键热点；按照所述每一张目标图的关键热点，生成关键点热图。

4、其中，所述将所述部位轮廓图序列输入双流目标检测模型的部位局部权重预测网络，提取部位局部权重，包括：通过所述部位局部权重预测网络将所述部位轮廓图序列进行加权平均，得到预测部位轮廓图；通过所述部位局部权重预测网络将所述预测部位轮廓图进行特征提取以及局部权重动态生成，得到所述预测部位轮廓图中每一部位区域的动态权重，组成所述部位局部权重。

5、其中，所述第一特征提取网络包括短时时空注意力网络，所述部位特征为所述短时时空注意力网络输出的短时部位特征；所述第二特征提取网络包括长时时空注意力网络，所述关键点特征为所述长时时空注意力网络输出的长时关键点特征。

6、其中，所述目标识别方法，还包括：将所述短时部位特征和所述长时关键点特征分别输入多尺度时空注意力融合网络，提取所述短时部位特征的部位时空特征，所述长时关键点特征的关键点时空特征，以及所述短时部位特征和长时关键点特征融合的融合时空特征；将所述部位时空特征、所述关键点时空特征以及所述融合时空特征合并得到的合并特征输入所述多尺度时空注意力融合网络的注意力模块，获取加权时空特征；将所述合并特征和所述加权时空特征融合，得到所述分类特征。

7、其中，所述目标识别方法，还包括；获取待训练的有标注目标数据和无标注目标数据；利用所述有标注目标数据训练目标识别模型，得到初始权重参数；按照初始权重参数，获取教师模型和学生模型；利用所述有标注目标数据训练所述教师模型，获取有监督损失；利用所述无标注目标数据训练所述教师模型和所述学生模型，获取无监督损失；利用所述有监督损失和所述无监督损失对所述教师模型进行训练，得到所述双流目标检测模型。

8、其中，所述利用所述有监督损失和所述无监督损失对所述教师模型进行训练，得到所述双流目标检测模型，包括；利用所述有监督损失和所述无监督损失对所述教师模型进行训练，得到第一模型参数；利用所述有监督损失和所述无监督损失对所述学生模型进行训练，得到第二模型参数；利用所述第一模型参数和所述第二模型参数，生成所述双流目标检测模型的模型参数。

9、其中，所述利用所述无标注目标数据训练所述教师模型和所述学生模型，获取无监督损失，包括：获取所述无标注目标数据的第一段目标序列和第二段目标序列；对所述第一段目标序列进行弱数据增强，生成第三段目标序列；对所述第二段目标序列进行强数据增强，生成第四段目标序列；将所述第三段目标序列输入所述教师模型，提取第一目标特征；将所述第四段目标序列输入所述学生模型，提取第二目标特征；基于所述第一目标特征和所述第二目标特征，获取所述无监督损失。

10、为解决上述技术问题，本申请提出一种目标识别装置，所述目标识别装置包括存储器以及与所述存储器耦接的处理器；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的目标识别方法。

11、为解决上述技术问题，本申请提出一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现上述的目标识别方法。

12、与现有技术相比，本申请的有益效果是：本申请提出一种目标识别方法、目标识别装置以及计算机存储介质，目标识别装置基于待识别目标数据，获取部位轮廓图序列和关键点图序列；将部位轮廓图序列输入双流目标检测模型的部位局部权重预测网络，提取部位局部权重；将关键点图序列输入双流目标检测模型的关键点图局部权重预测网络，提取关键点局部权重；利用部位局部权重对部位轮廓图序列进行处理后，通过双流目标检测模型的第一特征提取网络，提取部位特征；利用关键点局部权重对所述关键点图序列进行处理后，通过双流目标检测模型的第二特征提取网络，提取关键点特征；通过双流目标检测模型的分类网络，对部位特征和所述关键点特征融合的分类特征进行识别，获取待识别目标数据的目标识别结果。通过上述方式，通过局部权重的处理，可以自适应的捕捉目标输入中的显著局部区域，帮助提取更好的目标特征，进而提高目标识别的准确度，同时，在使用部位图之外，还是用了关键点热图，不仅使用局部权重关注各部位的精细特征，也提取整个序列的空间信息和时间信息，在更好的完成目标识别的任务的同时也增加了鲁棒性。

技术特征：

1.一种目标识别方法，其特征在于，所述目标识别方法包括：

2.根据权利要求1所述的目标识别方法，其特征在于，

3.根据权利要求1所述的目标识别方法，其特征在于，

4.根据权利要求1所述的目标识别方法，其特征在于，

5.根据权利要求4所述的目标识别方法，其特征在于，

6.根据权利要求1所述的目标识别方法，其特征在于，

7.根据权利要求6所述的目标识别方法，其特征在于，

8.根据权利要求6所述的目标识别方法，其特征在于，

9.一种目标识别装置，其特征在于，所述目标识别装置包括存储器以及与所述存储器耦接的处理器；

10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如权利要求1至8任一项所述的目标识别方法。

技术总结本申请提出一种目标识别方法、目标识别装置以及计算机存储介质，包括：基于待识别目标数据，获取部位轮廓图序列和关键点图序列；将部位轮廓图序列输入双流目标检测模型的部位局部权重预测网络，提取部位局部权重；将关键点图序列输入双流目标检测模型的关键点图局部权重预测网络，提取关键点局部权重；利用部位局部权重对部位轮廓图序列进行处理后，通过双流目标检测模型的第一特征提取网络，提取部位特征；利用关键点局部权重对所述关键点图序列进行处理后，通过双流目标检测模型的第二特征提取网络，提取关键点特征；通过双流目标检测模型的分类网络，对部位特征和所述关键点特征融合的分类特征进行识别，获取待识别目标数据的目标识别结果。技术研发人员：张攀锋,潘华东,殷俊,赵雷受保护的技术使用者：浙江大华技术股份有限公司技术研发日：技术公布日：2024/9/26