模型训练方法、行人重识别方法、装置及计算机存储介质与流程

本申请涉及计算机视觉，特别是涉及一种模型训练方法、行人重识别方法、行人重识别装置以及计算机存储介质。

背景技术：

1、行人重识别技术是计算机视觉领域一个重要且具有挑战性的任务，旨在判断不同图像或视频片段中的是否存在相同身份的人，在安防、交通和监控等领域有着广泛的应用。文本到图像行人重识别通过视觉语言大模型，能够学习到比图像语义信息更加丰富的细粒度特征，具有巨大的实用价值，受到了越来越多的关注。

2、然而，目前采用的单模态的预训练模型缺少多模态的交互信息，尽管使用了局部特征对人体进行细粒度划分，但是文本特征和图像特征存在的固有差异容易导致跨模态特征难以对齐的问题。

技术实现思路

1、为解决上述技术问题，本申请提出了一种模型训练方法、行人重识别方法、行人重识别装置以及计算机存储介质。

2、为解决上述技术问题，本申请提出了一种模型训练方法，所述模型训练方法包括：

3、获取预先训练的人体序号相关提示，以及待训练图像；

4、将所述人体序号相关提示输入文本特征提取网络，获取文本特征；

5、利用图像特征提取网络提取所述待训练图像的人体序号图像特征；

6、将所述人体序号相关提示输入属性掩码生成网络，获取人体属性掩码；

7、利用所述人体属性掩码和所述人体序号图像特征的局部特征，获取人体属性图像特征；

8、利用所述文本特征、所述人体序号图像特征和所述人体属性图像特征，对所述图像特征提取网络进行训练。

9、其中，所述利用所述人体属性掩码和所述人体序号图像特征的局部特征，获取人体属性图像特征，包括：

10、将所述人体序号图像特征输入自适应属性分类网络，提取人体各个部分的局部特征；

11、将所述人体各个部分的局部特征与对应的人体属性掩码进行相乘，得到所述人体属性图像特征。

12、其中，所述将所述人体序号相关提示输入属性掩码生成网络，获取人体属性掩码，包括：

13、将所述人体序号相关提示输入属性短语提取网络，获取人体属性相关提示；

14、将所述人体属性相关提示输入所述属性掩码生成网络，获取所述人体属性掩码。

15、其中，所述将所述人体序号相关提示输入文本特征提取网络，获取文本特征，包括：

16、将所述人体序号相关提示输入所述文本特征提取网络，获取人体序号文本特征；

17、将所述人体属性相关提示输入所述文本特征提取网络，获取人体属性文本特征。

18、其中，所述将所述人体属性相关提示输入所述文本特征提取网络，获取人体属性文本特征，包括：

19、随机生成新的人体属性相关提示；

20、利用随机生成的人体属性相关提示替换所述属性短语提取网络输出的人体属性相关提示，输入所述文本特征提取网络，获取所述人体属性文本特征。

21、其中，所述利用所述文本特征、所述人体序号图像特征和所述人体属性图像特征，对所述图像特征提取网络进行训练，包括：

22、基于所述人体序号文本特征和所述人体序号图像特征，获取全局交叉熵损失；

23、基于所述人体属性文本特征和所述人体属性图像特征，获取局部对比损失；

24、利用所述全局交叉熵损失和所述局部对比损失，对所述图像特征提取网络进行训练。

25、其中，所述获取预先训练的人体序号相关提示之前，所述模型训练方法还包括：

26、初始化待训练人体序号相关提示，其中，所述待训练人体序号相关提示包括待学习的短语向量；

27、将所述待训练人体序号相关提示输入文本特征提取分支，获取待训练文本特征；

28、将所述待训练人体序号相关提示和待训练图像输入图像特征提取分支，获取待训练图像特征；

29、利用所述待训练图像特征和所述待训练文本特征，获取全局对比损失和待训练局部对比损失；

30、利用所述全局对比损失和所述待训练局部对比损失对所述待训练人体序号相关提示进行训练。

31、为解决上述技术问题，本申请还提出一种行人重识别方法，所述行人重识别方法包括：

32、将待识别图像输入预先训练的图像特征提取网络，提取待识别图像特征；

33、利用所述待识别图像特征计算所述待识别图像与已识别图像的特征相似度；

34、将所述特征相似度最大的已识别图像作为所述待识别图像的行人重识别结果；

35、其中，所述图像特征提取网络通过上述的模型训练方法训练所得。

36、为解决上述技术问题，本申请还提出一种行人重识别装置，所述行人重识别装置包括存储器以及与所述存储器耦接的处理器；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的模型训练方法，和/或行人重识别方法。

37、为解决上述技术问题，本申请还提出一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现上述的模型训练方法，和/或行人重识别方法。

38、与现有技术相比，本申请的有益效果是：行人重识别装置获取预先训练的人体序号相关提示，以及待训练图像；将所述人体序号相关提示输入文本特征提取网络，获取文本特征；利用图像特征提取网络提取所述待训练图像的人体序号图像特征；将所述人体序号相关提示输入属性掩码生成网络，获取人体属性掩码；利用所述人体属性掩码和所述人体序号图像特征的局部特征，获取人体属性图像特征；利用所述文本特征、所述人体序号图像特征和所述人体属性图像特征，对所述图像特征提取网络进行训练。通过上述模型训练方法，实现人体属性描述的细粒度属性特征提取，训练多模态模型增强模型的鲁棒性。

技术特征：

1.一种模型训练方法，其特征在于，所述模型训练方法包括：

2.根据权利要求1所述的模型训练方法，其特征在于，

3.根据权利要求1或2所述的模型训练方法，其特征在于，

4.根据权利要求3所述的模型训练方法，其特征在于，

5.根据权利要求4所述的模型训练方法，其特征在于，

6.根据权利要求4所述的模型训练方法，其特征在于，

7.根据权利要求1所述的模型训练方法，其特征在于，

8.一种行人重识别方法，其特征在于，所述行人重识别方法包括：

9.一种行人重识别装置，其特征在于，所述行人重识别装置包括存储器以及与所述存储器耦接的处理器；

10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如权利要求1至7任一项所述的模型训练方法，和/或权利要求8所述的行人重识别方法。

技术总结本申请提出一种模型训练方法、行人重识别方法、行人重识别装置以及计算机存储介质。所述模型训练方法包括：获取预先训练的人体序号相关提示，以及待训练图像；将所述人体序号相关提示输入文本特征提取网络，获取文本特征；利用图像特征提取网络提取所述待训练图像的人体序号图像特征；将所述人体序号相关提示输入属性掩码生成网络，获取人体属性掩码；利用所述人体属性掩码和所述人体序号图像特征的局部特征，获取人体属性图像特征；利用所述文本特征、所述人体序号图像特征和所述人体属性图像特征，对所述图像特征提取网络进行训练。通过上述模型训练方法，实现人体属性描述的细粒度属性特征提取，训练多模态模型增强模型的鲁棒性。技术研发人员：马荣奇,赵雷,潘华东受保护的技术使用者：浙江大华技术股份有限公司技术研发日：技术公布日：2024/7/29