基于多模态技术的人脸搜索方法与流程

本申请涉及人脸搜索，且更为具体地，涉及一种基于多模态技术的人脸搜索方法。

背景技术：

1、人脸搜索技术作为一项重要的生物特征识别手段，在公共安全、身份验证、社交媒体等多个领域展现出了巨大的潜力和价值。当前，主流的人脸搜索解决方案主要依赖于直接的图像输入，即通过上传一张包含目标人物面部的照片来启动搜索过程，利用图像处理技术从照片中提取出人脸特征，并与预存的人脸数据库进行比对，返回最接近的结果。

2、然而，这种人脸搜索方式在实际应用中具有一定的局限性。例如，在一些特定场景下（如公共安全领域），往往难以获得高质量的目标人物照片，而只能获取到口头描述或者文字记录，这使得传统的基于图像的人脸搜索技术无法有效应用，限制了搜索的准确性和效率。

3、因此，期待一种基于多模态技术的人脸搜索方法。

技术实现思路

1、为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于多模态技术的人脸搜索方法，其采用基于深度学习的数据处理技术对人脸数据库中的人脸图像进行基础属性打标，生成人脸图像的属性描述文本，进而，通过对用户输入的目标人脸搜索文本描述和生成的人脸图像属性描述文本进行语义解析和匹配分析，从而实现基于文本描述的人脸图像搜索。通过这种方式，可以支持基于文本描述的语义信息进行人脸搜索，从而迅速开展人脸筛选工作，对于无图场景具有积极的意义。

2、相应地，根据本申请的一个方面，提供了一种基于多模态技术的人脸搜索方法，其包括：

3、获取目标人脸搜索文本描述，同时从人脸数据库提取第一备选人脸图像；

4、对所述第一备选人脸图像进行局部区域细粒度语义特征提取以得到人脸局部区域语义编码特征向量的集合；

5、对所述人脸局部区域语义编码特征向量的集合进行人脸属性描述以得到第一备选人脸图像属性描述文本；

6、基于所述目标人脸搜索文本描述和所述第一备选人脸图像属性描述文本之间的语义匹配，确定是否将所述第一备选人脸图像作为搜索结果。

7、在上述基于多模态技术的人脸搜索方法中，对所述第一备选人脸图像进行局部区域细粒度语义特征提取以得到人脸局部区域语义编码特征向量的集合，包括：将所述第一备选人脸图像输入基于vit模型的人脸特征编码器以得到所述人脸局部区域语义编码特征向量的集合。

8、在上述基于多模态技术的人脸搜索方法中，对所述人脸局部区域语义编码特征向量的集合进行人脸属性描述以得到第一备选人脸图像属性描述文本，包括：将所述人脸局部区域语义编码特征向量的集合输入基于llm模型的人脸属性描述器以得到所述第一备选人脸图像属性描述文本。

9、在上述基于多模态技术的人脸搜索方法中，对所述人脸局部区域语义编码特征向量的集合进行人脸属性描述以得到第一备选人脸图像属性描述文本，包括：对所述人脸局部区域语义编码特征向量的集合进行基于特征场效分布的语义增强以得到强化人脸局部区域语义编码特征向量的集合；将所述强化人脸局部区域语义编码特征向量的集合输入基于llm模型的人脸属性描述器以得到所述第一备选人脸图像属性描述文本。

10、在上述基于多模态技术的人脸搜索方法中，对所述人脸局部区域语义编码特征向量的集合进行基于特征场效分布的语义增强以得到强化人脸局部区域语义编码特征向量的集合，包括：使用语义重构器对所述人脸局部区域语义编码特征向量的集合中的各个人脸局部区域语义编码特征向量进行特征重构以得到重构人脸局部区域语义编码特征向量的集合；计算所述重构人脸局部区域语义编码特征向量的集合中的各个重构人脸局部区域语义编码特征向量的语义深度隐含表征值以得到人脸局部区域语义深度隐含表征值的集合；基于所述人脸局部区域语义深度隐含表征值的集合的排序，对所述人脸局部区域语义编码特征向量的集合进行重新排序以得到更新人脸局部区域语义编码特征向量的集合；对所述更新人脸局部区域语义编码特征向量的集合进行双向上下文语义关联强化以得到所述强化人脸局部区域语义编码特征向量的集合。

11、在上述基于多模态技术的人脸搜索方法中，使用语义重构器对所述人脸局部区域语义编码特征向量的集合中的各个人脸局部区域语义编码特征向量进行特征重构以得到重构人脸局部区域语义编码特征向量的集合，包括：使用第一权重参数矩阵和第二权重参数矩阵对所述人脸局部区域语义编码特征向量进行连续线性变换以得到所述重构人脸局部区域语义编码特征向量。

12、在上述基于多模态技术的人脸搜索方法中，计算所述重构人脸局部区域语义编码特征向量的集合中的各个重构人脸局部区域语义编码特征向量的语义深度隐含表征值以得到人脸局部区域语义深度隐含表征值的集合，包括：计算所述重构人脸局部区域语义编码特征向量的欧几里得范数的平方以得到初始人脸局部区域语义深度隐含表征值；计算一与所述初始人脸局部区域语义深度隐含表征值之和以及一与所述初始人脸局部区域语义深度隐含表征值之差的比值以得到语义深度表征调制系数；计算所述语义深度表征调制系数的以2为底的对数函数值以得到所述人脸局部区域语义深度隐含表征值。

13、在上述基于多模态技术的人脸搜索方法中，对所述更新人脸局部区域语义编码特征向量的集合进行双向上下文语义关联强化以得到所述强化人脸局部区域语义编码特征向量的集合，包括：将所述更新人脸局部区域语义编码特征向量的集合输入基于前向lstm模型的第一语义编码器以得到前向人脸局部区域上下文语义关联编码特征向量的集合；将所述更新人脸局部区域语义编码特征向量的集合输入基于后向lstm模型的第二语义编码器以得到后向人脸局部区域上下文语义关联编码特征向量的集合；融合所述前向人脸局部区域上下文语义关联编码特征向量的集合和所述后向人脸局部区域上下文语义关联编码特征向量的集合以得到所述强化人脸局部区域语义编码特征向量的集合。

14、在上述基于多模态技术的人脸搜索方法中，基于所述目标人脸搜索文本描述和所述第一备选人脸图像属性描述文本之间的语义匹配，确定是否将所述第一备选人脸图像作为搜索结果，包括：对所述目标人脸搜索文本描述和所述第一备选人脸图像属性描述文本进行语义编码以得到目标人脸搜索文本描述语义编码向量和第一备选人脸图像属性描述语义编码向量；计算所述目标人脸搜索文本描述语义编码向量和所述第一备选人脸图像属性描述语义编码向量之间的余弦相似度作为人脸搜索匹配度；响应于所述人脸搜索匹配度大于等于预设阈值，将所述第一备选人脸图像作为所述搜索结果。

15、与现有技术相比，本申请提供的基于多模态技术的人脸搜索方法，其采用基于深度学习的数据处理技术对人脸数据库中的人脸图像进行基础属性打标，生成人脸图像的属性描述文本，进而，通过对用户输入的目标人脸搜索文本描述和生成的人脸图像属性描述文本进行语义解析和匹配分析，从而实现基于文本描述的人脸图像搜索。通过这种方式，可以支持基于文本描述的语义信息进行人脸搜索，从而迅速开展人脸筛选工作，对于无图场景具有积极的意义。

技术特征：

1.一种基于多模态技术的人脸搜索方法，其特征在于，包括：

2.根据权利要求1所述的基于多模态技术的人脸搜索方法，其特征在于，对所述第一备选人脸图像进行局部区域细粒度语义特征提取以得到人脸局部区域语义编码特征向量的集合，包括：

3.根据权利要求2所述的基于多模态技术的人脸搜索方法，其特征在于，对所述人脸局部区域语义编码特征向量的集合进行人脸属性描述以得到第一备选人脸图像属性描述文本，包括：

4.根据权利要求2所述的基于多模态技术的人脸搜索方法，其特征在于，对所述人脸局部区域语义编码特征向量的集合进行人脸属性描述以得到第一备选人脸图像属性描述文本，包括：

5.根据权利要求4所述的基于多模态技术的人脸搜索方法，其特征在于，对所述人脸局部区域语义编码特征向量的集合进行基于特征场效分布的语义增强以得到强化人脸局部区域语义编码特征向量的集合，包括：

6.根据权利要求5所述的基于多模态技术的人脸搜索方法，其特征在于，使用语义重构器对所述人脸局部区域语义编码特征向量的集合中的各个人脸局部区域语义编码特征向量进行特征重构以得到重构人脸局部区域语义编码特征向量的集合，包括：

7.根据权利要求6所述的基于多模态技术的人脸搜索方法，其特征在于，计算所述重构人脸局部区域语义编码特征向量的集合中的各个重构人脸局部区域语义编码特征向量的语义深度隐含表征值以得到人脸局部区域语义深度隐含表征值的集合，包括：

8.根据权利要求7所述的基于多模态技术的人脸搜索方法，其特征在于，对所述更新人脸局部区域语义编码特征向量的集合进行双向上下文语义关联强化以得到所述强化人脸局部区域语义编码特征向量的集合，包括：

9.根据权利要求3所述的基于多模态技术的人脸搜索方法，其特征在于，基于所述目标人脸搜索文本描述和所述第一备选人脸图像属性描述文本之间的语义匹配，确定是否将所述第一备选人脸图像作为搜索结果，包括：

技术总结本申请涉及人脸搜索技术领域，其具体地公开了一种基于多模态技术的人脸搜索方法，其采用基于深度学习的数据处理技术对人脸数据库中的人脸图像进行基础属性打标，生成人脸图像的属性描述文本，进而，通过对用户输入的目标人脸搜索文本描述和生成的人脸图像属性描述文本进行语义解析和匹配分析，从而实现基于文本描述的人脸图像搜索。通过这种方式，可以支持基于文本描述的语义信息进行人脸搜索，从而迅速开展人脸筛选工作，对于无图场景具有积极的意义。技术研发人员：宋鸿飞,王麒,杨程光,陈帅斌,蒋泽飞,夏虹受保护的技术使用者：杭州登虹科技有限公司技术研发日：技术公布日：2024/12/23