一种目标匹配方法及电子设备、存储介质与流程

本申请涉及目标检测，特别是涉及一种目标匹配方法及电子设备、存储介质。

背景技术：

1、跨模态目标匹配任务主要是将多个不同模态信息联合起来，进行目标匹配任务。在进行跨模态目标匹配时，会对不同模态的数据进行特征提取，而现有技术中由于不同模态数据之间的分布差距显著，使得提取到的不同模态的特征并不对齐，从而导致在做多模态目标检测时特征匹配不正确的问题，不利于跨模态目标匹配。

技术实现思路

1、本申请至少提供一种目标匹配方法及电子设备、存储介质，能够减少多模态数据特征之间的差异，以提升目标匹配的准确性。

2、本申请第一方面提供了一种目标匹配方法，该方法包括：获取不同模态的第一目标数据和第二目标数据，其中，第一目标数据和第二目标数据两者模态为图像、文本、音频、视频中任意两者；提取第一目标数据中第一子目标数据对应的第一目标特征，并提取第二目标数据中第二子目标数据对应的第二目标特征；基于第一目标特征与第二目标特征之间的特征对齐结果，得到第一相似度，并基于第一目标特征与第二目标特征之间的特征融合结果，得到第二相似度；基于第一相似度与第二相似度的融合相似度，得到表征第一子目标数据与第二子目标数据是否含义相同的匹配结果。

3、其中，基于第一目标特征与第二目标特征之间的特征对齐结果，得到第一相似度，包括：基于第一目标特征，映射得到第一映射特征，并基于第二目标特征，映射得到与第一映射特征相同维度的第二映射特征；获取第一映射特征和第二映射特征分别经相同对齐方式处理之后的第一对齐特征和第二对齐特征；基于第一对齐特征和第二对齐特征，得到第一相似度。

4、其中，第一相似度包括原始对齐相似度、融合对齐相似度、插值对齐相似度中至少一者；其中，原始对齐相似度为在对齐方式为原始对齐时度量得到，融合对齐相似度为在对齐方式为融合对齐时度量得到，插值对齐相似度为在对齐方式为插值对齐时度量得到。

5、其中，第一相似度至少包括原始对齐相似度，对齐方式至少包括原始对齐，获取第一映射特征和第二映射特征分别经相同对齐方式处理之后的第一对齐特征和第二对齐特征，包括：直接选取第一映射特征作为经原始对齐处理之后的第一对齐特征，并直接选取第二映射特征作为经原始对齐处理之后的第二对齐特征。

6、其中，第一相似度至少包括融合对齐相似度，对齐方式至少包括融合对齐，获取第一映射特征和第二映射特征分别经相同对齐方式处理之后的第一对齐特征和第二对齐特征，包括：基于第一映射特征和第二映射特征按照第一顺序进行融合，得到第一对齐特征，并基于第一映射特征和第二映射特征按照第一顺序的相反顺序进行融合，得到第二对齐特征。

7、其中，基于第一映射特征和第二映射特征按照第一顺序进行融合，得到第一对齐特征，包括：将第一映射特征拼接于第二映射特征之前，得到第一对齐特征；基于第一映射特征和第二映射特征按照第一顺序的相反顺序进行融合，得到第二对齐特征，包括：将第一映射特征拼接于第二映射特征之后，得到第二对齐特征。

8、其中，第一相似度至少包括插值对齐相似度，对齐方式至少包括插值对齐，获取第一映射特征和第二映射特征分别经相同对齐方式处理之后的第一对齐特征和第二对齐特征，包括：基于第一映射特征和第二映射特征按照第二顺序进行插值，得到第一对齐特征，并基于第一映射特征和第二映射特征按照第二顺序的相反顺序进行插值，得到第二对齐特征。

9、其中，匹配结果由目标匹配模型预测得到，目标匹配模型的训练方法包括：提取第一样本数据的第一样本数据特征，并提取第二样本数据的第二样本数据特征，其中，第一样本数据和第二样本数据两者模态为图像、文本、音频、视频中任意两者；基于第一样本数据特征，映射得到第一样本映射特征，并基于第二样本数据特征，映射得到与第一样本映射特征相同维度的第二样本映射特征；基于第一样本映射特征和第二样本映射特征之间的目标特征差异相对于目标差异范围的大小关系，得到训练损失；至少基于训练损失，调整目标匹配模型的网络参数。

10、其中，在基于第一样本映射特征和第二样本映射特征之间的目标特征差异相对于目标差异范围的大小关系，得到训练损失之前，方法还包括：获取第一样本映射特征和第二样本映射特征分别经相同对齐方式处理之后的第一样本对齐特征和第二样本对齐特征；分别采用多种度量方式对第一样本对齐特征与第二样本对齐特征之间差异进行度量，得到各种度量方式的子特征差异，其中，多种度量方式至少包括：欧氏距离、余弦距离；基于各种度量方式的子特征差异，得到目标特征差异。

11、其中，对齐方式包括原始对齐，训练损失包括原始对齐子损失，且原始对齐子损失由经原始对齐处理之后的第一样本对齐特征和第二样本对齐特征之间的目标特征差异得到。

12、其中，对齐方式包括融合对齐，训练损失包括融合对齐子损失，且融合对齐子损失由经融合对齐处理之后的第一样本对齐特征和第二样本对齐特征之间的目标特征差异得到。

13、其中，对齐方式包括插值对齐，训练损失包括插值对齐子损失，且插值对齐子损失由经插值对齐处理之后的第一样本对齐特征和第二样本对齐特征之间的目标特征差异得到。

14、其中，基于第一样本映射特征和第二样本映射特征之间的目标特征差异相对于目标差异范围的大小关系，得到训练损失，包括：响应于目标特征差异位于目标差异范围之内，获取各种度量方式的子特征差异之和，作为融合特征差异，并以目标特征差异作为底数且以预设超参数作为指数，得到权重参数；基于融合特征差异与权重参数，得到训练损失。

15、本申请第二方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的目标匹配方法。

16、本申请第三方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的目标匹配方法。

17、上述方案，获取不同模态的第一目标数据和第二目标数据，并对第一目标数据中第一子目标数据进行特征提取，以得到第一子目标数据对应的第一目标特征，对第二目标数据中第二子目标数据进行特征提取，以得到第二子目标数据对应的第二目标特征，通过对第一目标特征与第二目标特征进行特征对齐并计算相似度，以得到第一相似度，同时通过对第一目标特征与第二目标特征进行特征融合并计算相似度，以得到第二相似度，利用第一相似度与第二相似度的融合相似度，得到表征第一子目标数据与第二子目标数据是否含义相同的匹配结果，根据第一相似度和第二相似度融合后的相似度，则可精确确定不同模态数据的子数据表达的含义是否相同，从而能够提升目标匹配的准确性。

18、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

技术特征：

1.一种目标匹配方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一目标特征与所述第二目标特征之间的特征对齐结果，得到第一相似度，包括：

3.根据权利要求2所述的方法，其特征在于，所述第一相似度包括原始对齐相似度、融合对齐相似度、插值对齐相似度中至少一者；

4.根据权利要求2所述的方法，其特征在于，所述第一相似度至少包括原始对齐相似度，所述对齐方式至少包括原始对齐，所述获取所述第一映射特征和所述第二映射特征分别经相同对齐方式处理之后的第一对齐特征和第二对齐特征，包括：

5.根据权利要求2所述的方法，其特征在于，所述第一相似度至少包括融合对齐相似度，所述对齐方式至少包括融合对齐，所述获取所述第一映射特征和所述第二映射特征分别经相同对齐方式处理之后的第一对齐特征和第二对齐特征，包括：

6.根据权利要求5所述的方法，其特征在于，所述基于所述第一映射特征和所述第二映射特征按照第一顺序进行融合，得到所述第一对齐特征，包括：

7.根据权利要求2所述的方法，其特征在于，所述第一相似度至少包括插值对齐相似度，所述对齐方式至少包括插值对齐，所述获取所述第一映射特征和所述第二映射特征分别经相同对齐方式处理之后的第一对齐特征和第二对齐特征，包括：

8.根据权利要求1所述的方法，其特征在于，所述匹配结果由目标匹配模型预测得到，所述目标匹配模型的训练方法包括：

9.根据权利要求8所述的方法，其特征在于，在所述基于所述第一样本映射特征和第二样本映射特征之间的目标特征差异相对于目标差异范围的大小关系，得到训练损失之前，所述方法还包括：

10.根据权利要求9所述的方法，其特征在于，所述对齐方式包括原始对齐，所述训练损失包括原始对齐子损失，且所述原始对齐子损失由经所述原始对齐处理之后的第一样本对齐特征和第二样本对齐特征之间的目标特征差异得到。

11.根据权利要求9所述的方法，其特征在于，所述对齐方式包括融合对齐，所述训练损失包括融合对齐子损失，且所述融合对齐子损失由经所述融合对齐处理之后的第一样本对齐特征和第二样本对齐特征之间的目标特征差异得到。

12.根据权利要求9所述的方法，其特征在于，所述对齐方式包括插值对齐，所述训练损失包括插值对齐子损失，且所述插值对齐子损失由经所述插值对齐处理之后的第一样本对齐特征和第二样本对齐特征之间的目标特征差异得到。

13.根据权利要求9所述的方法，其特征在于，所述基于所述第一样本映射特征和第二样本映射特征之间的目标特征差异相对于目标差异范围的大小关系，得到训练损失，包括：

14.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至13任一项所述的目标匹配方法。

15.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至13任一项所述的目标匹配方法。

技术总结本申请公开了一种目标匹配方法及电子设备、存储介质，该方法包括：获取不同模态的第一目标数据和第二目标数据；提取第一目标数据中第一子目标数据对应的第一目标特征，并提取第二目标数据中第二子目标数据对应的第二目标特征；基于第一目标特征与第二目标特征之间的特征对齐结果，得到第一相似度，并基于第一目标特征与第二目标特征之间的特征融合结果，得到第二相似度；基于第一相似度与第二相似度的融合相似度，得到表征第一子目标数据与第二子目标数据是否含义相同的匹配结果。上述方案，能够提升目标匹配的准确性。技术研发人员：王科洋,沈孔怀,邵明,朱亚伦受保护的技术使用者：浙江大华技术股份有限公司技术研发日：技术公布日：2024/9/26