文本图像匹配方法、装置、计算机设备及存储介质与流程

技术特征：
1.一种文本图像匹配方法，其特征在于，所述方法包括：获取第一特征以及第二特征；所述第一特征是由第一文本包含的至少两种尺度的文本特征经过编码得到的；所述第二特征是由第一图像包含的至少两种尺度的图像特征经过编码得到的；获取所述第一特征与所述第二特征之间的第一特征相似度；基于所述第一特征相似度，对所述第一特征以及所述第二特征进行加权，获得第一加权特征以及第二加权特征；基于所述第一特征、所述第二特征、所述第一加权特征以及所述第二加权特征，获取所述第一文本与所述第一图像的第二特征相似度；基于所述第二特征相似度，获取匹配信息，所述匹配信息用于指示所述第一文本与所述第一图像之间的匹配关系。2.根据权利要求1所述的方法，其特征在于，所述获取第一特征以及第二特征，包括：将包含至少两种尺度的文本特征经过第一编码器进行编码，生成第一键特征；将包含至少两种尺度的文本特征经过第二编码器进行编码，生成第一值特征；将包含至少两种尺度的图像特征经过第三编码器进行编码，生成第二查询特征；将包含至少两种尺度的图像特征经过第四编码器进行编码，生成第二值特征；其中，所述第一特征包括所述第一键特征以及所述第一值特征；所述第二特征包括所述第二查询特征以及所述第二值特征。3.根据权利要求2所述的方法，其特征在于，所述获取所述第一特征与所述第二特征之间的第一特征相似度，包括：获取所述第一键特征与所述第二查询特征之间的相似度，作为所述第一特征相似度。4.根据权利要求2所述的方法，其特征在于，所述基于所述第一特征相似度，对所述第一特征以及所述第二特征进行加权，获得第一加权特征以及第二加权特征，包括：基于第一相似度，获取第一注意力权重；所述第一相似度是第一文本特征与各个编码后的图像特征之间的所述第一特征相似度；所述第一文本特征是任一编码后的文本特征；以所述第一注意力权重对所述第一值特征进行加权，生成第一加权值特征；基于第二相似度，获取第二注意力权重；所述第二相似度是第一图像特征与各个所述编码后的文本特征之间的所述第一特征相似度；所述第一图像特征是任一所述编码后的图像特征；以所述第二注意力权重对所述第二值特征进行加权，生成第二加权值特征。5.根据权利要求4所述的方法，其特征在于，所述基于所述第一特征相似度，对所述第一特征以及所述第二特征进行加权，获得第一加权特征以及第二加权特征，包括：将所述第一加权值特征与所述第二值特征进行相似度计算，获取第一目标相似度；将所述第一值特征与所述第二加权值特征进行相似度计算，获取第二目标相似度；基于所述第一目标相似度与所述第二目标相似度获取所述第二特征相似度。6.根据权利要求1所述的方法，其特征在于，所述获取第一特征以及第二特征，包括：将所述第一文本输入到文本图像匹配模型中的文本特征提取层，获取所述第一文本对应的至少两种尺度的文本特征；将所述第一图像输入所述文本图像匹配模型中的图像特征提取层，获取所述第一图像
对应的至少两种尺度的图像特征；将所述第一文本对应的至少两种尺度的文本特征以及所述第一图像对应的至少两种尺度的图像特征输入所述文本图像匹配模型中的全连接层，获得所述第一特征以及所述第二特征；其中，所述文本图像匹配模型是通过文本样本、图像样本以及所述文本样本和所述图像样本之间的匹配关系训练获得的。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：将所述文本样本输入到所述文本图像匹配模型中的所述文本特征提取层，获取所述文本样本对应的至少两种尺度的文本特征；将所述图像样本输入所述文本图像匹配模型中的所述图像特征提取层，获取所述图像样本对应的至少两种尺度的图像特征；将所述文本样本对应的至少两种尺度的文本特征以及所述图像样本对应的至少两种尺度的图像特征输入所述文本图像匹配模型中的所述全连接层，获取所述文本样本对应的第一样本特征以及所述图像样本对应的第二样本特征；基于所述第一样本特征以及所述第二样本特征，获取所述文本样本以及所述图像样本对应的第一样本特征相似度；基于所述第一样本特征相似度，对所述第一样本特征以及所述第二样本特征进行加权，获取所述文本样本以及所述图像样本对应的第二样本特征相似度；基于所述第二样本特征相似度，以及所述文本样本和所述图像样本之间的匹配关系，获取损失函数值；基于所述损失函数值，更新所述文本图像匹配模型。8.一种文本图像匹配装置，其特征在于，所述装置包括：特征获取模块，用于获取第一特征以及第二特征；所述第一特征是由第一文本包含的至少两种尺度的文本特征经过编码得到的；所述第二特征是由第一图像包含的至少两种尺度的图像特征经过编码得到的；第一相似度获取模块，用于获取所述第一特征与所述第二特征之间的第一特征相似度；加权特征获取模块，用于基于所述第一特征相似度，对所述第一特征以及所述第二特征进行加权，获得第一加权特征以及第二加权特征；第二相似度获取模块，用于基于所述第一特征、所述第二特征、所述第一加权特征以及所述第二加权特征，获取所述第一文本与所述第一图像的第二特征相似度；匹配信息获取模块，用于基于所述第二特征相似度，获取匹配信息，所述匹配信息用于指示所述第一文本与所述第一图像之间的匹配关系。9.一种计算机设备，其特征在于，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的文本图像匹配方法。10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令
集由处理器加载并执行以实现如权利要求1至7任一所述的文本图像匹配方法。

技术总结
本申请是关于一种文本图像匹配方法、装置、计算机设备及存储介质，属于图像处理技术领域。该方法包括：获取第一特征以及第二特征；第一特征是由第一文本包含的至少两种尺度的文本特征经过编码得到的；第二特征是由第一图像包含的至少两种尺度的图像特征经过编码得到的，获取第一特征与第二特征之间的第一特征相似度；基于第一特征相似度，对第一特征以及第二特征进行加权，获得第一加权特征以及第二加权特征；基于第一特征、第二特征、第一加权特征以及第二加权特征，获取第一文本与第一图像的第二特征相似度；基于第二特征相似度，获取匹配信息。通过上述方案，提高了文本图像特征匹配的准确度。匹配的准确度。匹配的准确度。


技术研发人员：郜晨阳 蔡冠羽 蒋忻洋 张均 宫毅非 彭湃 孙星 郭晓威 黄小明 黄飞跃
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2020.11.26
技术公布日：2021/10/18