一种商品匹配的方法和装置与流程

本发明涉及计算机，尤其涉及一种商品匹配的方法和装置。

背景技术：

1、目前在货物运输领域，由于始发地和目的地不同，往往需要对货物进行重新分组，以进行后续的集中运输。在进行重新分组过程中需要经过分拣场地进行分拣，在分拣过程中，由于货物外包装、运输方式等原因，附着在货物表面的面单信息可能会随着分拣操作而脱落。而面单记录着该货物的运单号，目的地等重要信息，缺失面单的“三无裸货”无法准确定位其运单信息，进而无法对货物进行运输。

2、目前，对于“三无裸货”信息的确定，主要依赖于场地工作人员对货物数据的肉眼判断，通过人工将识别的信息录入系统，与疑似运单进行人工核查，最终确定可能的运单，效率低，且准确性不高。

技术实现思路

1、有鉴于此，本发明实施例提供一种商品匹配的方法，能够基于货物的图片数据进行识别得到描述信息，进一步地与运单进行相似度计算，确定运单匹配结果，实现货物运单的准确识别。

2、为实现上述目的，根据本发明实施例的第一方面，提供了一种商品匹配的方法，包括：

3、获取待匹配商品的图片数据和初始运单数据；

4、将所述待匹配商品的图片数据输入模型，得到所述待匹配商品的描述信息；

5、基于所述描述信息，与所述初始运单数据进行匹配，得到疑似运单；

6、基于所述描述信息与所述疑似运单对应的商品的描述信息进行相似度计算；

7、基于所述相似度计算的结果确定所述待匹配商品的匹配结果。

8、可选地，所述将所述待匹配商品的图片数据输入模型，得到所述待匹配商品的描述信息，包括：

9、将所述待匹配商品的图片数据输入识别模型，得到所述待匹配商品的文本信息；

10、将所述待匹配商品的图片数据输入多模态大模型，得到所述待匹配商品的外观描述信息；

11、融合所述待匹配商品的文本信息和所述待匹配商品的外观描述信息，得到所述待匹配商品的描述信息。

12、可选地，所述将所述待匹配商品的图片数据输入识别模型，得到所述待匹配商品的文本信息，包括：

13、将所述待匹配商品的图片数据输入识别模型，得到输出的图片特征信息；

14、对所述输出的图片特征信息进行清洗，得到所述待匹配商品的文本信息。

15、可选地，所述将所述待匹配商品的图片数据输入多模态大模型，得到所述待匹配商品的外观描述信息之前，所述方法还包括：

16、获取历史匹配成功的商品的数据，所述历史匹配成功的商品的数据包括历史待匹配商品的文本信息、图片数据和所述历史匹配成功的运单对应的商品的描述信息；

17、基于所述历史待匹配商品的文本信息和图片数据对多模态大模型进行预训练；

18、基于所述历史匹配成功的运单对应的商品的描述信息对所述多模态大模型进行参数矫正。

19、可选地，所述融合所述待匹配商品的文本信息和所述待匹配商品的外观描述信息，得到所述待匹配商品的描述信息，包括：

20、将所述待匹配商品的文本信息和所述待匹配商品的外观描述信息输入自然语言处理模型，得到所述待匹配商品的描述信息。

21、可选地，所述基于所述描述信息与所述疑似运单对应的商品的描述信息进行相似度计算，包括：

22、分别对所述描述信息与所述疑似运单对应的商品的描述信息进行向量化处理；

23、基于向量化处理结果进行相似度计算。

24、可选地，所述基于所述相似度计算的结果确定所述待匹配商品的匹配结果，包括：

25、基于所述相似度计算的结果，按照相似度从高到低的顺序对所述疑似运单对应的商品进行排序，得到有序序列；

26、基于所述有序序列确定所述待匹配商品的匹配结果。

27、根据本发明实施例的第二方面，提供了一种商品匹配的装置，包括：

28、获取模块，用于获取待匹配商品的图片数据和初始运单数据；

29、输入模块，用于将所述待匹配商品的图片数据输入模型，得到所述待匹配商品的描述信息；

30、匹配模块，用于基于所述描述信息，与所述初始运单数据进行匹配，得到疑似运单；

31、计算模块，用于基于所述描述信息与所述疑似运单对应的商品的描述信息进行相似度计算；

32、确定模块，用于基于所述相似度计算的结果确定所述待匹配商品的匹配结果。

33、可选地，所述输入模块，用于将所述待匹配商品的图片数据输入模型，得到所述待匹配商品的描述信息，包括：

34、所述输入模块，用于将所述待匹配商品的图片数据输入识别模型，得到所述待匹配商品的文本信息；将所述待匹配商品的图片数据输入多模态大模型，得到所述待匹配商品的外观描述信息；

35、融合模块，用于融合所述待匹配商品的文本信息和所述待匹配商品的外观描述信息，得到所述待匹配商品的描述信息。

36、可选地，所述输入模块，用于将所述待匹配商品的图片数据输入识别模型，得到所述待匹配商品的文本信息，包括：

37、所述输入模块，用于将所述待匹配商品的图片数据输入识别模型，得到输出的图片特征信息；

38、清洗模块，用于对所述输出的图片特征信息进行清洗，得到所述待匹配商品的文本信息。

39、可选地，所述装置还包括：

40、所述获取模块，还用于获取历史匹配成功的商品的数据，所述历史匹配成功的商品的数据包括历史待匹配商品的文本信息、图片数据和所述历史匹配成功的运单对应的商品的描述信息；

41、训练模块，用于基于所述历史待匹配商品的文本信息和图片数据对多模态大模型进行预训练；

42、矫正模块，用于基于所述历史匹配成功的运单对应的商品的描述信息对所述多模态大模型进行参数矫正。

43、可选地，所述融合模块，用于融合所述待匹配商品的文本信息和所述待匹配商品的外观描述信息，得到所述待匹配商品的描述信息，包括：

44、所述融合模块，用于将所述待匹配商品的文本信息和所述待匹配商品的外观描述信息输入自然语言处理模型，得到所述待匹配商品的描述信息。

45、可选地，所述计算模块，用于基于所述描述信息与所述疑似运单对应的商品的描述信息进行相似度计算，包括：

46、处理模块，用于分别对所述描述信息与所述疑似运单对应的商品的描述信息进行向量化处理；

47、所述计算模块，用于基于向量化处理结果进行相似度计算。

48、可选地，所述确定模块，用于基于所述相似度计算的结果确定所述待匹配商品的匹配结果，包括：

49、排序模块，用于基于所述相似度计算的结果，按照相似度从高到低的顺序对所述疑似运单对应的商品进行排序，得到有序序列；

50、所述确定模块，用于与基于所述有序序列确定所述待匹配商品的匹配结果。

51、根据本发明实施例的第三方面，提供一种电子设备，包括：

52、一个或多个处理器；存储装置，用于存储一个或多个程序，

53、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例第一方面提供的方法。

54、根据本发明实施例的第四方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例第一方面提供的方法。

55、上述发明中的一个实施例具有如下优点或有益效果：通过模型识别待匹配商品的描述信息，并与运单数据进行匹配，并进一步地计算描述信息与运单的相似度，基于相似度确定待匹配商品的运单匹配结果数据，提高了待匹配商品的运单匹配的准确性，同时提高了匹配的效率，有助于实现“三无裸货”的快速定位。

56、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。