一种智能购物车商品识别方法、介质及计算机与流程

本发明涉及商品推荐，更具体地说，它涉及一种智能购物车商品识别方法、介质及计算机。

背景技术：

1、智能购物车在超市中已经是一种较为常见的设备，在提供传统购物车放置商品的基础功能之上，还能够为使用者提供路径导航、商品推荐以及活动介绍等相关功能。另外还有一些智能购物车能够为客户提供无需排队支付的功能，只需要将商品放在购物车中，购物车便能够自动对购物车中的商品进行识别和计价，使用者无需排队买单，提高了购物者的购物体验。但是在实际使用过程中依然存在以下缺陷：对购物车中商品进行识别，主要是利用智能购物车上安装的条码扫描器，用户在选择需要的产品后，将商品的条码放在扫码器下通过扫码器完成对商品的扫描，然后将商品放入到购物车中，等待最终的结算。采用这种结算方式，一方面需要用户手动扫码，影响购物的准确性，另一方面难以判定用户放在购物车中的商品是否与扫码商品保持一致，难以解决防盗问题。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于提供一种智能购物车商品识别方法、介质及计算机，以克服现有的技术中存在的无法识别用户扫码的商品与放入购物车的商品是否是同一个商品的缺点。

2、本发明的上述技术目的是通过以下技术方案得以实现的：一种智能购物车商品识别方法，包括：

3、s1、对购物车进行拍摄，得到购物车车筐的初始照片；

4、s2、对初始照片进行主体识别，根据识别结果对初始照片进行裁切，得到裁切照片；

5、s3、对裁切照片进行处理，将处理后的裁切照片输入到特征提取网络模型中进行处理，得到物品特征；

6、s4、将所述物品特征与商品数据库中的商品特征进行匹配，得到与购物车车筐中的物品对应的商品数据。

7、可选的，所述对购物车进行拍摄，得到购物车车筐的初始照片，包括：

8、按照预定间隔，对购物车车筐进行拍摄，得到若干车筐照片；

9、将最后一张车筐照片与前一张车筐照片进行比对，判断是否存在新增物品；若是，则将最后一张车筐照片记作初始照片。

10、可选的，所述对初始照片进行主体识别，包括：

11、将初始照片进行预处理，得到尺寸为640*640的第一增强照片

12、将所述第一增强照片输入到预先训练的目标检测神经网络中进行识别，得到至少一包围有商品的边界框以及与边界框对应的边界框数据[x,y,w,h,c]；其中，x表示边界框的左上角顶点在原始照片中的横坐标，y表示边界框的左上角顶点在原始照片中的纵坐标，w表示边界框的宽度，h表示边界框的高度，c表示边界框所包围的物品是新增物品的置信度。

13、可选的，所述据识别结果对初始照片进行裁切，得到裁切照片，包括：

14、根据所述边界框数据对应的置信度，筛选出置信度大于预设的置信度阈值的可靠边界框；

15、根据可靠边界框对应的边界框数据，对所述初始照片进行裁切，得到与可靠边界框一一对应的裁切照片。

16、可选的，对裁切照片进行处理，将处理后的裁切照片输入到特征提取网络模型中进行处理，得到物品特征，包括：

17、对裁切照片进行尺寸变换，得到尺寸为224*224的第二增强照片；

18、将第二增强照片输入到预先训练好的resnet50特征提取网络模型中进行特征提取，得到p个维度为2048的物品特征向量n＝[a1,a2,…,a2048]。

19、可选的，所述将所述物品特征与商品数据库中的商品特征进行匹配，得到与购物车车筐中的物品对应的商品数据，包括：

20、将p个物品特征向量n分别与商品数据库中存储的q个商品特征向量m进行一一比对，得到对应的p*q个比对结果；

21、将所有比对结果按照从高到低进行排序，得到比对结果序列；

22、判断所述比对结果序列中的前五个比对结果是否对应同一商品，若是，则将该商品对应的商品数据作为物品的匹配结果。

23、可选的，所述将p个物品特征向量n分别与商品数据库中存储的q个商品特征向量m进行一一比对，得到对应的p*q个比对结果，包括：

24、计算各个物品特征向量n＝[a1,a2,…,a2048]与各个商品特征向量m＝[b1,b2,…,b2048]之间的欧几里得距离d，包括：

25、

26、可选的，所述判断所述比对结果序列中的前五个比对结果是否对应同一商品，还包括：

27、若否，则通过智能购物车上的重量感应模块获取物品的物品重量；

28、从数据库中获取比对结果序列中的前五个比对结果对应的五个商品重量；

29、将物品重量分别与五个商品重量进行一一比对，并判断是否存在与物品重量相等的商品重量，若是，则将该商品重量对应的商品数据作为物品的匹配结果，若否，则返回告警信息。

30、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

31、一种计算机设备,包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。

32、综上所述，本发明具有以下有益效果：

33、本申请提供一种购物车车筐商品识别方法，通过对购物车车筐内的物品进行拍摄，并且进行主体识别，能够对购物车车筐中新增的物品进行定位裁切，将裁切后的商品输入到特征提取模型中提取特征，能够避免车筐内的其他物品对特征提取造成影响，还能够降低特征提取需要的算力，提高特征提取的速度，并根据提取到的物品特征与数据库中预先存储的商品特征进行比对，以确定物品对应的商品数据，采用本申请的方法无需购物车使用者手动对商品进行扫码，还能够利用购物车直接对车筐内的商品进行分类判断，解决了商品防盗问题。

技术特征：

1.一种智能购物车商品识别方法，其特征在于，包括：

2.根据权利要求1所述的一种智能购物车商品识别方法，其特征在于，所述对购物车进行拍摄，得到购物车车筐的初始照片，包括：

3.根据权利要求1所述的一种智能购物车商品识别方法，其特征在于，所述对初始照片进行主体识别，包括：

4.根据权利要求3所述的一种智能购物车商品识别方法，其特征在于，所述据识别结果对初始照片进行裁切，得到裁切照片，包括：

5.根据权利要求1所述的一种智能购物车商品识别方法，其特征在于，对裁切照片进行处理，将处理后的裁切照片输入到特征提取网络模型中进行处理，得到物品特征，包括：

6.根据权利要求5所述的一种智能购物车商品识别方法，其特征在于，所述将所述物品特征与商品数据库中的商品特征进行匹配，得到与购物车车筐中的物品对应的商品数据，包括：

7.根据权利要求6所述的一种智能购物车商品识别方法，其特征在于，所述将p个物品特征向量n分别与商品数据库中存储的q个商品特征向量m进行一一比对，得到对应的p*q个比对结果，包括：

8.根据权利要求6所述的一种智能购物车商品识别方法，其特征在于，所述判断所述比对结果序列中的前五个比对结果是否对应同一商品，还包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

技术总结本申请提供一种智能购物车商品识别方法、介质及计算机，通过对购物车车筐内的物品进行拍摄，并且进行主体识别，能够对购物车车筐中新增的物品进行定位裁切，将裁切后的商品输入到特征提取模型中提取特征，能够避免车筐内的其他物品对特征提取造成影响，还能够降低特征提取需要的算力，提高特征提取的速度，并根据提取到的物品特征与数据库中预先存储的商品特征进行比对，以确定物品对应的商品数据，采用本申请的方法无需购物车使用者手动对商品进行扫码，还能够利用购物车直接对车筐内的商品进行分类判断，解决了商品防盗问题。技术研发人员：张富琼,黄欢,熊盛春,蔡念晴受保护的技术使用者：多利购科技（广州）有限公司技术研发日：技术公布日：2024/9/9