一种商品识别定位方法、装置和电子设备与流程

本发明实施方式涉及图像识别领域，特别是涉及一种商品识别定位方法、装置和电子设备。

背景技术：

1、随着物联网和人工智能技术的快速发展，智能售货柜作为一种新兴的零售和物流设备，正在逐渐成为商业和工业领域的重要组成部分。智能售货柜通过自动化技术实现了商品的快速存取和智能识别，极大地提高了工作效率和用户体验。

2、然而，现有的智能售货柜对于计算资源和能耗的要求较高，主要是现有的智能售货柜中定位以及识别是一体的，定位识别模型首先在训练过程中先使用采集的数据集进行商品定位，待商品定位训练完成后，再次使用采集的数据集对定位模型进行商品识别训练；或先使用采集的数据集进行商品识别，待商品识别训练完成后，再次使用采集的数据集对识别模型进行商品定位训练，得到具备商品定位以及商品识别的定位识别模型，在此过程中两次训练所使用的图像是相同的。然而实际商品的大小在图像中所占的比例并不大，输入图像包含了过多参数，这无疑提高了训练难度以及训练成本，更浪费了训练资源；且模型训练过程中识别了大量无效信息，会提高误判的概率，使召回率大受影响。

技术实现思路

1、本发明实施方式主要解决的技术问题是提供一种商品识别定位方法、装置和电子设备，能够降低商品的定位识别模型的训练难度以及训练成本，提高训练效率，以及提高训练过程的召回率和商品识别的准确性。

2、为解决上述技术问题，本发明实施方式采用的一个技术方案是：提供一种商品识别定位方法，应用于智能售货柜，包括：获取所述智能售货柜的摄像组件所采集到的商品的第一图像；根据所述第一图像，采用商品定位模型对所述商品进行定位，获得所述商品位置信息以及裁剪后的第二图像；根据所述第二图像，采用商品识别模型对所述商品进行识别，获得所述商品的识别结果；所述第二图像的像素小于所述第一图像。

3、在一些实施例中，在所述获取所述智能售货柜的摄像组件所采集到的商品的第一图像之前，所述商品识别定位方法还包括：训练获得所述商品定位模型；训练获得所述商品识别模型。

4、在一些实施例中，所述根据所述第一图像，采用商品定位模型对所述商品进行定位，获得所述商品位置信息以及裁剪后的第二图像，包括：将所述第一图像输入至所述商品定位模型，以使所述商品定位模型输出若干边界框坐标和相应的边界框置信度；判断所述边界框置信度是否高于预设的边界框置信度阈值；若是，则对相应的边界框坐标进行解码，获得所述商品位置信息；根据所述商品位置信息，对所述第一图像进行裁剪，获得所述第二图像。

5、在一些实施例中，所述根据所述第二图像，采用商品识别模型对所述商品进行识别，获得所述商品的识别结果，包括：将所述第二图像输入至所述商品识别模型，以使所述商品识别模型输出若干类别预测结果和相应的类别置信度；判断所述类别置信度是否高于预设的类别置信度阈值；若是，则根据相应的类别预测结果获得所述识别结果。

6、在一些实施例中，所述训练获得所述商品定位模型，包括：收集所述智能售货柜中各类商品的第一采集图像；为每张第一采集图像中的商品绘制边界框，并标注商品类别，形成第一数据集；选择第一待训练模型，并在所述第一待训练模型中加入用于提取商品的轮廓特征信息的特征提取模型；使用所述第一数据集对所述第一待训练模型进行训练，获得所述商品定位模型。

7、在一些实施例中，所述训练获得所述商品识别模型，包括：收集所述智能售货柜中各类商品在不同角度和不同光照条件下的第二采集图像；为所述第二采集图像中的每个商品绘制边界框，并标注商品类别，形成第二数据集；选择具备细粒度识别能力的模型作为第二待训练模型；在所述第二待训练模型中设置层次结构，以使模型能够提取商品细粒度特征；使用所述第二数据集对所述第二待训练模型进行训练，获得所述商品识别模型。

8、在一些实施例中，所述使用所述第二数据集对所述第二待训练模型进行训练，获得所述商品识别模型，包括：将所述第二数据集中各类商品的若干张照片输入至所述层次结构进行细粒度特征提取，获得各类商品的细粒度特征；根据所述各类商品的细粒度特征之间的相似度建立相似特征对；通过共有特征学习，从所述相似特征对提取出共同特征向量；根据所述共同特征向量计算所述相似特征对中各细粒度特征所对应的细粒度特征向量；将各类商品的细粒度特征和相应的细粒度特征向量输入至所述第二待训练模型，并设置损失函数进行优化，获得所述商品识别模型。

9、为解决上述技术问题，本发明实施方式采用的另一个技术方案是：提供一种商品识别定位装置，包括：第一训练模块，用于训练获得所述商品定位模型；第二训练模块，用于训练获得所述商品识别模型；图像获取模块，用于获取智能售货柜的摄像组件所采集到的商品的第一图像；商品定位模块，用于根据所述第一图像，采用商品定位模型对所述商品进行定位，获得所述商品位置信息以及裁剪后的第二图像；商品识别模块，用于根据所述第二图像，采用商品识别模型对所述商品进行识别，获得所述商品的识别结果；所述第二图像的像素小于所述第一图像。

10、为解决上述技术问题，本发明实施方式采用的另一个技术方案是：提供一种电子设备，包括：至少一个处理器；至少一个网络接口，所述网络接口与相应的处理器通信连接；以及，与所述至少一个处理器通信连接的存储器；其中，所述网络接口用于建立所述处理器与其他外界设备之间的通信连接；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的一种商品识别定位方法。

11、为解决上述技术问题，本发明实施方式采用的另一个技术方案是：提供一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，可使得所述一个或多个处理器执行如上所述的一种商品识别定位方法。

12、本发明实施方式的有益效果是：区别于现有技术的情况，本发明实施方式通过将商品的定位识别模型的一体训练拆分为商品定位模型和商品识别模型的单独训练，使用像素较小的图像进行商品识别训练，并在模型应用中将输入至商品定位模型中的图像进行裁剪，减少其像素后作为商品识别模型的输入，从而降低商品的定位识别模型的训练难度以及训练成本，提高训练效率，以及提高训练过程的召回率和商品识别的准确性。

技术特征：

1.一种商品识别定位方法，应用于智能售货柜，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在所述获取所述智能售货柜的摄像组件所采集到的商品的第一图像之前，还包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像，采用商品定位模型对所述商品进行定位，获得所述商品位置信息以及裁剪后的第二图像，包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述第二图像，采用商品识别模型对所述商品进行识别，获得所述商品的识别结果，包括：

5.根据权利要求2所述的方法，其特征在于，所述训练获得所述商品定位模型，包括：

6.根据权利要求2所述的方法，其特征在于，所述训练获得所述商品识别模型，包括：

7.根据权利要求6所述的方法，其特征在于，所述使用所述第二数据集对所述第二待训练模型进行训练，获得所述商品识别模型，包括：

8.一种商品识别定位装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种非易失性计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，可使得所述一个或多个处理器执行如权利要求1-7任一项所述的一种商品识别定位方法。

技术总结本发明实施方式公开了一种商品识别定位方法、装置和电子设备。该方法包括：获取智能售货柜的摄像组件所采集到的商品的第一图像；根据第一图像，采用商品定位模型对商品进行定位，获得商品位置信息以及裁剪后的第二图像；根据第二图像，采用商品识别模型对商品进行识别，获得商品的识别结果；第二图像的像素小于第一图像。本发明实施方式通过将商品的定位识别模型的一体训练拆分为商品定位模型和商品识别模型的单独训练，使用像素较小的图像进行商品识别训练，并在模型应用中将输入至商品定位模型中的图像进行裁剪，减少其像素后作为商品识别模型的输入，从而降低训练难度以及训练成本，提高训练效率、召回率和商品识别的准确性。技术研发人员：唐传明受保护的技术使用者：深圳市乐科智控科技有限公司技术研发日：技术公布日：2024/7/29