基于人工智能的自动售货机货道配置方法与流程

1.本发明涉及自动售货的运营管理技术，具体的涉及一种基于人工智能的自动售货机货道配置方法。


背景技术：

2.随着现代互联网技术的普及，传统的自动售货机大部分已升级成能够实现无线支付以及可以通过远程服务器进行升级管理的新型的自动售货系统，其特点就在于使用了操作系统及工控机，并通过操作系统和工控机实现消费过程中的多模式的支付形式，以及实现通过云端的自动售货机管理程序对自动售货机的销售情况进行实时的检测，进而提高自动售货机的运营效率。
3.但是对于自动售货机而言，由于其销售实物型商品的根本特点，其货物补充的操作还必须依靠人工进行。如图1所示，在进行货物补充时，为了配合自动售货的远程商品销售管理，均需要配货操作员在进行货物配置的同时生成商品sku(stock keeping unit)码与自动售货机货道id及商品价格相对应的配置文件，并将该文件上传至自动售货机管理服务器。但配货操作员在进行这一工作时，是完全处于无法监测的状态下的，其是否在配置文件生成中出现了录入错误也是无法有效检测的。同时另一方面，对配货操作人员而言这种手工录入所产生的工作量也是极大的，严重的影响了货物配置的效率。
4.由此可见，本技术领域中需要一种能够实现快速准确的完成自动售货机货道配置的方法，通过该方法实现在对自动售货机进行货道配置时快速准确的生成货道配置文件。


技术实现要素：

5.本发明所的技术目的在于，提供一种基于人工智能的自动售货机货道的配置方法，通过该配置方法解决现有技术中货物配置操作员在进行货物配置时需要进行大量的配置工作，并提高货物配置的准确性。
6.为了解决上述技术问题，本发明提供了一种基于人工智能的自动售货机货道配置方法，所述自动售货机货道配置方法包括：
7.在完成自动售货机货物摆放后获取自动售货机的进行商品展示的货道图像；
8.将货道图像输入目标检测模型以获得每一个商品边界框信息、商品类别信息、以及所对应的置信度分数；
9.根据目标检测模型所得的商品的类别信息对商品进行粗类别鉴别，如果商品属于目标粗类别集合，则截取商品子图像；
10.将商品子图像输入商品sku分类模型以获得商品子图像所对应的商品sku及商品sku对应的概率值；
11.根据自动售货机的货道结构信息对自动售货机进行货道网格定位，从而获得自动售货机的货道id；
12.根据商品的边界框信息、商品sku以及货道id生成预匹配信息，随输入每个货道对
应的商品价格以生成货道配置文件；
13.将货道配置文件输入自动售货机工控机完成对自动售货的货道配置。
14.在一个实施例中，将货道图像输入目标检测模型以获得商品的边界框信息及商品的类别信息的过程中包括：
15.对货道图像进行特征提取，获取不同尺度的图像特征；
16.对所获取的不同尺度的图像特征进行特征融合以获得多尺度特征图；
17.将多尺度特征图输入具有相同权重的分类预测子网络以及边界框回归自网络中以获得商品的边界框信息及商品的类别信息。
18.在一个实施例中，所述粗类别鉴别过程包括：根据目标检测模型获得的商品类别信息与目标粗类别集合中的商品类别进行对比，如果待检测商品的商品类别信息与目标粗类别集合中的某一类商品一致，则认为该商品属于目标粗类别集合；随后截取该待测商品的商品子图像。
19.在一个实施例中，所述的商品sku的概率值的获取过程包括：
20.将商品子图像输入到卷积层模块以提取图像特征；
21.利用全连接层模块将卷积层模块获取的图像特征映射到样本标记空间；
22.采用逻辑回归法进行分类，获取商品子图的sku及对应的分类概率值。
23.在一个实施例中，所述货道网格定位过程包括：
24.根据售货机预置信息，获取售货机货柜网格信息，即售货机货柜的行数和列数；
25.针对目标检测模型获得的所有商品的商品边界框信息，根据其边界框的中心点位置进行升序排序，以获得排序后的商品边界框信息队列；
26.结合售货机预置信息，将排序后的商品边界框信息队列与售货机的行列位置进行网格映射，获取每个网格对应的货道id。
27.在一个实施例中，所述根据商品的边界框信息、商品sku的概率值以及货道id生成预匹配信息的过程包括：根据商品的边界框信息、商品sku的概率值以及货道id计算该货道id下的商品sku的置信度分数，并判断该置信度分数是否超过阈值，如超过阈值，则利用该商品的边界框信息、商品sku的概率值以及货道id生成预匹配信息。
28.在一个实施例中，所述货道图像被上传至自动售货机远程管理服务器，所述预匹配信息的生成过程在自动售货机远程管理服务器完成。
29.本发明的另一个方面在于提供一种带有货道配置文件生成功能的自动售货机工控机，所述工控机可以实现前述基于人工智能的自动售货机货道配置方法。
30.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
31.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
32.图1是现有技术中货道配置文件生成过程示意图；
33.图2是本发明的货道配置文件生成过程示意图；
34.图3是本发明的目标检测模型结构示意图；
35.图4是本发明的目标检测模型训练过程示意图；
36.图5是本发明的商品sku分类检测模型结构示意图；
37.图6是本发明一实施例的mobilenetv2的模型结构示意图；
38.图7是本发明一实施例的mobilenetv2中的bottleneck结构示意图；
39.图8是本发明的商品sku分类检测模型训练过程示意图。
具体实施方式
40.为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明作进一步地详细说明。
41.如图2所示，本实施例的基于人工智能的自动售货机货道配置方法包括如下步骤：
42.首先，在货物配置操作员完成自动售货机的商品放置完成后，由货物配置操作员进入自动售货机的货物配置界面。在该界面下货物配置操作员进行货道配置文件的生成工作。
43.随后，货物配置操作员拍摄自动售货机的进行商品展示的货道图像并上传至自动售货机管理服务器。
44.在服务器端将自动售货机的进行商品展示的货道图像输入目标检测模型。本实施例的目标检测模型的结构示意图如图3所示。自动售货机的进行商品展示的货道图像输入目标检测模型后，首先将货道图像输入特征提取模块中进行特征提取，获取不同尺度的图像特征a＝[a0,a2,
…
,a
n-1
]。其中，n为特征提取区域提取到的图像特征个数。随后对所获取的不同尺度的图像特征进行特征融合，将n个图像特征ai，i∈[0,n-1]输入自顶向下的fpn(feature pyramid network)网络获得m个多尺度特征图bi，i∈[0,m-1]。最后进行商品分类和边界框预测，即将多尺度特征图bi输入具有相同权重的分类预测子网络以及边界框回归自网络中，获得每一件商品的边界框信息(以下简称bbox)和商品类别信息。同时还得到该商品的对应于其边界框信息和商品类别信息的置信度分数。该置信度分数的含义即为该类别商品处于该边界框位置下的概率。其中：分类预测子网络用于输出维度为w
×h×
ka的张量。w为bi的宽，h为bi的高，ka为特征图通道，表示a个anchor boxes的分类信息(k为分类的类别数)。值得注意的是，此处的商品分类信息pi，i∈[0,a-1]称为目标检测置信度分数。边界框回归用于输出维度为w
×h×
4a的张量。4是因为每个边界框为(x,y,w,h)，(x,y)为预测的中心点坐标，(w,h)为预测边界框宽和高。
[0045]
在本实施例中，目标检测模型的训练优化过程如图4所示，目标检测模型结构中，全连接节点个数、学习率、batchsize等为超参数，使用随机选取超参数的方式，得到多个模型组合。然后训练优化各个模型组合的参数，选取测试集识别结果最优模型组合。其中，优化方法可使用adam、sgd、rmsprop等优化器，通过最小化训练数据集的损失值优化参数。目标检测模型的损失值主要包括以下四个部分：位置误差、置信度误差(含有目标物体的)、置信度误差(不含目标物体的)及分类误差。
[0046]
在本实施例中目标检测模型具体使用retinanet模型结构。利用迁移学习将retinanet模型结构中的输出类别数设定为售货机数据集的目标类别个数。通过模型训练，继而获取每个商品的粗类别、bbox以及其对应的置信度。
[0047]
优化方法使用sgd优化器。训练过程主要通过最小化训练数据集的损失均值，进行参数优化。retinanet模型的损失值focal loss定义如下：
[0048]
fl(p
t
)＝-α
t
(1-p
t
)rlog(p
t
)
[0049]
其中，α
t
＝0.25,γ＝2，p∈[0,1]。其中，p
t
∈[0，1]为分类概率值。α
t
∈[0，1]为权重因子，γ≥0为focusing参数。
[0050]
随后，根据目标检测模型所得的商品类别信息，进行粗类别判断。如果该商品类别属于目标粗类别，利用目标检测模型所得bbox，获取商品子图像。反之，丢弃该物体对应的识别结果。
[0051]
假设图中有m个商品，那么将售货机货道图像输入目标检测模型，可获取当前补货照片中所有商品的粗分类类别集合l＝[l1,l2,
…
,ln]，bbox集合b＝[b1,b2,
…
,bn]，目标检测边界框类别置信度集合s＝[s1,s2,
…
,sn]，其中，li、bi，si代表第i个商品的类别、边界框、目标检测置信度分数。i∈[0,n]。其中，bi＝((b
i,x
，b
i,y
)(b
i,w
，b
i,h
))为商品在输入图片中的相对位置，即：(b
i,x
，b
i,y
)：商品边界框中心的坐标。(b
i,w
，b
i,h
)：商品边界框的宽和高。利用目标检测模型获取售货机图片中的商品类别以后，筛选出属于目标类别的商品子图像。
[0052]
本实施例中，根据商品形状将商品分为：盒装、瓶装、罐装三大类。若目标测类别为“罐装”。那么retinanet模型检测的所有粗分类类别为“罐装”的bbox，进行商品子像图裁剪，保存商品子图像，从而获得bbox集合为b＝[b1,b2,
…
,bm]。m为粗分类类别为“罐装”的bbox个数。
[0053]
接下来，将商品子图像输入商品sku分类模型。如图5所示，输入商品子图像到卷积层区域，提取图像特征。随后利用全连接层区域将卷积层区域学到的图像特征映射到样本标记空间。最后采用softmax逻辑回归(softmax regression)进行分类，获取商品子图的sku及对应的分类概率值p
ic
，p
ic
表示是指样i是类别c概率。本实施例中sku分类模型使用mobilenetv2模型结构实现。从而获得商品sku以及对应的概率值pi，i∈[0,m]，m为商品子图个数。图6为mobilenetv2的模型结构示意图。其中，t表示“扩张”倍数，c表示输出通道数，n表示重复次数，s表示步长stride。k为目标的输出类别数。图7为mobilenetv2中的bottleneck结构示意图。图7中左侧为s＝1时的bottleneck结构示意图，右侧为s＝2时的bottleneck结构示意图。
[0054]
商品sku分类模型的优化过程如图8所示，商品sku分类模型中，全连接节点个数、学习率、batchsize为超参数，使用随机选取超参数的方式，得到多个模型组合。然后训练优化各个模型组合的参数，选取测试集识别结果最优模型组合。其中，优化方法可使用adam、sgd、rmsprop等优化器，通过最小化训练数据集的损失值优化参数。
[0055]
商品sku分类模型损失值定义如下。
[0056][0057]
其中，k为sku数量。y
ic
是标签，如果该类别和样本i的类别相同就是1，否则是0。p
ic
是神经网络的输出，即，样本i是类别c概率。
[0058]
随后，结合目标检测模型以及商品sku分类模型的结果，进行货道定位，获取单个
商品所对应的货道编号。该步骤中包括货道网格定位和置信度阈值筛选两个过程。
[0059]
《货道网格定位》
[0060]
首先，根据售货机预置信息，获取售货机货柜网格信息，即售货机货柜的行数和列数，以及每个货道id对应的行、列。
[0061]
随后，将bbox根据中心点(x,y)升序排序，获得排序后的bbox序列。
[0062]
然后，结合售货机预置信息，将bbox序列与售货机的行列位置进行网格映射，获取预测位置网格。
[0063]
最后，获取每个网格对应的货道id。
[0064]
具体地，假设当前售货机售货机预置信息为货柜尺寸为m
×
n，那么可得货柜网格信息——售货机货柜有m行，n列。bbox为b＝[b1,b2,
…
,b
t
]。其中，t＝m*n。bi＝(xi,yi,wi,hi)，i∈[0,t-1]。
[0065]
(1)利用(xi,yi)对每一个bi排序，得bbox序列。主要流程为：
[0066]
首先，将bi按照yi进行升序排序，得
[0067]
其次，根据货柜的网格信息中的行列数，将均分为m份生成b，即即可得bbox所在得行。
[0068]
然后，对按照xi进行排序，获取bbox的列。换言之，最后获得具有行列属性的bbox序列。
[0069]
最后，根据bbox序列形成预测位置网格。
[0070]
(2)结合售货机货柜的预置信息中每一行每一列对应的货道id，将预测位置网格与货道id进行映射，货道最终预测的货道id。
[0071]
《置信度筛选》
[0072]
首先，结合目标检测模型的目标检测置信度分数scorei，以及商品sku分类模型所得分类概率值p
ic
，计算每个货道id对应的置信度分数conscorei＝scorei*p
ic
。其中，货道id来自货道网格定位的输出结果。
[0073]
其次，进行置信度筛选。如果conscorei≥τ，输出当前商品的货道id、商品sku和置信度分数。反之，丢弃此单个商品图的识别结果。其中，τ为置信度分数阈值。
[0074]
最后，获得预测的货道id、商品sku和置信度分数。
[0075]
根据本实施例的自动售货机货道配置方法，结合基于置信度的货道定位所得的货道id、商品sku分类模型所得的商品sku，生成一个初步配置信息。该初步配置信息从服务器端下载至自动售货机。再由货物配置操作员填入每个货道对应的商品价格，即可生成货道配置文件。最后，将生成的货道配置文件存储于自动售货机上的工控机中，完成自动配置的过程。
[0076]
以上所述，仅为本发明的具体实施案例，本发明的保护范围并不局限于此，任何熟悉本技术的技术人员在本发明所述的技术规范内，对本发明的修改或替换，都应在本发明的保护范围之内。