基于行动节点曲线建模的自助收银放到一体化AI系统的制作方法

本发明涉及零售行业自助收银，具体涉及一种基于行动节点曲线建模的自助收银放到一体化ai系统。

背景技术：

1、零售行业，尤其是商超自助通道的结算，对商家造成了较大的损失。商超现有手段是通过监控摄像头来人工进行查看，另外人工通道安排人员进行人工监督，但存在成本高的缺陷。

2、近几年ai收银秤、标签秤等智能化设备开始进入商超。摄像头通过拍摄秤盘上的商品，运用深度学习神经网络的技术进行商品的类别识别，进而收银员和称重员无需记录条码，直接进行结算。

3、自助结算通道的自助收银机，安装有条码扫描摄像头用于矿泉水等标品的扫描。该摄像头还可以用来拍摄图片，进行动作的识别。识别的技术方案是：

4、1)采集扫码动作作为训练样本。

5、2)利用深度神经网络判断该动作是否属于收银动作。

6、3)然后去比对收银动作和收银系统中收到的结算信息是否一致。

7、动作识别是人工智能领域一种比较常见的图像识别技术。主要流程是：

8、①定义需要识别的内容，设立标准。比如某个具体的手势等。

9、②采集图片后，搭建网络结构进行训练。网络结构一般是选用学术上的一个基础网络，然后进行场景化的结构调整

10、③利用深度学习框架，比如caffe tf pytorch等开源深度学习框架进行训练。获取识别网络。

11、现有自助通道防损实现方法及缺陷如下：

12、方案1：通过自助通道顶部监控摄像头，人工进行监控。

13、方案2：通过在收银台假设摄像头监控收银动作，与监控摄像头进行屏幕上实时显示收银过程，进行人为监控。

14、方案1和方案2的缺陷：

15、1、人工判断难度大。

16、2、无法准确辨别是否漏扫、假扫。

17、3、无法做到拦截及时拦截。

18、4、人工判断需要时间。

19、方案3：收银自助机上外加摄像头。判断是否存在扫码动作以及托盘是否存在变化，以此来判断漏扫行为。

20、方案3的缺陷：

21、1、漏扫动作识别误报率高，导致频繁人工解锁，影响结算速度，需要投入大量的监管人员。误报率高的部分情况如下：故意来回放置商品，会导致多次扫码动作被识别。真实存在多次扫码，多次识别。

22、2、无法监控自助台、托盘外的漏扫动作。缺少购物车实时联动识别。

23、3、对于刻意隐藏商品的漏扫行为无法识别。比如藏在其他物品下面躲避摄像头检测。

24、4、无法实现错扫检测。只监控扫码动作，但是扫码商品是否为结算真实商品无法监控。比如：苹果购物袋外面贴了价格较低的西红柿的标签；一个购物袋有多个标签需要扫描的，但是顾客只进行一次扫描。

技术实现思路

1、本发明主要解决现有技术中存在的不足，提供了一种基于行动节点曲线建模的自助收银放到一体化ai系统，其具有防损防盗功能、操作便捷和运行稳定性好的特点。通过监控摄像头与自助机监控摄像头序列结合的方法，解决了漏扫和错扫的问题。

2、本发明的上述技术问题主要是通过下述技术方案得以解决的：

3、一种基于行动节点曲线建模的自助收银放到一体化ai系统，其特征在于包括如下操作步骤：

4、第一步：硬件架设，在自助结算机处外接摄像头，定义为i目摄像头；自助通道的监控摄像头，定义为ii目摄像头，定义标品扫码摄像头为iii目摄像头；出入口假设地磅秤以及人脸识别装置，定义为iv目摄像头。

5、第二步：会员信息出入口信息绑定，会员入口，采集重量信息，并绑定人脸。

6、第三步：会员入场，采集重量信息，并绑定购物信息，获取ii目摄像头采集数据，调用fcn图像分割算法，定位出购物车位置。

7、第四步：新建购物车节点序列c[t]，并初始化该序列为空c[t]＝null。

8、第五步：ii目摄像头获取购物车位置，设定连续抓拍频率为10ms，图像预处理，图像分割网络，输出购物袋个数，判断个数是否减少，如果减少，则新增商品离开车的序列节点ck。

9、第六步：获取中间数据：购物车商品节点、扫码节点、结算节点，通过iii目摄像头获取订单信息mk。

10、第七步：无效ak去重，通过ck、k+1ms范围内的ak合并；ak为扫码序列节点，即判定通过跟踪人手中心位置，完成一个扫描动作后，图片抓拍的位置节点保持一致，则认定一次扫描动作结束，新增一次扫描序列节点ak。

11、第八步：漏扫判断，满足下列条件任一个，获取ii目摄像头和i目摄像头监控数据并上传至客户业务端：1、ck＞ak，表明商品离开购物车的节点数量大于扫码数量，则存在漏扫行为；2mk&ck＝＝0，表明离开车的动作和扫码动作不匹配，则存在漏扫行为；错扫判断：满足下列条件，则存在错扫风险，获取ii和i目摄像头监控数据并上传至客户业务端：(mk&ck＝＝1)&&(s(lk)！＝s(ck))；表示离开购物车动作和扫码动作一致匹配，但是扫码商品价格和识别商品价格不一致，则表示错扫。比如扫码时进入结算的价格是苹果。但是实际商品是榴莲。

12、作为优选，判断是否为新会员，如果是，则新建临时会员购物序列。

13、作为优选，i目摄像头提前完成标定摄像头区域，硬件架设结束后就已经完成且保存在服务器端，i目摄像头设置连续拍照间隔为10ms一张，并进行单张图片处理，舍弃无效图片，保留有效中心位置pt(x，y)，绘制节点曲线y＝{pt(x，y)}t＝0，δt＝10ms。

14、作为优选，计算区域边界焦点d1和d2，存在且唯一，则标记为有效序列扫码节点{ak，lk}，其中lk为商品品类。

15、作为优选，d1和d2是连拍图片获取的位置中心点拟合的曲线与拍摄边界的焦点，公式如下：

16、节点曲线为y＝{pt(x，y)}；

17、x＝(x1，x2，..，xn)；

18、y＝(y1，y2，...，yn)；

19、拟合二次多项式：p＝polyfit(x，y，2)；

20、生成拟合曲线所需的x值：xx＝linspace(1，10，100)；

21、拟合曲线：y_polyfit＝polyval(p，xx)；

22、则记下来计算边界值，得到d1(x＝0，y1)，d2(x，y＝0)。

23、作为优选，单张图片处理采用3任务深度神经网络，完成是否为人手、中心位置坐标输出、商品品类；

24、3任务深度神经网络整体结构采用的是yolov3的结构，包括conv2d1*1的特征为f(x，y)；

25、先进行卷积layers.conv(f(x，y)，kernel(1，1))；

26、然后上采样resize(layers.conv(f(x，y)，kernel(1，1))，2)；

27、最后线性变换lp，能够将人手标签的预测特征值进行因子抑制，得到：resize(layers.conv(f(x，y)，kernel(1，1))，2)*h(x，y)；

28、卷积、上采样和线性变换lp三者之间的关系是函数运算关系。

29、卷积为一种常见的标准cnn的计算组件，卷积如下计算如下：

30、

31、

32、

33、

34、作为优选，上采样的pytorch实现方式为：

35、x＝torch.randn(x，y，h，n)；

36、insert＝nn.functional.interpolate(x，sacle_factor＝2)；

37、y＝insert(x)；

38、线性变换lp，则卷积核为对角，套用卷积计算即可，卷积矩阵如下：

39、a，0，0

40、0，b，0

41、0，0，c。

42、作为优选，图像预处理采用图像尺寸变换和归一化处理；图像分割网络采用unet结构，unet是一种用于图像分割的卷积神经网络结构，具有一个对称的u形结构，包括编码器和解码器部分；编码器部分，也称为收缩路径，用于特征提取和上下文信息捕获，这一部分由一系列卷积层和最大池化操作组成，每经过一次池化操作，特征图的尺寸减半，但通道数通常会增加；解码器部分，也称为扩张路径，用于上采样特征图，以恢复原始图像的分辨率；这一部分包括上采样操作和卷积层，上采样通常通过转置卷积或插值实现。

43、作为优选，外接摄像头i目分辨率不低于200w，像素1.2mp。

44、本发明能够达到如下效果：

45、本发明提供了一种基于行动节点曲线建模的自助收银放到一体化ai系统，与现有技术相比较，具有防损防盗功能、操作便捷和运行稳定性好的特点。通过监控摄像头与自助机监控摄像头序列结合的方法，解决了漏扫和错扫的问题。