智能售货机状态在线监测管理系统的制作方法

本发明涉及智能核算系统，具体涉及智能售货机状态在线监测管理系统。

背景技术：

1、智能售货机是一种结合了互联网、物联网、智能硬件等先进技术的自动化零售设备，通过内置的感应器和传感器系统，以及智能识别技术（如条形码扫描、rfid识别、视觉识别等），实现全程自动化的商品销售。当消费者选择商品后，售货机会自动识别商品信息，包括种类、价格和数量等，并支持多种支付方式（如扫码支付、刷卡支付、现金支付等）完成交易。

2、智能售货机内部装有摄像头或图像传感器，可以实时捕捉消费者取货的过程并通过图像识别模型算法识别出消费者购买的商品种类和数量，但现有技术中的智能售货机在识别商品时直接对消费者拿取商品的画面进行识别，存在识别准确率会受货物大小、距离摄像头的距离以及识别货物范围影响的缺陷，导致识别效率不佳、识别速度较慢。

技术实现思路

1、针对现有技术所存在的上述缺点，本发明提供了智能售货机状态在线监测管理系统，能够有效解决现有技术中对出售货物的图像识别效率不佳、识别速度较慢的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：

3、本发明提供智能售货机状态在线监测管理系统，至少包括：包括具有多层货架的售货机以及用于智能识别商品种类的图像识别模块，售货机顶部设有朝向下方的高清摄像头，还包括：摆放管理模块、辅助识别模块、重量核对模块；

4、预设有由多个商品图像组成的图像数据库，通过深度学习模型对图像数据库中的图像数据进行算法学习并建立图像识别模型，图像识别模型在购买过程中识别画面中出现的商品并组成购买商品集合；

5、摆放管理模块包括商品扫描单元和用于提升识别精度的推荐摆放单元，商品扫描单元对商品数据进行扫描录入，推荐摆放单元根据商品数据规划商品的摆放，为不同的商品推荐不同层数高度的货架进行摆放；

6、辅助识别模块包括重量感应单元和识别调整单元，重量感应单元在每层货架下方设置有用于感应货架上方商品总重量的重量传感器，计算每层货架购买前后货物重量变化差值，根据重量传感器的数据变化生成该层货架的货物调整信号，同时根据该层货架的层数对捕捉的取货照片进行画幅调整，为不同层的货架上的多种商品建立独立的图像识别模型，根据货物调整信号对应的货架层对图像识别模型的识别范围进行调整；

7、重量核对模块对购买商品集合中的商品总重量进行核对，生成正常购买信号或异常购买信号，当生成异常信号时保存交易记录及消费者购买视频。

8、进一步地，所述商品扫描单元扫描录入过程具体如下：

9、将需要摆放进售货机的商品记作目标商品，在朝售货机内放入目标商品前，获取目标商品的名称、售价以及多个角度的外观图片，并将目标商品多个角度的外观图片添加至图像数据库，测量目标商品的外包装尺寸，构建目标商品的尺寸模型，尺寸模型为长方体，其长、宽、高分别对应目标商品外包装的长、宽、高测量值，当目标商品为非标准长方体时，以其俯视图的最大宽度、最大长度作为其尺寸模型的长、宽值，以其正视图的最大高度作为其尺寸模型的高度值。

10、进一步地，所述推荐摆放单元推荐摆放过程具体如下：

11、获取每个目标商品的尺寸模型，计算尺寸模型的六个面的面积，选取六个面中的面积最小值记作目标商品的最小识别面积，获取每层货架距离售货机顶部的竖直距离，代入预设的公式中进行计算，得到识别区域参考值，其中a为预设的常数系数、k为摄像头成像的长宽比值，将每层货架的识别区域参考值乘以一个预设的成像占比值，得到每层货架的最小成像面积，其中i表示货架从下往上的层数，当i=1时表示第一层，每个目标商品的最小识别面积，当最小识别面积属于区间时，生成推荐摆放指令，输出第i层作为推荐摆放层数，根据每个目标商品的推荐摆放层数构建不同摆放层的同层摆放集合，同层摆放集合中包含所有推荐摆放层数相同的目标商品。

12、进一步地，所述重量感应单元信号生成过程如下：

13、通过重量传感器实时记录货架上方商品的总重量记作货物总重，预设有一个维持时间阈值，当售货机柜门处于关闭状态，且货物总重保持不变并持续超过维持时间阈值时，生成货物稳定信号并计算稳定总重，计算相邻两次稳定总重之间的差值得到该层货架对应的货物重量变化差值；

14、当售货机柜门处于开启状态，且货物总重发生变化时，生成货物调整信号，进一步的，当生成货物调整信号时输出对应的货架层数序号，调整高清摄像头捕捉画面的大小，对实时捕捉的画面进行缩放，并以原画面中心为基准点、原画面的大小及长宽比对其进行裁剪得到识别图片，缩放比例n的计算公式为，其中h为预设的比例系数。

15、进一步地，获取货物调整信号对应货架的同层摆放集合，选取同层摆放集合中所有目标商品最小识别面积中的最大值记作调整参考值p，代入公式中对缩放比例n进行进一步修正计算，得到修正后的缩放比例n，其中为该层货架对应的识别区域参考值。

16、进一步地，所述识别调整单元在货物调整信号生成并持续的时间内定期拍摄取货照片，拍摄识别过程具体如下：

17、将每个货物调整信号所持续的时长区间记作核对区间，预设有拍摄时间间隔t，在核对区间内每次间隔t时长抓拍一张取货照片，对取货照片进行处理得到识别照片，通过图像识别模型对核对区间内抓拍到的所有识别照片进行识别，将每个识别照片中识别出的商品标记为售出商品，相邻拍摄的识别照片中相同的售出商品记作同一售出商品；

18、获取每层货架的同层摆放集合，以每个同层摆放集合中商品种类对图像数据库进行筛选，得到多个仅包含同层摆放集合中商品的图像数据库记作独立图像库，每个独立图像库对应一个同层摆放集合，以独立图像库为不同层的货架建立独立的图像识别模型，获取货物调整信号对应货架，以该货架对应的图像识别模型对识别照片进行识别，同时将图像识别模型的输出范围限制为同层摆放集合中包含的商品种类。

19、进一步地，所述重量核对模块对购买商品集合中的商品总重量核对过程具体如下：

20、获取打开售货机柜门的消费者信息，当售货机的柜门打开时通过高清摄像头记录视频，当售货机的柜门关闭时停止记录视频，将记录的视频与消费者信息绑定，获取该消费者的购买商品集合以及订单信息，计算购买商品集合中所有的商品重量总和记作购买总重，获取每层货架的货物重量变化差值并计算总和得到核对总重，当购买总重等于核对总重时，生成正常购买信号，保留订单信息并清除记录的视频，当购买总重不等于核对总重时，生成异常购买信号，保存该消费者购买过程中记录的视频以及订单信息。

21、本发明提供的技术方案，与已知的现有技术相比，具有如下有益效果：

22、1、本发明通过对不同目标商品进行尺寸模型构建，能够更好地对不同形状的商品进行分析，建立统一的量化标准，以便于从识别分析角度对不同目标商品进行大小比较，从而能够根据目标商品的尺寸大小将其分配至售货机的的不同货架层，以便于后续过程中图像识别模型在捕捉图像进行识别时，目标商品能够在图像中占据足够比例的画幅，进而提升目标商品在图像中显示的清晰度，有助于提升图像识别模型的识别准确率。

23、2、本发明能够根据商品所处的货架层数调整捕捉到的画面的缩放比例，进一步地提升被检测的商品在检测画面中的画幅占比，相较于普通的缩放调整，根据最大的最小识别面积来限制缩放比例的调整，能够在尽可能地放大被检测商品在检测画面中的画幅的同时，避免过度放大造成商品不能完整显示的问题，进一步确保商品能够被稳定识别。

24、3、本发明识别调整单元为每个货架建立一个独立的图像识别模型，进而减少其他层货物对图像识别模型识别该层货架上商品的干扰，相较于统一识别的图像识别模型，能够减少图像识别模型的学习成本、提升模型建立速度，并且独立的图像识别模型能仅针对该层货物进行识别，缩小比对范围和输出范围，有助于提升识别准确度。