一种自动售货柜的防盗报警方法与流程

本发明涉及自动售货，具体涉及一种自动售货柜的防盗报警方法。

背景技术：

1、自动售货柜是由顾客扫码开门、自主选购、关门后自动扣款的机器。自动售货柜属于商业自动化的常用设备，它不受时间、地点的限制，占地面积小，能节省人力物力，交易便捷。

2、由于具有安装方便、管理成本低和经营场所灵活等优点，自动售货柜在城市的地铁站、商场、图书馆等地点广泛应用。

3、自动售货柜的柜门一般是采用电磁门锁，电磁门锁内置有磁传感器，磁传感器可以检测电磁门锁的开关状态。自动售货柜的柜内安装了摄像头，通过摄像头拍摄顾客选购商品的视频，利用图像识别技术来识别顾客选购了哪些商品，并自动完成计费。

4、出于节能的考虑，现有的自动售货柜一般是在检测到电磁门锁开启时才启动摄像头拍摄视频；而在检测电磁门锁关闭时经过一定延时后停止拍摄。

5、目前偶尔会有人在选购完商品后需要关闭柜门时欺骗电磁门锁，通过工具使磁传感器检测电磁门锁为“关闭”状态，此时系统误认为柜门已关，而运营管理人员并不知道这一异常情况。

6、显然现有的自动售货柜仅通过检测电磁门锁的状态判断柜门的开关状态，其安全性不高，可能出现商品被盗的情况。

技术实现思路

1、基于上述表述，本发明提供了自动售货柜的防盗方法，以解决现有的售货柜仅通过检测电磁门锁的状态判断柜门的开关状态，安全性不高的问题。

2、本发明解决上述技术问题的技术方案如下：

3、一种自动售货柜的防盗报警方法，在柜体内安装摄像头，摄像头朝向柜门的开启侧，使得摄像头能拍摄到顾客选购商品的画面，且柜门的门缝位于拍摄画面内；初始时，将柜门保持在关闭状态并通过摄像头拍摄画面图像，在画面内划定第一视觉识别区域，分割出第一视觉识别区域内的图像得到参照图像；在自动售货柜投入使用后，当磁传感器检测到电磁门锁打开时，开启摄像头拍摄购物视频，当磁传感器检测到电磁门锁关闭时，继续拍摄购物视频同时开始将购物视频分解成各帧图像，将各帧图像中的第一视觉识别区域图片分割出来，得到区域子图序列；将区域子图序列中除了第一幅区域子图的其他各幅区域子图与参照图像进行比对，并计算这些区域子图与参照图像的相似度，将计算出的各个相似度值与预设的阈值进行比较，若区域子图序列中出现相似度值小于阈值的情况，则视觉检测的结果为柜门开启；当视觉检测结果为柜门开启，而磁传感器检测结果为柜门关闭时，认为柜门为“开”，此时向自动售货柜的运营管理者发出异常报警信息。

4、作为优选方案：划定视觉第一识别区域时，建立平面坐标系，在视频画面中划分出第一视觉识别区域，使柜门的门缝位于第一视觉识别区域内，获取第一视觉识别区域的左上角顶点坐标和右下角顶点坐标，后续通过这两个定点坐标可以在视频画面内对第一视觉识别区域定位。

5、作为优选方案：计算相似度时，将参照图像记做f0，将第一幅区域子图记作f1，将第二幅区域子图记做f2，依此类推，将第n幅区域子图记做fn；f0对应的图像中柜门的状态为关，依次使用编码网络对上述图像计算编码向量；从f2开始，依次计算与f0计算相似度；根据经验统计出合适的相似度阈值，如果当前区域子图和f0的相似度小于阈值,则认为门处于开的状态；如果当前区域子图和f0的相似度大于阈值，则认为门处于关的状态。

6、作为优选方案：图像编码方法步骤为，将参照图像或区域子图转化为灰度图；将灰度图的尺寸缩放到9行8列；对上述灰度图进行像素循环遍历，如果每行的前一个像素比后一个像素大,则返回结果1，否则为零；对上述灰度图中的64对像素进行比较后就可以得到一个长度为64维的向量；经过上述方法对两幅图像进行编码得到的向量m1、m2；对m1和m2进行循环遍历,比较她们相应位置上的元素是否相等，统计出m1和m2中对应位置元素不相等的个数cout；使用simv＝1-cout/64即可得到两张图片的相似度；如果cout为0,则simv＝1,代表两张图片相似度较高；如果cout为64,则simv＝0,代表两张图片相似度较低。

7、作为优选方案：还包括第二视觉识别区域，定义门缝宽度预测公式s＝a×m+b×n，式中m代表售货柜累计使用的天数，n代表售货柜累计开关门的次数，a和b分别为预设的权重系数；在拍摄到的图像中提取柜门密封条的走向轨迹，获取走向轨迹的端坐标；预设几组缝隙宽度数值区间，在走向轨迹上对各组缝隙宽度数值区间对应的“衔接点”的坐标位置进行标定；在使用自动售货柜的过程中，统计其柜门的开关门次数和累计使用天数，通过门缝宽度预测公式计算出理论门缝宽度；再通过比对确定理论门缝宽度处于哪一缝隙宽度数值区间；接着根据缝隙宽度数值区间确定当前“衔接点”的位置坐标；再在走向轨迹上并位于“衔接点”下方一定距离l选取一目标点位，该目标点位即为第二视觉识别区域的中心点；磁传感器检测到电磁门锁开启时，摄像头开始拍摄顾客购物的视频；在磁传感器检测到电磁门锁关闭时，继续拍摄一段时间，同时对视频分帧并获取第一视觉识别区域和第二视觉识别区域的区域子图序列；将第一视觉识别区域的区域子图序列中的图像与其对应的参照图像进行相似度计算，并将第二视觉识别区域的区域子图序列中的图像与其对应的参照图像进行相似度计算；若第一视觉识别区域出现相似度小于阈值的情况或是第二视觉识别区域出现相似度小于阈值的情况，则综合视觉检测的结果为柜门开启；若磁传感器的检测结果为柜门关闭，而综合视觉检测结果为柜门开启，则也认为柜门为“开”，系统向自动售货柜的运营管理者发出异常报警信息，提醒其到现场对缝隙进行评估处理。

8、与现有技术相比，本申请的技术方案具有以下有益技术效果：该防盗方法采用磁传感器检测与视觉检测相配合的方式来判断柜门的开关状态，当磁传感器检测到电磁门锁为关闭状态，且摄像头拍摄到柜门为关闭状态，才认为柜门为“关”；当视觉检测结果为柜门开启，而磁传感器检测结果为柜门关闭时，认为柜门为“开”，可能是电磁门锁损坏、磁传感器故障或是电磁门锁受到欺骗，存在商品被盗的风险；此时向自动售货柜的运营管理者发出异常报警信息，提高自动售货柜运营的安全性。通过该方法可以在存在商品被盗风险时及时提醒管理者，有利于及时消除隐患。

技术特征：

1.一种自动售货柜的防盗报警方法，其特征是：在柜体内安装摄像头，摄像头朝向柜门的开启侧，使得摄像头能拍摄到顾客选购商品的画面，且柜门的门缝位于拍摄画面内；初始时，将柜门保持在关闭状态并通过摄像头拍摄画面图像，在画面内划定第一视觉识别区域，分割出第一视觉识别区域内的图像得到参照图像；在自动售货柜投入使用后，当磁传感器检测到电磁门锁打开时，开启摄像头拍摄购物视频，当磁传感器检测到电磁门锁关闭时，继续拍摄购物视频同时开始将购物视频分解成各帧图像，将各帧图像中的第一视觉识别区域图片分割出来，得到区域子图序列；将区域子图序列中除了第一幅区域子图的其他各幅区域子图与参照图像进行比对，并计算这些区域子图与参照图像的相似度，将计算出的各个相似度值与预设的阈值进行比较，若区域子图序列中出现相似度值小于阈值的情况，则视觉检测的结果为柜门开启；当视觉检测结果为柜门开启，而磁传感器检测结果为柜门关闭时，认为柜门为“开”，此时向自动售货柜的运营管理者发出异常报警信息。

2.根据权利要求1所述的自动售货柜的防盗报警方法，其特征是：划定视觉第一识别区域时，建立平面坐标系，在视频画面中划分出第一视觉识别区域，使柜门的门缝位于第一视觉识别区域内，获取第一视觉识别区域的左上角顶点坐标和右下角顶点坐标，后续通过这两个定点坐标可以在视频画面内对第一视觉识别区域定位。

3.根据权利要求1所述的自动售货柜的防盗报警方法，其特征是：计算相似度时，将参照图像记做f0，将第一幅区域子图记作f1，将第二幅区域子图记做f2，依此类推，将第n幅区域子图记做fn；f0对应的图像中柜门的状态为关，依次使用编码网络对上述图像计算编码向量；从f2开始，依次计算与f0计算相似度；根据经验统计出合适的相似度阈值，如果当前区域子图和f0的相似度小于阈值,则认为门处于开的状态；如果当前区域子图和f0的相似度大于阈值，则认为门处于关的状态。

4.根据权利要求3所述的自动售货柜的防盗报警方法，其特征是：图像编码方法步骤为，将参照图像或区域子图转化为灰度图；将灰度图的尺寸缩放到9行8列；对上述灰度图进行像素循环遍历，如果每行的前一个像素比后一个像素大,则返回结果1，否则为零；对上述灰度图中的64对像素进行比较后就可以得到一个长度为64维的向量；经过上述方法对两幅图像进行编码得到的向量m1、m2；对m1和m2进行循环遍历,比较她们相应位置上的元素是否相等，统计出m1和m2中对应位置元素不相等的个数cout；使用simv＝1-cout/64即可得到两张图片的相似度；如果cout为0,则simv＝1,代表两张图片相似度较高；如果cout为64,则simv＝0,代表两张图片相似度较低。

5.根据权利要求1所述的自动售货柜的防盗报警方法，其特征是：还包括第二视觉识别区域，定义门缝宽度预测公式s＝a×m+b×n，式中m代表售货柜累计使用的天数，n代表售货柜累计开关门的次数，a和b分别为预设的权重系数；在拍摄到的图像中提取柜门密封条的走向轨迹，获取走向轨迹的端坐标；预设几组缝隙宽度数值区间，在走向轨迹上对各组缝隙宽度数值区间对应的“衔接点”的坐标位置进行标定；在使用自动售货柜的过程中，统计其柜门的开关门次数和累计使用天数，通过门缝宽度预测公式计算出理论门缝宽度；再通过比对确定理论门缝宽度处于哪一缝隙宽度数值区间；接着根据缝隙宽度数值区间确定当前“衔接点”的位置坐标；再在走向轨迹上并位于“衔接点”下方一定距离l选取一目标点位，该目标点位即为第二视觉识别区域的中心点；磁传感器检测到电磁门锁开启时，摄像头开始拍摄顾客购物的视频；在磁传感器检测到电磁门锁关闭时，继续拍摄一段时间，同时对视频分帧并获取第一视觉识别区域和第二视觉识别区域的区域子图序列；将第一视觉识别区域的区域子图序列中的图像与其对应的参照图像进行相似度计算，并将第二视觉识别区域的区域子图序列中的图像与其对应的参照图像进行相似度计算；若第一视觉识别区域出现相似度小于阈值的情况或是第二视觉识别区域出现相似度小于阈值的情况，则综合视觉检测的结果为柜门开启；若磁传感器的检测结果为柜门关闭，而综合视觉检测结果为柜门开启，则也认为柜门为“开”，系统向自动售货柜的运营管理者发出异常报警信息，提醒其到现场对缝隙进行评估处理。

技术总结本发明涉及一种自动售货柜的防盗报警方法，其特征是：在柜体内安装摄像头，柜门的门缝位于拍摄画面内；在画面内划定视觉识别区域，分割出视觉识别区域内的图像得到参照图像；将当前购物视频分解成各帧图像，将各帧图像中的视觉识别区域图片分割出来，将区域子图与参照图像进行比对，并计算这些区域子图与参照图像的相似度，将计算出的各个相似度值与预设的阈值进行比较；当视觉检测结果为柜门开启，而磁传感器检测结果为柜门关闭时，认为柜门为“开”，此时向自动售货柜的运营管理者发出异常报警信息。该防盗方法采用磁传感器检测与视觉检测相配合的方式来判断柜门的开关状态，可以在存在商品被盗风险时及时提醒管理者。技术研发人员：丁齐锋受保护的技术使用者：武汉小麦便利科技有限公司技术研发日：技术公布日：2024/5/29