智能货柜、智能货柜的交互控制方法和系统与流程

本发明涉及物联网，尤其涉及一种智能货柜、智能货柜的交互控制方法和系统。

背景技术：

1、智能货柜是一种自助式销售系统，通过物联网、机器视觉技术等以更高效、便捷的方式提供商品和服务。智能货柜通常配备了摄像头、传感器、显示屏和连接互联网的能力，使其能够自动监控货物库存、实时传输数据、与用户互动，以及处理支付。智能货柜全天候可用，不受商店开放时间的限制，用户可以随时购买商品，无需等待，减少了排队时间，另外，智能货柜还可以自动库存监控和补货，减少了商品过期和浪费，通过分析销售数据，零售商可以更好地了解市场需求和用户偏好，以便做出更明智的上货决策。

2、智能货柜为用户带来了无数便利，但是在使用过程中往往存在一些问题：智能货柜的硬件组件如摄像头、电子锁等，可能会出现故障，导致交互中断或错误、摄像头图像采集缺陷导致无法准确识别商品类别或商品数量、数据传输延迟大导致交互过程长或购买失败等等，这些问题严重影响了用户体验。

技术实现思路

1、有鉴于此，本发明实施例提供了一种智能货柜、智能货柜的交互控制方法和系统，用以解决现有技术中无人零售货柜在图像采集上不准确，影响图像识别，从而导致用户体验不佳的技术问题。

2、第一方面，本发明实施例提供了一种智能货柜，所述智能货柜包括：设于所述智能货柜柜体右上角的主控装置，所述主控装置设置有第一图像采集装置和第二图像采集装置，其中，第一图像采集装置通过滑动槽设置于所述主控装置中，第一图像采集装置在滑动槽中滑动从而可以调节与第二图像采集装置之间的距离；所述第一图像采集装置的采集范围为智能货柜柜体内外，所述第二图像采集装置的采集范围为智能柜体外。

3、优选地，所述第一图像采集装置的视角方向与智能货柜柜门所在平面的在垂直方向上的夹角范围为55°至65°。

4、优选地，所述第二图像采集装置的视角方向与智能货柜柜门所在平面在水平方向上的夹角为55°至65°。

5、优选地，所述第二图像采集装置固定安装于智能货柜柜门右上角，根据第二图像采集装置的位置、采集角度和采集范围滑动调节第一图像采集装置的位置。

6、第二方面，本发明提供一种智能货柜的交互控制方法，所述交互控制方法包括：

7、控制所述智能货柜的第一图像采集装置和第二图像采集装置按预设时间采集得到第一连续图像；

8、当所述第一连续图像采集成功，控制所述智能货柜的电子锁执行开锁操作；

9、控制第一图像采集装置和第二图像采集装置开始采集第二连续图像直至接收到来自所述电子锁的闭锁信号；

10、将采集到的所述第二连续图像发送至所述服务器并驱动所述服务器向所述智能终端发送订单信息。

11、优选地，所述控制所述智能货柜的第一图像采集装置和第二图像采集装置按预设时间采集得到第一连续图像，包括：

12、控制所述第一图像采集装置和所述第二图像采集装置同时按预设时间采集第一子连续图像和第二子连续图像；

13、将所述第一子连续图像和所述第二子连续图像进行拼合得到所述第一连续图像。

14、优选地，所述控制第一图像采集装置和第二图像采集装置开始采集第二连续图像直至接收到来自所述电子锁的闭锁信号，包括：

15、提取所述第二连续图像中包括智能货柜柜门信息的帧图像，记为柜门图像；

16、根据所述柜门图像实时生成柜门状态信息，其中所述柜门状态信息至少包括柜门开启、柜门关闭中的一种；

17、当接收到所述闭锁信号时获取所述柜门状态信息；

18、若所述柜门状态信息为柜门关闭时则控制所述图像采集装置停止所述第二连续图像的采集。

19、优选地，所述控制第一图像采集装置和第二图像采集装置开始采集第二连续图像直至接收到来自所述电子锁的闭锁信号，包括：

20、控制所述第一图像采集装置和第二图像采集装置采集用户从开柜门到取出商品的运动轨迹；

21、根据运动轨迹确定用户取出的商品所在的商品区域；

22、对比用户取出商品前的所述商品区域的帧图像和用户取出商品后所述商品区域的帧图像，确定用户所取出的商品的信息。

23、优选地，控制所述图像采集装置采集第二连续图像还包括：

24、提取第一图像采集装置和第二图像采集装置初始采集的若干帧图像，即为初始帧图像；

25、获取初始帧图像的清晰度等级并判断该清晰度等级是否满足预设图像分析要求；

26、若否，根据所述清晰度等级和所述预设图像分析要求调整第一图像采集装置和第二图像采集装置的采集帧率；

27、重新获取调整采集帧率后所述第一图像采集装置和第二图像采集装置采集的前面若干帧图像，记为调整帧图像；

28、获取调整帧图像的清晰度等级并判断该调整帧图像的清晰度等级是否满足预设图像分析要求；

29、直至清晰度等级满足预设图像分析要求。

30、第三方面，本发明提供一种智能货柜的交互控制系统，所述系统包括：智能货柜、与智能货柜通信连接的服务器，其中，所述智能货柜为前面任一项所述的智能货柜。

31、综上所述，本发明的有益效果如下：

32、本发明实施例提供的智能货柜、智能货柜的交互控制方法和系统，通过设置第一图像采集装置和第二图像采集装置于智能货柜的不同位置，并通过调节二者之间的位置，可以广泛适用于不同尺寸的智能货柜，并且，可以实现用户在购物中图像采集的实时性和准确性，以便于准确识别商品类别和数量并生成订单信息，使得整个交易过程更加便捷和高效，为用户提供了良好、便利的购买体验。

技术特征：

1.一种智能货柜，其特征在于，所述智能货柜包括：设于所述智能货柜柜体右上角的主控装置，所述主控装置设置有第一图像采集装置和第二图像采集装置，其中，第一图像采集装置通过滑动槽设置于所述主控装置中，第一图像采集装置在滑动槽中滑动从而可以调节与第二图像采集装置之间的距离；所述第一图像采集装置的采集范围为智能货柜柜体内外，所述第二图像采集装置的采集范围为智能柜体外。

2.根据权利要求1所述的智能货柜，其特征在于，所述第一图像采集装置的视角方向与智能货柜柜门所在平面的在垂直方向上的夹角范围为55°至65°。

3.根据权利要求2所述的智能货柜，其特征在于，所述第二图像采集装置的视角方向与智能货柜柜门所在平面在水平方向上的夹角为55°至65°。

4.根据权利要求1至3任一项所述的智能货柜，其特征在于，所述第二图像采集装置固定安装于智能货柜柜门右上角，根据第二图像采集装置的位置、采集角度和采集范围滑动调节第一图像采集装置的位置。

5.一种依据权利要求1至4任一项所述的智能货柜的交互控制方法，其特征在于，所述交互控制方法包括：

6.根据权利要求5所述的智能货柜的交互控制方法，其特征在于，所述控制所述智能货柜的第一图像采集装置和第二图像采集装置按预设时间采集得到第一连续图像，包括：

7.根据权利要求5所述的智能货柜的交互控制方法，其特征在于，所述控制第一图像采集装置和第二图像采集装置开始采集第二连续图像直至接收到来自所述电子锁的闭锁信号，包括：

8.根据权利要求5所述的智能货柜的交互控制方法，其特征在于，所述控制第一图像采集装置和第二图像采集装置开始采集第二连续图像直至接收到来自所述电子锁的闭锁信号，包括：

9.根据权利要求5所述的智能货柜的交互控制方法，其特征在于，控制所述图像采集装置采集第二连续图像还包括：

10.一种智能货柜的交互控制系统，其特征在于，所述系统包括：智能货柜、与智能货柜通信连接的服务器，其中，所述智能货柜为权利要求1至4任一项所述的智能货柜。

技术总结本发明公开了一种智能货柜、智能货柜的交互控制方法和系统，涉及无人零售领域。该智能货柜包括：设于所述智能货柜柜体右上角的主控装置，所述主控装置设置有第一图像采集装置和第二图像采集装置，其中，第一图像采集装置通过滑动槽设置于所述主控装置中，第一图像采集装置在滑动槽中滑动从而可以调节与第二图像采集装置之间的距离；所述第一图像采集装置的采集范围为智能货柜柜体内外，所述第二图像采集装置的采集范围为智能柜体外。本发明基于上述智能货柜，还相应提供了智能货柜的交互控制方法和系统。本发明具有准确识别商品类别和数量并生成订单信息，减少人工干预，提升了用户购物体验。技术研发人员：邱俊波,黄超群,陈俏锋受保护的技术使用者：深圳友朋智能商业科技有限公司技术研发日：技术公布日：2024/6/26