一种基于图像识别技术的智能领用柜装置及方法与流程

本发明涉及智能自助领货柜，特别涉及一种基于图像识别技术的智能领用柜装置及方法。

背景技术：

1、随着电力企业业务的快速发展，不断成长的企业规模对企业后勤服务的高效性提出了更高的要求，对外业务能力的体现某种程度上需要基于对内提供高效便捷的后勤服务。当前在各企业内部办公资源管理方面，由于其处在企业数字化转型的薄弱阶段，缺少对智能化手段应用的认识或智能化的应用程度不深，在企业内部人员资源申领、资源审核等过程中易受各种因素影响，导致过程效率低、损耗大等情况时有发生，而在电力行业，资源管理方面尽管已经在智能化业务流上做了许多需要工作，但是一些流程上仍然需要投入大量的人力，这些业务流程是电力企业内部资源管理数字化转型薄弱点和突破点。

技术实现思路

1、本发明针对上述背景技术中存在的问题，提出一种基于图像识别技术的智能领用柜装置及方法。

2、一种基于图像识别技术的智能领用柜装置，包含能领用柜的柜体、用于抓取人脸信息的前置摄像头、用于拍摄物品的柜内摄像头、控制门锁的智能模块、运行人工智能模型推理模块和终端系统的终端设备。

3、领用柜的柜体为双开门金属柜体，人工智能模型推理模块运行于rk3588，控制门锁的智能模块为锁控板，硬件均位于柜子顶端。柜子前面内置触摸一体屏幕，前置摄像头承担人脸识别功能，位于屏幕左上角位置。用于物品识别的摄像头安装于每层隔板上，每层安装2个，固定安装，分别位于左半部分和右半部分的中心位置。

4、一种基于图像识别技术的智能领用方法，包含如下步骤：

5、a、智能领用柜的触摸屏展示所包含的功能按钮，用户点击选择对应的功能；

6、b、开启前置摄像头，抓取人的脸部信息进行人脸识别，根据识别出的人员信息判断是否具备该功能的权限，具备权限则开启门锁；

7、c、开启柜门，人员拿取柜内的物品，待关门后调用柜内摄像头，对每层物品进行拍摄，并将图片传送人工智能推理模块进行物品种类和每种物品数量的识别；

8、d、将识别后的物品种类和数量和系统中记录的库存结果进行比对，得出本次的取存信息，将具体的物品种类以及对应的数量展示在触摸屏；

9、e、用户可在触摸屏进行校核，点击正确则结束本次领用；若存在问题则点击纠错，系统自动重新识别一次，若结果仍不正确上送后台进行人工纠错，纠错过程完成之前本柜不可再开启；不做任何操作，则30s超时后默认为正确，结束本次领用。

10、进一步地，步骤a的具体方法包括以下步骤：

11、a1、终端大屏界面默认熄灭，存在点击时则点亮；

12、a2、系统提供“自主领用”、“领用单领用”、“补货”功能，点击进行相应操作；

13、a3、若60s不做任何点击操作，则屏幕熄灭等待下一次唤醒。

14、进一步地，步骤b的具体方法包括以下步骤：

15、b1、点击功能按钮后，开启柜子前置摄像头抓取人脸面部信息进行识别，识别出对应的用户信息，包含用户姓名、用户权限；

16、b2、若选择的“自主领用”功能，则判断用户是否存在系统中，是否存在领用权限，已领用物品是否已经超限；若选择“领用单领用”功能，则判断用户是否存在系统中，用户是否有已申请且批准未执行的领用单；选择“补货”，则校验用户是否存在系统中，校核用户是否具备补货权限；

17、b3、用户具备所选功能的权限则开启门锁，若不具备所选功能的权限，则提示用户不具备权限，请联系管理员。

18、进一步地，步骤c的具体方法包括以下步骤：

19、c1、开启门锁后，用户从柜子中取出或者放入物品，取存操作完成后关闭柜门；

20、c2、系统检测到关闭柜门，则调用柜子每层层板上的摄像头对柜子内拍照，拍摄的照片传送至人工智能推理模块进行识别；推理模块采用基于深度学习的视觉目标检测算法对物品进行检测识别；将hdc算法与yolo原始架构组合起来，识别包含小目标的物品检测；最终识别出柜子内当前的物品种类和每种物品对应的数量。

21、进一步地，步骤d的具体方法包括以下步骤：

22、d1、识别出来的当前柜子内前的物品种类和每种物品对应的数量与柜子本次操作前柜子内的库存信息进行比对，得出取出/存入的物品和数量；

23、d2、识别完成后，结果展示在终端界面供用户确认。

24、进一步地，步骤e的具体方法包括以下步骤：

25、e1、用户点击确认，则证明本次识别结果无误，根据结果更新库存信息，本次领用结束；

26、e2、用户点击纠错，则证明本次识别结果有误，系统默认再重新调用摄像头拍摄，拍摄的照片传送至人工智能推理模块进行识别，若识别结果认为仍然不正确，则点击提交纠错，将本次识别结果和对应图片上传后台等待相关人员人工校核，本次校验过程完成之前本柜子不可再使用，人工校核完成后将结果反馈给柜子，根据结果更新库存信息，本次领用结束；

27、e3、若用户关闭柜门后不做任何操作，30s后默认做超时后处理，默认为本次识别结果正确，根据结果更新库存信息，本次领用结束。

28、本发明达到的有益效果为：

29、（1）本发明基于电力系统物资在日常使用过程与管理中的痛点，从边际成本效应考虑，采用实际成本更加低廉、技术门槛更高的智能视觉识别方案；（2）充分研究计算机视觉技术与智能物资管理的契合点，通过智能办公领用柜这一实际载体验证视觉能力对物资管理的提升作用，实现物资管理的规范化、智能化和智慧化，达到降本增效的效果，赋能电力系统数字化转型。（3）将现有的计算机视觉中目标检测识别能力应用到识别过程中，运用视觉识别的能力，打造一套基于智能视觉的智能办公领用柜，可以将物品分辨的过程由原来的标签-标签匹配到现在的图片-图片理解，对物品的预处理要求较传统方式降低很多，可以有效减少物品标签标定的重复工作，提高企业办公资源管理效率，减轻办公资源管理中长期重复工作的员工疲劳度，极大地提升办公资源管理的效率。

技术特征：

1.一种基于图像识别技术的智能领用柜装置，其特征在于：

2.领用柜的柜体为双开门金属柜体，人工智能模型推理模块运行于rk3588，控制门锁的智能模块为锁控板，硬件均位于柜子顶端。

3.柜子前面内置触摸一体屏幕，前置摄像头承担人脸识别功能，位于屏幕左上角位置；用于物品识别的摄像头安装于每层隔板上，每层安装2个，固定安装，分别位于左半部分和右半部分的中心位置。

4.一种基于图像识别技术的智能领用方法，其特征在于：

5.据权利要求2所述的一种基于图像识别技术的智能领用方法，其特征在于：所述的步骤a的具体方法包括以下步骤：

6.据权利要求2所述的一种基于图像识别技术的智能领用方法，其特征在于：所述的步骤b的具体方法包括以下步骤：

7.据权利要求2所述的一种基于图像识别技术的智能领用方法，其特征在于：所述的步骤c的具体方法包括以下步骤：

8.据权利要求2所述的一种基于图像识别技术的智能领用方法，其特征在于：所述的步骤d的具体方法包括以下步骤：

9.据权利要求2所述的一种基于图像识别技术的智能领用方法，其特征在于：所述的步骤e的具体方法包括以下步骤：

技术总结一种基于图像识别技术的智能领用柜装置及方法，装置为装有摄像头的智能柜，该方法包含：用户在柜体终端界面选择对应功能选项；开启前置摄像头，获取人脸信息进行人脸识别，根据识别后的人脸信息进行权限校验，根据校验后的结果确定是否开启门锁；开启门锁，再次关闭门后，调用摄像头进行拍照，根据本次拍摄的图片进行识别，识别出柜子内的物品种类和每个种类的具体数量；根据上一次保存的柜子的物品种类和每个种类的具体数量和本次的结果进行比对，得出本次取放的物品种类和每个种类的具体数量，将结果展示在柜子终端界面，供用户对比；用户点击确认保存结果，点击纠错则再次识别，超时30s不点击则默认为确认本次结果，将本次结果存储记录。技术研发人员：李珉,金岳军,张华荣,李士华,颜俊,李小红受保护的技术使用者：江苏安方电力科技有限公司技术研发日：技术公布日：2024/4/22