一种基于锁芯孔快速识别的应急开锁AI辅助系统及其使用方法与流程

本发明涉及锁芯孔识别，特别是一种基于锁芯孔快速识别的应急开锁ai辅助系统及其使用方法。

背景技术：

1、随着科技水平的大力发展，各类具有复杂内部结构、不同锁芯孔外观的锁具逐渐应用于我们的日常生活中。尽管这类具有复杂内部结构、防盗防暴力开锁功能的锁具很好地保护了用户的安全、隐私，满足了用户对于特定使用场景下的安防需求，但是在某些情况下它也会变成一把双刃剑，会给我们的生活带来许多不便，甚至造成一些严重的后果。在日常生活中，大多数人都遇到过钥匙丢失的情况，又或者是一些突发情况，比如火灾、孩童将自己反锁房间以及特殊部门执行某些特殊任务时，都需要进行应急开锁。传统应急开锁方法都是锁匠或其它应急开锁人员通过人眼对锁芯孔外观进行观察猜测识别，再根据观察猜测识别出的结果来确定相应锁具类型的开锁技巧进行应急开锁，这种依靠人工观察猜测识别并尝试的应急开锁流程及方法增加了许多尝试期间的时间成本，严重影响了应急开锁效率。随着人工智能技术的快速发展，可将视觉检测和机器学习技术引入应急开锁的辅助应用中，降低了开锁难度，提升了应急开锁效率。但是，目前还存在一些技术难点：

2、(1)目前市面上的锁芯孔大多外加装了一个金属盖，以提高私密性和安全性，采用普通摄像头难以聚焦锁芯孔上获取高亮度、清晰度图像。如何在锁芯孔有外壳保护下，采集到清晰、完整的锁芯孔图像用于后续的准确识别。

3、(2)锁芯孔图像表面存在拉丝纹理与光照不均的现象，传统的图像处理与分析方法难以对锁芯孔图像精确分割。锁芯孔目标类内差异大、类间差异小，单粒度级别的局部特征无法作为鉴别性特征，如何对其进行有效的特征提取来实现锁芯孔的快速高效识别。

4、(3)如今开锁业务管理通常依赖人工文本登记业务信息，容易出现记录散乱无序，甚至造假的情况，且开锁人员的资质难以确保并缺乏有效监管，锁芯孔辅助信息保密等级高，如何保证系统的安全性以及实现相关操作人员使用行为监管。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于锁芯孔快速识别的应急开锁ai辅助系统及其使用方法，实现减少传统应急开锁过程中人工猜测锁芯结构的耗费时间和出错风险，降低应急开锁难度，提升应急开锁效率，保证应急开锁的快速顺利完成且得到有效监管。

2、为实现上述目的，本发明采用如下技术方案：一种基于锁芯孔快速识别的应急开锁ai辅助系统，包括：伸入式图像采集装置、现场操作app软件、锁芯孔快速识别ai模型以及安全监管平台；通过带光源的伸入式图像采集装置伸入锁芯盖内部采集锁芯孔图像，并将锁芯孔图像传输至现场操作app软件，现场操作app软件将接收到的图像上传至安全监管平台；安全监管平台调用锁芯孔快速识别ai模型进行锁芯孔图像识别，对锁芯孔图像进行特征提取和分类；最终，监管平台服务端将锁芯孔识别模型的处理结果以及相应的应急开锁辅助信息发送给现场操作app，同时监管平台负责对现场操作app进行权限和安全监管。

3、在一较佳的实施例中，所述伸入式图像采集装置包括定位固距工装、摄像头工装、pcb电路板和带光源的摄像头模块，所述定位固距工装为前后贯通的中空结构，所述定位固距工装前端具有定位凸块，所述定位凸块与锁孔相适应并在工作时嵌入锁孔，所述摄像头工装为前端开孔的中空结构，所述pcb电路板设置于摄像头工装内，所述摄像头模块嵌设于摄像头工装的前端开孔内并向前伸出，所述定位固距工装后部套设于摄像头工装前部外侧，所述定位固距工装后端具有第一连接结构，所述摄像头工装上具有与第一连接结构配合连接以使摄像头工装相对于定位固距工装前后运动的第二连接结构；所述pcb电路板与摄像头模块电性连接，以通过摄像头模块在光源辅助照明下对锁芯孔进行图像采集；

4、所述定位固距工装包括定位连接件和对焦外壳，所述定位连接件后端与对焦外壳前端固定连接；所述定位连接件前端具有定位凸块，所述定位连接件内开设有中心通孔，所述中心通孔大小与摄像头模块相适应，以让摄像头模块穿出；所述对焦外壳具有前后贯通的中空型腔，所述中空型腔后部大小与摄像头工装前部相适应，以使摄像头工装能够在中空型腔内前后运动。

5、在一较佳的实施例中，所述摄像头模块包括摄像头、光源和摄像头前伸管，所述前伸管架后端嵌设于摄像头工装的前端开孔内，所述摄像头和光源安装于摄像头前伸管前端，所述摄像头和光源的连接导线穿过摄像头前伸管与pcb电路板电性连接；所述定位固距工装前部内侧具有第三内螺纹结构，所述摄像头前伸管前端外侧相应具有与第三内螺纹结构配合的第三外螺纹结构，以通过螺纹配合对摄像头前伸管前端及其上的摄像头和光源进行定位；

6、所述pcb电路板上具有控制按键模块和usb接口模块，所述摄像头工装后侧部开设有按键通孔，所述控制按键模块嵌设于按键通孔内并向内连接在pcb电路板上，所述摄像头工作后端面上开设有usb通孔，所述usb接口模块嵌设于usb通孔内并向内连接在pcb电路板上；所述摄像头工装由上半壳体和下半壳体连接组成，以利于pcb电路板和摄像头模块的安装；所述pcb电路板上设有基于bk7231u芯片的主控电路、wi-fi模块、供电电路、锂电池电量监测电路、低功耗控制电路、控制按键模块和usb接口模块，所述摄像头模块与主控电路电性连接，所述供电电路为摄像头模块和pcb电路板上所有电路供电，所述供电电路包括锂电池模块、锂电池充电电路和电路板供电方式选择电路。

7、在一较佳的实施例中，锁芯孔快速识别ai模型包括锁芯孔图像采集及数据集、基于yolov8的锁芯孔图像分割网络、锁芯孔识别整体网络模型；基于yolov8的锁芯孔图像分割网络由backbone、neck、head三部分组成。

8、在一较佳的实施例中，构建所述锁芯孔识别整体网络模型包括以下步骤：首先构建基于yolov8的锁芯孔检测网络，从初步采集到的锁芯孔图像中分割出锁芯孔作为后续模型的输入；然后，构建基于胶囊网络的锁芯孔空间深度特征提取模型，胶囊网络能够更加有效关注到锁芯孔的位置特征信息，对后续锁芯孔识别提供更为有效的特征信息；其次，将提取到的一系列空间深度特征输入到通道注意力机制当中，对提取到的特征进行进一步的筛选和增强；最后，采用随机森林算法进行分类，将抽取的特征映射到随机森林的高维空间进行决策分类，并使用基于牛顿-拉夫逊的优化器对随机森林的超参数子集个数t和特征个数m进行优化，实现随机森林的自适应分类。

9、在一较佳的实施例中，构建所述锁芯孔识别整体网络模型具体包括以下步骤：

10、step1：构建锁芯孔数据集并进行数据划分，一部分作为训练数据，剩余部分作为测试数据；

11、step2：使用随机森林构建基于牛顿-拉夫逊优化算法优化参数的模型，并评估模型在训练数据上的性能(如准确率、损失函数值等)作为是否继续迭代的条件；

12、step3：使用bootstrap重抽样方法从更新的训练数据集中有放回地抽取t次，构成t个训练子集；

13、step4：将基于胶囊网络和通道注意力机制的锁芯孔空间深度特征提取模型的输出作为随机森林决策树的输入变量，决策树的生成就是递归构建二叉分类树的过程，在树的每个节点处，从m个输入变量中随机抽取m个特征作为候选特征，一般m取m均方根值，然后从这m个特征中选取最优的特征和最佳二值切分点来分裂该节点，从而建立t棵决策树，生成随机森林；

14、step5：利用牛顿-拉夫逊优化算法对随机森林的超参数子集个数t和特征个数m进行优化，计算梯度和海森矩阵，根据牛顿-拉夫逊搜索规则来更新参数；

15、step6：判断新的参数值是否满足收敛条件，包括梯度的范数、参数更新的变化量和目标函数值的变化量

16、step7：对于未满足收敛条件的参数值令xn等于xn+1，返回step5继续更新参数,直到满足终止条件，对于满足条件的参数值进入step8；

17、step8：停止迭代并输出最优参数值xn+1；

18、step9：根据优化好的随机森林中的每一棵决策树的锁芯孔分类结果，投票决定最终的锁芯孔类别结果。

19、在一较佳的实施例中，现场操作app软件采用mvc架构开发，将通讯协议封装成sdk接口供app调用；app通过wifi连接伸入式图像采集装置，实现对锁芯孔的拍照；app通过http协议的post请求将锁芯孔图像上传至监管平台，监管平台调用锁芯孔快速识别模型实现对锁芯孔图像的识别分类，并将识别结果通过监管平台返回至app；app用户界面主要分首页、记录查询、个人中心和关于。

20、在一较佳的实施例中，所述安全监管平台使用sqlserver数据库管理系统，用spring、springmvc、apachemybatis整合开发平台后台，其中利用spring的依赖注入简化java开发，apachemybatis负责管理对象/关系映射，jsp和jquery用于实现web前台页面渲染；所述安全监管平台包括识别记录查询模块、应急开锁信息模块、设备管理模块以及人员管理模块。

21、本发明还提供了一种基于锁芯孔快速识别的应急开锁ai辅助系统的使用方法，采用了上述的一种基于锁芯孔快速识别的应急开锁ai辅助系统；首先，采集锁芯孔图像，将锁芯孔图像按8:1:1划分为训练集、验证集和测试集；其次，构建基于yolov8的锁芯孔图像分割网络，将锁芯孔图像输入到yolov8中进行锁芯孔检测得到锁芯孔分割图像；接着，利用胶囊网络对锁芯孔分割图像提取一系列空间深度特征，并输入到通道注意力机制中对提取到的特征进行进一步筛选和增强；然后，利用经牛顿-拉夫逊优化算法优化参数的随机森林进行预测分类；最后，采用训练集和验证集对整体模型进行训练，通过测试集对模型进行测试及结果分析，通过输入测试集即可对该模型进行性能评判；对于构建好的锁芯孔识别模型将其部署在云服务器上，用户通过锁芯孔识别app连接伸入式图像采集装置来获取锁芯孔图像，并上传至监管平台，监管平台调用锁芯孔识别模型并将识别结果和对应的应急开锁辅助信息返回至app供用户查看。

22、在一较佳的实施例中，具体包括以下步骤：

23、步骤1：对基于锁芯孔快速识别的应急开锁ai辅助系统做现场测试，采用伸入式图像采集装置进行图像采集，选取32类已知锁芯作为采集对象，使用同一个图像采集装置对锁芯孔图像进行采集，每类锁芯孔采集到500张图像，32类锁芯孔共16000张并以8:1:1的比例进行训练集、验证集和测试集的划分，即12800:1600:1600；

24、步骤2：训练基于yolov8的锁芯孔图像分割网络；yolov8的损失函数包括矩形框损失rect/box_loss和分类损失cls_loss，总损失函数为二者带上各自的权重系数的和；计算公式如式(1)所示；

25、loss＝a×lobj+b×lrect+c×lcls (1)

26、其中，a，b，c为每种损失的权重系数，三者相加等于1；分类损失和置信度损失使用bcewithlogitsloss计算，矩形框损失使用ciou_loss函数+distributionfocal loss计算；计算方法如式(2)所示；

27、

28、式中的b和bgt代表预测框的中心点和gt框的中心点，ρ2()代表的是欧氏距离，c是包含两个框的最小矩形的对角线的长度；在实际情况中，如果a是真实框,b是预测框，则式中的iou计算公式如式(3)所示；

29、

30、dfl损失：dfl以交叉熵的形式，去优化与标签y最接近的一左一右2个位置的概率，从而让网络更快的聚焦到目标位置及邻近区域的分布；

31、类别损失通过预测框的类别分数和真实框的eone-hot表现来计算类别损失，如式(4)所示；

32、

33、map_0.5:0.95表示在不同交并比(iou)阈值(从0.5到0.95，步长0.05)(0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95)上获得多个平均精度均值map，再对所有值取均值；

34、步骤3：锁芯孔识别结果及比较分析；采用精确度pre和召回率rec作为评价指标，具体计算公式如式(5)和(6)所示:

35、

36、上式中，tp为实际为正预测为正，fp为实际为负预测为正，fn为实际为正预测为负。

37、与现有技术相比，本发明具有以下有益效果：本发明将物联网和人工智能技术引入锁芯孔目标识别任务中，为锁匠或其他应急开锁人员提供重要辅助信息，帮助锁匠及其他应急开锁人员以最短的时间来确定相应锁芯的类型结构，保证应急开锁过程的顺利完成。