一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种基于改进YOLOX的安全帽检测方法、系统、设备及介质

2023-02-04 12:25:38 来源:中国专利 TAG:

一种基于改进yolox的安全帽检测方法、系统、设备及介质
技术领域
1.本发明属于目标检测技术领域,具体涉及一种基于改进yolox的安全帽检测方法、系统、设备及介质。


背景技术:

2.著名的作家卡夫卡在1912年发明了第一个民用安全帽,并因此获得了当年的美国安全大奖。1933年美国金门大桥成为世界上第一个强制佩戴安全帽的施工项目,严格的安全帽佩戴规定,让金门大桥修建时的工人伤亡比当时美国其他同期施工项目减少了约四分之三,打破了当时美国建筑业每耗资100万美元就有1名工人伤亡的行业魔咒,也唤醒了全世界对工人的头部保护意识。
3.国家经济贸易委员会在2000年就发布了《劳动防护用品配备标准》,明确了铸造工、电工、筑路工、石油钻井工、采煤工等25个典型工种的安全帽配备及佩戴标准。国家安全监管总局也在2017年发布了《安全生产标准“十三五”发展规划》,针对各行各业制定了个体防护强制性标准,强调生产安全对人身健康和生命财产安全的重要性。当施工现场人员遭受事故时,安全帽可吸收外部物体直接撞击头部产生的冲击力或者减少遭受触电的危险,从而保护工人。
4.电力系统的安全、平稳运行,关系到国家安全和经济的发展,确保变电站长期安全可靠的运行是电力系统的重要环节。变电站是发电厂与用户的重要纽带,是主要的电力生产场所,为了确保变电站安全运行,必须对变电站内的环境、设备、生产过程等进行严格监控。变电站正常的生产过程必须要有维护人员(包括维护设备的临时工、民工和三产类员工等)的参与,在变电站的安全生产规范中,要求一切进入变电站的人员,必须按身份及工作任务的不同佩戴合适的安全帽。然而,在变电站实际生产作业及人员巡检维护过程中,各类人员存在安全意识淡薄的问题,忽视电力系统规章制度,而不按规定佩戴甚至不佩戴安全帽,导致出现各种各样的违章作业行为,由此会对变电站的安全生产带来很大隐患。
5.随着人工智能的发展,运用机器视觉技术自动检测变电站作业人员是否佩戴安全帽,能有效提高安全生产管理水平,对变电站安全生产至关重要。
6.目前,国内外针对安全帽佩戴情况的检测方案主要有以下三类:
7.第一类是基于机器学习的传统目标检测方法。此类方案多通过提取轮廓或颜色特征进行检测,起源于2005年cvpr会议上法国研究人员navneet dala针对行人检测提出的方向梯度直方图(histogram of oriented gradient,hog)特征提取与支持向量机(support vector machine, svm)分类器相结合的目标检测方案。hog特征提取方法通过把图像划分为单元格,依次统计图像中梯度方向分布来提取特征向量,该特征中包含了光强梯度和边缘方向分布,这是hog方法能识别物体的原理。而其使用的块归一化策略让该算法相比更早的边缘检测算法,能有效降低图像中局部阴影和光照变化所造成的影响。在完成特征提取后,负责特征分类的svm分类器通过找到一个超平面,对提取的特征向量进行分类。两者结合就满足了目标检测定义中对检测物体进行定位和识别的基本要求。以此技术为基础,相
关学者对该检测方法进行了一系列改进,但受限于特征提取算法的局限,这些检测方案都不具有旋转不变性和尺度不变性,导致该类检测方法的泛化性能较差。
8.第二类是基于物联网技术的安全帽的定位检测方法。哈尔滨工程大学的曾浩使用rfid (radio frequency identification,射频识别)技术,通过在安全帽中植入电子标签和压力传感器来实现非接触式的安全帽佩戴识别。这种非计算机视觉领域的射频识别方法,其识别系统由标签、阅读器、数据传输装置和处理系统三部分构成。这种方法的优势是识别精度高,但缺陷也很明显。具体地,rfid标签有无源标签和有源标签两类,其中无源rfid标签采用跳频工作模式,无需电源供应,但其识别距离较短,不适用于安全帽佩戴时的识别场景;而有源 rfid识别需要在标签中安装电池,并需对电池定期更换,增加了安全帽的制造成本和使用成本。除rfid技术外,郝兆明等还结合zigbee网络与gprs网络,采用嵌入cc2530芯片的智能安全帽进行矿井人员定位及瓦斯检测,取得了一定的效果,但依然存在检测系统制造成本高的弊端。
9.第三类是基于深度学习的目标检测方法,该方法可以分为基于回归的目标检测算法和基于候选区域的目标检测算法两类。其中,基于候选区域(分类)的目标检测算法又将检测问题划分为两个阶段(two-stage),首先选取候选区域(region proposals),然后对候选区域进行分类以及位置调整,从而输出目标检测结果;这类算法的典型代表是基于区域提取的r-cnn系列算法,如r-cnn、spp-net、fast r-cnn、faster r-cnn等。基于回归的目标检测算法又称单阶段(one-stage)模型,其将目标检测过程简化成一个具有统一性的端到端回归问题,而且只需将图片处理一次,就能同时得到目标的位置和类别信息。与基于区域提取的两阶段(twostage)模型不同,单阶段模型通过完整的单次训练就能实现特征共享,准确率和速度都得到极大提升,这类算法的典型代表有yolo系列及ssd。在检测效率上,基于回归的yolo系列目标检测算法虽然在对整个图像提取特征花费要大,但仅需要完成一次前向传递,而基于机器学习的传统目标检测方法需要对图片扫描上百次。
10.因此,基于回归的yolo系列方法目标检测速度更快,且对目标的检测环境和拍摄角度要求更低。目前的主流检测技术主要是基于回归的以yolo系列(yolo1-5)模型为代表进行目标检测。
11.但是,在使用现有技术过程中,发明人发现现有技术中至少存在如下问题:
12.在变电站安全帽佩戴检测中,外部环境复杂,大多数监控场景是广域监视,检测目标被遮挡、光线暗等因素影响,易出现小目标密集检测且尺度小、分辨率较低、像素模糊等情况,影响检测精度。在安全帽实时采集的视频原始图像帧中,安全帽目标相比图像尺寸通常占比很小,如采用常规的基于回归的yolo系列目标检测算法,往往会造成目标漏检,影响安全帽检测精度。


技术实现要素:

13.本发明旨在至少在一定程度上解决上述技术问题,本发明提供了一种基于改进yolox的安全帽检测方法、系统、设备及介质。
14.为了实现上述目的,本发明采用以下技术方案:
15.第一方面,提供了一种基于改进yolox的安全帽检测方法,包括:
16.构建改进yolox的安全帽检测模型;其中,所述改进yolox的安全帽检测模型包括
依次连接的输入层、主干网络、特征融合层和输出层,所述主干网络包括与输入层依次连接的 denseblock模块和多个堆叠的残差单元,多个残差单元的输出端均通过所述特征融合层与所述输出层连接;
17.获取安全帽数据集,并对所述安全帽数据集进行预处理,得到预处理后数据集;
18.基于所述预处理后数据集输入所述改进yolox的安全帽检测模型进行训练,得到训练后安全帽检测模型;
19.获取变电站作业数据;
20.将所述变电站作业数据输入所述训练后安全帽检测模型,得到变电站作业数据的安全帽佩戴状态检测结果。
21.本发明可提高模型在变电站环境佩戴安全帽检测效果,在小目标场景下泛化能力较强,可减少漏检和误检,利于提高安全帽佩戴检测精度和检测速度,改善小目标场景下的检测性能,基本满足变电站复杂场景下安全帽佩戴检测的准确性需求。具体地,本发明在实施过程中,通过引入denseblock模块代替现有主干网络中focus模块进行的切片操作,可极大地保留小目标的完整信息,采用密集连接的思想对特征融合模块进行改进,实现特征重用以增强多尺度特征的提取和检测能力;通过多个残差单元的输出端均通过所述特征融合层与所述输出层连接,使得本发明中改进yolox的安全帽检测模型可利用网络的底层和高层特征,在现有yolo模型的特征图输出的基础上增加输出,提供更多的小目标特征信息,从而增强网络小目标检测能力,并进行多尺度融合检测。
22.在一个可能的设计中,获取安全帽数据集,并对所述安全帽数据集进行预处理,得到预处理后数据集,包括:
23.获取安全帽数据集,并对所述安全帽数据集中的样本进行图像标注,得到标注后数据集;
24.对所述标注后数据集进行数据增强处理,得到预处理后数据集。
25.在一个可能的设计中,对所述标注后数据集进行数据增强处理,得到预处理后数据集,包括:
26.对标注后数据集中样本的拼接数量扩充为指定数量;
27.按所述样本中目标图像的最小矩形面积进行图像裁剪,得到裁剪后图像;
28.对所述裁剪后图像进行缩放操作,得到缩放后图像;
29.将指定数量的所述缩放后图像拼接为一张图像,得到增强后图像,多个增强后图像构成预处理后数据集。
30.在一个可能的设计中,每个残差单元均包括依次连接的conv模块模块和csplayer模块;所述残差单元设置有4个,4个所述残差单元分为依次与所述denseblock模块连接的第一残差单元、第二残差单元、第三残差单元和第四残差单元,所述第一残差单元、第二残差单元、第三残差单元和第四残差单元中的csplayer模块均通过特征融合层与所述输出层连接。
31.在一个可能的设计中,所述特征融合层包括第一上采样模块、第一特征拼接模块、第二上采样模块、第二特征拼接模块、第三上采样模块、第三特征拼接模块、第四上采样模块、第五上采样模块、第六上采样模块、下采样模块和第四特征拼接模块;
32.所述第四残差单元的输出端通过第一上采样模块与第一特征拼接模块的输入端
连接,所述第三残差单元的输出端与第一特征拼接模块的输入端连接;所述第一特征拼接模块的输出端通过第二上采样模块与第二特征拼接模块的输入端连接,所述第二残差单元的输出端与第二特征拼接模块的输入端连接,所述第四残差单元的输出端通过第四上采样模块与第二特征拼接模块的输入端连接;所述第二特征拼接模块的输出端通过第三上采样模块与第三特征拼接模块的输入端连接,所述第一残差单元的输出端与第三特征拼接模块的输入端连接,所述第一特征拼接模块的输出端通过第五上采样模块与第三特征拼接模块的输入端连接,所述第四残差单元的输出端通过第六上采样模块与第三特征拼接模块的输入端连接;第三特征拼接模块的输出端通过下采样模块与第四特征拼接模块的输入端连接,第二特征拼接模块的输出端与第四特征拼接模块的输入端连接;
33.所述输出层包括与所述第四残差单元的输出端连接的第一输出模块、与所述第一特征拼接模块的输出端连接的第二输出模块以及与所述第四特征拼接模块的输出端连接的第三输出模块。
34.在一个可能的设计中,多个残差单元之间通过mca注意力模块连接,多个残差单元的输出端均通过所述mca注意力模块与特征融合层连接。
35.在一个可能的设计中,基于所述预处理后数据集输入所述改进yolox的安全帽检测模型进行训练,得到训练后安全帽检测模型,包括模型构建单元、数据集获取单元、模型训练单元、数据获取单元和预测单元;其中,
36.模型构建单元,用于构建改进yolox的安全帽检测模型;
37.数据集获取单元,用于获取安全帽数据集,并对所述安全帽数据集进行预处理,得到预处理后数据集;
38.模型训练单元,分别与所述数据集获取单元和所述模型构建单元通信连接,用于基于所述预处理后数据集输入所述改进yolox的安全帽检测模型进行训练,得到训练后安全帽检测模型,然后将所述训练后安全帽检测模型输入所述预测单元;
39.数据获取单元,用于获取变电站作业数据;
40.预测单元,与所述数据获取单元通信连接,用于将所述变电站作业数据输入所述训练后安全帽检测模型,得到变电站作业数据的安全帽佩戴状态检测结果。
41.获取预设预训练模型的模型参数;
42.将所述改进yolox的安全帽检测模型的模型参数替换为所述预设预训练模型的模型参数,然后将所述预处理后数据集输入所述改进yolox的安全帽检测模型进行训练,得到训练后安全帽检测模型。
43.第二方面,提供了一种基于改进yolox的安全帽检测系统,用于实现如上述任一项所述的基于改进yolox的安全帽检测方法;所述基于改进yolox的安全帽检测系统包括
44.第三方面,提供了一种电子设备,包括:
45.存储器,用于存储计算机程序指令;以及,
46.处理器,用于执行所述计算机程序指令从而完成如上述任一项所述的基于改进yolox的安全帽检测方法的操作。
47.第四方面,提供了一种计算机可读存储介质,用于存储计算机可读取的计算机程序指令,所述计算机程序指令被配置为运行时执行如上述任一项所述的基于改进yolox的安全帽检测方法的操作。
附图说明
48.图1是本发明中一种基于改进yolox的安全帽检测方法的流程图;
49.图2是本发明中改进yolox的安全帽检测模型的结构框图;
50.图3是本发明中在主干网络中用denseblock模块替换现有focus模块的结构示意图;
51.图4是本发明中在主干网络中添加mca注意力模块的结构示意图;
52.图5是本发明中特征融合模块的结构示意图。图6是本发明中基于改进yolox的安全帽检测系统的模块框图。
具体实施方式
53.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍,显而易见地,下面关于附图结构的描述仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在此需要说明的是,对于这些实施例方式的说明用于帮助理解本发明,但并不构成对本发明的限定。
54.实施例1:
55.本实施例第一方面提供了一种基于改进yolox的安全帽检测方法,可以但不限于由具有一定计算资源的计算机设备或虚拟机执行,例如由个人计算机、智能手机、个人数字助理或可穿戴设备等电子设备执行,或者由虚拟机执行。
56.如图1所示,一种基于改进yolox的安全帽检测方法,可以但不限于包括有如下步骤:
57.s1.构建改进yolox的安全帽检测模型;其中,如图2所示,所述改进yolox的安全帽检测模型包括依次连接的inputs输入层1、backbone主干网络2、特征融合层3和输出层4,所述backbone主干网络2采用cspdarknet网络,用于进行特征提取,其中cspdarknet网络的第一层采用denseblock模块201,即所述主干网络2包括与输入层1依次连接的denseblock 模块201和多个堆叠的残差单元(resblock_body),多个残差单元的输出端均通过所述特征融合层3与所述输出层4连接;具体地,denseblock模块201替换focus如图3所示。
58.具体地,所述denseblock模块201,用于对预处理后数据集中样本进行切片操作,得到切片后数据;
59.所述残差单元,用于将切片后数据依次进行归一化处理、函数激活处理以及卷积处理,然后将卷积后数据传输至后续的网络层;不同于卷积特征图的级联操作,本实施例中的残差单元会将输入特征图中的任意两层直接相连,所有之前网络层的特征图作为独立的输入,而本层的特征图同样会作为输入传递给后续层。这样做缓解了梯度消失的问题,可以代替denseblock 模块201的切片操作对输入图像实施降维及进行特征提取的操作。
60.所述特征融合层3,用于将多个所述残差单元输出的卷积后数据进行特征融合后输出。
61.需要说明的是,现有的yolox模型的主干网络中的第一层为focus模块,即通过focus 模块与输入层连接,focus模块主要用于实现没有信息丢失的下采样。本实施例通过将focus 模块替换为denseblock模块201,利用其密集连接和独特的特征图信息传递方式,
可以传递更多的信息,减少网络间的梯度,从而有效减少输入端下采样过程中小目标信息的丢失。此外,由于denseblock模块201为主干网络2的第一层,因而其只会与之后的残差单元中的conv 模块边接,使得其一方面能够代替现有的focus模块完成两倍下采样,以提取更多尺度的特征信息;另一方面因为这种独特的连接方式不需要学习大量无用的特征图信息,可以改善网络的梯度信息,以免造成梯度爆炸,从而可能减少过拟合现象的出现。由此,可在增加有限参数量与计算量的同时,提高主干网络2的特征提取能力,使网络加强训练小目标特征信息。
62.本实施例中,每个残差单元均包括依次连接的conv模块(conv2d batchnorm silu, conv2d_bn_silu)模块和csplayer模块,改进yolox的安全帽检测模型的总结构图如图2所示,各网络模块的尺寸等参数详见图2;所述残差单元设置有4个,4个所述残差单元分为依次与所述denseblock模块201连接的第一残差单元202、第二残差单元203、第三残差单元 204和第四残差单元205,所述第一残差单元202、第二残差单元203、第三残差单元204和第四残差单元205中的csplayer模块均通过特征融合层3与所述输出层4连接。
63.具体地,如图2所示,4个残差单元中的csplayer模块分为csplayer(160,160,128) 模块、csplayer(80,80,256)模块、csplayer(40,40,512)模块和csplayer(20,20, 1024)模块,csplayer(160,160,128)模块、csplayer(80,80,256)模块、csplayer (40,40,512)模块和csplayer(20,20,1024)模块的输出端均连接mca注意力模块。对应的mca注意力模块为相应残差单元的输出端,即4个mca注意力模块与特征融合层3的输入端连接。
64.由于最终输出融合了前所有层的特征输出,所以能在下采样过程中尽可能保留小目标的特征信息,减少其信息的丢失,使之后的卷积操作能提取更多的小目标信息。从而有利于加强模型对小目标的训练,提升模型检测小目标的性能。
65.具体地,所述特征融合层3包括第一上采样模块301、第一特征拼接模块302、第二上采样模块303、第二特征拼接模块304、第三上采样模块305、第三特征拼接模块306、第四上采样模块307、第五上采样模块308、第六上采样模块309、下采样模块310和第四特征拼接模块311;
66.所述第四残差单元205的输出端通过第一上采样模块301与第一特征拼接模块302的输入端连接,所述第三残差单元204的输出端与第一特征拼接模块302的输入端连接;所述第一特征拼接模块302的输出端通过第二上采样模块303与第二特征拼接模块304的输入端连接,所述第二残差单元203的输出端与第二特征拼接模块304的输入端连接,所述第四残差单元205 的输出端通过第四上采样模块307与第二特征拼接模块304的输入端连接;所述第二特征拼接模块304的输出端通过第三上采样模块305与第三特征拼接模块306的输入端连接,所述第一残差单元202的输出端与第三特征拼接模块306的输入端连接,所述第一特征拼接模块302 的输出端通过第五上采样模块308与第三特征拼接模块306的输入端连接,所述第四残差单元 205的输出端通过第六上采样模块309与第三特征拼接模块306的输入端连接;第三特征拼接模块306的输出端通过下采样模块310与第四特征拼接模块311的输入端连接,第二特征拼接模块304的输出端与第四特征拼接模块311的输入端连接;
67.所述输出层4包括与所述第四残差单元205的输出端连接的第一输出模块401、与所述第一特征拼接模块302的输出端连接的第二输出模块402以及与所述第四特征拼接模块311的输出端连接的第三输出模块403。
68.本实施例中,通过改进基于特征融合层3的特征金字塔网络,充分利用网络的底层特征,实现多尺度检测。对于小目标检测的研究,小目标数据集中存在过大过小的物体,检测图片的尺度变换较大。卷积神经网络底层特征语义信息弱、分辨率高,高层特征语义信息强、分辨率低,但底层特征对检测小目标很重要。本实施例通过对底层特征进行特征融合,使得改进yolox 的安全帽检测模型的所有尺度都有强语义信息,实现建立更加完善的特征金字塔网络的目的。
69.具体地,本实施例中,将改进yolox的安全帽检测模型中,所述第四残差单元205输出的 20
×
20特征层记为l特征层,l特征层直接输入至负责大目标检测的第一输出模块401,同时, l特征层通过第一上采样模块301进行2倍上采样,后与所述第三残差单元204输出的40
×
40 特征层进行拼接,再使用第一特征拼接模块302进行特征提取,获得的40
×
40特征层记为m 特征层,m特征层直接输入至负责中型目标检测的第二输出模块402;随后,m特征层通过第二上采样模块303进行2倍上采样、l特征层通过第四上采样模块307进行4倍上采样后,与所述第二残差单元203输出的80
×
80特征层进行拼接,3个特征层拼接后,再使用第二特征拼接模块304进行特征提取,获得的特征层记为s1特征层;同时,s1特征层通过第三上采样模块305进行2倍上采样、m特征层通过第五上采样模块308进行4倍上采样、l特征层通过第六上采样模块309进行8倍上采样后,与所述第一残差单元202输出的160
×
160特征层进行拼接,该4个特征层进行拼接后使用第三特征拼接模块306进行特征提取,获得的特征层记为s2特征层,s2特征层通过下采样模块310进行2倍下采样后,与s1特征层拼接,拼接后所得特征层记为s特征层,该s特征层输入至负责小目标检测的第三输出模块403。由此可知,本实施例通过密集连接的方式,使每个特征融合后的特征层的输入都包含深层特征层信息,从而将较深层特征层的特征进行拼接组合,形成对目标特征更丰富的描述和判别,实现特征重用,进而获得更好的特征表达效果。其中,m特征层和l特征层经过上采样后与所述第二残差单元 203输出的80
×
80特征层拼接得到s1特征层,s1特征层、m特征层和l特征层经过上采样后与所述第一残差单元202输出的160
×
160特征层拼接得到s2特征层,s2特征层下采样与s1 特征层拼接这一过程也是一个特征反复提取的过程,可以达到丰富卷积层的语义信息,提高小目标检测性能的目的。
70.本实施例中,通过在现有yolox模型的3个特征图输出模块的基础上,增加了一个160
×ꢀ
160特征图输出,从而将该特征图输出的8倍下采样改为4倍下采样,可有效增强特征提取网络的小目标特征提取能力和多尺度检测性能,也为后续特征融合提供了更多小目标特征,具体地,特征融合模块的结构图如图5所示。本实施例基于密集连接思想构建了一种全新的特征融合网络,将深层特征层经过上采样与所有浅层特征层相连,形成类似密集块的特征融合网络, 使浅层特征层具有丰富卷积层的安全帽特征语义信息,使得负责小目标检测的第三输出模块 403可以结合不同层次特征层的特征,从而得到更好的目标检测分类结果。
71.本实施例中,多个残差单元之间通过mca(multi-spectral channel attention,多光谱通道注意力)注意力模块206连接,多个残差单元的输出端均通过所述mca注意力模块206 与特征融合层3连接。
72.需要说明的是,本实施例中,通过引入mca注意力模块206,可合理化分配资源并有效地选择特征,以便更好地学习小目标特征。具体地,此处的资源指代模型的大小、训练模
型时占用的硬件、需要的训练时间等,小目标检测会分配较多资源用于候选框的生成,注意力机制的本质是快速找到感兴趣区域,忽略不重要的信息。本实施例中,尽管mca注意力模块206和其他注意力模块有相同的出发点,但mca注意力模块206不仅保留了全局平均池,还使用了除全局平均池之外的频率分量,可以解决因只关注单个频率而造成的信息缺失问题,使网络模型更关注重要特征,滤除冗余特征,对感兴趣区域分配更多资源进行更精确的检测。具体地,主干中添加mca注意力模块206的示意图如图4所示。
73.s2.获取安全帽数据集,并对所述安全帽数据集进行预处理,得到预处理后数据集;
74.本实施例中,获取安全帽数据集,并对所述安全帽数据集进行预处理,得到预处理后数据集,包括:
75.s201.获取安全帽数据集,并对所述安全帽数据集中的样本进行图像标注,得到标注后数据集;本实施例中,通过网络爬虫收集和/或自主收集的方式获取安全帽数据集,具体地,在收集安全帽数据集的过程中,可通过截取位于变电站大门、配电室、变电站集控室、变电站电力设备等区域的监控摄像头的视频图像,得到包括变电站场景下人员图片,多个人员图片构成安全帽数据集,该安全帽数据集中的安全帽数据包括变电站室内室外不同场景、不同光照条件以及摄像头不同角度下的图片。本实施例中,通过使用labelimg工具对安全帽数据集中的样本进行标注,得到对应检测对象的标签,还可使用labelme、yolo_mark、vatic或sloth等工具进行标注,其中labelimg工具为开源图像标记工具,软件基础功能稳定,同时操作简单,界面简洁。
76.s202.对所述标注后数据集进行数据增强处理,得到预处理后数据集。需要说明的是,数据增强是训练深度学习模型的关键组成部分,在深度学习中,一般要求样本的数量要充足,样本数量越多,训练出来的模型效果越好,模型的泛化能力越强。但是实际中,往往存在样本数量不足或者样本质量不够好的情况,这就要对样本做数据增强,来提高样本质量。数据增强是指利用平移、缩放、颜色变换、加噪等方法,人工增大训练集内样本的个数,从而获得充足的训练数据,使模型训练的效果更好。由于图像标注的成本较高,本实施例中,通过对标注后数据集进行数据增强处理,可利于减少进行标注的样本数量,进而可降低本实施例中小目标检测的应用成本。
77.具体地,对所述标注后数据集进行数据增强处理,得到预处理后数据集,包括:
78.a.对标注后数据集中样本的拼接数量扩充为指定数量,如将拼接数量由4张扩至9张,此时的指定数量为9,也可扩充为16个等,以便于提高小目标的训练数据量;
79.b.按所述样本中目标图像的最小矩形面积进行图像裁剪,得到裁剪后图像,其中,按最小矩形面积进行图像裁剪的方式,相较随机裁剪的方式而言,可尽可能地减少边界面积,增加目标图像不被裁剪的概率,利于保证目标图像的完整性;
80.c.对所述裁剪后图像进行缩放操作,得到缩放后图像;
81.d.将指定数量的所述缩放后图像拼接为一张图像,得到增强后图像,多个增强后图像构成预处理后数据集。
82.本实施例中进行数据增强的方法为改进后的马赛克数据增强方法,可尽可能保证目标不被裁减,以提高小目标的训练数据量,具体地,本实施例中改进后的马赛克数据增强方法与改进前的数据增强方法相比,一方面减少了很多无用的边界面积,加快了模型收敛,
提高了训练效率;另一方面会形成大量的小目标,丰富了安全帽样本数据集,进而可显著地改善模型检测小尺度安全帽的性能。
83.s3.基于所述预处理后数据集输入所述改进yolox的安全帽检测模型进行训练,得到训练后安全帽检测模型;
84.本实施例中,基于所述预处理后数据集输入所述改进yolox的安全帽检测模型进行训练,得到训练后安全帽检测模型,包括:
85.获取预设预训练模型的模型参数;
86.将所述改进yolox的安全帽检测模型的模型参数替换为所述预设预训练模型的模型参数,然后将所述预处理后数据集输入所述改进yolox的安全帽检测模型进行训练,得到训练后安全帽检测模型。
87.需要说明的是,以预训练模型为pytorch为例,其提供了state_dict字典对象来保存和加载模型参数,将模型参数保存为字典形式。本实施例在获取预设预训练模型的模型参数时,首先,读取所述改进yolox的安全帽检测模型对应的当前模型参数 model_dict=model.state_dict();然后,读取预训练模型pretrained_dict=torch.load(model_path,map_location=device)pretrained_dict={k:v for k,v in pretrained_dict.items()if np.shape(model_dict[k])==np.shape(v)};随后,使用预训练模型的模型参数更新当前模型参数model_dict.update(pretrained_dict);最后,加载模型参数model.load_state_dict(model_dict),以便将所述改进yolox的安全帽检测模型的模型参数替换为所述预设预训练模型的模型参数。本实施例在,在加载模型参数时,要求保存的模型参数键值类型和模型完全一致,此时可使用神经网络的预训练权重,训练分为冻结阶段和解冻阶段两个阶段。其中,冻结阶段训练参数,此时模型的主干被冻结,特征提取网络不发生改变,占用的显存较小,仅对网络进行微调。解冻阶段训练参数,此时模型的主干不被冻结,特征提取网络会发生改变,占用的显存较大,网络所有的参数都会发生改变。在训练网络的过程中不断对参数进行调整,直到网络的损失越来越小。在训练过程中,开始初始化的模型参数会不断变化,待其达到预计效果后,把训练好的模型参数进行保存,直接使用之前保存下来的模型参数作为这一次任务的初始化参数,然后在训练过程中依据结果不断进行修改,最终达到最好的效果。
[0088]
具体地,现有的部分深度学习框架(如pytorch和tensorflow)都提供了一些比较经典,且预训练好的网络模型(如resnet、alexnet等),这些训练好的网络模型具有较好的泛化性能,针对大部分常见的如检测、分割、识别等任务有比较不错的效果。本实施例中,将改进yolox的安全帽检测模型采用预训练模型,对其调整参数后再训练的方式,可便于省去从头开始进行模型训练的冗杂过程,从而节省大量的时间。
[0089]
s4.获取变电站作业数据;
[0090]
s5.将所述变电站作业数据输入所述训练后安全帽检测模型,得到变电站作业数据的安全帽佩戴状态检测结果。
[0091]
本实施例可提高模型在变电站环境佩戴安全帽检测效果,在小目标场景下泛化能力较强,可减少漏检和误检,利于提高安全帽佩戴检测精度和检测速度,改善小目标场景下的检测性能,基本满足变电站复杂场景下安全帽佩戴检测的准确性需求。具体地,本实施例在实施过程中,通过引入denseblock模块201代替现有主干网络2中focus模块进行的切片
操作,可极大地保留小目标的完整信息,采用密集连接的思想对特征融合模块进行改进,实现特征重用以增强多尺度特征的提取和检测能力;通过多个残差单元的输出端均通过所述特征融合层3与所述输出层4连接,使得本实施例中改进yolox的安全帽检测模型可利用网络的底层和高层特征,在现有yolo模型的特征图输出的基础上增加输出,提供更多的小目标特征信息,从而增强网络小目标检测能力,并进行多尺度融合检测。
[0092]
实施例2:
[0093]
本实施例提供一种基于改进yolox的安全帽检测系统,用于实现实施例1中基于改进 yolox的安全帽检测方法;如图6所示,所述基于改进yolox的安全帽检测系统包括模型构建单元、数据集获取单元、模型训练单元、数据获取单元和预测单元;其中,
[0094]
模型构建单元,用于构建改进yolox的安全帽检测模型;
[0095]
数据集获取单元,用于获取安全帽数据集,并对所述安全帽数据集进行预处理,得到预处理后数据集;
[0096]
模型训练单元,分别与所述数据集获取单元和所述模型构建单元通信连接,用于基于所述预处理后数据集输入所述改进yolox的安全帽检测模型进行训练,得到训练后安全帽检测模型,然后将所述训练后安全帽检测模型输入所述预测单元;
[0097]
数据获取单元,用于获取变电站作业数据;
[0098]
预测单元,与所述数据获取单元通信连接,用于将所述变电站作业数据输入所述训练后安全帽检测模型,得到变电站作业数据的安全帽佩戴状态检测结果。
[0099]
实施例3:
[0100]
在实施例1或2的基础上,本实施例公开了一种电子设备,该设备可以是智能手机、平板电脑、笔记本电脑或者台式电脑等。电子设备可能被称为用于终端、便携式终端、台式终端等,电子设备包括:
[0101]
存储器,用于存储计算机程序指令;以及,
[0102]
处理器,用于执行所述计算机程序指令从而完成如实施例1中任一所述的基于改进yolox 的安全帽检测方法的操作。
[0103]
实施例4:
[0104]
在实施例1至3任一项实施例的基础上,本实施例公开了一种计算机可读存储介质,用于存储计算机可读取的计算机程序指令,所述计算机程序指令被配置为运行时执行如实施例1 所述的基于改进yolox的安全帽检测方法的操作。
[0105]
需要说明的是,所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0106]
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成
的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
[0107]
最后应说明的是,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
[0108]
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献