边缘计算架构下员工异常行为智能识别方法及系统

本发明涉及图像识别领域，具体涉及一种边缘计算架构下员工异常行为智能识别方法及系统。

背景技术：

1、随着现代化智能工厂生产规模的逐步扩大，企业的厂区面积、厂区数及员工数量等急剧增加。随之而来的是，因厂区分散、员工活动范围广，对员工工作期间的状态，如危险区域站人、不规范配戴安全帽、不穿安全服、工作期间沉溺手机、突发晕厥无人发现等各种异常行为不易掌握等问题凸显，而有效识别员工的异常行为对规范化企业管理，保障员工安全及提高企业生产效率至关重要。传统的人工巡检方式难以实现厂区范围的全覆盖，且对各种异常行为容易出现漏检、误检等情况，同时对各种潜在的人员安全、规范管理及生产安全等问题缺乏有效的预测与判断，因此亟须开展智能化的人员异常行为识别与监测方面的研究。

2、基于深度卷积神经网络的r-cnn(regions with convolutional neuralnetwork)系列、基于单阶段检测器的ssd(single shot multibox dector)系列及yolo(youonly look once)系列等为目前的主流目标检测算法，其中yolo系列目标检测算法因高效性和易用性等优点备受青睐，也是工业界与学术界的研究热点之一，广泛应用于城市安全、交通管理、智能零售、农业监测、环境研究和地图制作等生产服务及安全管理领域。同时，边缘计算拥有近端处理的优势，可在靠近数据输入或用户的地方提供计算、存储和网络带宽，为应用开发者和服务提供商在网络的边缘侧提供云服务和it环境服务，具有系统响应速度快、数据处理能力强等特点，能更好地适应现代化工厂实时性、准确性、高效性等管理要求。因此，在边缘计算架构下，开展对人员的异常行为识别与监测的智能化研究，对现代化工厂的持续发展具有重要意义。

3、为了解现有目标检测算法配置方法和技术的发展现状，对已有论文和专利进行检索、比较和分析，筛选出如下与本发明相关度比较高的技术信息：

4、技术方案1：专利公开号cn202210962497.x的《一种基于视频监控的人员异常行为检测方法及装置》专利，该专利公开了一种基于视频监控的人员异常行为检测方法及装置。该检测方法步骤为：实时获取由摄像机拍摄的监控区域的视频图像；基于所述视频图像进行检测与跟踪，得到实时变化的人体检测框；基于人体检测框的几何尺寸特征和运动状态特征，进行异常行为检测；若存在异常行为，则进行报警。此检测方法更大程度的提高了人员异常检测的准确率。

5、技术方案2：专利公开号cn201910229246.9的《一种基于视觉的运营车辆人员异常行为检测方法》专利，该专利公开了一种基于视频的运营车辆人员异常行为检测方法。该异常行为检测方法为：首先全方位采集车内驾驶人员及其周围人员的图像信息；然后，提取2d图像，利用openpose数据库中深度学习算法对所有图像内人员的骨骼节点进行标注；接着，结合车辆行驶状态，界定干扰人员与被干扰人员，计算被干扰人员各关键肢体部位的危险距离阈值。随后，基于双目测距原计算干扰人员的腕部节点与被干扰人员关键肢体部位的危险距离阈值；最后，通过判断空间距离处在危险距离阈值内的时间，检测干扰人员的异常行为。该检测方法，通过分布式摄像头全方位获取车内人员图像信息，基于openpose数据库实时提供人员的姿态，结合双目测距原理获取车内人员间的空间相对位置，并以此判定车内人员是否有异常行为，为基于视觉的运营车辆人员异常行为检测提供了可能性。

6、技术方案3：专利公开号cn202310710806.9的《社区人员的异常行为检测方法、装置及相关设备》专利，该专利公开了一种社区人员异常行为检测方法、装置及相关设备。该专利所公布的人员异常行为检测的方法步骤为：首先获取社区监控的视频流，并对视频进行抽帧处理和缩放处理，得到检测图像集；通过预训练好的yolo模型对检测图像集进行人体检测，得到包含有检测框的人体图像；采用openpose模型对人体图像进行姿态识别，得到包含人体姿态信息的人体姿态图像；将人体姿态图像输入预置的transreid模型进行姿态信息的识别和跟踪，输出以结构化数据形式保存的结构化数据集；将结构化数据集输入预置的行为分类模型进行异常行为识别，确定结构化数据集中的每一检测对象的行为是否属于异常行为，标记属于异常行为的检测对象并在视频流中进行目标追踪。该专利提升管理人员效率，降低了社区内风险事件发生的可能。

7、技术方案4：专利公开号cn202211640713.5的《基于机器视觉和目标检测的人员异常行为检测方法及系统》专利，该专利公开了一种基于计算机视觉和目标检测的人员异常行为检测方法及系统。该专利所公布的人员异常行为检测方法步骤为：获取卸车机作业现场图像、目标人员图像以及光照数据，并获取卸车机设备本身的作业反馈信息；对采集的图像进行预处理；提取所述目标人员图像的脸部特征数据，判断是否为异常人员，若因脸部遮挡无法提取脸部特征数据的目标人员则对其提取衣着特征，并判断是否为异常人员；根据作业反馈信息判断卸车机作业阶段，将异常人员的作业现场图像以及人体图像输入基于轻量化网络mobilenetv2-yolov4算法模型中判断是否出现异常行为。该人员异常行为检测模型大大降低了参数量以及计算量，提高检测的速度。

8、技术方案1实时获取由摄像机拍摄的监控区域的视频图像；基于所述视频图像进行检测与跟踪，得到实时变化的人体检测框；基于人体检测框的几何尺寸特征和运动状态特征，进行异常行为检测，此检测方法更大程度的提高了人员异常检测的准确率，但是检测速度较慢。

9、技术方案2基于openpose数据库实时提供人员的姿态，结合双目测距原理获取车内人员间的空间相对位置，并以此判定车内人员是否有异常行为，虽然为基于视觉的运营车辆人员异常行为检测提供了可能性，但是检测步骤过于繁琐。

10、技术方案3将结构化数据集输入预置的行为分类模型进行异常行为识别，确定结构化数据集中的每一检测对象的行为是否属于异常行为，标记属于异常行为的检测对象并在视频流中进行目标追踪，此方案虽然可以提升管理人员的效率，但是模型精度提升有限。

11、技术方案4将异常人员的作业现场图像以及人体图像输入基于轻量化网络mobilenetv2-yolov4算法模型中判断是否出现异常行为。该人员异常行为检测模型大大降低了参数量以及计算量，提高检测的速度。但是该方法检测速度仍然较低，检测精度也不高。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的边缘计算架构下员工异常行为智能识别方法及系统解决了对员工行为进行检测的现有技术难以兼顾检测速度、检测精度和检测便利度的问题。

2、为了达到上述发明目的，本发明采用的技术方案为：

3、提供一种边缘计算架构下员工异常行为智能识别方法，其包括以下步骤：

4、s1、对yolov10n网络进行改进，得到iida网络：

5、将yolov10n中除骨干网络中第一个conv卷积层的其余conv卷积层替换为dsconv卷积层，将yolov10n中的psa层替换为polarized self-attention层，在yolov10n的颈部网络与检测头之间添加yolo-ms模块，得到改进后的yolov10n网络，即iida网络；

6、s2、将训练后的iida网络部署到边缘计算架构中；

7、s3、获取待识别图像并进行预处理，得到预处理后的待识别图像；

8、s4、通过训练后的iida网络的骨干网络提取预处理后的待识别图像的不同深度的特征；

9、s5、通过训练后的iida网络的颈部网络对骨干网络提取的不同深度的特征进行融合，得到不同深度的融合特征；

10、s6、通过yolo-ms模块对不同深度的融合特征进行特征增强，得到增强后的特征；

11、s7、通过训练后的iida网络的检测头对增强后的特征进行异常行为分类识别，得到员工异常行为识别结果。

12、进一步地，边缘计算架构为atlas 200idk a2边缘计算盒子。

13、进一步地，iida网络的训练方式为：

14、获取员工在工作期间佩戴安全帽、跌倒、手机沉溺、抽烟、未穿安全服、穿安全服和未佩戴安全帽的图像作为训练用图，并分别打上相应的标签，形成训练集；通过训练集对iida网络进行训练，直至达到训练次数或识别准备率达到阈值，得到训练后的iida网络。

15、进一步地，iida网络的骨干网络包括依次连接的conv卷积层、第一dsconv卷积层、第一c2f层、第二dsconv卷积层、第二c2f层、第一scdown层、第三c2f层、第二scdown层、第四c2f层、sppf层和polarized self-attention层；其中第二c2f层、第三c2f层和polarizedself-attention层的输出均为骨干网络输出的特征。

16、进一步地，iida网络的颈部网络包括依次连接的第一upsample层、第一concat层、第五c2f层、第二upsample层、第二concat层、第六c2f层、第三dsconv卷积层、第三concat层、第七c2f层、第三scdown层、第四concat层和c2fcib层；其中第一upsample层的输入和第四concat层的另一个输入均为polarized self-attention层的输出；第一concat层的另一个输入为第三c2f层的输出；第二concat层的另一个输入为第二c2f层的输出；第三concat层的另一个输入为第五c2f层的输出；第六c2f层的输出、第七c2f层的输出和c2fcib层的输出均为融合特征。

17、进一步地，yolo-ms模块为3个，3个yolo-ms模块的输入端分别连接第六c2f层的输出、第七c2f层的输出和c2fcib层的输出。

18、进一步地，iida网络的检测头包括3个检测单元，每个检测单元的输入端与一个yolo-ms模块的输出端相连。

19、提供一种边缘计算架构下员工异常行为智能识别系统，其包括边缘计算架构、数据采集模块、行为识别模块；

20、边缘计算架构，用于部署行为识别模块；

21、数据采集模块，用于采集待识别图像并对其进行预处理，数据采集模块

22、行为识别模块，用于通过训练后的iida网络对预处理后的待识别图像进行异常行为分类识别，得到员工异常行为识别结果；

23、其中iida网络的构建方法为：将yolov10n中的conv卷积层替换为dsconv卷积层，将yolov10n中的psa层替换为polarized self-attention层，在yolov10n的颈部网络与检测头之间添加yolo-ms模块，得到改进后的yolov10n网络，即iida网络。

24、本发明的有益效果为：本发明用dsconv卷积替换yolov10n中的conv卷积，采用dsconv以提高卷积层的内存效率和速度；使用polarized self-attention替换原有的psa提高iida网络的效率和准确性同时减少计算量；添加yolo-ms模块，采用层次化的方式融合并增强来自网络不同层次的特征，有助于模型在处理细粒度和粗粒度信息时的表现；在网络的不同阶段使用不同大小的卷积核，以适应不同尺度的特征表示，提高了iida网络在进行员工异常行为识别过程中的鲁棒性和泛化能力；本发明将训练后的iida网络部署到atlas200idk a2边缘计算盒子以确保实时的数据分析与预警，进而实现员工异常行为的智能化识别与监测，兼顾了员工行为检测的检测速度、检测精度和检测便利度。