一种人体异常行为检测方法、系统、电子设备及存储介质

本发明涉及传感数据融合，特别是涉及一种人体异常行为检测方法、系统、电子设备及存储介质。

背景技术：

1、人体异常行为识别根据采集数据传感器不同分为基于视频图像的识别和基于雷达设备的人体行为识别。其中，基于视频图像的识别随着深度学习领域的发展，当前学者研究了考虑时空特征的行为识别算法：双流网络、3d卷积网络、结合多种网络架构的混合网络，虽然视频能够采集较为丰富的信息，且摄像头成本较低，可以识别不同物体，但获取的信息容易受到环境影响，例如光线和环境变化，并且缺乏深度信息。基于雷达反射电磁波虽然能够提供更加准确的速度、距离、角度和高度信息，不易受环境影响，且可以第一时间探测到异常行为，但雷达数据较为稀疏，目标识别难度大。

2、多传感器融合按其在融合系统中信息处理的抽象程度，主要划分为三个层次：数据层融合、特征层融合和决策层融合。其中，数据层融合虽然结果准确，但计算量最大；决策层融合是对独立的传感器获取的数据分别进行处理，得到各自的决策，然后对不同传感器的决策进行融合分析，这种方法对数据的损失最大，且精度较低。

3、因此，当前多传感器融合方法存在数据处理精度不高的技术问题，进而导致针对人体异常行为识别的精度不高。

技术实现思路

1、本发明的目的是提供一种人体异常行为检测方法、系统、电子设备及存储介质，能够在恶劣环境下实现对目标的准确定位。

2、为实现上述目的，本发明提供了如下方案：

3、一种人体异常行为检测方法，包括：

4、获取检测数据；所述检测数据包括视频图像数据和毫米波雷达点云数据；

5、对所述毫米波雷达点云数据进行预处理，并通过映射确定所述毫米波雷达点云数据对应所述视频图像数据中各目标对象的位置信息；

6、根据各所述目标对象的位置信息进行目标识别筛选，得到人体对象信息；

7、将所述人体对象信息输入异常行为检测模型中，利用人体姿态识别算法获取人体关键点和骨架数据，将所述人体关键点和骨架数据进行骨架归一化处理，得到预先设定大小的图像，并利用posec3d算法对图像进行躯干识别，得到检测结果；所述检测结果包括人体对象存在异常行为和不存在异常行为；当所述检测结果为人体对象存在异常行为时，根据设定警报级别向用户后台发出报警信息；所述异常行为检测模型是基于fast rcnn网络模型构建的。

8、可选地，所述预处理的过程包括：

9、利用dbscan算法，通过点云密度对点云数据进行聚类分析，识别出不同的点云簇结构，并提取目标信息；

10、关联所述目标信息相邻周期的数据，并设置距离阈值、角度阈值和速度阈值，去除所述毫米波雷达点云数据中的静止目标和无效目标，得到目标对象的毫米波雷达点云数据；

11、将所述目标对象的毫米波雷达点云数据在所述视频图像数据中进行时空校准。

12、可选地，所述时空校准的过程包括：

13、通过摄像机标定建立世界坐标系和图像坐标系的转换关系，以及通过雷达位置建立雷达坐标系和世界坐标系的转换关系，并根据两个转换关系构建雷达坐标系到图像坐标系的转换关系；

14、基于所述雷达坐标系到图像坐标系的转换关系，将所述毫米波雷达点云数据变换到图像坐标系下，完成毫米波雷达点云数据与视频图像数据的空间校准；

15、采用内插外推法对毫米波雷达点云数据与视频图像数据进行时间校准。

16、可选地，所述雷达坐标系和世界坐标系的转换关系为：

17、

18、式中，xr，yr，zr是目标在毫米波雷达坐标系下的坐标，xw，yw，zw是目标在世界坐标系下的坐标，rr为毫米波雷达坐标系到世界坐标系的旋转矩阵，tr为毫米波雷达坐标系到世界坐标系的平移向量；

19、所述世界坐标系和图像坐标系的转换关系为：

20、

21、所述雷达坐标系到图像坐标系的转换关系为：

22、

23、式中，xc，yc，zc是目标在相机坐标系下的坐标，fx和fy分别是每个像素在图像平面x和y方向上的物理尺寸，(cx,cy)为像素坐标系中的图像平面中心点坐标，rc为世界坐标系到相机坐标系的旋转矩阵，tc为世界坐标系到相机坐标系的平移向量。

24、可选地，所述通过映射确定所述毫米波雷达点云数据对应所述视频图像数据中各目标对象的位置信息，具体包括：

25、将所述毫米波雷达点云数据进行坐标映射，得到所述视频图像数据中每个探测对象的近似位置；

26、对各所述探测对象的近似位置生成多个不同大小和比例的目标候选框；

27、根据所述毫米波雷达点云数据中的距离信息计算各所述目标候选框的缩放因子，并根据所述缩放因子确定所述毫米波雷达点云数据对应所述视频图像数据中各目标对象的位置信息。

28、本发明还提供了一种人体异常行为检测系统，包括：

29、数据采集模块，用于获取检测数据；所述检测数据包括视频图像数据和毫米波雷达点云数据；

30、预处理模块，用于对所述毫米波雷达点云数据进行预处理，并通过映射确定所述毫米波雷达点云数据对应所述视频图像数据中各目标对象的位置信息；

31、识别筛选模块，用于根据各所述目标对象的位置信息进行目标识别筛选，得到人体对象信息；

32、异常行为检测模块，用于将所述人体对象信息输入异常行为检测模型中，利用人体姿态识别算法获取人体关键点和骨架数据，将所述人体关键点和骨架数据进行骨架归一化处理，得到预先设定大小的图像，并利用posec3d算法对图像进行躯干识别，得到检测结果；所述检测结果包括人体对象存在异常行为和不存在异常行为；当所述检测结果为人体对象存在异常行为时，根据设定警报级别向用户后台发出报警信息；所述异常行为检测模型是基于fast rcnn网络模型构建的。

33、本发明还提供了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据上述的人体异常行为检测方法。

34、本发明还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的人体异常行为检测方法。

35、根据本发明提供的具体实施例，本发明公开了以下技术效果：

36、本发明公开了一种人体异常行为检测方法、系统、电子设备及存储介质，所述方法包括对获取的毫米波雷达点云数据进行预处理，并通过映射确定毫米波雷达点云数据对应视频图像数据中各目标对象的位置信息；根据各目标对象的位置信息进行目标识别筛选，得到人体对象信息；将人体对象信息输入异常行为检测模型中，利用人体姿态识别算法获取人体关键点和骨架数据，并进行骨架归一化处理，得到预先设定大小的图像，利用posec3d算法对图像进行躯干识别，得到检测结果；当检测结果为人体对象存在异常行为时，根据设定警报级别向用户后台发出报警信息。本发明能够在恶劣环境下实现对目标的准确定位。