一种基于雷视一体机的三维电子围栏预警方法与流程

本发明涉及电子围栏，具体涉及一种基于雷视一体机的三维电子围栏预警方法。

背景技术：

1、目前，许多定点监控摄像头具备电子围栏功能，通过在图像中绘制边界框来检测人员是否进入特定区域。然而，这种方法只适用于需求较为简单的电子围栏，在摄像头具备云台转动功能时，由于单摄像头仅能采集二维图像，无法准确计算云台转动后的电子围栏区域，尤其在转动角度较大时，图像中的电子围栏区域通常与预设区域之间的偏差较大，无法有效发挥电子围栏功能。

2、此外，由于缺乏三维信息，存在一定的误报和漏报。当人员距离摄像头较近时，由于视差问题，某些身体区域（如胳膊、上半身等）容易被误判为进入电子围栏区域，导致误报。在复杂监控区域（如设备密集的机房）内，由于缺乏三维信息，摄像头安装高度受限且视角倾斜度较大，无法准确判断人员是否进入电子围栏区域，导致漏报。

技术实现思路

1、针对现有技术所存在的上述缺点，本发明提供了一种基于雷视一体机的三维电子围栏预警方法，能够有效克服现有技术所存在的无法基于二维图像准确判断人员是否进入预设电子围栏区域，以及因摄像头云台转动而导致电子围栏失效的缺陷。

2、为实现以上目的，本发明通过以下技术方案予以实现：

3、一种基于雷视一体机的三维电子围栏预警方法，包括以下步骤：

4、s1、构建相机在当前坐标系下拍摄的当前图像与在俯视坐标系下得到的俯视图像之间的转换关系；

5、s2、构建雷达点云数据中的点与俯视图像之间的映射关系，以在俯视图像中对雷达点云数据进行可视化处理；

6、s3、用户在不同云台方位角下对应的俯视图像中预设三维电子围栏区域；

7、s4、实时监测，计算人体位置；

8、s5、判断人体位置是否在三维电子围栏区域内，并进行相应预警。

9、优选地，s1中构建相机在当前坐标系下拍摄的当前图像与在俯视坐标系下得到的俯视图像之间的转换关系，包括：

10、s11、计算俯视坐标系转换为当前坐标系的旋转矩阵 r f2 c：

11、；

12、其中，设俯视图像为云台俯仰角 a为0度时相机的成像效果，此时云台方位角 b不变，因此云台方位角 b不参与旋转矩阵 r f2 c，同时由于俯视坐标系与当前坐标系的原点重合，未发生平移，因此俯视坐标系转换为当前坐标系的平移矩阵为0；

13、云台俯仰角 a定义为：当前坐标系沿着x轴旋转 a度，当前坐标系的z轴刚好为竖直向下方向；

14、云台方位角 b定义为：在云台俯仰角 a为0度时，当前坐标系绕竖直方向旋转 b度，使得当前坐标系在云台俯仰角 a为0度、云台方位角 b为0度的位置，即与初始坐标系重合；

15、s12、设地面上某一点在俯视坐标系中的三维坐标为( x, y, h)， q f为该点在俯视图像中的坐标， q c为该点在当前图像中的坐标，根据相机的小孔成像模型，建立以下方程：

16、                      （1），

17、                    （2），

18、其中， s1、 s2分别为已知的中间变量， h为相机的安装高度， k为相机的内参矩阵，采用下式估算相机的内参矩阵 k：

19、；

20、上式中， f为相机焦距， s为单个像素尺寸， j w、 j h分别为画面的横向分辨率、纵向分辨率；

21、s13、根据式（1）和（2）构建相机在当前坐标系下拍摄的当前图像与在俯视坐标系下得到的俯视图像之间的转换关系：

22、 q f =s3 kr f2 c-1 k-1 q c                   （3），

23、其中， s3为已知的中间变量。

24、优选地，s2中构建雷达点云数据中的点与俯视图像之间的映射关系，以在俯视图像中对雷达点云数据进行可视化处理，包括：

25、s21、设雷达点云数据中某一点在雷达坐标系中的三维坐标为 p， q f_p为该点在俯视图像中的坐标， q c_p为该点在当前图像中的坐标，将该点映射至当前图像中：

26、 s4 q c_p =k( r l2 c p+ t l2 c)                  （4），

27、其中， s4为已知的中间变量， r l2 c、 t l2 c分别为雷达坐标系转换为当前坐标系的旋转矩阵、平移矩阵，由雷视一体机厂家提供；

28、s22、根据式（3）和（4）构建雷达点云数据中的点与俯视图像之间的映射关系：

29、        （5），

30、其中， s5为已知的中间变量；

31、s23、根据式（5）将雷达点云数据中的点映射至俯视图像中，给予用户可视化点云显示，使得用户直观理解点云在图像中的具体位置，方便用户预设三维电子围栏区域。

32、优选地，s3中用户在不同云台方位角下对应的俯视图像中预设三维电子围栏区域，包括：

33、s31、用户在某一云台方位角 b’下对应的俯视图像中任意设置多边形区域，作为云台方位角 b’下的电子围栏区域，使用数组 q array顺序存储多边形区域在俯视图像中的顶点坐标：

34、 q array =[ q f1, q f2,…, q fn]；

35、其中， q f1、 q f2、…、 q fn分别为多边形区域在俯视图像中的顶点坐标，n为多边形区域的顶点数量；

36、s32、根据式（1）将数组 q array中存储的多边形区域在俯视图像中的顶点坐标转换为在俯视坐标系中的三维坐标：

37、；

38、其中，( x n, y n, h)为多边形区域在俯视图像中的顶点坐标 q fn转换为在俯视坐标系中的三维坐标；

39、s33、获取俯视坐标系中的三维坐标所围成的平面，并在该平面的高度方向上无限延伸，构成云台方位角 b’下的三维电子围栏区域 w b’：

40、；

41、s34、用户旋转云台方位角，并在不同的云台方位角下预设三维电子围栏区域，得到多个在不同云台方位角下的三维电子围栏区域 w b1、 w b2、…、 w bm，其中 m为三维电子围栏区域的数量。

42、优选地，s4中实时监测，计算人体位置，包括：

43、s41、在当前图像中对人体进行关键点检测，获取某一人体关键点在当前图像中的坐标 e’；

44、s42、获取同一时刻的雷达点云数据，遍历其中的每个点在雷达坐标系中的三维坐标，根据式（4）将所有点在雷达坐标系中的三维坐标映射至当前图像中，得到所有点在当前图像中的坐标，通过计算与坐标 e之间的距离，确定该人体关键点在雷达坐标系中的三维坐标 p e’；

45、s43、重复s41~s42，得到所有人体关键点在雷达坐标系中的三维坐标合集：

46、；

47、其中，( x et, y et, z et)为人体关键点在当前图像中的坐标 e t转换为在雷达坐标系中的三维坐标， t为检测到的人体关键点的数量；

48、s44、对三维坐标合集中各方向的坐标取中值，得到人体在雷达坐标系中的三维坐标 p person：

49、；

50、并记录此时的云台方位角 b c。

51、优选地，s5中判断人体位置是否在三维电子围栏区域内，并进行相应预警，包括：

52、s51、对于三维电子围栏区域 w b1，将人体在雷达坐标系中的三维坐标 p person转换为预设三维电子围栏区域 w b1时的云台方位角 b1下的俯视坐标系中的三维坐标 p f_b1_person；

53、s52、判断三维坐标 p f_b1_person是否在三维电子围栏区域 w b1内；

54、s53、重复s51~s52，直至遍历所有三维电子围栏区域，若三维坐标 p f_b1_person均不在三维电子围栏区域内，则判定人体不在三维电子围栏区域内，否则判定人体在三维电子围栏区域内，并向用户发送预警提示。

55、优选地，s51中对于三维电子围栏区域 w b1，将人体在雷达坐标系中的三维坐标 p person转换为预设三维电子围栏区域 w b1时的云台方位角 b1下的俯视坐标系中的三维坐标 p f_b1_person，包括：

56、s511、将人体在雷达坐标系中的三维坐标 p person转换为云台方位角 b c下的当前坐标系中的三维坐标 p c_bc_person：

57、 p c_bc_person =r l2 c p person+ t l2 c；

58、s512、将三维坐标 p c_bc_person转换为云台方位角 b c下的俯视坐标系中的三维坐标 p f_bc_person：

59、 p f_bc_person =r f2 c-1 p c_bc_person；

60、s513、将三维坐标 p f_bc_person转换为预设三维电子围栏区域 w b1时的云台方位角 b1下的俯视坐标系中的三维坐标 p f_b1_person：

61、 p f_b1_person =r bc2 b1 p f_bc_person；

62、其中， r bc2 b1为云台方位角 b c下的俯视坐标系转换为云台方位角 b1下的俯视坐标系的旋转矩阵：

63、。

64、与现有技术相比，本发明所提供的一种基于雷视一体机的三维电子围栏预警方法，具有以下有益效果：

65、1）提供全方位的监控能力

66、传统基于定点监控摄像头的电子围栏无法跟随摄像头云台转动，导致在云台转动时电子围栏失效，而本发明通过雷达获取目标的三维位置和姿态信息，结合摄像头采集的二维图像信息，能够实现全方位的监控，不论摄像头是否具备云台转动功能，本方案都能够跟踪目标并准确判断其是否进入电子围栏区域，有效解决了现有技术中因云台转动而导致电子围栏失效的问题；

67、2）提供精准的距离测量和判断能力

68、传统的二维图像电子围栏由于存在视差，无法准确判断目标是否进入电子围栏区域，容易出现误报和漏报的情况，而本发明通过结合雷达点云数据和二维图像信息，能够进行准确的距离测量和判断，本方案能够克服视差问题，更精确地判断目标是否进入电子围栏区域，避免误报情况的发生，并提高漏报的检测能力，无论是目标靠近摄像头，还是在复杂监控区域内，本方案都能够精准判断目标是否进入电子围栏区域，提供更高的测量精度。