双光谱雷视一体机交通事件监测方法、系统、设备及介质与流程

所属的技术人员知道，本发明可以实现为系统、方法或计算机程序产品，因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)，只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

背景技术：

1、雷视融合感知在融合策略和实现步骤方面可以分为数据层融合、特征层融合、决策层融合三个层级。如图1以及图2所示，数据层融合一种初级融合模型，是指视频分析与毫米波雷达各自产生的基础数据，按照时间轴、检测区域等实现同步，然后将采集的目标数据统一进行特征提取分析，实现对有效目标的检测提取，然后将提取到的目标信息进行融合，并基于深度学习识别技术对目标的特征、属性等结果输出。

2、特征层融合是一种算法级过程融合，通过将多传感器数据源各自采用特征检测技术先对目标的特征进行提取，并基于算法层将多传感器提取到的特征信息如边缘特征、角点特征、色彩特征等信息进行融合，然后对融合输出的目标信息采用深度识别模型进行识别，并将识别结果输出。

3、决策层融合是一种分析结果的融合，各数据源分别基于算法层进行处理，包括：特征提取与检测，目标特征的识别等，然后基于时空、速度、视角等信息将识别结果融合输出，这一方案算法处理量较小融合难度不大。但往往受限有各数据源或传感器本身的局限性。因此，本方案中我们采用特征层融合为主，对特殊场景中则考虑添加数据层融合和决策层融合算法，以确保系统整体的可靠性。

4、由于视频可见光检测范围与毫米波雷达探测范围不能完全一致(可见光约250米、毫米波约425米)，因此，要将两者目标融合必须对毫米波检测目标进行选取，选取原则是将毫米波与可见光都能够覆盖的目标数据融合，将可见光检测范围以外的目标只做毫米波检测和跟踪效果的展示。

5、总的融合架构由：雷达数据处理、相机数据处理和融合数据处理三部分构成。雷达数据处理包括：雷达数据初选、滤波参数选择、雷达目标识别结果输出等几部分；相机数据处理由：视频目标识别、车道线识别两个重要模块，视频目标识别采用yolo等目标检测模型，车道线识别采用哈夫算法、边缘识别等模型；分别将车辆和车道线识别结果，连同雷达目标识别结果输出到数据总线，经过数据预处理、融合目标识别与轨迹跟踪等算法，输出目标的位置、速度、航向角等信息，以及事件报警信息、特征属性信息等。车路协同系统接收到目标信息后，可通过路侧端rsu天线对信号覆盖范围内的车辆发布车辆或事件预警信息；数字孪生平台则可以根据目标的位置、速度、大小、属性、事件等信息，对现实交通流在数字世界实时孪生再现。目前市面上基本都是只基于毫米波雷达和可见光或者可见光和红外热成像进行融合的技术，三种传感器同时融合的技术方案很少。

技术实现思路

1、本发明所要解决的技术问题是针对现有技术的不足，具体提供了双光谱雷视一体机交通事件监测方法、系统、设备及介质，具体如下：

2、1)第一方面，本发明提供一种双光谱雷视一体机的交通事件监测方法，具体技术方案如下：

3、如图3所示，s1，将双光谱雷视一体机中的可见光传感器、红外光传感器以及毫米波雷达传感器进行图像统一坐标系处理，将所述可见光红外传感器以及所述红外光传感器的采集到的图像的像素坐标转换为所述毫米波雷达传感器的采集到的图像的笛卡尔坐标；

4、s2，将基于统一坐标系处理后的双光谱雷视一体机采集的可见光视频，按照固定间隔提取图像，并将提取到的图像输入至图像明亮度分类器中，得出该图像对应的明亮度得分；

5、s3，通过预测交通事件检测应用逻辑方法对所述双光谱雷视一体机中所有传感器在所述固定间隔内采集到视频数据进行交通事件检测，生成检测结果；

6、s4，根据所述明亮度得分以及所述检测结果，生成该图像对应的综合得分，将所述综合得分与该图像关联存储，完成监测。

7、本发明提供的一种双光谱雷视一体机的交通事件监测方法的有益效果如下：

8、通过双光谱雷视一体机中的三种传感器实现对交通事件的综合监测，相较于现有技术中两种传感器搭配监测的方案更具准确性。

9、在上述方案的基础上，本发明还可以做如下改进。

10、进一步，将所述可见光红外传感器以及所述红外光传感器的采集到的图像的像素坐标转换为所述毫米波雷达传感器的采集到的图像的笛卡尔坐标的过程为：

11、在所述毫米波雷达传感器对应的视频图像的检测范围内任选四个笛卡尔坐标点，并根据该四个笛卡尔坐标点对应的像素坐标以及pnp转换公式确定转换矩阵参数，根据所述转换矩阵参数将所述可见光红外传感器以及所述红外光传感器的采集到的图像的像素坐标转换为所述毫米波雷达传感器的采集到的图像的笛卡尔坐标。

12、进一步，通过预测交通事件检测应用逻辑方法对所述双光谱雷视一体机中所有传感器在所述固定间隔内采集到视频数据进行交通事件检测，生成检测结果的过程为：

13、所述预测交通事件检测应用逻辑方法包括可见光交通事件检测应用逻辑、红外光交通事件检测应用逻辑以及雷达交通事件检测应用逻辑；

14、通过所述可见光交通事件检测应用逻辑对可见光传感器在所述固定间隔内采集到的视频进行交通事件检测，得到第一检测结果，确定所述第一检测结果中的交通事件发生位置与所述双光谱雷视一体机之间的第一距离；

15、通过所述红外光交通事件检测应用逻辑对红外光传感器在所述固定间隔内采集到的视频进行交通事件检测，得到第二检测结果，确定所述第二检测结果中的交通事件发生位置与所述双光谱雷视一体机之间的第二距离；

16、通过所述雷达交通事件检测应用逻辑对毫米波雷达传感器在所述固定间隔内采集到的视频进行交通事件检测，得到第三检测结果，确定所述第三检测结果中的交通事件发生位置于所述双光谱雷视一体机之间的第三距离；

17、将所述第一距离、所述第二距离以及所述第三距离汇总得到所述检测结果。

18、进一步，根据所述明亮度得分以及所述检测结果，生成该图像对应的综合得分的过程为：

19、根据所述明亮度得分、所述检测结果对应的预设交通事件权重以及预设距离权重，生成该图像对应的综合得分。

20、2)第二方面，本发明还提供一种双光谱雷视一体机的交通事件监测系统，具体技术方案如下：

21、转换模块用于：将双光谱雷视一体机中的可见光传感器、红外光传感器以及毫米波雷达传感器进行图像统一坐标系处理，将所述可见光红外传感器以及所述红外光传感器的采集到的图像的像素坐标转换为所述毫米波雷达传感器的采集到的图像的笛卡尔坐标；

22、处理模块用于：将基于统一坐标系处理后的双光谱雷视一体机采集的可见光视频，按照固定间隔提取图像，并将提取到的图像输入至图像明亮度分类器中，得出该图像对应的明亮度得分；

23、检测模块用于：通过预测交通事件检测应用逻辑方法对所述双光谱雷视一体机中所有传感器在所述固定间隔内采集到视频数据进行交通事件检测，生成检测结果；

24、监测模块用于：根据所述明亮度得分以及所述检测结果，生成该图像对应的综合得分，将所述综合得分与该图像关联存储，完成监测。

25、在上述方案的基础上，本发明还可以做如下改进。

26、进一步，所述转换模块具体用于：

27、在所述毫米波雷达传感器对应的视频图像的检测范围内任选四个笛卡尔坐标点，并根据该四个笛卡尔坐标点对应的像素坐标以及pnp转换公式确定转换矩阵参数，根据所述转换矩阵参数将所述可见光红外传感器以及所述红外光传感器的采集到的图像的像素坐标转换为所述毫米波雷达传感器的采集到的图像的笛卡尔坐标。

28、进一步，所述检测模块具体用于：

29、所述预测交通事件检测应用逻辑方法包括可见光交通事件检测应用逻辑、红外光交通事件检测应用逻辑以及雷达交通事件检测应用逻辑；

30、通过所述可见光交通事件检测应用逻辑对可见光传感器在所述固定间隔内采集到的视频进行交通事件检测，得到第一检测结果，确定所述第一检测结果中的交通事件发生位置与所述双光谱雷视一体机之间的第一距离；

31、通过所述红外光交通事件检测应用逻辑对红外光传感器在所述固定间隔内采集到的视频进行交通事件检测，得到第二检测结果，确定所述第二检测结果中的交通事件发生位置与所述双光谱雷视一体机之间的第二距离；

32、通过所述雷达交通事件检测应用逻辑对毫米波雷达传感器在所述固定间隔内采集到的视频进行交通事件检测，得到第三检测结果，确定所述第三检测结果中的交通事件发生位置于所述双光谱雷视一体机之间的第三距离；

33、将所述第一距离、所述第二距离以及所述第三距离汇总得到所述检测结果。

34、进一步，所述监测模块具体用于：

35、根据所述明亮度得分、所述检测结果对应的预设交通事件权重以及预设距离权重，生成该图像对应的综合得分。

36、3)第三方面，本发明还提供一种计算机设备，所述计算机设备包括处理器，所述处理器与存储器耦合，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述计算机设备实现如上任一项方法。

37、4)第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机实现如上任一项方法。

38、需要说明的是，本发明的第二方面至第四方面的技术方案及对应的可能的实现方式所取得的有益效果，可以参见上述对第一方面及其对应的可能的实现方式的技术效果，此处不再赘述。