基于路侧相机和毫米波雷达的多尺度目标检测方法及系统

本发明属于目标检测和智能安防，尤其涉及一种基于路侧相机和毫米波雷达的多尺度目标检测方法及系统。

背景技术：

1、在当今的智能安防场景中，多传感器信息融合技术应用越来越普遍。相机成本低廉，可以提供丰富的视觉信息和细节，但在雨、雾等复杂场景下功能受限，毫米波雷达能够提供可靠的距离和速度信息，特别是在视觉传感器受限的恶劣环境中，但无法依靠纹理信息准确识别目标类别。鉴于毫米波雷达和相机传感器之间具有互补的特性，它们的融合成为了多传感器融合技术研究中的一个重要领域。

2、在当前技术发展的背景下，尽管基于毫米波雷达和相机的目标检测已经取得了诸多进展，仍存在一些关键问题未得到解决。在远距离和大范围的监控场景中，图像分辨率的限制使得相机难以捕捉小目标细节，导致入侵小目标检测困难，监控视角近大远小的特点造成的目标多尺度变化同样不利于目标特征的提取和识别，在复杂识别环境影响下，前景目标与背景较难区分，算法在复杂背景中识别能力的效果较差。毫米波雷达在目标探测过程中会出现漏检和错检情况，点云数据中也会带有噪声信息，导致雷达点云在映射到图像平面时无法准确地落在目标几何轮廓内，出现像素级的关联误差，可能给融合检测带来反增益，同时雷达点云数据的稀疏性，会弱化雷达图像特征在融合检测过程中的引导能力。此外，特征相加融合、特征级联融合等传统融合方法不能有效地利用两传感器的信息，如何高效地结合毫米波雷达和相机传感器的信息是当前研究的关键难题。因此，充分结合这两种传感器的优势，发明一种新的基于路侧相机和毫米波雷达融合的多尺度目标检测方法具有非常大的理论意义与应用价值。

3、通过上述分析，现有技术存在的问题及缺陷为：

4、在远距离和大范围的监控场景中，图像分辨率的限制使得相机难以捕捉小目标细节，导致入侵小目标检测困难，监控视角近大远小的特点造成的目标多尺度变化同样不利于目标特征的提取和识别，在复杂识别环境影响下，前景目标与背景较难区分，算法在复杂背景中识别能力的效果较差，且传统融合方法未能充分挖掘雷达与相机数据特征间的交互关系，融合效果有待提升。

技术实现思路

1、针对现有技术存在的问题，本发明提供了一种基于路侧相机和毫米波雷达的多尺度目标检测方法及系统。

2、本发明是这样实现的，一种基于路侧相机和毫米波雷达的多尺度目标检测方法包括：

3、步骤一，对路侧相机和毫米波雷达两种传感器进行时空关联，确定毫米波雷达坐标系与像素坐标系的空间转换关系，并以同样的采样频率获取相机图像数据和毫米波雷达点云数据；

4、步骤二，采用扩展卡尔曼方法对毫米波雷达点云数据进行降噪处理，通过空间转换关系对降噪后的点云数据进行投影，生成雷达图像，通过双边滤波方法对投影进行扩展，增强雷达图像数据表示；

5、步骤三，使用预先建立的融合网络提取雷达图像特征和相机图像特征，通过改进下采样和双向金字塔的颈部网络进行多尺度特征融合，提取多层次的空间信息，获得融合后的多尺度特征图；

6、步骤四，通过空洞多尺度注意力模块与两阶段的空间注意力融合方法进一步增强两传感器的融合特征，最后输入到检测子网络和回归子网络，输出目标检测结果。

7、进一步，雷达坐标系与像素坐标系的转换关系为：

8、

9、其中，fx、fy、u0和v0为相机内部参数，可通过相机标定获取；h为毫米波雷达与相机的高度差，为相机与雷达x轴之间的俯仰角。

10、进一步，扩展卡尔曼滤波器的测量矢量为雷达探测目标的位置和速度状态，第j个探测目标ωj在时间t的状态向量可以表示为：

11、

12、其中，x表示雷达到目标的纵向距离，y表示雷达到目标的横向距离，v表示目标的移动速度，θ表示目标相对于雷达的方位角；在运动状态的预测过程中，过程模型n表示为：

13、

14、对于每个雷达投影点，其在图像上影响范围内的每个像素点被赋予的权重表示为：

15、

16、其中，(x,y)为雷达点的坐标，(m,n)为雷达点在图像上影响范围内某一点的坐标，σd和σr表示分别用于调整空间距离和灰度差值对每个像素点权重值的影响的参数，i(x,y)表示在坐标(x,y)处像素点的灰度值；

17、将雷达点的影响范围定义为以雷达点为中心，边长为wr的矩形区域；对于在雷达点影响范围内，权重超过门限值wth的像素点，将其像素值设置为与雷达点相同的值，门限值wth与雷达点影响矩阵边长wr关系如下式所示：

18、

19、进一步，融合网络采用了spd-conv模块替换yolov5骨干网络中五个cbs单元中步长为2的跨步卷积，得到对应的spd-cbs模块。

20、进一步，所述融合特征可表示为：

21、

22、其中，o表示特征融合后的输出特征图，pi表示第i个输入特征图，wi表示分配给每个输入特征图pi的可学习权重，ε＝0.0001是一个小值。

23、进一步，空洞多尺度注意力模块由ema模块与级联空洞卷积模块组合而成，级联空洞卷积模块将残差连接与混合空洞卷积结合，叠加了3个扩张率为1、2、4，尺寸为3×3的卷积核；

24、空间注意力融合方法采用了空间注意力模块，该模块由三组用于提取空间注意力矩阵的卷积层组成；

25、1×1卷积的步长为1，无填充，3×3卷积的步长为1，填充为1，5×5卷积的步长为1，填充为2；

26、两阶段的融合方法：

27、首先在主干网络选择较为深层的后三个尺度特征图进行融合，并自适应学习融合权重；

28、其次在输入到检测头网络之前，将雷达图像特征与经过多尺度融合和注意力增强之后的相机图像特征进行再次融合，进一步加强特征图的信息表示；

29、最后将融合特征输入到检测子网络和回归子网络，输出目标检测结果。

30、本发明的另一目的在于提供一种基于路侧相机和毫米波雷达的多尺度目标检测系统包括：

31、数据采集模块，负责收集毫米波雷达、摄像机各种传感器设备原始数据；以较低采样频率的毫米波雷达采样周期作为整体采样过程的时间基准，利用多线程技术，通过将雷达的采样周期作为触发机制，同步触发相机进行数据采集；

32、逻辑处理模块，负责视频流处理与雷达相机融合检测功能；接收来自枪型摄像机和球型摄像机的视频数据，还可以查看存储在服务器上的预录制视频，并通过结合毫米波雷达与摄像机的数据进行融合检测实现重点目标监控；

33、应用服务模块，负责数据存储、报警管理、任务可视化三个功能；数据存储包括毫米波雷达和摄像头采集的原始信息、报警数据以及识别到的目标信息，提供数据的快速检索和备份功能；报警管理检测到非法入侵或交通违规行为等潜在安全威胁时，调用声光报警设备发出报警，并通过系统界面提醒监控人员采取相应措施；任务可视化模块展示了实时监控视频流、传感器设备状态和目标历史轨迹等信息。

34、本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于路侧相机和毫米波雷达的多尺度目标检测方法的步骤。

35、本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于路侧相机和毫米波雷达的多尺度目标检测方法的步骤。

36、本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述基于路侧相机和毫米波雷达的多尺度目标检测系统。

37、结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

38、第一、本发明通过引入spd-conv优化特征提取网络，以保留更多的图像细节，避免细粒度信息的丢失，改进yolov5的颈部网络结构，并采用卷积和池化的结合方式，实现特征层之间有效的信息融合，以增强对小物体的特征捕获能力。通过引入空洞多尺度注意力机制，减少复杂背景对检测性能的干扰，在跨空间学习过程中捕获更多的空间上下文信息，增加网络对被检测目标的感知能力。采用扩展卡尔曼滤波减少雷达数据噪声并引入双边滤波扩展雷达点云投影，增强雷达特征信息表示，提高雷达图像特征丰富度。使用空间注意力设计了两阶段融合检测网络，动态优化两传感器的特征权重，有效学习雷达与相机异构特征间的交互关系，更充分地发挥雷达图像信息在关键特征提取中的引导作用，优化了雷达与相机数据的整体融合效果，提高了在复杂环境中的目标检测准确性与鲁棒性。

39、第二，本发明弥补了现有目标检测技术的缺陷，显著提高了系统在复杂环境下，尤其是在恶劣天气或低光照条件下的目标检测准确性和鲁棒性，有效提升智能安防监控应用的安全性和可靠性。本发明的技术方案在多传感器融合领域中展现了突出的技术优势和应用潜力，为目标检测技术的进步和实际应用提供了有力支撑。

40、第三，本发明的技术方案转化后的预期收益和商业价值为：本发明技术方案通过优化目标检测的准确性和鲁棒性，提高智能安防监控系统的检测性能，不仅能够降低潜在的安全风险，还能提升用户体验，预计将推动相关行业的技术进步和市场扩张。

41、本发明的技术方案填补了国内外业内技术空白：本发明在毫米波雷达与相机融合的多尺度目标检测技术方面，解决了现有技术中存在的细节捕捉不足、小物体检测能力弱以及雷达与相机数据融合不充分等问题，为后续研究提供了新的方向。

42、本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难题：传统的目标检测技术，无论是依赖于雷达还是相机的单一传感器系统，在特定条件下都存在明显的局限性。毫米波雷达能够在视线受阻或光照条件不佳的环境中有效工作，提供关于目标距离、速度的稳定信息。而相机能够在光照条件允许的情况下，提供高分辨率的视觉信息，捕捉目标的细节特征，和雷达具有互补特性，但目前的融合方法未能充分挖掘雷达与相机数据特征间的交互关系。通过本发明提出的融合技术，能够将雷达的稳健性与相机的高分辨率特性相结合，即使在低光照或恶劣天气条件下，也能实现对目标的精确检测。有效解决了目标检测在复杂环境下准确性和鲁棒性不高的问题，尤其是在恶劣天气和低光照条件下的表现。

43、第四，本发明提供的基于路侧相机和毫米波雷达的多尺度目标检测方法，相较于现有技术，具有显著的技术进步和解决了多个关键问题。

44、首先，通过时空关联两种传感器，确定了毫米波雷达坐标系与像素坐标系的空间转换关系，使得两种不同来源的数据可以在同一坐标系下进行处理和比较，这大大增强了数据的可用性和准确性。同时，以同样的采样频率获取数据，确保了数据的同步性，为后续的融合处理提供了基础。

45、其次，采用扩展卡尔曼方法对毫米波雷达点云数据进行降噪处理，有效减少了传感器测量的噪声和误差，提高了数据的精度。随后，通过空间转换关系对降噪后的点云数据进行投影，生成雷达图像，这一步骤进一步丰富了数据的维度和表现形式。双边滤波方法的应用，不仅增强了雷达图像数据的表示，还在平滑图像的同时保留了边缘信息，这对于后续的特征提取和目标检测至关重要。

46、再者，使用预先建立的融合网络提取雷达图像特征和相机图像特征，并通过改进的下采样和双向金字塔的颈部网络进行多尺度特征融合。这种多尺度特征融合的方式，能够提取到多层次的空间信息，使得目标检测更加准确和全面。

47、最后，通过空洞多尺度注意力模块与两阶段的空间注意力融合方法，进一步增强了两种传感器的融合特征。这种注意力机制的应用，使得模型在处理数据时能够更加关注重要的特征信息，提高了目标检测的效率和准确性。最终，将融合后的特征输入到检测子网络和回归子网络，输出目标检测结果，实现了多尺度目标检测的目标。

48、本发明提供的基于路侧相机和毫米波雷达的多尺度目标检测方法，通过精确的数据处理、有效的特征提取和融合，以及先进的注意力机制应用，解决了现有技术中的多个问题，并获得了显著的技术进步。这种方法在实际应用中具有广阔的前景和潜力，对于提高道路安全、智能驾驶等领域的性能具有重要意义。