一种基于毫米波雷达的交通信号控制方法及系统与流程

本发明属于交通信号控制，尤其涉及一种基于毫米波雷达的交通信号控制方法及系统。

背景技术：

1、智能交通信号控制是一种基于计算机技术和通信技术的现代交通管理方法，旨在减少交通拥堵、提高道路交通效率和安全性。传统的交通信号控制主要包括基于纯视频的方法和基于线圈感应器的方法，使用摄像头捕捉道路上的车辆图像，然后通过图像处理和计算机视觉技术来估计车流量和车速，然而，视频监测在夜晚或雨雾天气情况下效果不佳；而基于线圈感应器的方法对于车流量的感知较为准确，但无法提供车速信息，且施工难度较大，成本较高。

2、同时，也有研究采用安装在路侧的毫米波雷达进行交通状态监测，但对于车流量较大的夜晚高峰时段，传统毫米波雷达数据处理采用cfar算法进行目标检测，但cfar算法在杂波特性多变的晚高峰场景下，虚警和漏报的情况较多，进而影响到车流量检测的准确性和交通信号控制的效果。

技术实现思路

1、有鉴于此，本发明提出一种基于毫米波雷达的交通信号控制方法，旨在解决传统智能信号控制方法在晚高峰时期控制效果欠佳的问题。

2、一种基于毫米波雷达的交通信号控制方法，包括以下步骤：

3、s1：获取各路段的原始点云数据并进行预处理，得到预处理后的点云数据；

4、s2：对预处理后的点云数据进行目标检测和分类，并通过粒子滤波算法对检测到的车辆进行跟踪，统计得到各个路段的车流量、平均车速；

5、s3：根据车流量和平均速度，评估各个路段的拥堵程度以及优先级；

6、s4：构建强化学习模型，设定强化学习的状态空间、动作空间、值函数和奖励函数；

7、s5：强化学习模型训练，自适应调整每个路口的信号灯的时长；

8、进一步地，所述s1步骤包括：

9、s11：获取各路段的原始点云数据；

10、s12：对于各路段的原始点云数据进行噪声过滤，计算方式为：

11、；

12、其中，为经过噪声过滤后的点云数据，p为点云数据中的点，为原始点云数据，为点p到其邻域平均点的距离，为阈值系数，为标准差；

13、s13：对于经过噪声过滤后的点云数据进行地面分割，计算方式为：

14、；

15、其中，为地面点云数据，为点p到平面的距离，为距离阈值；

16、s14：从经过噪声过滤后的点云数据中，删除地面点云数据，得到预处理后的点云数据。

17、进一步地，所述s2步骤包括：

18、s21：对预处理后的点云数据进行目标检测和分类，计算方式为：

19、构建卷积层对预处理后的点云数据的强度进行卷积，提取局部强度特征；

20、将局部强度特征输入到双向循环神经网络中，进行目标检测，输出预处理后的点云数据中每个点的点云类别，计算方式为：

21、；

22、；

23、；

24、其中，为局部强度特征，为卷积层操作，为预处理后的点云数据的强度序列，j为序列索引，为点云数据时序特征，为双向循环神经网络操作，为点云类别，为softmax函数，为权重参数，为偏置项；点云类别包括：车辆、行人、道路设施；

25、本方法考虑到雷达邻域数据对目标数据的影响，将卷积神经网络作为滑窗，结合周围数据点的特征来描述目标数据点，再将点云分类任务视为序列标注任务，将局部强度特征输入到双向循环神经网络中，综合整个雷达的单次扫描信息对每一个点进行类别标注，这样自动学习数据的内在模式能够根据不同的雷达数据的变化，提取出不同的局部强度特征，进而适应不同的交通环境和条件；

26、与传统的恒虚警率（cfar）算法相比，cfar需要手动设置阈值，在多目标环境或杂波变化的环境中效果不佳，而本方法采用卷积神经网络和双向循环神经网络结合的方式，提供了更高的灵活性和适应性；通过更精确的车辆检测，信号灯控制系统可以更有效地响应实际交通状况，减少车辆等待时间，提高整体交通效率；

27、s22：使用粒子滤波算法对点云类别为车辆的点进行跟踪，并估计车辆的位置和速度，计算方式为：

28、；

29、其中，为车辆到毫米波雷达的距离，c为光速，为扫频时间，为拍频，为扫频带宽；

30、；

31、其中，为车辆速度，为毫米波波长，为多普勒频移；

32、；

33、其中，为目标的方位角，为毫米波相位差，为天线元素之间的距离；

34、s23：针对粒子滤波算法跟踪的车辆，以与为该车辆的标识，设置10分钟为时间窗口，统计进入雷达探测区域的车辆数量，得到该路段的车流量；针对时间窗口内统计的所有车辆，对每辆车的速度求平均值，得到该路段的平均车速。

35、进一步地，所述s3步骤包括：

36、s31：结合各路段的车流量和平均车速计算拥堵指数，计算方式为：

37、；

38、其中，为拥堵指数，为路段车流量，为该路段平均车速；拥堵指数反映了路口的车流量和车辆的行驶速度，两者的比值越大，说明车辆越多、行驶越慢，路口的拥堵程度越高；

39、s32：结合路段方向、车流量、拥堵指数，定义路段优先级；优先级的定义方式为：

40、高优先级：拥堵指数高、车流量大的出城方向的路段；

41、中优先级：拥堵指数高、车流量大的非出城方向的路段；

42、低优先级：其他路段；

43、进一步地，所述s4步骤包括：

44、s41：定义强化学习模型的智能体、状态空间和动作空间，包括：

45、定义强化学习模型的智能体为每个路口的信号灯；

46、状态空间包括各路段的车流量、平均车速、连续绿灯数量、车辆等待时间、当前信号灯状态；

47、动作空间包括信号灯的变换、延长红灯时间、延长绿灯时间、缩短红灯时间、缩短绿灯时间；

48、s42：定义强化学习模型的值函数，计算方式为：

49、；

50、其中，为值函数，s为当前状态，为当前动作，e为期望，γ为折扣因子，为第z迭代步的奖励，z为迭代步数，为初始状态，为初始动作；

51、值函数更新的计算方式为：

52、；

53、其中，为学习率，为下一个状态，为下一个动作；

54、s43：定义强化学习模型的奖励函数，计算方式为：

55、；

56、其中，为状态s下采取动作的奖励值，为对应函数的权重系数，为连续绿灯奖励函数，为车辆的总等待时间函数，为流量平衡奖励函数，为道路优先级函数；

57、奖励函数综合考虑了道路绿波状态、车辆总等待时间、各道路的流量平衡以及道路优先级，并通过不同的权重来平衡重要性；

58、；

59、其中，e为自然常数，为正常数，n为车辆连续通过的绿灯数量；用于调整函数的敏感度，当n增加时，函数值会逐渐接近1，这样就能给予连续通过更多绿灯的车辆更大的奖励；当车辆连续通过的绿灯数量少于3时，奖励为0；

60、主要针对绿波带设计，即如果一系列路口的信号灯能够协同工作，形成绿波带，使车辆能够连续通过多个路口而不需要停下，给予对应的智能体正奖励，进而激励智能体协同工作，提高整个交通网络的效率；

61、；

62、其中，m为在状态s下所有车辆的数量，为第i辆车的等待时间，i为车辆索引；

63、；

64、其中，为路段数量，为第g条路段车流量与平均车流量的差值，g为路段索引；促使智能体学习到，如果某个动作能够有效地平衡各个路口的车流量，避免某些路口过于拥堵而其他路口相对空闲，则会获得正奖励；

65、；

66、其中，为第g个路段的优先级权重，为第g个路段的车流量；道路优先级函数考虑到每个路段的优先级，从而在优化信号灯时长和顺序时，能够优先考虑那些更为重要的路段；

67、进一步地，所述s5步骤包括：

68、s51：初始化q表，为每个状态-动作对赋予一个随机值；

69、s52：以当前各个路段的车流量、平均车速、各信号灯红灯10秒、连续绿灯数量为0作为初始状态，该状态记为；

70、s53：重复以下步骤，直到模型迭代达到规定步数，包括：

71、从当前状态s出发，以概率随机选择一个动作，以概率选择q值最大的动作；

72、执行动作 a，观察下一个状态和当前奖励；

73、根据值函数更新公式，更新q表中的；

74、将s更新为；

75、输出q表中得分最高的策略；

76、s54：由训练好的强化学习模型，输出各个信号灯时长结果。

77、本发明还提供了一种基于毫米波雷达的交通信号控制系统，包括：

78、数据获取与预处理模块：获取各路段的原始点云数据并进行预处理，得到预处理后的点云数据；

79、点云数据处理模块：对预处理后的点云数据进行目标检测和分类，并通过粒子滤波算法对检测到的车辆进行跟踪，统计得到各个路段的车流量、平均车速；

80、路段优先级计算模块：根据车流量和平均速度，评估各个路段的拥堵程度以及优先级；

81、强化学习模型构建模块：构建强化学习模型，设定强化学习的状态空间、动作空间、值函数和奖励函数；

82、强化学习训练模块：强化学习模型训练，自适应调整每个路口的信号灯的时长；以实现上述基于基于毫米波雷达的交通信号控制方法。

83、与现有技术相比，本发明的优点在于：

84、（1）在整体方案上，本发明采用毫米波雷达的方式进行道路车流量、车速检测，并将数据用于训练强化学习模型，最终输出各路口交通信号灯时长；与传统交通信号控制方法相比，本发明更能适应晚高峰场景，并有效处理毫米波雷达数据中的杂波特性变化，提供更准确的车辆检测和跟踪，优化了信号控制效果。

85、（2）在算法改进上，相比于传统的cfar算法，本发明采用结合卷积层和双向循环神经网络的深度学习模型，提高了杂波的识别和过滤能力，还能够综合序列信息进行分析，使得算法在动态变化的交通环境中更加鲁棒，适应各种复杂情况。

86、（3）在交通信号协同控制上，本发明不仅考虑单一路段的交通状况，而是综合周围路段的情况和道路优先级进行交通信号的协同控制，通过多智能体强化学习模型，使各个信号灯协同工作，提高了交通信号控制的效果。