基于强化学习和多元视频数据分析的城市立交上下匝道绿波设置方法与流程

本发明涉及智慧交通，具体涉及一种基于强化学习和多元视频数据分析的城市立交上下匝道绿波设置方法。

背景技术：

1、截止到2023年底，中国公民的机动车拥有数量超过4.35亿辆。在用地资源紧张的城市环境中，道路过车负荷已经达到极限。城市立交桥的建设缓解了城市主干道路的拥堵情况，但是地面道路和立交桥分担过车车流量不合理可能使拥堵情况变得更为严重。在早晚通勤高峰期间，地面道路与立交桥交汇的上下匝道最容易引发交通堵塞，进而影响整片区域的交通通行。通过合理的方式调整上下匝道的车流量，成为缓解立交桥拥堵的重要方向之一。

2、在智慧交通领域中，通过过车数据控制信号灯的相位周期变化是解决城市道路拥堵的主要方法。传统的固定时序信号控制往往难以适应不同时间段和交通流量的变化，而强化学习为信号控制提供了一种新的设计思路。它由智能体根据行驶速度、拥堵指数、等待时间等交通状态参数，动态调整信号机状态，最大程度地减少交通拥堵时间。然而，环境状态的复杂性、数据获取的滞后性等因素会影响智能体做出判断，进而影响信号灯相位控制决策的有效性。

技术实现思路

1、本发明为了克服以上技术的不足，提供了一种根据交通情况进行智能调节匝道交通信号灯，避免出现立交上下车流分布严重失衡现象的基于强化学习和多元视频数据分析的城市立交上下匝道绿波设置方法。

2、本发明克服其技术问题所采用的技术方案是：

3、一种基于强化学习和多元视频数据分析的城市立交上下匝道绿波设置方法，包括如下步骤：

4、a)获取立交上下匝道周边摄像头的视频流信息，得到匝道分流区监控图像集fsplit、匝道区域监控图像集framp、桥下通行区监控图像集froad、立交桥上通行区监控图像集foverpass；

5、b)对匝道分流区监控图像集fsplit进行匝道分流区划分，得到精确的匝道分流区图像集xsplit；

6、c)对匝道区域监控图像集framp进行匝道区域划分，得到精确的匝道区域图像集xramp；

7、d)对桥下通行区监控图像集froad进行桥下通行区划分，得到精确的桥下通行区图像集xroad；

8、e)对立交桥上通行区监控图像集foverpass进行立交桥上通行区划分，得到精确的立交桥上通行区图像集xoverpass；

9、f)根据精确的匝道分流区图像集xsplit、精确的匝道区域图像集xramp、精确的桥下通行区图像集xroad、精确的立交桥上通行区图像集xoverpass计算得到时间步p内通过匝道分流区的车数通过匝道区域的车数通过桥下通行区的车数通过立交桥上通行区的车数通过匝道分流区的机动车的平均速度通过匝道区域的机动车的平均速度通过桥下通行区的机动车的平均速度通过立交桥上通行区的机动车的平均速度

10、g)根据匝道分流区的车数通过匝道区域的车数通过桥下通行区的车数通过立交桥上通行区的车数通过匝道分流区的机动车的平均速度通过匝道区域的机动车的平均速度通过桥下通行区的机动车的平均速度通过立交桥上通行区的机动车的平均速度计算匝道信号灯相位动作，匝道信号灯执行相位动作。

11、进一步的，步骤a)包括如下步骤：

12、a-1)将获取的立交上下匝道的用于拍摄匝道分流区域的摄像头的视频流，并对视频流进行分帧处理，得到t帧匝道分流区监控图像构成的匝道分流区监控图像集其中fisplit为第i帧匝道分流区监控图像，i∈{1,...,t}；

13、a-2)将获取的立交上下匝道的用于拍摄匝道区域的摄像头的视频流，并对视频流进行分帧处理，得到t帧匝道区域监控图像构成的匝道区域监控图像集framp，其中firamp为第i帧匝道区域监控图像，i∈{1,...,t}；

14、a-3)将获取的立交上下匝道的用于拍摄桥下通行区的摄像头的视频流，并对视频流进行分帧处理，得到t帧桥下通行区监控图像构成的桥下通行区监控图像集froad，其中firoad为第i帧桥下通行区监控图像，i∈{1,...,t}；

15、a-4)将获取的立交上下匝道的用于拍摄立交桥上通行区的摄像头的视频流，并对视频流进行分帧处理，得到t帧立交桥上通行区监控图像构成的立交桥上通行区监控图像集foverpass，其中fioverpass为第i帧立交桥上通行区监控图像，i∈{1,...,t}。

16、进一步的，步骤b)中通过人工标记第i帧匝道分流区监控图像fisplit中的匝道分流区，利用opencv切片操作将标记的匝道分流区的图像剪裁出来，得到精确的匝道分流区图像精确的匝道分流区图像集实际测量精确的匝道分流区的长度，得到真实长度ssplit。

17、进一步的，步骤c)中通过人工标记第i帧匝道区域监控图像firamp中的匝道区域，利用opencv切片操作将标记的匝道区域的图像剪裁出来，得到精确的匝道区域图像精确的匝道区域图像集实际测量精确的匝道区域的长度，得到真实长度sramp。

18、进一步的，步骤d)中通过人工标记第i帧桥下通行区监控图像firoad中的桥下通行区，利用opencv切片操作将标记的桥下通行区的图像剪裁出来，得到精确的桥下通行区图像精确的桥下通行区图像集实际测量精确的桥下通行区的长度，得到真实长度sroad。

19、进一步的，步骤e)中通过人工标记第i帧立交桥上通行区监控图像fioverpass中的立交桥上通行区，利用opencv切片操作将标记的立交桥上通行区的图像剪裁出来，得到精确的立交桥上通行区图像精确的立交桥上通行区图像集实际测量精确的精确的立交桥上通行区的长度，得到真实长度soverpass。

20、进一步的，步骤f)包括如下步骤：

21、f-1)通过yolov8m目标检测模型对精确的匝道分流区图像进行机动车目标检测，第j个机动车的矩形的目标检测框列表其中j∈{1,2,...,n1}，n1为检测的精确的匝道分流区图像中机动车数量，i∈{1,...,t}，为第j个机动车的矩形的目标检测框的中心点的横坐标，为第j个机动车的矩形的目标检测框的中心点的纵坐标，为第j个机动车的矩形的目标检测框的宽，为第j个机动车的矩形的目标检测框的高；

22、f-2)通过yolov8m目标检测模型对精确的匝道区域图像进行机动车目标检测，第j个机动车的矩形的目标检测框列表其中j∈{1,2,...,n2}，n2为检测的精确的匝道区域图像中机动车数量，i∈{1,...,t}，为第j个机动车的矩形的目标检测框的中心点的横坐标，为第j个机动车的矩形的目标检测框的中心点的纵坐标，为第j个机动车的矩形的目标检测框的宽，为第j个机动车的矩形的目标检测框的高；

23、f-3)通过yolov8m目标检测模型对精确的桥下通行区图像进行机动车目标检测，第j个机动车的矩形的目标检测框列表其中j∈{1,2,...,n3}，n3为检测的精确的桥下通行区图像中机动车数量，i∈{1,...,t}，为第j个机动车的矩形的目标检测框的中心点的横坐标，为第j个机动车的矩形的目标检测框的中心点的纵坐标，为第j个机动车的矩形的目标检测框的宽，为第j个机动车的矩形的目标检测框的高；

24、f-4)通过yolov8m目标检测模型对精确的立交桥上通行区图像进行机动车目标检测，第j个机动车的矩形的目标检测框列表，其中j∈{1,2,...,n4}，n4为检测的精确的立交桥上通行区图像中机动车数量，i∈{1,...,t}，为第j个机动车的矩形的目标检测框的中心点的横坐标，为第j个机动车的矩形的目标检测框的中心点的纵坐标，为第j个机动车的矩形的目标检测框的宽，为第j个机动车的矩形的目标检测框的高；

25、f-5)通过公式计算精确的匝道分流区图像中第j个机动车的中心点根据第j个机动车的矩形的目标检测框的最大交并比求解出t帧精确的匝道分流区图像中第j个机动车的中心点生成的运动轨迹，运动轨迹的开始时间为运动轨迹的结束时间为

26、f-6)通过公式

27、计算精确的匝道区域图像中第j个机动车的中心点根据第j个机动车的矩形的目标检测框的最大交并比求解出t帧精确的匝道区域图像中第j个机动车的中心点生成的运动轨迹

28、，运动轨迹的开始时间为运动轨迹的结束时间为f-7)通过公式

29、计算精确的桥下通行区图像中第j个机动车的中心点根据第j个机动车的矩形的目标检测框的最大交并比求解出t帧精确的桥下通行区图像中第j个机动车的中心点生成的运动轨迹

30、，运动轨迹的开始时间为运动轨迹的结束时间为f-8)通过公式

31、

32、计算精确的立交桥上通行区图像中第j个机动车的中心点根据第j个机动车的矩形的目标检测框的最大交并比求解出t帧精确的立交桥上通行区图像中第j个机动车的中心点生成的运动轨迹，运动轨迹的开始时间为运动轨迹的结束时间为f-9)将精确的匝道分流区图像集xsplit中的精确的匝道分流区图像按照车流前进方向等分，车流前进方向的后方为行程起始区域，车流前进方向的前方为行程结束区域，如果第1帧精确的匝道分流区图像的第j个机动车的中心点在行程起始区域内且第i帧精确的匝道分流区图像的第j个机动车的中心点在行程结束区域，则第i帧精确的匝道分流区图像的过车计数car_numi,split加1；

33、f-10)将精确的匝道区域图像集xramp中的精确的匝道区域图像按照车流前进方向等分，车流前进方向的后方为行程起始区域，车流前进方向的前方为行程结束区域，如果第1帧精确的匝道区域图像的第j个机动车的中心点在行程起始区域内且第i帧精确的匝道区域图像的第j个机动车的中心点在行程结束区域，则第i帧精确的匝道区域图像的过车计数car_numi,ramp加1；

34、f-11)将精确的桥下通行区图像集xroad中的精确的桥下通行区图像按照车流前进方向等分，车流前进方向的后方为行程起始区域，车流前进方向的前方为行程结束区域，如果第1帧精确的桥下通行区图像的第j个机动车的中心点在行程起始区域内且第i帧精确的桥下通行区图像的第j个机动车的中心点在行程结束区域，则第i帧精确的桥下通行区图像的过车计数car_numi,road加1；

35、f-12)将精确的立交桥上通行区图像集xoverpass中的精确的立交桥上通行区图像按照车流前进方向等分，车流前进方向的后方为行程起始区域，车流前进方向的前方为行程结束区域，如果第1帧精确的立交桥上通行区图像的第j个机动车的中心点在行程起始区域内且第i帧精确的立交桥上通行区图像的第j个机动车的中心点在行程结束区域，则第i帧精确的立交桥上通行区图像的过车计数car_numi,overpass加1；

36、f-13)设置时间步长为t，通过公式计算得到时间步p，将时间步p内所有的精确的匝道分流区图像的过车计数car_numi,split求和得到通过匝道分流区的车数将时间步p内所有的精确的匝道区域图像的过车计数car_numi,ramp求和得到通过匝道区域的车数将时间步p内所有的精确的桥下通行区图像的过车计数car_numi,road求和得到通过桥下通行区的车数将时间步p内所有的精确的立交桥上通行区图像的过车计数car_numi,overpass求和得到通过立交桥上通行区的车数f-14)通过公式计算得到第j个机动车通过匝道分流区的速度通过公式计算得到时间步p内通过匝道分流区的机动车的平均速度f-15)通过公式计算得到第j个机动车通过匝道区域的速度通过公式计算得到时间步p内通过匝道区域的机动车的平均速度

37、f-16)通过公式计算得到第j个机动车通过桥下通行区的速度通过公式计算得到时间步p内通过桥下通行区的机动车的平均速度

38、f-17)通过公式计算得到第j个机动车通过立交桥上通行区的速度通过公式计算得到时间步p内通过立交桥上通行区的机动车的平均速度

39、步骤f-13)中t取值为30s或60s或300s。

40、进一步的，步骤g)包括如下步骤：

41、g-1)建立时间步p内匝道区域过车数和平均速度组成的环境sp，

42、

43、g-2)控制信号灯的动作定义为aq，q∈{1,2}，a1表示保持当前匝道信号灯相位动作，a2表示改变当前匝道信号灯相位动作；

44、g-3)通过公式计算得到奖励函数rp，式中，λ1与λ2均为可变参数，为匝道区域限速速度；

45、g-4)建立q-learning算法的价值函数q(sp,aq)，使用sarsa算法训练价值函数q(sp,aq)，得到最终的价值函数q*(sp,aq)；

46、g-5)通过公式π*＝argmaxq*(sp,aq)计算得到当前环境sp下价值最高的的动作aq；

47、g-6)匝道信号灯按照动作aq执行相位动作。

48、优选的，λ1＝0.26，λ2＝0.05，

49、本发明的有益效果是：通过路口实时监控画面获取匝道分流出、匝道中、立交桥下、立交桥上的机动车信息；使用目标检测算法和目标跟踪算法计算车流量和过车速度，综合评估路口过车状况；最后通过q-learing强化学习算法获取最佳信号调控方案。本使用新型发明专利可以计算立交匝道不同区域内的实时过车参数，根据交通情况进行智能调节匝道交通信号灯，避免出现立交上下车流分布严重失衡现象，从而提高交通效率、减少拥堵，改善交通环境，为城市交通管理提供更加智能化和高效的解决方案。