一种信号控制方法和系统与流程

本技术属于人工智能，尤其涉及一种信号控制方法和系统。

背景技术：

1、交通是城市基础设施的一个重要方面，与城市规划和管理密切相关。近几十年来，城市化加速和人口增长给城市交通系统带来了巨大压力，交通拥堵成为城市交通中的常见现象。

2、交通信号的使用可以在一定程度上缓解拥堵情况。相关技术中，交通信号(如红绿灯信号)通常是由定时器来控制的。尽管定时器控制系统简单易行，然而在交通流量不均匀的交通节点(如交叉路口)，定时器控制系统的信号控制性能往往会受到影响，导致对交通信号的控制性能差，进而难以很好的解决交通节点的交通控制问题、难以避免交通拥堵。

技术实现思路

1、为此，本技术公开如下技术方案：

2、一种信号控制方法，包括：

3、获得当前交通节点当前的局部交通特征信息；

4、获得当前的全局信号控制策略；所述全局信号控制策略包括：根据多个交通节点当前分别对应的局部交通特征信息，预测的对交通信号指示装置的信号控制策略；所述多个交通节点包括所述当前交通节点；

5、根据所述全局信号控制策略和所述当前交通节点当前的局部交通特征信息，确定对所述当前交通节点的交通信号指示装置的局部信号控制策略，以基于所述局部信号控制策略，对所述当前交通节点的交通信号指示装置进行信号控制。

6、可选的，所述方法通过所述当前交通节点对应的局部预测网络执行；相同类型的不同交通节点对应同一个局部预测网络或者对应相同的多个局部预测网络；所述局部预测网络的构建过程包括：

7、利用局部演员网络根据交通节点样本的当前状态，预测对交通节点样本的交通信号指示装置的局部信号控制策略样本；

8、通过评估所述局部信号控制策略样本在所述当前状态下的预期奖励，以及基于局部评论家网络对所述局部信号控制策略样本进行价值估计，更新所述局部演员网络的参数；

9、其中，所述局部预测网络包括完成参数更新后的所述局部演员网络。

10、可选的，所述交通节点样本对应有局部演员与评论家架构，每个局部演员与评论家架构包括局部演员网络和局部评论家网络；

11、所述利用局部演员网络根据交通节点样本的当前状态，预测对交通节点样本的交通信号指示装置的局部信号控制策略样本，包括：

12、获得当前交通节点样本当前的局部交通特征信息样本；

13、获得当前的全局信号控制策略样本；所述全局信号控制策略样本包括：根据多个交通节点样本分别对应的局部交通特征信息，预测的对交通信号指示装置的信号控制策略；所述多个交通节点样本包括所述当前交通节点样本；

14、利用所述局部演员网络根据所述当前交通节点样本当前的局部交通特征信息样本和所述全局信号控制策略样本，预测对所述当前交通节点样本的信号指示装置的局部信号控制策略样本；

15、所述通过评估所述局部信号控制策略样本在所述当前状态下的预期奖励，以及基于局部评论家网络对所述局部信号控制策略样本进行价值估计，更新所述局部演员网络的参数，包括：

16、确定所述局部信号控制策略样本在所述当前状态下的预期奖励，得到第一奖励值；

17、利用所述局部评论家网络根据所述当前交通节点样本当前的局部交通特征信息样本，对所述局部演员网络输出的所述局部信号控制策略样本进行价值估计，得到第一价值估计值；

18、根据所述第一奖励值和所述第一价值估计值，更新所述局部演员网络的参数。

19、可选的，每个所述局部演员与评论家架构还对应有局部目标网络的辅助演员与评论家架构，所述局部目标网络的辅助演员与评论家架构包括第一辅助演员网络和第一辅助评论家网络；

20、所述第一辅助演员网络的输入数据包括：交通节点样本对应的下一局部交通特征信息样本；所述第一辅助演员网络的输出数据包括：根据所述下一局部交通特征信息样本预测的对应交通节点样本的下一局部信号控制策略样本；

21、所述第一辅助评论家网络的输入数据包括所述下一局部交通特征信息样本和所述下一局部信号控制策略样本，输出数据包括对所述下一局部信号控制策略样本进行价值估计所得的价值估计结果；

22、所述局部演员网络的参数，还基于所述第一辅助评论家网络的输出数据进行更新。

23、一种信号控制方法，包括：

24、获得当前的全局交通特征信息；所述全局交通特征信息包括：对多个交通节点当前的局部交通特征信息进行合并所得的合并结果；

25、根据所述全局交通特征信息，预测对交通信号指示装置的全局信号控制策略，以用于确定对交通节点的交通信号指示装置的局部信号控制策略。

26、可选的，通节点的局部交通特征信息，包括下列各个维度特征信息中的至少一种：

27、交通节点对应的车辆数量；

28、交通节点对应的等待车辆数量；

29、交通节点对应的车辆等待时间；

30、交通节点对应的车辆延迟；

31、交通节点对应的车道压力；

32、所述对多个交通节点当前的局部交通特征信息进行合并，包括：

33、将所述多个交通节点当前的局部交通特征信息中同一维度的特征信息累加，得到所述多个交通节点当前在每个维度的特征信息累加数据；所述全局交通特征信息包括所述多个交通节点当前在每个维度的特征信息累加数据。

34、可选的，所述方法通过全局预测网络执行；所述全局预测网络的构建过程包括：

35、利用全局演员网络根据多个交通节点样本的当前状态，预测对全局交通节点样本的交通信号指示装置的全局信号控制策略样本；所述全局交通节点样本为所述多个交通节点样本形成的整体虚拟交通节点样本；

36、通过评估所述全局信号控制策略样本在所述当前状态下的预期奖励，以及基于全局评论家网络对所述全局信号控制策略样本进行价值估计，更新所述全局演员网络的参数；

37、其中，所述全局预测网络包括完成参数更新后的所述全局演员网络。

38、可选的，所述交通节点样本对应有全局演员与评论家架构，所述全局演员与评论家架构包括所述全局演员网络和所述全局评论家网络；

39、所述利用全局演员网络根据多个交通节点样本的当前状态，预测对全局交通节点样本的交通信号指示装置的全局信号控制策略样本，包括：

40、获得当前的全局交通特征信息样本；所述全局交通特征信息样本包括：对所述多个交通节点样本当前的局部交通特征信息进行合并所得的合并结果；

41、利用所述全局演员网络根据所述全局交通特征信息样本，预测对所述全局交通节点样本的交通信号指示装置的全局信号控制策略样本；

42、所述通过评估所述全局信号控制策略样本在所述当前状态下的预期奖励，以及基于全局评论家网络对所述全局信号控制策略样本进行价值估计，更新所述全局演员网络的参数，包括：

43、确定所述全局信号控制策略样本在所述当前状态下的预期奖励，得到第二奖励值；

44、利用全局评论家网络根据所述全局交通特征信息样本，对所述全局演员网络输出的所述全局信号控制策略样本进行价值估计，得到第二价值估计值；

45、根据所述第二奖励值和所述第二价值估计值，更新所述全局演员网络的参数。

46、可选的，所述全局演员与评论家架构还对应有全局目标网络的辅助演员与评论家架构，所述全局目标网络的辅助演员与评论家架构包括第二辅助演员网络和第二辅助评论家网络；

47、所述第二辅助演员网络的输入数据包括所述多个交通节点样本对应的下一全局交通特征信息样本，所述下一全局交通特征信息样本为通过合并所述多个交通节点样本的当前局部交通特征信息样本对应的下一局部交通特征信息样本得到的结果；所述第二辅助演员网络的输出数据包括：根据所述下一全局交通特征信息样本预测的所述全局交通节点的下一全局信号控制策略样本；

48、所述第二辅助评论家网络的输入数据包括所述下一全局交通特征信息样本和所述下一全局信号控制策略样本，输出数据包括对所述下一全局信号控制策略样本进行价值估计所得的价值估计结果；

49、所述全局演员网络的参数，还基于所述第二辅助评论家网络的输出数据进行更新。

50、一种信号控制系统，包括第一装置和多个第二装置；

51、所述第一装置包括：

52、第一获取模块，用于获得当前交通节点当前的局部交通特征信息；

53、第二获取模块，用于获得当前的全局信号控制策略；所述全局信号控制策略包括：根据多个交通节点当前分别对应的局部交通特征信息，预测的对交通信号指示装置的信号控制策略；所述多个交通节点包括所述当前交通节点；

54、第一预测模块，用于根据所述全局信号控制策略和所述当前交通节点当前的局部交通特征信息，确定对所述当前交通节点的交通信号指示装置的局部信号控制策略，以基于所述局部信号控制策略，对所述当前交通节点的交通信号指示装置进行信号控制。

55、所述第二装置包括：

56、第三获取模块，用于获得当前的全局交通特征信息；所述全局交通特征信息包括：对多个交通节点当前的局部交通特征信息进行合并所得的合并结果；

57、第四预测模块，用于根据所述全局交通特征信息，预测对交通信号指示装置的全局信号控制策略，以基于所述全局信号控制策略，确定对交通节点的交通信号指示装置的局部信号控制策略。