一种列车运行控制系统的数据通信系统及方法

本发明涉及列车数据通信，更具体地说，本发明涉及一种列车运行控制系统的数据通信系统及方法。

背景技术：

1、申请公开号为cn106809253a的专利公开了一种基于通信的分布式列车运行控制系统，结合目前高速发展的计算机控制技术和数字通信技术，满足日益增长的高密度、长线路的运力需求。其技术方案为：由列车自动监督系统（ats)、轨旁终端控制器（tdc)、车载atc设备和数据通信系统组成，可实现列车路径的计算以及列车运行路径危险障碍物的防护。

2、申请公开号为cn112678034a的专利公开了一种兼容ctcs-2和cbtc的列车运行控制系统。包括：ctcs-2车载设备、兼容ctcs-2和cbtc的车载设备和基于ctcs-2叠加cbtc的地面设备，ctcs-2车载设备安装在ctcs-2列车上，兼容ctcs-2和cbtc的车载设备安装在cbtc列车上；基于ctcs-2叠加cbtc的地面设备包括区域控制器zc和数据通信系统dcs，zc通过dcs实现与cbtc列车之间的无线通信，cbtc列车向zc汇报其实时位置和运行状态信息，zc向cbtc列车发送指导其运行的移动授权ma信息。本发明能够实现ctcs-2列车和cbtc列车在ctcs-2线路上的共线运行，既保证ctcs-2列车车载设备及其运行方式保持不变，也可实现cbtc列车移动闭塞运行，从而可充分利用ctcs-2线路的富裕运力，达到在城际铁路线路上增开高密度、公交化运行市域列车的目的。

3、在现有高速铁路无线数据通信技术中，由于无法实时感知和响应运营环境的变化，常面临信号处于弱覆盖区导致的严重丢包和网络延时问题；这主要体现在高铁进入隧道、桥梁这类对信号产生衰减和干扰的复杂场景；同时，在多基站覆盖的情况下，没有智能化的网络选择策略，连接的基站信号质量往往不能得到有效保障；严重影响了列车控制和运营信息的传输质量，存在安全隐患；根据中国铁路总公司的统计数据，过去5年发生在无线盲区的铁路事故达到30起，严重影响了铁路运营安全。

4、鉴于此，本发明提出一种列车运行控制系统的数据通信系统及方法以解决上述问题。

技术实现思路

1、为了克服现有技术的上述缺陷，为实现上述目的，本发明提供如下技术方案：一种列车运行控制系统的数据通信方法，包括：

2、s1、收集无线接入点历史连接数据；根据所述无线接入点历史连接数据构建连接四元组集合；

3、s2、利用连接四元组集合训练联合深度强化学习模型，联合深度强化学习模型包括策略网络和价值网络；

4、s3、获取列车当前时刻的状态数据；根据所述列车当前时刻的状态数据构建状态特征向量；利用策略网络根据状态特征向量实时预测选择动作数据；

5、s4、将列车应用所述实时预测选择动作数据，并使用价值网络评估当前选择动作数据在当前时刻的价值；

6、s5、预设策略价值阈值；若所述价值网络输出的当前时刻的价值低于策略价值阈值，则触发策略网络重新预测实时选择动作数据，直至当前时刻的价值大于或等于策略价值阈值后停止重新预测实时选择动作数据。

7、进一步地，所述无线接入点历史连接数据包括初始状态数据、选择动作数据、多维奖励数据和结果状态数据；

8、所述初始状态数据包括列车在时刻t的位置状态数据、速度状态数据、环境状态数据；

9、所述选择动作数据为列车选择连接的无线接入点数据和无线接入点数据对应的接入时间；

10、所述多维奖励数据包括连接质量系数、安全性系数和延迟性能系数；

11、所述结果状态数据包括列车在时刻t+1的位置状态数据、速度状态数据和环境状态数据。

12、进一步地，位置状态数据为列车在运行过程中所处的经纬度坐标，通过列车安装的gps系统实时获取；

13、速度状态数据为列车在运行过程中变化的速度；通过在列车上设置速度传感器获取；

14、环境状态数据的获取方式包括：

15、预训练出用于分析图像的所属环境类型的目标检测模型；

16、预训练过程包括：

17、收集n组含有目标的图像；使用图像标注工具，在每个图像上标注出目标的边界框，并标注出目标类别；删除错误标注或质量差的图像；标注好的图像组成图像数据集，将图像数据集划分为训练集、验证集和测试集；

18、将faster r-cnn或yolo作为目标检测模型的基础架构，并使用预训练权重初始化目标检测模型；

19、定义并使用sgd优化器，且目标检测模型的损失函数选用交叉熵损失函数；

20、对于单个样本的交叉熵损失函数；

21、其中，是实际标注的概率分布向量；是模型预测的概率分布向量；

22、表示图像内的所有目标类别；

23、对于所有样本的交叉熵损失函数；

24、其中，为训练集中的图像数量；表示对训练集单个样本的交叉熵损失函数进行求和；

25、目标检测模型的评价指标选择平均精度，即反映检测的准确率；得到初始目标检测模型；

26、将训练集内的图像分为j个批次，将训练集内的图像按批次的输入初始目标检测模型，前向传播并计算损失函数；反向传播计算初始目标检测模型的每个参数的梯度；

27、sgd优化器利用梯度更新初始目标检测模型的参数，即为完成一次迭代；

28、每训练完一个批次，则使用当前的初始目标检测模型对验证集的图像进行预测类别，并计算平均精度；将本次的平均精度与历史最大的平均精度进行比较；

29、若本次的平均精度大于历史最大的平均精度，则保存当前初始目标检测模型为最佳模型；

30、计算测试集内图像的平均精度，将最大平均精度的作为最终平均精度；应用于最佳模型上，得到最终的目标检测模型；

31、在列车头部列车顶安装高清摄像机，用于拍摄列车到前方固定范围内的铁路环境；高清摄像机以k帧/秒的速度获取图像并传输到列车载计算机；列车载计算机使用目标检测模型分析每个图像并识别出每个图像的所属环境类型；

32、将图像上检测出的目标赋予对应的数字编码；将图像中所有的目标的编码按照检测到的顺序连接成一个编码序列；将固定时间段内获取的所有图像的编码序列连接成一个长编码序列作为数字特征向量；将数字特征向量进行向量切分和缩放的格式化处理，作为环境状态数据。

33、进一步地，所述无线接入点数据和无线接入点数据对应的接入时间的获取方式包括：

34、查询历史列车运行通信过程中的数据交换包，获取无线接入点的唯一网络标识符；作为无线接入点数据；记录网络标识符对应的无线接入点的接入时间；即为无线接入点数据对应的接入时间；

35、连接质量系数的获取过程包括：

36、通过网络测速工具获取无线接入点的无线连接的实际吞吐量；通过信号检测设备采集无线接入点的无线信道的背景噪声功率；通过网络测试工具获取包延迟和丢包率；调用第三方天气api获取无线接入点时的天气数据；天气数据包括天平均温度、天平均湿度和天平均风速；根据天气数据获取天气系数；

37、；

38、式中，为自然对数的底；

39、通过抓包分析接入点的运行时间戳获取无线通信运行时间；

40、连接质量系数；

41、式中，为实际吞吐量；为背景噪声功率；为包延迟；为丢包率；为无线通信运行时间。

42、进一步地，安全性系数的获取方式包括：

43、定义安全指标，安全指标包括安全设置得分和流量安全性得分；

44、使用开源无线扫描工具kismet对无线接入点进行被动扫描，获取其安全配置信息；安全配置信息包括加密方式和认证机制；根据安全配置信息，参照无线安全标准得分表对加密方式和认证机制进行打分；

45、将加密方式得分和认证机制得分进行加权平均，得到安全设置得分s1；

46、使用网络协议分析工具wireshark在无线接入点所在网络内获取流量包；根据流量包分析出流量特征，检查是否存在恶意连接、异常扫描和弱口令破解的流量特征；计算获取流量风险程度；

47、根据流量风险程度，参照流量安全风险等级表对流量安全性进行打分；风险越高，得分越低；进行k次抽样打分，并计算平均值；平均值即为流量安全性得分s2；

48、安全性系数aps=w1×s1+w2×s2；其中，w1和w2为权重系数，且w1+w2=1；

49、延迟性能系数的获取方式包括：

50、在列车上设置发送时间戳ts，无线接入点发送测试数据包到接入点api；接入点api收到数据包，并打上接收时间戳tr；接入点api将数据包发送回列车，列车收到数据包，并记录回传时间戳ts'；则该测试数据包的rtt=ts'-ts；对发送到该接入点api的m个测试数据包，计算m个测试数据包的rtt；求取m个测试数据包的rtt的平均值，作为该接入点的平均rtt；

51、计算测试数据包的传输时间=tr-ts；计算接入点的m个测试数据包的平均传输时间；延迟性能系数=平均rtt/平均传输时间；

52、所述结果状态数据的获取过程和初始状态数据的获取方式相同；

53、所述连接四元组集合的构建方式包括：

54、定义连接数据集c={c1,c2,...cf}，包括f组无线接入点历史连接数据；初始化空的连接四元组集合d；遍历连接数据集c；从无线接入点历史连接数据ci中提取初始状态si、选择动作数据ai、多维奖励数据ri和结果状态数据s'i；构建连接四元组集合〔si,ai,ri,s'i〕。

55、进一步地，所述步骤s2，包括：

56、s201、使用卷积神经网络或者全连接网络作为基础框架；构建包括策略网络π和价值网络u的联合深度强化学习模型；初始化策略网络π的网络参数θπ；初始化价值网络u的网络参数θu；

57、s202、将连接四元组集合分出b个批次；其中b为大于等于1的整数；随机采样一个批次作为输入样本；

58、将输入样本中的初始状态si输入策略网络π，根据当前参数θπ生成可选动作的概率分布π(ai|si;θπ)；从π(ai|si;θπ）中采样一个动作â，作为当前预测的选择动作数据；

59、s203、计算当前样本的优势函数a=ri+γ×u(s'i;θu)-u(si;θu)；即为策略的价值；

60、其中，u(si;θu）表示在连接前状态si下，根据当前价值网络的参数θu，输出对这个状态价值的估计；u(s'i;θu）表示在连接后的状态s'i下，基于同样的参数θu，输出对这个后续状态的价值估计；γ为预设的折扣因子；

61、使用策略梯度法更新策略网络的参数，更新公式为：下一代θπ=θπ+απ×∇×π(ai|si;θπ)a；

62、其中，απ为策略网络的学习率；

63、使用均方误差更新价值网络的参数，更新公式为下一代θu=θu-αu×∇(ri+γ×u(s'i;θu)-u(si;θu))2

64、其中，αu为价值网络的学习率；∇表示损失函数或者模型输出相对于模型参数的梯度；

65、s204、重复步骤s203，直到策略网络π和价值网络u均收敛为止；获取最终的联合深度强化学习模型。

66、进一步地，所述步骤s3，包括：

67、状态数据包括位置状态数据pt、速度状态数据vt和环境状态数据et；

68、定义初始状态特征向量的维度为x；获取当前时刻t的位置状态数据pt，将位置状态数据pt采用one-hot编码，映射为长度为m1的位置0-1向量；获取当前时刻的速度状态数据vt，将速度状态数据vt进行归一化处理，映射为一个实数；获取当前时刻的环境状态数据et，将环境状态数据et采用one-hot编码，映射为长度为m2的环境0-1向量；

69、构建初始状态特征向量xt=[pt,vt,et]，其维度为x=m1+1+m2；

70、将xt输入联合深度强化学习模型；联合深度强化学习模型利用策略网络π，通过卷积层和全连接层的前向计算，输出维度为a的向量π(xt;θπ)；

71、对π(xt;θπ）应用softmax函数，获得a个无线接入点的选择概率分布π(a|xt;θπ)；从π(a|xt;θπ）中采样1次，获得预测的无线接入点索引ât；根据索引ât，获取当前选择动作数据；

72、进一步地，所述步骤s4，包括：

73、列车通信系统根据当前选择动作数据获取无线接入点ap_ât，并向无线接入点ap_ât发送连接请求建立连接；获取当前连接的时间戳tt；

74、构建时刻tt+1的状态特征向量st+1=[pt+1,vt+1,et+1]；

75、将初始状态特征向量xt输入价值网络u，通过前向计算得到u(xt)；将st+1输入价值网络u，通过前向计算得到u(st+1)；

76、获取列车在当前时刻tt和时刻tt+1的实时多维奖励数据；根据选择动作价值公式计算时刻tt的选择动作价值；

77、选择动作价值公式at=(qt+1)+(bt+1)+(lt+1)+γ×u(st+1)-u(st)；

78、式中，qt+1为连接质量系数，bt+1为安全性系数，lt+1为延迟性能系数；γ为预先设置的折扣因子；at即为当前选择动作数据的价值。

79、进一步地，所述策略价值阈值的预设方式包括：

80、获取历史无线通信连接数据，历史无线通信连接数据包括选择的无线接入点和无线接入点连接过程的多维奖励数据；

81、将历史无线通信连接数据进行预处理，预处理包括清洗掉错误及异常数据，检查并删除缺失值；

82、预处理后的历史无线通信连接数据构成历史连接数据集；

83、在历史连接数据集上，统计接入每一个无线接入点的平均即时奖励；计算每一个连接动作的平均即时奖励的方差；

84、根据每一个无线接入点的平均奖励和方差获取其对应的单体策略价值阈值；式中，为经验系数；

85、计算连接训练集内所有无线接入点的单体策略价值阈值的均值作为策略价值阈值。

86、一种列车运行控制系统的数据通信系统，其基于所述的一种列车运行控制系统的数据通信方法实现，包括：

87、连接四元组构建模块，用于收集无线接入点历史连接数据；根据所述无线接入点历史连接数据构建连接四元组集合；

88、强化学习模块，用于利用连接四元组集合训练联合深度强化学习模型，联合深度强化学习模型包括策略网络和价值网络；

89、动作选择模块，用于获取列车当前时刻的状态数据；根据所述列车当前时刻的状态数据构建状态特征向量；利用策略网络根据状态特征向量实时预测选择动作数据；

90、动作价值评估模块，用于将列车应用所述实时预测选择动作数据，并使用价值网络评估当前选择动作数据在当前时刻的价值；

91、实时调控模块，用于预设策略价值阈值；若所述价值网络输出的当前时刻的价值低于策略价值阈值，则触发策略网络重新预测实时选择动作数据，直至当前时刻的价值大于或等于策略价值阈值后停止重新预测实时选择动作数据。

92、本发明一种列车运行控制系统的数据通信系统及方法的技术效果和优点：

93、本发明全面考虑了高铁复杂多变的运行环境对无线通信质量的影响，构建了包含位置、速度、环境多源异构数据的智能感知体系，基于深度强化学习算法实现了对无线接入点选择策略的主动优化和调整；充分利用高铁运行全过程产生的海量数据，通过联合深度强化学习框架的策略网络和价值网络相互作用，实现智能体与外界环境的交互学习，不断提升选择最优无线接入点的策略；同时，设计了连接质量、通信安全性和时延综合评估的多目标奖励机制，可以动态调整和指导选择策略的更新；全面提高了高速铁路无线通信的可靠性、安全性、稳定性和实时性，确保列车控制和运营信息的高效准确传输，为驾驶员提供稳定可靠的指令和控制支撑，大幅减少通信中断或不可靠导致事故的风险，有效保障高速列车的安全运行。