一种3D交通场景、车辆和无人机的信息实时交互方法

本发明属于智能交通，具体涉及一种3d交通场景、车辆和无人机的信息实时交互方法。

背景技术：

1、随着城市化进程的不断加速和交通需求的不断增长，现代城市交通管理正面临越来越多的挑战。为了有效管理城市交通问题并改善交通运行状况，交通仿真技术成为一种重要的解决方案。交通仿真技术利用计算机模拟城市交通场景，以及分析车辆行为，为交通规划和管理提供科学依据。

2、然而，现有的3d交通场景、车辆和无人机之间信息实时交互的技术及方法仍然存在一些局限性。主要问题包括：(1)车辆缺乏高精采集装置，难以在复杂仿真环境中提取路网信息；(2)一旦3d交通场景较为复杂，车辆难以精确识别场景中的交通标志；(3)车辆和场景之间的信息数据交互延迟较大，路网和车辆行为建模的不足；(4)3d交通场景、车辆和无人机之间信息互通不频繁。

3、当前的部分系统往往只能提供静态的3d交通场景，缺乏对车辆与其他元素之间动态交互的模拟。这限制了仿真结果的准确性和真实性，影响了交通管理决策的效果。

技术实现思路

1、解决的技术问题：本发明公开了一种3d交通场景、车辆和无人机的信息实时交互方法，针对3d交通场景、车辆和无人机之间信息实时交互，根据多学科交叉思路，实现了3d交通场景、车辆和无人机之间信息的实时交互。

2、技术方案：

3、一种3d交通场景、车辆和无人机的信息实时交互方法，所述信息实时交互方法包括以下步骤：

4、在3d交通场景中利用优化的pcnn算法分析路网权重，依照不同权重计算生成对应的交通路网；

5、在车辆上安装高分辨率遥感装置，采用高分辨率遥感装置在复杂仿真环境中对路网进行半自动提取与实时识别；

6、基于优化的稀疏区域卷积神经网络算法，在复杂的交通仿真环境中，识别交通指示牌标志，作为行驶信息提供给车辆；具体地，判断识别到的交通指示牌标志是否为增强图像，如果是，根据预设阈值计算增强图像中检测对象的类别，根据不同图像上相同检测对象的平均坐标计算最终边界框坐标与图像坐标位置，将最终边界框坐标与图像坐标位置作为行驶信息提供给车辆；

7、通过多无人机协同配合，依次对数据采集、无人机轨迹部署和任务时间三个方面采取优化措施，采用无人机全方位实时获取3d交通场景中的信息并传递给车辆。

8、进一步地，依照不同权重计算生成对应的交通路网的过程包括以下步骤：

9、将路网的点簇和相关道路网格的影响作为路网权重，构建出权重矩阵；

10、将场景周边的交通基础设施扩展到生成的权重矩阵中，构造生成交通路网。

11、进一步地，识别交通指示牌标志，作为行驶信息提供给车辆的过程包括以下步骤：

12、结合路面标志之间的距离、重叠率、比例和惩罚因子，构建损失函数对检测函数进行边界回归：

13、

14、

15、

16、式中，χtaloss为稀疏区域卷积神经网络中目标框的损失函数；χ′exloss为稀疏区域卷积神经网络中检测框的损失值；为目标框与检测框在识别传输第s个交通标志信息时的惩罚参数；为目标框与检测框在识别传输区域交通标志信息时的最大惩罚参数；o为在目标框与检测框中心点之间的距离；a为在目标框与检测框的额定边界参数值；ate为目标框与检测框之间边框的对角线距离；b为覆盖目标框与检测框的最小封闭对角线长度；β为权衡参数，用于衡量纵横比一致性的参数；为目标框与检测框可转动角度与高度的参数；ωte为目标框和检测框可转动角度的惩罚参数；hte为目标框和检测框高度的惩罚参数；ω为目标框和检测框可转动角度；h为目标框和检测框高度；π为圆周率；

17、在目标框和检测框之间增设侯选框，用于存储损失函数造成的遗漏交通信息，候选区通过提取交通场景中的路网将遗漏交通信息反馈给外部终端，以生成对象特征并帮助车辆重新识别匹配交通标志，其对应表达式如下：

18、

19、

20、式中，为每个检测对象归一化的所有对的单独损失和；为所有检测对象归一化的所有对的最终损失和；κd为目标框中心与检测框中心之间的距离；κt为目标框的对角线距离；κc为检测框的对角线距离；mt为目标框中心与识别到的交通标志的横向距离；nt为目标框中心与识别到的交通标志的纵向距离；mc为检测框中心与识别到的交通标志的横向距离；nc为检测框中心与识别到的交通标志的纵向距离；rnic为路网信息反馈系数；为候选框焦点损失参数；为候选框的l1损失参数；为ciou回归损失参数值；pcls为焦点损失参数的系数；pl1为候选框的l1损失参数的系数；pciou为ciou回归损失参数的系数；αi′为第i′个检测对象损失系数；为第i′个检测对象归一化的所有对的单独损失和；m为检测对象总数；

21、使用投票机制对目标框、检测框和侯选框的输出结果进行判断，确定输入图像是否包含检测对象且该对象是否为增强图像，模型对应表达式为：

22、

23、式中，pi表示确定输入图像是否包含检测对象且该对象是否为增强图像，若为增强图像，则pi取值为1，否则pi取值为0；ψi为检测到的第i个增强图像；t表示所提出的框架中使用的增强方法；a为增强图像总数；

24、对投票机制的输出结果进行综合统计，如果增强图像包含对象就记为1，否则记为0，最终结果取决于每个增强样本图像的统计结果，接着根据预设阈值计算增强图像中检测到的对象的类别，进而根据不同图像上相同检测对象的平均坐标计算最终边界框坐标与图像坐标位置，相关模型对应表达式如下：

25、

26、

27、式中，ci为对象类别；c为检测模型的总类别；f(c)用于判断检测到的对象类别是否大于预设阈值并计算增强图像；i为横坐标下的第i个图像；j为纵坐标下的第j个图像；mmax为增强图像在横坐标下的最大值；mave为增强图像在横坐标下的均值；bmax为增强图像在纵坐标下的最大值；bave为增强图像在纵坐标下的均值；enij为横坐标下的第i个图像和纵坐标下的第j个图像的综合图像值；enave增强图像在横纵坐标下总体均值；sij表示同一对象在不同横纵坐标图像上的坐标位置；c为检测到的图像；threshold为图像阈值；co为同一对象在不同图像上的坐标位置的总体平均值。。

28、进一步地，对数据采集、无人机轨迹部署和任务时间三个方面采取优化措施的过程包括以下步骤：

29、基于数据采集和传输功率两个方面对无人机采集的数据进行调度优化，相关模型对应表达式如下：

30、

31、其中，dt为数据优化调度模型；pm为采集到的数据集合，表示p集合中第m个数据组；xdk[pm]为p集合中第m个数据组中第k个数据的x坐标值；ydk[pm]为p集合中第m个数据的中第k个数据的y坐标值；zdk[pm]为p集合中第m个数据的中第k个数据的z坐标值；σ2为数据优化调度前的模型值；p[n]为第n个无人机的数据传输功率；h[n]为第n个无人机距离车辆设备的垂直高度；p[r]为除第n个无人机之外第r个无人机的数据传输功率；h[r]除第n个无人机之外第r个无人机距离车辆设备的垂直高度；q为当前无人机队伍中无人机的总数；log2(p)为传输功率固定值；p为无人机的数据传输功率；k为无人机的总体数量；

32、基于连续凸优化技术，对无人机轨迹进行部署，使得各个无人机之间互相配合，互相辅助，相关模型对应表达式如下：

33、

34、

35、

36、

37、式中，coxt[n]为经由连续凸优化技术后第n个无人机在时间t时x坐标下的轨迹数值；xdot[n]为第n个无人机在时间t时x坐标下的轨迹偏移量；wrft[n]为第n个无人机在时间t时的风阻影响值；u为无人机能耗值；β0为风阻影响系数；dist2为在时间t时3d场景中车辆离初始位置的距离值；xqt，u[n]为在时间t、能耗u时第n个无人机x坐标下的轨迹数值；vext[n]为在时间t时第n个无人机x坐标下与3d场景中行驶车辆之间的距离值；为无人机和车辆之间的影响系数值，范围在0到1之间；log2(e)为能耗固定值；hxt[n]为在时间t时第n个无人机x坐标下离3d场景中行驶车辆初始位置的距离值；tqt，u[n]为在时间t、能耗u时第n个无人机总体方位值；vect为在时间t时3d场景中车辆当前行驶的路程值；coyt[n]为经由连续凸优化技术后第n个无人机在时间t时y坐标下的轨迹数值；ydot[n]为第n个无人机在时间t时y坐标下的轨迹偏移量；yqt，u[n]为在时间t、能耗u时第n个无人机y坐标下的轨迹数值；veyt[n]为在时间t时第n个无人机y坐标下与3d场景中行驶车辆之间的距离值；hyt[n]为在时间t时第n个无人机y坐标下离3d场景中行驶车辆初始位置的距离值；cozt[n]为经由连续凸优化技术后第n个无人机在时间t时z坐标下的轨迹数值；zdot[n]为第n个无人机在时间t时z坐标下的轨迹偏移量；zqt，u[n]为在时间t、能耗u时第n个无人机z坐标下的轨迹数值；vezt[n]为在时间t时第n个无人机z坐标下与3d场景中行驶车辆之间的距离值；hzt[n]为时间t时第n个无人机z坐标下离3d场景中行驶车辆初始位置的距离值；l为无人机飞行的最长时间；

38、综合考虑无人机队伍飞行能耗、飞行速度、飞行距离因素，联合优化无人机完成任务时间，公式如下：

39、

40、

41、

42、式中，jmt为优化后的无人机联合完成任务时间；δ为无人机固定飞行角度值；su为在能耗u时无人机已经飞行的距离；vt，u在时间t、能耗u时无人机的速度；v0为无人机的初始速度；vu[n]为在时间t、能耗u时第n个无人机的速度；fecu({vu，t[n]})为在在时间t、能耗u时第n个无人机的速度vu，t[n]下的飞行能耗值；pn为第n个无人机的功率值；为第n个无人机的转子叶片的叶尖速度；dis0为无人机队伍中心与3d场景中车辆之间的初始值；disu，t[n]为在时间t、能耗u时无人机队伍中心与3d场景中车辆之间的距离值；h[n]为第n个无人机总体方位值；tqt，u[n]为在时间t、能耗u时第n个无人机总体方位值；vect为在时间t时3d场景中车辆当前行驶的路程值。

43、进一步地，通过外部traci接口对3d交通场景中的车辆进行控制。

44、有益效果：

45、本发明公开了一种3d交通场景、车辆和无人机的信息实时交互方法，采用加权路网算法生成交通路网；在车辆上安装高分辨率遥感装置，提高路网的提取与生成效果，进行复杂环境中的实时半自动提取与识别；通过多无人机协同配合，彼此辅助，对数据采集、无人机轨迹部署和任务时间三个方面采取优化措施，提高与车辆的通信性能，减少数据延迟，全方位获取3d交通场景中的信息并传递给车辆；通过外部traci接口对3d交通场景中的车辆进行控制，场景中行驶的车辆基于多无人机协同配合来获取所需各类信息，实现3d交通场景、车辆和无人机之间信息实时交互。