基于机器学习的自动驾驶V2X通信中断优化的协作感知方法

本发明涉及车辆环境感知，尤其涉及基于机器学习的自动驾驶v2x通信中断优化的协作感知方法。

背景技术：

1、自动驾驶汽车(avs)和自动驾驶系统(ads)有望提高未来交通系统的安全性、效率和便利性。avs和ads依靠对其周围环境的准确和有力的理解，即感知，来进行安全合理的运动规划。不充分的感知会导致交通事故，威胁到人类安全，或造成其他形式的损害。尽管近年来先进传感器和感知算法的快速发展使av/ads技术发展取得了显着进展，但现有方法的不足仍然是在公共道路上安全使用技术的主要障碍。

2、v2x通信技术实现的协作感知可以显著提高自动驾驶汽车的感知性能，超越单个汽车的有限感知能力，从而提高智能交通系统中自动驾驶的安全性和效率。主流的v2x通信技术有两种：基于dsrc的通信和基于蜂窝的通信。专用短程通信(dsrc)技术在配备802.11p芯片的设备之间进行短信息交换，并提供具有低端到端延迟和标准化协议的v2x通信服务。然而它只能在短的通信范围内很好地工作，这促进了基于蜂窝的v2x通信的研究。诸如lte和5g之类的蜂窝通信可以在小区中提供具有高移动性和大量车辆的通信。第三代合作伙伴计划(3gpp)的第14版和第15版已将基于lte的v2x服务作为主要功能之一，5g将用于提供具有更强大功能的v2x通信。尽管蜂窝通信具有诸多优点，但其集中式的模式会增加延迟和过载。v2x通信技术不断发展可以降低延迟并提高可靠性，但一些基本问题，如中断，特别是在长距离、高负载和复杂环境的情况下，将不可避免地长期存在。

3、现有的基于v2x通信技术的协作感知方法存在一些局限性，例如：1)当太多车辆在某个区域交换消息时，通信信道变得拥挤，可能发生丢包；2)当v2x通信遭到恶意用户攻击时，有效用户无法及时收到准确的消息；3)通信设备的硬件故障也可能导致通信故障。在这种情况下，车辆可能无法及时接收到来自他人的信息。因此，协作感知的性能可能会严重退化，跟踪和轨迹预测等下游任务可能会受到v2x链路故障的影响，导致系统级联故障，威胁自动驾驶系统的安全性和效率。

技术实现思路

1、针对现有技术的不足，本发明提供一种基于机器学习的v2x通信中断优化的协作感知方法，进一步改善实际应用中合作感知的性能，制定有效的补救措施来减轻非理想的v2x通信，即通信中的错误和中断等对系统性能的削减，从机器学习算法的角度来缓解随机通信故障发生时的不利影响，解决协作感知的随机通信中断问题，利用历史信息恢复因通信中断而丢失的信息以实现良好的合作增益，提高自动驾驶汽车的感知性能，从而提升智能交通系统中自动驾驶的安全性和效率。

2、本发明的技术方案为：

3、基于机器学习的v2x通信中断优化的协作感知方法，包括以下步骤：

4、步骤1：获取交通场景下多车辆环视相机的图像数据集，所述数据集中包括车辆作为各节点在行驶过程中采集的多路原始图像数据，所述多路原始图像数据包括该节点前方的原始图像数据、后方的原始图像数据、左侧的原始图像数据和右侧的原始图像数据，对于图像数据和车辆相对位置需要对应的传感器标定文件、标注文件和图像数据每一帧的详细信息；

5、步骤2：构建v2x通信中断鲁棒协作感知模型；所述v2x通信中断鲁棒协作感知模型包括编码器、空间注意力特征融合模块、多尺度时空预测模块和解码器；

6、所述编码器采用resnet101和fpn作为骨干网络和颈部网络，采用bevformer作为头部网络，用于通过骨干网络和颈部网络从节点ai的多路原始图像数据中提取多尺度特征通过头部网络将本地节点的多路原始图像数据的多尺度特征整合为该节点的空间特征并发送给空间注意力特征融合模块，i是节点索引，t表示当前时间步；

7、所述空间注意力特征融合模块接收编码器发送的本地节点的空间特征相邻节点的空间特征和多尺度时空预测模块发送的预测特征并进行融合以获取当前时间步对于本地节点完整的融合特征并发送给解码器和多尺度时空预测模块，其中，ci是预测特征的索引；

8、所述多尺度时空预测模块，用于接收空间注意力特征融合模块发送的历史的融合特征作为自适应历史信息推断历史的空间特征的当前状态，得到预测特征τ表示历史的时间步的索引，k表示保存的历史的时间步的数量；

9、具体的，所述多尺度时空预测模块用于首先通过时空金字塔网络提取自适应历史信息的多尺度的时间特征和多尺度的空间特征，然后将多尺度的时间特征和多尺度的空间特征用跳跃连接融合得到在时间维度上具有不同空间分辨率和动态信息的特征，然后使用两个卷积层得到预测特征其大小与编码器输出的空间特征相同；

10、所述解码器采用detr3d中的解码器用于对融合特征进行解码，获得最后的输出结果，所述输出结果包括融合的空间bev图像、分类结果和回归结果；所述分类包括结果前景-背景类别的预测概率和物体种类判别；所述回归结果为边界框的回归参数，包括框中心的3d坐标、框的长、宽、高和偏移角；

11、步骤3：采用来自理想先验信息的知识蒸馏方法对v2x通信中断鲁棒协作感知模型进行训练，得到训练完成的v2x通信中断鲁棒协作感知模型；

12、步骤3.1：使用编码器、空间注意力特征融合模块、和解码器组成教师网络，并利用opv2v数据集中的训练集对其进行理想通信的假设下，即不存在通信中断情况的训练，得到指导特征；

13、指导特征的产生过程为：

14、

15、

16、

17、其中，是编码器输出的空间特征；gencode表示编码器；是转换到本地节点的坐标后的相邻节点的空间特征；ξj→i是基于两个节点ai和aj的位姿的变换原理；是相邻节点发送至本地节点的空间特征；为融合特征，即教师网络产生的指导特征；gfuse表示空间注意力特征融合模块；j是相邻节点的索引；是教师网络中节点ai在时间步t成功接收消息的节点集；下标t指的是教师网络产生的变量；

18、步骤3.2：将交通场景下多车辆环视相机的图像数据集中的训练集输入v2x通信中断鲁棒协作感知模型进行训练，使用教师模型的指导特征指导训练，得到训练完成的v2x通信中断鲁棒协作感知模型；

19、步骤3.2.1：将交通场景下多车辆环视相机的图像数据集中的训练集输入到编码器进行特征提取，得到空间特征

20、使用编码器fencode从中提取空间特征定义为：

21、

22、步骤3.2.2：每个节点将编码器输出的空间特征和真实空间中的位置信息广播到相邻节点，并从其邻居接收此信息，每个节点接收到其他节点的消息后，根据其他节点的位置将其他节点的特征转换到自己的坐标系中；

23、

24、其中，是相邻节点发送至本地节点的空间特征；是转换到本地节点的坐标后的相邻节点的空间特征；经过坐标变换后，所有的空间特征都支持在同一个坐标系中。

25、步骤3.2.3：对于发生通信中断的节点，将历史的融合特征作为自适应历史信息输入多尺度时空预测模块推断历史的空间特征的当前状态，得到预测特征

26、

27、其中，fpredict表示多尺度时空预测模块；为自适应历史信息；

28、步骤3.2.4：将本地节点的空间特征相邻节点的空间特征和预测特征输入空间注意力特征融合模块进行融合以获取当前时间步对于本地节点完整的融合特征

29、计算空间掩模：

30、

31、其中，表示空间掩模；softmax表示softmax函数；fmask表示沿着通道维度，使用多个1×1卷积层来逐渐减少特征的通道数直至为1的操作；concat表示拼接；是在v2x通信中断鲁棒协作感知模型中节点ai在时间步t成功接收消息的节点集；

32、根据计算出的空间注意力融合权重，即空间掩模，通过加权平均的方式融合所有特征，得到节点ai的融合特征，即

33、

34、其中ffuse表示空间注意力特征融合模块，⊙是逐元素相乘。

35、步骤3.2.5：将融合特征输入解码器行解码，得到输出结果；

36、

37、步骤3.2.6：比较v2x通信中断鲁棒协作感知模型的融合特征与教师网络的指导特征是否相同，相同则结束训练，得到训练完成的v2x通信中断鲁棒协作感知模型，否则继续训练；

38、步骤4：将交通场景下多车辆环视相机的图像数据集中的测试集输入训练完成的v2x通信中断鲁棒协作感知获取输出结果。

39、与现有技术相比较，本发明的有益效果为：

40、本发明提出了一种基于机器学习的自动驾驶v2x通信中断优化的协作感知方法，在感知能力方面通过联合感知超越了单车感知的局限性，克服了远距离物体难以被观测问题以及拥挤或复杂环境下视线被障碍物遮挡等问题，显著提升了感知性能，能够为自动驾驶下游模块提供更可靠的信息。

41、现有的合作感知策略中大都依赖稳定的v2x通信条件假设，然而在实际应用中几乎不存在理想的通信。为了填补这一欠缺，本发明从机器学习算法的角度出发，利用历史信息来恢复由于通信中断而丢失的信息，通过从历史信息中提取多尺度时空特征来实现可靠的恢复，对理想先验信息提取知识来进行显式监督以提高性能。它的应用在随机v2x通信中断的情况下实现了良好的合作增益，有效地缓解了合作感知中v2x通信中断的影响。