一种车路协同目标检测方法及系统

本发明涉及目标检测方法的，特别涉及车路协同的目标检测方法的。

背景技术：

1、在智能车辆技术的发展过程中，个体感知能力已经取得了显著的进步，但这种以车辆自身传感器为基础的感知方法仍面临重大挑战，特别是在复杂的城市交通环境中，由于遮挡和感知范围的限制，传统的个体感知系统经常无法有效识别和处理远距离或被遮挡的物体，从而增加了潜在的安全风险，严重制约了智能车辆的可靠性和自动驾驶技术的应用范围。

2、为解决这一问题，现有技术提出了车路协同的目标检测方法。该方法通过整合车辆自身的传感器数据和道路基础设施如路侧摄像头、激光雷达等提供的信息，能够显著提高感知系统的准确性和视野，不仅能够弥补个体感知的不足，还能在更广阔的范围内提供更全面的环境感知，极大地提高了智能车辆在复杂环境中的适应能力和安全性。

3、但现有的车路协同目标检测方法仍然存在较多问题和挑战，如在真实场景中，传输信息不可避免地存在延迟，即当前时刻，车辆接收到的信息是过去时刻的路端信息，如果直接将信息进行融合，会导致该方法的检测性能大打折扣。

4、为解决以上技术问题，部分现有技术开发了新的解决方案，如现有文献“flow-based feature fusion for vehicle-infrastructure cooperative 3d objectdetection”提出了一种基于bev(bird's eye view)特征流的可进行时延弥补的检测方法。该方法以车端激光雷达点云和路端激光雷达点云作为输入，使用pointpillar模型分别从两者点云中提取bev特征，使用卷积神经网络得到融合特征，再使用检测头得到检测结果。其中，针对时延问题，该方法使用两帧路端激光雷达点云作为输入(当前帧和过去一帧)，在提取当前帧的bev特征的同时，用当前帧和过去帧的点云生成bev特征流，再将两者同时传输给车端，融合后得到估计的当前时刻路端点云bev特征。但该方法传输的为针对整个道路场景的bev特征，其中有很多不需要进行时间补偿的静止物体，导致该方法具有很多冗余信息；同时其信息传输量大、传输时间长，天然延迟高。

5、另一现有技术“asynchrony-robust collaborative perception via bird'seye view flow”进一步提出了以多车协同为背景，以点云作为输入，bev特征作为媒介进行的目标检测。该方法使用深度学习网络估计bev特征中存在目标的位置，形成roi(regionsofinterest)集合，因此在传输bev特征时，可只传输roi集合。在时延补偿上，也只针对roi进行处理。但该方法在进行多个目标的相邻帧匹配时，只考虑了二维坐标和角度，没有考虑高度信息和bev特征信息，欠缺对深度特征的应用，对三维目标的匹配准确性不足，同时其处理过程较为复杂、信息传输量大。

6、另一方面，现有技术“query stream for vehicle-infrastructure cooperativeperception”提出了基于transformer架构的车路协同目标检测方法，其在车路之间传输的信息不是bev特征，而是transformer中的查询向量(query)和参考点(reference points)，通过对查询向量进行的融合，实现检测。该方法可弥补以上两种现有技术中信息传输量大、处理过程复杂的问题，但其未解决时延问题。

7、类似地，另一现有技术“transiff:an instance-level feature fusionframework for vehicle-infrastructure cooperative 3d detection withtransformers”也提出了一种基于transformer架构的车路协同目标检测方法，其采用了不同的query融合方式，但也未解决时延问题。

技术实现思路

1、针对现有技术的问题，本发明的目的在于提出一种新的车路协同的目标检测方法及系统，所述方法基于bevformer模型建立，可解决现有检测方法中的时延问题，提高检测系统对时延的鲁棒性，同时其以bevformer解码器输出的查询向量等作为传输信息，解决了现有的基于bev特征传输的检测方法的信息冗余、信息传输量大的问题，可显著提高三维目标匹配精度。

2、为实现上述目的，本发明采用以下技术方案：

3、一种车路协同目标检测方法，其包括以下步骤：

4、s1将任意时刻ti获得的路端图像p1和车端图像p2分别输入两个bevfomer即路端bevfomer及车端bevfomer中，通过路端bevfomer的解码器得到路端bev查询向量及路端参考点特征，通过车端bevfomer的解码器得到车端bev查询向量及车端参考点特征，所述参考点特征包括与查询向量一一对应的参考点的三维空间坐标；

5、s2在所述路端bevfomer及车端bevfomer的解码器后分别增加一个分类器即路端分类器及车端分类器，其中，所述路端分类器用于提取路端bev查询向量中与路端属性相关的特征和与路端运动相关的特征，并重新组成为路端输出查询向量，所述车端分类器用于提取车端bev查询向量中与车端属性相关的特征和与车端运动相关的特征，并重新组成为车端输出查询向量；

6、s3对s2获得的所述路端输出查询向量及与其对应的路端参考点特征进行置信度筛选，获得筛选后的路端输出查询向量及路端参考点特征；

7、s4将所述筛选后的路端输出查询向量及路端参考点特征传输至车端，由车端将获得的ti时刻的筛选后的路端输出查询向量及路端参考点特征依次存储为路端历史信息队列；

8、s5在所述路端分类器后增加一个预测器，用于通过卡尔曼滤波法及多头注意力机制根据所述路端历史信息队列获得当前时刻即tv时刻的路端预测输出查询向量及与其对应的路端预测参考点特征；

9、s6在所述预测器后增加一个融合器，将s5得到的所述当前时刻的路端预测输出查询向量及与其对应的路端预测参考点特征与根据s2获得的tv时刻的车端输出查询向量及与其对应的车端参考点特征进行匹配融合，获得匹配成功的融合后查询向量及匹配成功的融合后参考点特征，由所述融合后查询向量与未匹配成功的路端预测输出查询向量及未匹配成功的车端输出查询向量组成待检测的查询向量集，由所述融合后参考点特征与未匹配成功的路端预测参考点特征及未匹配成功的车端参考点特征组成待检测的参考点特征集；

10、s7将所述待检测的查询向量集及所述待检测的参考点特征集输入检测头中，得到检测结果，所述检测头包括三个多层感知器，可将所得检测结果按与运动相关的特征、与属性相关的特征及类别分别进行输出。

11、根据本发明的一些优选实施方式，通过所述检测头得到的检测结果包括与运动相关的特征(x,y,z,rot,vx,vy)、与属性相关的特征(w,l,h)及类别c，其中，x、y、z分别表示目标在三维空间坐标系(x，y，z)中的横、纵、竖坐标，w、l、h分别表示目标的宽、长、高，rot表示目标绕z轴的朝向角，vx和vy分别表示目标沿x轴和y轴的速度，c表示目标的类别。

12、根据本发明的一些优选实施方式，所述分类器由两个多层感知器组成。

13、根据本发明的一些优选实施方式，步骤s5包括：

14、s51以根据路端历史信息队列得到的路端参考点特征向量(xr,yr,zr,vrx,vry,vrz)作为卡尔曼滤波法的状态变量，以恒速模型作为卡尔曼滤波法的状态方程，进行路端参考点的状态预测，得到路端预测参考点，如下式所示：

15、xpred＝xr+vrx·δt,

16、ypred＝yr+vry·δt,

17、zpred＝zr+vrz·δt，

18、其中，xr、yr、zr分别表示历史信息队列中路端参考点的横、纵、竖坐标；xpred、ypred、zpred分别表示路端预测参考点的横、纵、竖坐标；vrx,vry,vrz表示路端参考点沿x、y、z轴的速度，其初始值均设置为0；δt表示历史时刻与当前时刻的时间差；

19、s52通过匈牙利匹配算法将根据s51获得的路端预测参考点与待匹配帧中的路端参考点进行匹配，根据匹配结果，更新路端目标轨迹，获得更新后的路端目标轨迹；

20、s53根据更新后的路端目标轨迹，通过多头注意力机制进行路端输出查询向量预测。

21、根据本发明的一些优选实施方式，步骤s52中的匈牙利匹配算法的代价矩阵为路端预测参考点与待匹配帧中的路端参考点间的欧氏距离。

22、根据本发明的一些优选实施方式，步骤s53包括：

23、(1)根据所述更新后的路端目标轨迹的历史时间戳生成余弦时间编码，如下：

24、

25、

26、其中，i为时间编码的索引，t为时间戳，d为输出查询向量的长度，(u(t))2i表示输出查询向量中偶数位置的值，(u(t))2i+1表示输出查询向量中奇数位置的值；

27、(2)将所得余弦时间编码与历史时刻的输出查询向量相加，作为多头注意力机制的键向量和值向量，将根据当前时刻tv生成的时间编码作为输入多头注意力机制的查询向量，得到当前时刻路端目标的预测输出查询向量。

28、根据本发明的一些优选实施方式，步骤s6包括：

29、s61将s5获得的当前时刻的路端预测参考点特征转换至车端坐标系下，得到转换后参考点特征；

30、s62根据转换后参考点特征，使用多层感知器生成一个与路端预测输出查询向量的长度相同的位置编码，将所述位置编码与所述路端预测输出查询向量对应相加，得到编码后查询向量；

31、s63通过匈牙利匹配算法将获得的所述编码后查询向量与车端输出查询向量进行匹配，并将获得的转换后参考点特征与车端参考点特征进行匹配，获得匹配结果；

32、s64根据匹配结果，进行查询向量融合及参考点特征融合，并保留未匹配成功的路端预测输出查询向量、车端输出查询向量、路端预测参考点特征及车端参考点特征；

33、s65由所述融合后查询向量与未匹配成功的路端预测输出查询向量及未匹配成功的车端输出查询向量组成待检测的查询向量集，由所述融合后参考点特征与未匹配成功的路端预测参考点特征及未匹配成功的车端参考点特征组成待检测的参考点特征集。

34、根据本发明的一些优选实施方式，步骤s63中的匈牙利匹配算法的代价矩阵设置如下：

35、

36、其中，cp，q表示代价矩阵中第p行、第q列的数值，xpk表示第p行进行匹配的向量xp中的第k个元素的值，xqk表示第q列进行匹配的向量xq中的第k个元素的值，n表示向量长度，sk表示标准差。

37、根据本发明的一些优选实施方式，所述融合包括：

38、计算匹配成功的转换后参考点特征与车端参考点特征之间的平均值，以获得的平均值作为融合后参考点特征；

39、将匹配成功的编码后查询向量与车端输出查询向量进行拼接，将获得的拼接向量输入一个多层感知器中，所得输出作为融合后融合后查询向量。

40、本发明进一步提供了一种可实现权利上述的车路协同目标检测方法的检测系统，其包括存储及应用bevfomer的bevfomer的网络模块、存储及应用所述分类器的分类器模块、进行所述置信度筛选的筛选模块、对所述路端历史信息队列进行存储的车端存储器、存储及应用所述预测器的预测器模块、存储及应用所述融合器的融合器模块及存储和应用所述检测头的检测头模块。

41、本发明具备以下有益效果：

42、(1)本发明的检测方法进行了时延补偿，能够有效解决时延带来的特征错位问题，提升了检测系统的鲁棒性；

43、(2)本发明的检测方法通过查询向量代表目标，并采用了传输根据置信度过滤后的查询向量特征的方式，能够降低信息传输量，减少时延；

44、(3)本发明的检测方法在进行特征匹配时，充分考虑了特征所蕴含的多层次信息，能够进一步提高匹配精度。