一种用于自动驾驶车辆的4D毫米波雷达自监督里程计方法

本发明涉及自动驾驶，尤其是涉及一种用于自动驾驶车辆的4d毫米波雷达自监督里程计方法。

背景技术：

1、根据传感器采集的时间序列数据进行自我运动估计，也称为里程计，是智能车辆实现自主定位的核心模块之一，能够为自动驾驶车辆的路径规划和决策任务提供必要的信息。视觉相机和激光雷达是现有的里程计系统常用的传感器，尽管一些基于二者的里程计方法取得了一定的效果，然而考虑到天气、探测距离和成本等因素，上述两类传感器在里程计中的应用受到了较大的限制。

2、近年来，4d毫米波雷达由于其独有的优势，已经越来越多地被汽车行业所关注。首先，4d雷达可以提供场景中点的3d位置、径向相对速度(rrv)和雷达散射截面积(rcs)等信息，更丰富的信息有助于里程计性能的提升。其次，由于毫米波的工作波长，其对于天气和照明条件具有很好的鲁棒性。此外，相对较低的成本使得4d毫米波雷达更容易为工业界所欢迎。

3、尽管4d毫米波雷达具有上述突出的优点，但如何从4d雷达点云中估计出自车运动仍然是当前难以解决的一个问题，应用4d毫米波雷达的里程计系统也将面临一些挑战。同lidar点云相比，4d毫米波雷达点云稀疏得多，这种稀疏性使得局部特征提取变得更加困难。此外，由于多径效应和镜面反射的存在，雷达点云中不可避免地包含噪声。同时，雷达点云中属于动态物体的点使得利用连续两帧点云的运动估计受到干扰。而且考虑到注释的成本，对大量标记数据的依赖也使得基于监督学习的方法在实际应用中受到限制。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种用于自动驾驶车辆的4d毫米波雷达自监督里程计方法，能够有效提取稀疏嘈杂的4d毫米波雷达点云特征，减少动态物体和噪声的干扰，准确地从4d雷达点云中估计出车辆自我运动，获得优越的4d毫米波雷达里程计性能。

2、本发明的目的可以通过以下技术方案来实现：一种用于自动驾驶车辆的4d毫米波雷达自监督里程计方法，包括以下步骤：

3、s1、在训练阶段，利用特征编码模块对滑动窗口内的每一帧点云进行多尺度特征提取，得到各帧点云对应的多尺度特征；

4、s2、将相邻帧点云的多尺度特征聚合为关联特征；

5、s3、针对多尺度特征、关联特征以及输入信息进行编码，得到编码特征，其中输入信息包括rrv信息和rcs信息；

6、s4、将编码特征输入位姿解码模块，估计初始的位姿变换，并由位姿细化模块对初始的位姿变换进行优化，再结合点置信度估计模块，通过自监督损失函数实现里程计网络的训练；

7、s5、在推理阶段，将连续两帧点云输入里程计网络，依次经过特征编码模块、位姿解码模块和位姿细化模块，输出得到车辆自我运动估计结果。

8、进一步地，所述步骤s1中滑动窗口内包含连续三帧点云：sk-2、sk-1、sk。

9、进一步地，所述特征编码模块内设置有set conv layers单元、cost volume层和运动编码器，所述set conv layers单元用于分别对各单帧点云提取多尺度的特征，并将其与使用通道最大池化操作获取的全局特征进行拼接，得到特征分别对单帧点云提取多尺度的特征，并将其与使用通道最大池化操作获取的全局特征进行拼接，得到对应于各帧点云的多尺度特征；

10、所述cost volume层用于将相邻帧点云的多尺度特征进行关联，得到关联特征；

11、所述运动编码器用于连接关联特征、多尺度特征、输入信息，并将它们送入另一个set conv layers进行编码，与其全局特征拼接后得到最终的编码特征。

12、进一步地，所述位姿解码模块首先对编码特征进行平均池化操作，应用池化后的特征向量进行位姿回归，以估计得到初始的位姿变换。

13、进一步地，所述位姿回归具体是利用两个mlp(multilayer perceptron，多层感知机)来分别预测自车运动的旋转和平移；

14、所述初始的位姿变换包括相邻帧点云之间的欧拉角和旋转向量。

15、进一步地，所述位姿细化模块具体是根据初始的位姿变换来确定前一帧点云对应的扭曲点云，通过估计扭曲点云与对应当前帧点云之间的位姿变换，确定出相应的位姿细化增量，再结合初始的位姿变换，得到优化后的位姿变换。

16、进一步地，所述优化后的位姿变换具体为：

17、

18、其中，为初始的位姿变换，为位姿细化增量。

19、进一步地，所述点置信度估计模块具体是将编码特征、rrv信息、rrv信息与rrv测量平均值之间的差值进行拼接，再利用mlp回归出每帧点云的置信度，之后引入自监督损失函数作为加权，以实现自监督训练。

20、进一步地，所述自监督损失函数包括最近邻损失、球面重投影损失、gmm对齐损失、点位移损失，其中，最近邻损失、球面重投影损失和点位移损失中被引入了置信度估计。

21、进一步地，所述自监督损失函数具体为：

22、

23、

24、

25、

26、

27、

28、

29、其中，为最近邻损失，为球面重投影损失，为gmm对齐损失，为点位移损失，λ1,λ2,λ3,λ4分别为最近邻损失、球面重投影损失、gmm对齐损失、点位移损失的对应权重，nn(·)代表寻找最近邻函数，为sk-1帧中点pi扭曲的对应于sk帧中点的估计值，qj为的最近邻，用于表征所需的每个匹配对的可靠性，γ为正则化项的权重，g(sk)为点云sk对应的高斯混合的概率密度函数，k是高斯分量的数量，wi,μi,∑i分别为混合权重、均值和协方差矩阵，d＝3是每个点的特征维度，为rrv测量值与时间间隔δt的乘积，即相邻时刻各点运动的径向投影。

30、与现有技术相比，本发明具有以下优点：

31、本发明设计特征编码模块对滑动窗口内的每一帧点云进行多尺度特征提取，得到各帧点云对应的多尺度特征，再将相邻帧点云的多尺度特征聚合为关联特征，并针对多尺度特征、关联特征以及输入信息进行编码，得到编码特征；将编码特征输入位姿解码模块，估计初始的位姿变换，并由位姿细化模块对初始的位姿变换进行优化，再结合点置信度估计模块，通过自监督损失函数实现里程计网络的训练。由此从多尺度对包含位置、rrv、rcs等信息的雷达点云进行特征编码，以充分利用雷达点云的信息，能够从稀疏的点云中提取鲁棒的特征，再通过构建点置信度估计模块并引入到自监督损失函数中，能够有效减轻动态物体和噪声的干扰，从而实现性能优越的4d毫米波雷达里程计。

32、本发明将连续三帧点云sk-2、sk-1、sk组成滑动窗口作为网络的输入，即在滑动窗口内，不仅估计sk-2和sk-1之间的位姿变换tk-1,k-2，也估计sk-2和sk之间的位姿变换tk,k-2。通过这种方式，增加了弯道的样本分布，从而解决训练时存在数据集分布不平衡的问题，能够更好地训练模型。

33、本发明在特征编码模块中，根据不同半径大小的邻域，采用set conv layers分别对单帧点云提取多尺度的特征，并将其与使用通道最大池化操作获取的全局特征进行拼接，然后利用cost volume层将相邻帧点云的特征进行关联，得到关联特征，之后利用运动编码器连接不同阶段的特征(关联特征、多尺度特征、输入特征)并将它们送入另一个setconv layers进行编码，与其全局特征拼接后得到最终的特征。由此能够从稀疏嘈杂的4d雷达点云中提取出鲁棒的特征。

34、本发明在位姿解码模块中，设计两个mlp分别回预测自车运动的旋转和平移，能够更好地回归位姿。

35、本发明考虑到初始的位姿变换存在误差的可能性，故设计位姿细化模块将初始的位姿变换进一步优化，利用初始的位姿变换和位姿细化增量来获得更加精准的位姿估计结果。

36、本发明设计点置信度估计模块对点云中每点的不确定性进行估计，进而将其引入自监督损失中，能够有效降低可能影响监督训练的不可靠点的影响，从而得到鲁棒的里程计网络。

37、本发明在利用置信度加权的情况下，引入最近邻损失、球面重投影损失、gmm对齐损失来训练没有任何人工标签的自车运动估计网络，同时针对4d雷达的rrv测量值，专门设计了新颖的点位移损失以更好地监督网络。