4D动静态目标真值数据标注系统及方法

本技术涉及数据处理，特别涉及一种4d动静态目标真值数据标注系统及方法。

背景技术：

1、相关技术中，bev+transformer范式通过将多传感器收集的信息转换到3d空间，并输入到transformer神经网络模型，通过注意力机制原理，能够在处理海量信息时，根据上下文选择地处理关键信息，提升神经网络的效率。因此，在大量数据的条件下，对于自动驾驶重感知轻地图的发展背景下，以bev+transformer为主流自动驾驶方案最重要是要有高质量的训练数据，以训练出高质量自动驾驶模型。

2、然而，相关技术中，由于只是在3d空间上对目标物体进行标注，只能得到物体的静态信息，难以实现对动态场景的准确预测，且由于标注高质量的真值数据需要对标注者进行培训训练，可能导致耗费大量的人力和物力，增加成本，为自动驾驶的发展带来一定的阻碍，亟待改进。

技术实现思路

1、本技术提供一种4d动静态目标真值数据标注系统及方法，以解决相关技术中，由于只是在3d空间上对目标物体进行标注，只能得到物体的静态信息，难以实现对动态场景的准确预测，且由于标注高质量的真值数据需要对标注者进行培训训练，可能导致耗费大量的人力和物力，增加成本，影响自动驾驶的发展等问题。

2、本技术第一方面实施例提供一种4d动静态目标真值数据标注系统，包括：静态物体标注组件，用于对原始雷达点云进行地面分离、运动补偿以及预设优化后的配准处理，得到运动补偿后的点云以及各帧雷达的雷达位姿，对所述雷达位姿进行线性插值和地图拼接，得到拼接后的全局地图，并将所述拼接后的全局地图转化为鸟瞰视图bev视角，得到bev强度图和bev高度图以及相机位姿，以在所述bev强度图上进行标注，以及在所述bev高度图上对标注点在同一像素进行取值，得到用户需要标注的地图点的三维坐标，利用相机位姿和相机内参将标注的三维坐标点投影到图像的二维坐标，作为静态物体的真值；动态物体标注组件，用于在原始雷达点云中进行目标标注，并由动态跟踪后得到动态目标检测框及轨迹，利用所述雷达位姿和所述相机位姿进行投影，得到动态物体的多相机真值。

3、可选地，在本技术的一个实施例中，所述静态物体标注组件包括：预处理模块，用于分离地面点，并保留车道线点，并利用每个点的时间戳信息对畸变进行补偿，得到所述运动补偿后的点云，且对所述原始雷达点云提取平面点和角点的特征，对所述平面点和角点的特征点进行icp(iterative closest point，迭代最近点)匹配，得到所述雷达位姿；地图生成模块，用于利用所述雷达位姿基于预设拼接公式，以第一帧雷达点云为基准，将后续的点云帧拼接到所述第一帧雷达点云，形成全局地图，以进行栅格划分，得到所述bev高度图和bev强度图，以及在图像时间戳在点云时间戳中不存在的情况下，基于最靠近对应的图像时间戳的两帧点云时间戳按照预设差值公式进行线性插值，得到对应的点云位姿，以得到所述相机位姿；用户标注模块，用于从所述bev强度图上进行标注，并从所述bev高度图进行取值，以获取标注点云属性值，并基于所述标注点云属性值，在所述bev视角下进行车道线标注，利用投影变换矩阵一次性将多相机所有对应帧的车道线真值全部标出，得到标注的点云数据，且将所述标注的点云数据从世界坐标系转化到相机坐标系下，得到每一个标注点云的相机坐标，获取对应相机坐标下的x和z坐标分别作为bev坐标图的纵坐标和横坐标，以构建美观合适的坐标图比例，对每一个相机坐标绘制在坐标图中，生成每一帧下的bev可视化效果。

4、可选地，在本技术的一个实施例中，所述动态物体标注组件包括：动态目标跟踪模块，用于利用前一帧数据通过卡尔曼滤波器式预测当前帧的状态，并基于所述当前帧的状态确定轨迹中的原目标，更新前一时刻的轨迹，将对应检测框插入所述轨迹中，否则确定进入场景的新对象，以建立新轨迹id号，以及在所述原目标消失或被遮挡时，删除对应的轨迹id号；轨迹优化模块，用于通过车辆或人类的运动模型预测对应的3d检测框位置，结合所述3d检测框位置对3d检测框进行优化，和/或，将所有目标的3d检测框尺寸扩大预设倍，并将同一轨迹下所有目标尺寸计算平均值得到对应的输出尺寸。

5、可选地，在本技术的一个实施例中，所述预设拼接公式为：

6、

7、其中，x,y,z为雷达坐标系下的坐标，r，t为雷达坐标系向全局坐标系转换的旋转矩阵和平移向量，x′,y′,z′为全局坐标系下的坐标。

8、可选地，在本技术的一个实施例中，所述预设差值公式为：

9、

10、其中，和为t1和t2时刻雷达的位姿，为t时刻插值得到的雷达位姿。

11、可选地，在本技术的一个实施例中，所述卡尔曼滤波器式为：

12、

13、其中，为利用k-1状态预测的结果，为k-1状态最优的结果，ak、bk为系统参数，uk为k状态的控制量，为对应的协方差，pk-1为对应的协方差，为ak的转置矩阵，q为系统过程的协方差，kk为卡尔曼增益，为hk的转置矩阵，hk为观测方程对应的矩阵，r为观测噪声，为k状态最优结果，为用k-1状态预测k状态结果，zk为观测向量。

14、本技术第二方面实施例提供一种4d动静态目标真值数据标注方法，包括：对原始雷达点云进行地面分离、运动补偿以及预设优化后的配准处理，得到运动补偿后的点云以及各帧雷达的雷达位姿，对所述雷达位姿进行线性插值和地图拼接，得到拼接后的全局地图，并将所述拼接后的全局地图转化为鸟瞰视图bev视角，得到bev强度图和bev高度图以及相机位姿，以在所述bev强度图上进行标注，以及在所述bev高度图上对标注点在同一像素进行取值，得到用户需要标注的地图点的三维坐标，利用相机位姿和相机内参将标注的三维坐标点投影到图像的二维坐标，作为静态物体的真值；在原始雷达点云中进行目标标注，并由动态跟踪后得到动态目标检测框及轨迹，利用所述雷达位姿和所述相机位姿进行投影，得到动态物体的多相机真值。

15、可选地，在本技术的一个实施例中，所述对原始雷达点云进行地面分离、运动补偿以及预设优化后的配准处理，得到运动补偿后的点云以及各帧雷达的雷达位姿，对所述雷达位姿进行线性插值和地图拼接，得到拼接后的全局地图，并将所述拼接后的全局地图转化为鸟瞰视图bev视角，得到bev强度图和bev高度图以及相机位姿，以在所述bev强度图上进行标注，以及在所述bev高度图上对标注点在同一像素进行取值，得到用户需要标注的地图点的三维坐标，利用相机位姿和相机内参将标注的三维坐标点投影到图像的二维坐标，作为静态物体的真值，包括：分离地面点，并保留车道线点，并利用每个点的时间戳信息对畸变进行补偿，得到所述运动补偿后的点云，且对所述原始雷达点云提取平面点和角点的特征，对所述平面点和角点的特征点进行icp匹配，得到所述雷达位姿；利用所述雷达位姿基于预设拼接公式，以第一帧雷达点云为基准，将后续的点云帧拼接到所述第一帧雷达点云，形成全局地图，以进行栅格划分，得到所述bev高度图和bev强度图，以及在图像时间戳在点云时间戳中不存在的情况下，基于最靠近对应的图像时间戳的两帧点云时间戳按照预设差值公式进行线性插值，得到对应的点云位姿，以得到所述相机位姿；从所述bev强度图上进行标注，并从所述bev高度图进行取值，以获取标注点云属性值，并基于所述标注点云属性值，在所述bev视角下进行车道线标注，利用投影变换矩阵一次性将多相机所有对应帧的车道线真值全部标出，得到标注的点云数据，且将所述标注的点云数据从世界坐标系转化到相机坐标系下，得到每一个标注点云的相机坐标，获取对应相机坐标下的x和z坐标分别作为bev坐标图的纵坐标和横坐标，以构建美观合适的坐标图比例，对每一个相机坐标绘制在坐标图中，生成每一帧下的bev可视化效果。

16、可选地，在本技术的一个实施例中，所述在原始雷达点云中进行目标标注，并由动态跟踪后得到动态目标检测框及轨迹，利用所述雷达位姿和所述相机位姿进行投影，得到动态物体的多相机真值，包括：利用前一帧数据通过卡尔曼滤波器式预测当前帧的状态，并基于所述当前帧的状态确定轨迹中的原目标，更新前一时刻的轨迹，将对应检测框插入所述轨迹中，否则确定进入场景的新对象，以建立新轨迹id号，以及在所述原目标消失或被遮挡时，删除对应的轨迹id号；通过电子设备或人类的运动模型预测对应的3d检测框位置，结合所述3d检测框位置对3d检测框进行优化，和/或，将所有目标的3d检测框尺寸扩大预设倍，并将同一轨迹下所有目标尺寸计算平均值得到对应的输出尺寸。

17、可选地，在本技术的一个实施例中，所述预设拼接公式为：

18、

19、其中，x,y,z为雷达坐标系下的坐标，r，t为雷达坐标系向全局坐标系转换的旋转矩阵和平移向量，x′,y′,z′为全局坐标系下的坐标。

20、可选地，在本技术的一个实施例中，所述预设差值公式为：

21、

22、其中，和为t1和t2时刻雷达的位姿，为t时刻插值得到的雷达位姿。

23、可选地，在本技术的一个实施例中，所述卡尔曼滤波器式为：

24、

25、其中，为利用k-1状态预测的结果，为k-1状态最优的结果，ak、bk为系统参数，uk为k状态的控制量，为对应的协方差，pk-1为对应的协方差，为ak的转置矩阵，q为系统过程的协方差，kk为卡尔曼增益，为hk的转置矩阵，hk为观测方程对应的矩阵，r为观测噪声，为k状态最优结果，为用k-1状态预测k状态结果，zk为观测向量。

26、本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的4d动静态目标真值数据标注方法。

27、本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的4d动静态目标真值数据标注方法。

28、本技术第五方面实施例提供一种计算机程序产品，所述计算机程序被执行时，以用于实现如上的4d动静态目标真值数据标注方法。

29、本技术实施例可以通过静态物体标注组件对原始雷达点云进行地面分离、运动补偿以及优化搜索处理，得到精确的运动补偿后的点云和雷达位姿，通过线性插值和地图拼接获得全局地图，并将其转化为bev视角，进行地图点的三维坐标标注并投影到图像上得到真实位置，有助于提高地图标注的准确性和可靠性，其次，利用动态物体标注组件可以对原始雷达点云中的目标进行标注和跟踪，得到动态目标检测框和轨迹，再结合雷达位姿和相机位姿进行投影，获得动态物体的多相机真实位置，从而可以提升目标检测和跟踪的精度和效率，为后续的数据处理和分析提供可靠的基础。由此，解决了相关技术中，由于只是在3d空间上对目标物体进行标注，只能得到物体的静态信息，难以实现对动态场景的准确预测，且由于标注高质量的真值数据需要对标注者进行培训训练，可能导致耗费大量的人力和物力，增加成本，影响自动驾驶的发展等问题。

30、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。