一种航向角颠倒的修正方法、系统、车辆及存储介质与流程

本技术涉及自动驾驶，尤其涉及一种航向角颠倒的修正方法、系统、车辆及存储介质。

背景技术：

1、bev4d标注(bird's eye view 4d labeling，面向鸟瞰视角的四维标注)是一种将三维物体在二维鸟瞰图上进行标注的方法，标注人员可以在鸟瞰图上对车辆、行人、交通标志等物体进行标注，并记录物体的位置、大小及速度等信息。同时需要进行时间轴标注，记录物体进入和离开画面的时间，以便后续的跟踪。增加的时间信息也能够帮助算法更准确地预测物体的运动轨迹，提高自动驾驶的安全性。

2、目前，bev 4d标注方案主要包含两类，一类是基于端到端感知模型生成真值方案，该方案处于探索阶段，未达到产品量产要求；一类是基于数据采集，数据解析，2d&3d模型推理及后处理等步骤生成真值的方案，虽然行业已广泛使用该技术方案，但该技术方案仍存在一些不足，比如对于对向车辆，部分遮挡车辆及静态车辆等对象，该方案得到的真值标注框的航向角会存在颠倒的问题，标注框航向角异常的问题严重影响感知模型的训练结果。

3、因此，现有技术还有待于改进和发展。

技术实现思路

1、本技术的主要目的在于提供一种航向角颠倒的修正方法、系统、车辆及存储介质，旨在解决现有技术中真实标注框的航向角容易颠倒，影响自动驾驶安全性的问题。

2、本技术第一方面实施例提供一种航向角颠倒的修正方法，包括以下步骤：基于采集到的点云数据确定目标车辆的第一检测框，基于采集到的车辆图像确定所述目标车辆的第二检测框；根据所述第一检测框确定极径距离，其中，所述极径距离用于计算车辆行驶的航迹自信度；根据所述极径距离、所述第一检测框和所述第二检测框，确定车辆的航迹自信度；根据所述航迹自信度输出航向角翻转标志位。

3、根据上述技术手段，本技术实施例通过车辆采集的点云数据和图像数据分别识别为在同一图像坐标系下目标车辆的第一检测框和第二检测框，再计算第一检测框对应相机坐标系下目标三维框的极径距离，然后根据极径距离计算车辆行驶的航迹自信度，根据航迹自信度输出航向角是否翻转的标志位，从而能够自动识别并修正真实标注框中航向角的错误，从而提高自动驾驶系统中对于周围物体检测和跟踪的准确性。

4、可选地，在本技术的一个实施例中，所述基于采集到的点云数据确定目标车辆的第一检测框，基于采集到的车辆图像确定所述目标车辆的第二检测框，具体包括：读取预设时间段获取的环境数据，其中，所述环境数据包括若干点云数据-图像数据组；对于每个点云数据-图像数据组，分别对所述点云数据和图像数据进行识别，以得到目标车辆的第一候选检测框和第二候选检测框；将所述第一候选检测框转换至所述图像数据所处坐标系下以得到第三候选检测框；根据各所述第二候选检测框和对应所述第三候选检测框计算得到的所有重叠度，在所述若干点云数据-图像数据组选取目标点云数据-图像数据组，并将所述目标点云数据-图像数据组对应的第二候选检测框作为第二检测框，将其对应的第三候选检测框作为第一检测框。

5、根据上述技术手段，本技术实施例通过车辆在某一时间段内对周围环境数据中的若干数据组进行识别，得到各数据组对应的在同一图像坐标系下的两个候选检测框，并基于所有数据组的双候选检测框的重叠度确定目标数据组，从而得到目标车辆的第一检测框和第二检测框，本技术实施例通过获得在预设时间段中筛选好的便于判断的双检测框，为后续航向角颠倒修正提供了准确的二维框，以便后续识别并修正目标车辆真实标注框的航向角的错误，从而提高自动驾驶系统中物体检测和跟踪的准确性。

6、可选地，在本技术的一个实施例中，所述第一候选检测框为雷达坐标系下的三维框，所述第二候选检测框和所述第三候选检测框为相机输出图像坐标系下的二维框；所述将所述第一候选检测框转换至所述图像数据所处坐标系下以得到第三候选检测框，具体包括：将所述第一候选检测框从雷达坐标系下转换为相机坐标系，得到目标候选三维框；计算所述目标候选三维框在所述图像数据上的投影像素坐标；根据所述投影像素坐标得到所述目标车辆的第三候选检测框。

7、根据上述技术手段，本技术实施例通过对第一候选检测框进行坐标系转换，得到目标候选三维框，并投影在图像数据上得到第三候选检测框，使得第二候选检测框与第三候选检测框均处于相机输出图像坐标系下，从而得到每个点云数据-图像数据组中能够在图像中准确表达第一候选检测框的二维外接矩形框，通过在图像中提供目标车辆的具体位置和大小信息，进而便于后续对于目标车辆真实标注框的航向角是否颠倒进行识别。

8、可选地，在本技术的一个实施例中，所述根据各所述第二候选检测框和对应所述第三候选检测框计算得到的所有重叠度，在所述若干点云数据-图像数据组选取目标点云数据-图像数据组，具体包括：计算所述第二候选检测框和所述第三候选检测框的重叠度；根据计算得到的所有重叠度，在所述若干点云数据-图像数据组中将最大重叠度的点云数据-图像数据组作为目标点云数据-图像数据组。

9、根据上述技术手段，本技术实施例通过计算每个数据组对应双候选检测框的重叠度，来评估双候选检测框的匹配关系，从而筛选出匹配度最高的双候选检测框作为第一检测框和第二检测框，以便确保对目标车辆真是标注框航向角的准确识别。

10、可选地，在本技术的一个实施例中，所述极径距离包括第一极径距离和第二极径距离；所述根据所述第一检测框确定极径距离，具体包括：将所述第一检测框对应的目标候选三维框作为目标三维框，其中，所述目标三维框具有第一预设点和第二预设点；计算所述第一预设点至车辆相机光心的距离，得到第一极径距离；计算所述第二预设点至车辆相机光心的距离，得到第二极径距离。

11、根据上述技术手段，本技术实施例通过计算第一检测框与相机对应的极径距离，以便后续计算车辆的航迹自信度，从而准确判断航迹角是否需要颠倒，为航迹角是否颠倒的识别提供依据。

12、可选地，在本技术的一个实施例中，所述极径距离包括第一极径距离和第二极径距离；所述根据所述极径距离、所述第一检测框和所述第二检测框，确定车辆的航迹自信度，具体包括：当所述第一极径距离大于所述第二极径距离时，若所述第二检测框的输出标志位为车尾，则将所述车辆的当前航迹自信度增加预设值，得到所述车辆的航迹自信度，若所第二检测框的输出标志位为车头，则将所述车辆当的前航迹自信度减小预设值，得到所述车辆的航迹自信度；当所述第一极径距离小于所述第二极径距离时，若所述第二检测框的输出标志位为车头，则将所述车辆的当前航迹自信度增加预设值，得到所述车辆的航迹自信度，若所述第二检测框的输出标志位为车尾，则将所述车辆的当前航迹自信度减小预设值，得到所述车辆的航迹自信度。

13、根据上述技术手段，本技术实施例通过计算目标三维框上两个预设点到相机光心的极径距离，来更准确地了解物体在三维空间中的位置，从而更准确的识别目标车辆真实标注框的航向角是否颠倒，以便在判断航向角颠倒时后续输出航向角翻转标志位，从而提高了自动驾驶的安全性。

14、可选地，在本技术的一个实施例中，所述航向角颠倒的修正方法还包括：判断所述第一检测框和所述第二检测框的重叠度，若所述重叠度满足预设要求则直接输出航向角不翻转标志位。

15、根据上述技术手段，本技术实施例通过评估第一检测框和第二检测框的重叠度大小，来决定是否可以直接输出航向角不翻转标志位，便于识别真实标注框的航向角正确，从而无需计算所有情况下车辆的航迹自信度，确保自动驾驶系统中物体跟踪的准确性的前提下，提高了航向角正确时的识别效率。

16、本技术第二方面实施例提供一种航向角颠倒的修正系统，所述航向角颠倒的修正系统包括：两检测框确定模块，用于基于采集到的点云数据确定目标车辆的第一检测框，基于采集到的车辆图像确定所述目标车辆的第二检测框；极径距离计算模块，用于根据所述第一检测框确定极径距离，其中，所述极径距离用于计算车辆行驶的航迹自信度；航迹自信度计算模块，用于根据所述极径距离、所述第一检测框和所述第二检测框，确定车辆的航迹自信度；翻转标志位输出模块，用于根据所述航迹自信度输出航向角翻转标志位。

17、可选地，在本技术的一个实施例中，两检测框确定模块包括：数据获取单元，用于读取预设时间段获取的环境数据，其中，所述环境数据包括若干点云数据-图像数据组；数据识别单元，用于对于每个点云数据-图像数据组，分别对所述点云数据和图像数据进行识别，以得到目标车辆的第一候选检测框和第二候选检测框；坐标系转换单元，用于将所述第一候选检测框转换至所述图像数据所处坐标系下以得到第三候选检测框；检测框确定单元，用于根据各所述第二候选检测框和对应所述第三候选检测框计算得到的所有重叠度，在所述若干点云数据-图像数据组选取目标点云数据-图像数据组，并将所述目标点云数据-图像数据组对应的第二候选检测框作为第二检测框，将其对应的第三候选检测框作为第一检测框。

18、可选地，在本技术的一个实施例中，所述第一候选检测框为雷达坐标系下的三维框，所述第二候选检测框和所述第三候选检测框为相机输出图像坐标系下的二维框；坐标系转换单元包括：转相机坐标系子单元，用于将所述第一候选检测框从雷达坐标系下转换为相机坐标系，得到目标候选三维框；三维框投影子单元，用于计算所述目标候选三维框在所述图像数据上的投影像素坐标；候选检测框确定子单元，用于根据所述投影像素坐标得到所述目标车辆的第三候选检测框。

19、可选地，在本技术的一个实施例中，检测框确定单元包括：重叠度计算子单元，用于计算所述第二候选检测框和所述第三候选检测框的重叠度；目标数据组确定子单元，用于根据计算得到的所有重叠度，在所述若干点云数据-图像数据组中将最大重叠度的点云数据-图像数据组作为目标点云数据-图像数据组。

20、可选地，在本技术的一个实施例中，所述极径距离包括第一极径距离和第二极径距离；所述极径距离计算模块包括：目标三维框确定单元，用于将所述第一检测框对应的目标候选三维框作为目标三维框，其中，所述目标三维框具有第一预设点和第二预设点；第一极径距离计算单元，用于计算所述第一预设点至车辆相机光心的距离，得到第一极径距离；第二极径距离计算单元，用于计算所述第二预设点至车辆相机光心的距离，得到第二极径距离。

21、可选地，在本技术的一个实施例中，所述极径距离包括第一极径距离和第二极径距离；航迹自信度计算模块包括：第一自信度增减单元，用于当所述第一极径距离大于所述第二极径距离时，若所述第二检测框的输出标志位为车尾，则将所述车辆的当前航迹自信度增加预设值，得到所述车辆的航迹自信度，若所述第二检测框的输出标志位为车头，则将所述车辆当的前航迹自信度减小预设值，得到所述车辆的航迹自信度；第二自信度增减单元，用于当所述第一极径距离小于所述第二极径距离时，若所述第二检测框的输出标志位为车头，则将所述车辆的当前航迹自信度增加预设值，得到所述车辆的航迹自信度，若所述第二检测框的输出标志位为车尾，则将所述车辆的当前航迹自信度减小预设值，得到所述车辆的航迹自信度

22、可选地，在本技术的一个实施例中，航向角颠倒的修正系统还包括：不翻转标志位输出模块，用于判断所述第一检测框和所述第二检测框的重叠度，若所述重叠度满足预设要求则直接输出航向角不翻转标志位。

23、本技术第三方面实施例提供一种车辆，所述车辆包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的航向角颠倒的修正程序，所述航向角颠倒的修正程序被所述处理器执行时实现如上述实施例所述的航向角颠倒的修正方法的步骤。

24、本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有航向角颠倒的修正程序，所述航向角颠倒的修正程序被处理器执行时实现如上述实施例所述的航向角颠倒的修正方法的步骤。

25、本技术的有益效果：

26、(1)本技术实施通过车辆采集的点云数据和图像数据分别识别为在同一图像坐标系下目标车辆的第一检测框和第二检测框，再计算第一检测框对应相机坐标系下目标三维框的极径距离，然后根据极径距离计算车辆行驶的航迹自信度，根据航迹自信度输出航向角是否翻转的标志位，从而能够自动识别并修正真实标注框中航向角的错误，从而提高自动驾驶系统中对于周围物体检测和跟踪的准确性。

27、(2)本技术实施例通过车辆在某一时间段内对周围环境数据中的若干数据组进行识别，得到各数据组对应的在同一图像坐标系下的两个候选检测框，并基于所有数据组的双候选检测框的重叠度确定目标数据组，从而得到目标车辆的第一检测框和第二检测框，本技术实施例通过获得在预设时间段中筛选好的便于判断的双检测框，为后续航向角颠倒修正提供了准确的二维框，以便后续识别并修正目标车辆真实标注框的航向角的错误，从而提高自动驾驶系统中物体检测和跟踪的准确性。

28、(3)本技术实施例通过对第一候选检测框进行坐标系转换，得到目标候选三维框，并投影在图像数据上得到第三候选检测框，使得第二候选检测框与第三候选检测框均处于相机输出图像坐标系下，从而得到每个点云数据-图像数据组中能够在图像中准确表达第一候选检测框的二维外接矩形框，通过在图像中提供目标车辆的具体位置和大小信息，进而便于后续对于目标车辆真实标注框的航向角是否颠倒进行识别。

29、(4)本技术实施例通过计算每个数据组对应双候选检测框的重叠度，来评估双候选检测框的匹配关系，从而筛选出匹配度最高的双候选检测框作为第一检测框和第二检测框，以便确保对目标车辆真是标注框航向角的准确识别。

30、(5)本技术实施例通过评估第一检测框和第二检测框的重叠度大小，来决定是否可以直接输出航向角不翻转标志位，便于识别真实标注框的航向角正确，从而无需计算所有情况下车辆的航迹自信度，确保自动驾驶系统中物体跟踪的准确性的前提下，提高了航向角正确时的识别效率。

31、(6)本技术实施例通过计算目标三维框上两个预设点到相机光心的极径距离，来更准确地了解物体在三维空间中的位置，从而更准确的识别目标车辆真实标注框的航向角是否颠倒，以便在判断航向角颠倒时后续输出航向角翻转标志位，从而提高了自动驾驶的安全性本技术实施例通过计算目标三维框上两个预设点到相机光心的极径距离，来更准确地了解物体在三维空间中的位置，从而更准确的识别目标车辆真实标注框的航向角是否颠倒，以便在判断航向角颠倒时后续输出航向角翻转标志位，从而提高了自动驾驶的安全性。

32、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。