用于车辆的前视视频处理方法、系统和相应的车辆与流程

本申请涉及汽车技术，更为具体地涉及车辆的前视视频处理技术。

背景技术：

1、汽车工业近年来辅助驾驶功能迅猛发展，目前市场上许多量产或接近量产水平的辅助驾驶功能，已经达到l2级别，而部分预研车、概念车上的辅助驾驶功能已达到l3级别。例如自适应巡航、车道偏离预警、车道居中控制等功能，以及低速场景中的自动泊车系统、代客泊车等辅助驾驶功能大都依赖于各类车载传感器来为其提供辅助决策的依据。

2、车载传感器一般分为雷达和摄像头两大类。基于摄像头的各类感测功能在各类辅助驾驶功能中起到至关重要的作用，尤其是前视摄像头的感测功能在高速辅助驾驶功能中不可或缺。近年来，由于各类车载计算平台计算能力的不断提高，且各类性能强大的目标检测深度学习算法不断被提出，各类基于前视摄像头的感测功能的准确性、泛化性和鲁棒性亦不断提高。

3、对于高速场景中的部分辅助驾驶功能而言，对前视目标物的感测至关重要。因此，有必要提出相应的感测方案，以便合理且有效地提供辅助决策的信息。

技术实现思路

1、根据本申请的一个方面，提供用于车辆的前视视频处理方法，该方法包括：获取车辆前方视频；对所述获取的视频进行预处理，所述预处理包括对所述视频的图像进行矫正和透视变换；对已经过预处理的视频进行目标识别以获得先验框，作为所述目标的单帧二维检测框；以及进行如下项中的一项或多项：对所述单帧二维检测框，提取感兴趣的区域以获得感兴趣区域；基于所述单帧二维检测框对所述已经过预处理的视频进行单帧三维目标检测，以获得单帧三维检测框基于对已经过预处理的视频的连续多帧的对比来对所述单帧二维检测框进行目标追踪处理，以获得所述目标的标识信息。

2、根据本申请的用于车辆的前视视频处理方法，示例地，对所述单帧二维检测框，提取感兴趣的区域还包括：对所述感兴趣区域进行颜色识别，以获得所述感兴趣区域的颜色信息。

3、根据本申请的用于车辆的前视视频处理方法，示例地，基于所述单帧三维检测框，对其中所述目标进行测距，以获得所述目标的三维坐标。

4、根据本申请的用于车辆的前视视频处理方法，示例地，将所述单帧二维检测框、所述感兴趣区域、所述单帧三维检测框、所述目标的标识信息、所述颜色信息中的一项或多项输出。

5、根据本申请的用于车辆的前视视频处理方法，示例地，将所述单帧二维检测框、所述感兴趣区域、所述单帧三维检测框、所述目标的标识信息、所述目标的三维坐标中的一项或多项输出。

6、根据本申请的再一方面，还提供用于车辆的前视视频处理系统，所述系统包括：存储器，其用于存储程序指令；处理器，其被设置为在执行所述存储器中的指令时，执行如上所述的方法。

7、根据本申请的用于车辆的前视视频处理系统，示例地，所述系统还包括摄像头，其设置在车辆上用于获取所述车辆的所述前方视频；

8、根据本申请的用于车辆的前视视频处理系统，示例地，所述摄像头为前视鱼眼摄像头，而所述处理器和所述存储器实现在工控机中，所述工控机能设置在所述车辆上。

9、根据本申请的另外的方面，还提供用于车辆的前视视频处理系统，所述系统包括：图像获取模块，用于获取车辆前方视频；预处理模块，用于对所述获取的视频进行预处理，所述预处理包括对所述视频的图像进行矫正和透视变换；二维检测模块，用于对已经过预处理的视频进行目标识别以获得先验框，作为所述目标的单帧二维检测框；以及如下模块中的一个或多个：提取模块，用于对所述单帧二维检测框，提取感兴趣的区域以获得感兴趣区域；三维检测模块，用于基于所述单帧二维检测框对所述已经过预处理的视频进行单帧三维目标检测，以获得单帧三维检测框；目标追踪模块，用于基于对已经过预处理的视频的连续多帧的对比来对所述单帧二维检测框进行目标追踪处理，以获得所述目标的标识信息。

10、根据本申请的用于车辆的前视视频处理系统，示例地，所述系统还包括颜色识别模块，用于对所述感兴趣区域进行颜色识别，以获得所述感兴趣区域的颜色信息。

11、根据本申请的用于车辆的前视视频处理系统，示例地，所述系统还包括测距模块，用于基于所述单帧三维检测框，对其中所述目标进行测距，以获得所述目标的三维坐标。

12、根据本申请的用于车辆的前视视频处理系统，示例地，所述系统还包括输出模块，用于输出所述单帧二维检测框、所述感兴趣区域、所述单帧三维检测框、所述目标的标识信息、所述颜色信息中的一项或多项。

13、根据本申请的用于车辆的前视视频处理系统，示例地，所述系统还包括输出模块，用于输出所述单帧二维检测框、所述感兴趣区域、所述单帧三维检测框、所述目标的标识信息、所述目标的三维坐标中的一项或多项。

14、本申请还提供一种车辆，所述车辆包括如上所述的用于车辆的前视视频处理系统，或能执行如上所述的用于车辆的前视视频处理方法。

技术特征：

1.一种用于车辆的前视视频处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的用于车辆的前视视频处理方法，其特征在于，对所述单帧二维检测框，提取感兴趣的区域以获得感兴趣区域还包括：

3.根据权利要求1所述的用于车辆的前视视频处理方法，其特征在于，所述方法还包括：基于所述单帧三维检测框，对其中所述目标进行测距，以获得所述目标的三维坐标。

4.根据权利要求2所述的用于车辆的前视视频处理方法，其特征在于，所述方法还包括：将所述单帧二维检测框、所述感兴趣区域、所述单帧三维检测框、所述目标的标识信息、所述颜色信息中的一项或多项输出。

5.根据权利要求3所述的用于车辆的前视视频处理方法，其特征在于，所述方法还包括：将所述单帧二维检测框、所述感兴趣区域、所述单帧三维检测框、所述目标的标识信息、所述目标的三维坐标中的一项或多项输出。

6.一种用于车辆的前视视频处理系统，其特征在于，所述系统包括：

7.根据权利要求6所述的用于车辆的前视视频处理系统，其特征在于，所述系统还包括：

8.根据权利要求7所述的用于车辆的前视视频处理系统，其特征在于，所述摄像头为前视鱼眼摄像头，所述处理器和所述存储器实现在工控机中，所述工控机能设置在所述车辆上。

9.一种用于车辆的前视视频处理系统，其特征在于，所述系统包括：

10.根据权利要求9所述的用于车辆的前视视频处理系统，其特征在于，所述系统还包括：

11.权利要求9所述的用于车辆的前视视频处理系统，其特征在于，所述系统还包括：

12.根据权利要求10所述的用于车辆的前视视频处理系统，其特征在于，所述系统还包括：

13.根据权利要求11所述的用于车辆的前视视频处理系统，其特征在于，所述系统还包括：

14.一种车辆，其特征在于，所述车辆包括如权利要求9到13中任意一项所述的用于车辆的前视视频处理系统，或能执行如权利要求1到5中任意一项所述的用于车辆的前视视频处理方法，或包括如权利要求6到8中用于车辆的前视视频处理系统。

技术总结本申请提供用于车辆的前视视频处理方法，该方法包括：获取车辆前方视频；对所述获取的视频进行预处理，所述预处理包括对所述视频的图像进行矫正和透视变换；对已经过预处理的视频进行目标识别以获得先验框，作为所述目标的单帧二维检测框；以及进行如下项中的一项或多项：对所述单帧二维检测框，提取感兴趣的区域以获得感兴趣区域；基于所述单帧二维检测框对所述已经过预处理的视频进行单帧三维目标检测，以获得单帧三维检测框基于对经过预处理的视频的连续多帧的对比来对所述单帧二维检测框进行目标追踪处理，以获得所述目标的标识信息。还提供用于车辆的前视视频处理系统、车辆。技术研发人员：刘志恒,柯任辰,陈威,陆晔祺,陈德清,任华维,史钟晖受保护的技术使用者：上汽通用汽车有限公司技术研发日：技术公布日：2024/8/1