用于智能驾驶的图像处理方法和装置与流程

技术特征：
1.一种用于智能驾驶的多任务图像处理方法，包括：使用车辆上的一个或多个鱼眼相机获取多帧图像；使用共享主干网络模型处理所获得的多帧图像以获得用于多个图像处理任务的共享特征图集合；以及针对所述多个图像处理任务中的每个图像处理任务，使用单独的头部网络模型来处理所述共享特征图集合以获得该图像处理任务的预测结果。2.如权利要求1所述的方法，其中共享主干网络模型包括残差网络模型和多尺度融合模型。3.如权利要求1或2所述的方法，其中所述多个图像处理任务包括障碍物检测任务和字符检测任务，并且其中用于障碍物检测任务的头部网络模型包括centernet网络模型，用于字符检测任务的头部网络模型包括dbnet网络模型和卷积递归神经网络模型。4.如权利要求1所述的方法，进一步包括，使用transformer模型对所获得的共享特征图集合中的各特征图进行空间融合。5.如权利要求4所述的方法，进一步包括，使用循环神经网络模型对经空间融合的共享特征图集合中的特征图进行时间融合。6.如权利要求1所述的方法，进一步包括，对用于所述多个图像处理任务的多个头部网络模型进行联合训练，所述联合训练包括：对用于每个图像处理任务的头部网络模型的输出应用一权重并对经加权的输出求和以计算用于所述多个图像处理任务的多个头部网络模型的多任务损失函数，以及使所述多任务损失函数收敛。7.一种用于智能驾驶的多任务图像处理装置，包括：图像获取模块，所述图像获取模块被配置成使用车辆上的一个或多个鱼眼相机获取多帧图像；共享主干网络模型，所述共享主干网络模型被配置成处理所获得的多帧图像以获得用于多个图像处理任务的共享特征图集合；以及多个头部网络模型，所述多个头部网络模型中的每一个头部网络模型被配置成针对所述多个图像处理任务中的一个图像处理任务，处理所述共享特征图集合以获得该图像处理任务的预测结果。8.如权利要求7所述的装置，其中共享主干网络模型包括残差网络模型和多尺度融合模型。9.如权利要求7或8所述的装置，其中所述多个图像处理任务包括障碍物检测任务和字符检测任务，并且其中用于障碍物检测任务的头部网络模型包括centernet网络模型，用于字符检测任务的头部网络模型包括dbnet网络模型和卷积递归神经网络模型。10.如权利要求7所述的装置，进一步包括空间融合模块，所述空间融合模块被配置成使用transformer模型对所获得的共享特征图集合中的各特征图进行空间融合。11.如权利要求10所述的装置，进一步包括时间融合模块，所述时间融合模块被配置成使用循环神经网络模型对经空间融合的共享特征图集合中的特征图进行时间融合。12.如权利要求7所述的装置，所述装置被配置成对用于所述多个图像处理任务的多个头部网络模型进行联合训练，所述联合训练包括：对用于每个图像处理任务的头部网络模型的输出应用一权重并对经加权的输出求和以计算用于所述多个图像处理任务的多个头
部网络模型的多任务损失函数，以及使所述多任务损失函数收敛。13.一种电子设备，包括处理器和存储器，所述存储器存储有程序指令；所述处理器运行程序指令实现如权利要求1至权利要求6中任一项所述的用于智能驾驶的多任务图像处理方法。

技术总结
本申请提供了用于智能驾驶的图像处理方法和装置。一种用于智能驾驶的多任务图像处理方法包括：使用车辆上的一个或多个鱼眼相机获取多帧图像；使用共享主干网络模型处理所获得的多帧图像以获得用于多个图像处理任务的共享特征图集合；以及针对所述多个图像处理任务中的每个图像处理任务，使用单独的头部网络模型来处理所述共享特征图集合以获得该图像处理任务的预测结果。理任务的预测结果。理任务的预测结果。


技术研发人员：俞力 陈新元 吴子章
受保护的技术使用者：纵目科技(上海)股份有限公司
技术研发日：2021.11.25
技术公布日：2022/2/18