自动驾驶车辆中决策模型的训练和使用方法、装置及车辆与流程

本技术涉及自动驾驶，特别涉及一种自动驾驶车辆中决策模型的训练和使用方法、装置及车辆。

背景技术：

1、当自动驾驶车辆行驶到路口时，自动驾驶车辆中部署的决策模型需要识别路口的行驶环境，根据识别结果生成决策指令并发送给执行模块，由执行模块指导自动驾驶车辆的实际行驶。

2、相关技术中，决策模型对路口的行驶环境的识别强依赖于红绿灯。具体的，自动驾驶车辆中部署的相机会从不同角度全方位采集路口周边的图像信息，这些图像不仅包括路面情况、车辆位置， 还包括关键的交通信号灯、路牌等重要元素，为后续的检测和决策提供了宝贵的视觉数据。然后，利用目标检测算法，如yolo系列，对采集的图像进行检测，识别出图像中各个红绿灯的位置、颜色、朝向以及灯型等红绿灯信息。然后，将检测到的红绿灯信息与预先构建的三维高精地图中的红绿灯位置进行匹配，成功匹配后，可获知自动驾驶车辆的行驶方向所待看的红绿灯的颜色、灯型等重要信息。最后，根据匹配获得的红绿灯的状态，结合人工预先在决策模型中设定的复杂决策规则，可以推断出当前路口环境下，自动驾驶车辆是否能够直行、左转、右转或停车等动作决策。这些决策规则由交通法规、安全距离等多方面因素综合决定，需要开发人员根据实际情况进行精心设计和调试，以确保决策的准确性和车辆的行驶安全。

3、在进行路口的行驶环境识别时，不仅要求目标检测算法具备卓越的检测精度，还必须有很强的鲁棒性，能够适应各种复杂的环境条件，如阳光直射、阴暗潮湿、雾霾等不利气象，且要求目标检测算法能够可靠识别出各种形状、尺寸、朝向的红绿灯，涵盖行人灯、车灯、箭头灯等多种类型，这对目标检测算法的设计、训练数据的质量和数量都提出了很高的要求。当三维高精地图的准确度不高，更新频率低时，容易出现匹配失败甚至误匹配的情况。另外，决策模型中设定的决策规则无法涵盖所有的行驶环境，这就导致决策模型无法生成准确的决策指令，导致自动驾驶车辆无法正常行驶。

技术实现思路

1、本技术提供了一种自动驾驶车辆中决策模型的训练和使用方法、装置及车辆，用于解决路口的行驶环境的识别不准确、无法进行决策指导的问题。所述技术方案如下：

2、根据本技术的第一方面，提供了一种自动驾驶车辆中决策模型的训练方法，所述方法包括：

3、获取第一训练集和第二训练集，所述第一训练集中的训练样本包括第一路口图像和第一标签，所述第二训练集中的训练样本包括第二路口图像和第二标签，所述第一标签用于标注所述第一路口图像中各个目标的真实目标信息，所述第二标签用于标注所述第二路口图像中各个目标的真实目标信息和真实行驶策略，所述真实行驶策略是基于所述第二路口图像所示的路口的行驶环境，从多种行驶策略中选出的一种正确的行驶策略；

4、创建决策模型，所述决策模型中包括用于预测每种行驶策略的概率值的预测模块，且所述预测模块是基于所述多种行驶策略之间的关联性设置的；

5、利用所述第一训练集中的第一路口图像和第一标签对所述决策模型进行n轮训练；

6、利用所述第二训练集中的第二路口图像和第二标签对n轮训练后的决策模型进行训练，得到训练好的决策模型，所述训练好的决策模型用于基于输入的路口图像预测自动驾驶车辆的行驶策略。

7、在一种可能的实现方式中，所述利用所述第一训练集中的第一路口图像和第一标签对所述决策模型进行n轮训练，包括：

8、在每轮训练中，利用所述决策模型对所述第一训练集中的第一路口图像进行处理，得到预测目标信息；根据第一损失函数对所述预测目标信息和对应的真实目标信息进行损失计算，并根据所述损失计算更新所述决策模型。

9、在一种可能的实现方式中，所述利用所述第二训练集中的第二路口图像和第二标签对n轮训练后的决策模型进行训练，包括：

10、在每轮训练中，利用所述决策模型对所述第二训练集中的第二路口图像进行处理，得到预测目标信息和预测行驶策略；根据第二损失函数对所述预测目标信息以及对应的真实目标信息、所述预测行驶策略以及对应的真实行驶策略进行损失计算，并根据所述损失计算更新所述决策模型。

11、在一种可能的实现方式中，所述预测模块中的分布函数和超参数是基于所述多种行驶策略之间的关联性设置的。

12、根据本技术的第二方面，提供了一种自动驾驶车辆中决策模型的使用方法，所述方法包括：

13、获取自动驾驶车辆在路口采集的路口图像；

14、获取预先训练的决策模型，所述决策模型采用如上所述的训练方法训练得到；

15、利用所述决策模型对所述路口图像进行处理，每种行驶策略的概率值；

16、将概率值最大的行驶策略确定为得到预测行驶策略，所述预测行驶策略用于指示所述自动驾驶车辆在所述路口的行驶策略。

17、在一种可能的实现方式中，所述决策模型包括预测模块，且所述预测模块中的分布函数和超参数是基于所述多种行驶策略之间的关联性设置的。

18、根据本技术的第三方面，提供了一种自动驾驶车辆中决策模型的训练装置，所述装置包括：

19、训练集获取模块，用于获取第一训练集和第二训练集，所述第一训练集中的训练样本包括第一路口图像和第一标签，所述第二训练集中的训练样本包括第二路口图像和第二标签，所述第一标签用于标注所述第一路口图像中各个目标的真实目标信息，所述第二标签用于标注所述第二路口图像中各个目标的真实目标信息和真实行驶策略，所述真实行驶策略是基于所述第二路口图像，从多种行驶策略中选出的一种正确的行驶策略；

20、模型创建模块，用于创建决策模型，所述决策模型中包括用于预测每种行驶策略的概率值的预测模块，且所述预测模块是基于所述多种行驶策略之间的关联性设置的；

21、第一训练模块，用于利用所述第一训练集中的第一路口图像和第一标签对所述决策模型进行n轮训练；

22、第二训练模块，用于利用所述第二训练集中的第二路口图像和第二标签对n轮训练后的决策模型进行训练，得到训练好的决策模型，所述训练好的决策模型用于基于输入的路口图像预测自动驾驶车辆的行驶策略。

23、根据本技术的第四方面，提供了一种自动驾驶车辆中决策模型的使用装置，所述装置包括：

24、图像获取模块，用于获取自动驾驶车辆在路口采集的路口图像；

25、模型获取模块，用于获取预先训练的决策模型，所述决策模型采用如上所述的训练方法训练得到；

26、概率计算模块，用于利用所述决策模型对所述路口图像进行处理，每种行驶策略的概率值；

27、策略确定模块，用于将概率值最大的行驶策略确定为得到预测行驶策略，所述预测行驶策略用于指示所述自动驾驶车辆在所述路口的行驶策略。

28、根据本技术的第五方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的自动驾驶车辆中决策模型的训练方法，或者，所述至少一条指令由处理器加载并执行以实现如上所述的自动驾驶车辆中决策模型的使用方法。

29、根据本技术的第六方面，提供了一种自动驾驶车辆，其特征在于，所述自动驾驶车辆包括：如上所述的自动驾驶车辆中决策模型的使用装置。

30、本技术提供的技术方案的有益效果至少包括：

31、通过训练一种端到端的决策模型，可以直接根据路口图像中的全局信息生成对应的行驶策略，不再需要识别红绿灯的颜色、朝向、灯型等细致信息，也不再需要依赖于高精地图、人工设计的复杂规则，既能够节省大量的高精地图的标注和维护成本，也降低了检测难度，提高了检测效率。