多模态大模型驾驶风险判断方法、系统、介质及程序产品与流程

本技术属于陆地运载工具的位置控制领域，尤其涉及一种多模态大模型驾驶风险判断方法、系统、介质及程序产品。

背景技术：

1、在驾驶风险判断领域，技术的发展一直在不断进步。传统的风险判定方法多依赖于车辆上安装的各类传感器所收集的数据，并通过这些数据进行简单的阈值判断或基于规则的判定。随着技术的发展，尤其是机器学习和人工智能技术的兴起，更复杂的判定模型被引入到这一领域，使得风险的预测和判定更加精准。

2、在相关技术中，在判定模型根据收集到的数据判断有碰撞风险时，会主动降低车辆的行驶速度，或直接接管方向盘控制权，控制车辆规避碰撞，又或者直接刹停车辆，以保证行车安全。

3、然而，这样直接介入控制车辆的方式可能是在一瞬间发生，如果突然降低车速或突然改变行驶方向可能会使车内人员受到惊吓，驾驶员可能会做出影响驾驶安全的操作，例如猛打方向、急踩刹车或误踩油门，降低了汽车的行驶安全性。或者驾驶员原本可以自己控制车辆规避碰撞，但是方向盘已经被系统控制，驾驶员难以自行控制车辆行驶方向，从而降低了汽车的行驶安全性。

技术实现思路

1、本技术提供了一种多模态大模型驾驶风险判断方法、系统、介质及程序产品，用于结合驾驶员的实时状态，提高对驾驶风险判断的准确性，辅助驾驶员规避风险，进而提高驾驶的安全性。

2、第一方面，本技术提供了一种多模态大模型驾驶风险判断方法，在确定车辆存在碰撞风险的情况下，确定碰撞风险的风险等级，风险等级包括第一等级、第二等级和第三等级，第一等级、第二等级和第三等级的碰撞概率依次增大；

3、在确定风险等级为第一等级的情况下，控制车辆的车机系统开启第一预设报警模式；

4、在确定风险等级为第二等级的情况下，通过车辆内的预设摄像头获取驾驶员的实时视频；

5、将实时视频及车辆总线数据输入到多模态第一阶大模型中，得到第一结果，第一结果包括驾驶员风险类型和驾驶员风险概率；

6、将第一结果和车外摄像头发送的车外环境视频输入到多模态第二阶大模型中，得到第二结果，第二结果包括修正风险类型和修正风险概率；

7、判断修正风险概率是否大于预设风险概率；

8、若大于预设风险概率，则判断修正风险类型是否在预设风险类型表中；

9、若不在预设风险类型表中，则执行控制车辆的车机系统开启第一预设报警模式的步骤；

10、若在预设风险类型表中，则控制车辆以预设加速度减速并控制车机系统开启第二预设报警模式，第二预设报警模式中开启的功能数量大于第一预设报警模式中开启的功能数量；

11、若不大于预设风险概率，则执行控制车辆的车机系统开启第一预设报警模式的步骤；

12、在确定风险等级为第三等级的情况下，控制车辆按照预设规避方案行驶。

13、通过采用上述技术方案，将碰撞风险分为三个等级，根据风险程度采取不同的应对策略，能够更加精准地应对不同情况，避免过度反应或反应不足。在第二等级风险时引入了多模态大模型的分析，这种方法结合了车内驾驶员状态和车外环境信息，能够更全面地评估风险。通过两阶段的大模型分析，系统能够更准确地判断风险类型和概率，从而采取更有针对性的措施。在最高风险等级时，驾驶员可能来不及做出规避操作，系统会自动执行预设的规避方案，以提高车辆规避碰撞风险的成功率。该技术方案结合了驾驶员的实时状态，提高了对驾驶风险判断的准确性，辅助驾驶员规避风险，进而提高了驾驶的安全性。

14、结合第一方面的一些实施例，在一些实施例中，在确定车辆存在碰撞风险的情况下，确定碰撞风险的风险等级，具体包括：

15、获取车辆外碰撞传感器的实时监测数据，并根据实时监测数据计算每个潜在碰撞物与车辆的实时最短距离；

16、当存在实时最短距离不大于预设预警距离的情况下，确定车辆存在碰撞风险；

17、将不大于第一预设碰撞距离的实时最短距离对应的潜在碰撞物的风险等级确定为第三等级；

18、将大于第一预设碰撞距离且不大于第二预设碰撞距离的实时最短距离对应的潜在碰撞物的风险等级确定为第二等级；

19、将大于第二预设碰撞距离且不大于预设预警距离的实时最短距离对应的潜在碰撞物的风险等级确定为第一等级。

20、通过采用上述技术方案，系统实时监测车辆外部的碰撞传感器数据，计算潜在碰撞物与车辆的最短距离，能够提高发现潜在危险的概率和效率。将风险等级与具体的距离范围相对应，如将不大于第一预设碰撞距离的情况判定为最高风险等级，这种明确的划分标准使得风险评估更加客观和一致。这种基于距离的分级方法也考虑了不同速度和道路条件下的反应时间差异，预设距离阈值可以根据实际情况进行调整。能够提高识别潜在危险的准确率，并根据危险的紧迫程度采取相应的措施，从而在提高安全性的同时，减少了过度干预对正常驾驶的影响。

21、结合第一方面的一些实施例，在一些实施例中，在将大于第二预设碰撞距离且不大于预设预警距离的实时最短距离对应的潜在碰撞物的风险等级确定为第一等级之后，方法还包括：

22、当存在实时最短距离大于预设预警距离的情况下，获取每个潜在碰撞物的实时监控视频；

23、根据实时监控视频判断是否存在潜在碰撞物的转向灯方向为靠近车辆的方向；

24、若存在，则将潜在碰撞物的风险等级确定为第一等级；

25、若不存在，则根据实时监控视频判断是否存在潜在碰撞物的行驶方向为靠近车辆的方向；

26、若存在，则将潜在碰撞物的风险等级确定为第一等级；

27、若不存在，则确定车辆不存在碰撞风险。

28、通过采用上述技术方案，对于距离超过预设预警距离的潜在碰撞物，系统继续进行监控和分析，当其靠近车辆时能够及时发现并做出预警，能够降低超出预设预警距离的潜在碰撞物带来的风险。系统通过分析潜在碰撞物的转向灯状态和行驶方向，能够预测其未来的运动趋势，可以提早识别潜在风险。在确认所有潜在碰撞物都不构成威胁时，系统判定不存在碰撞风险，降低了碰撞发生的概率。

29、结合第一方面的一些实施例，在一些实施例中，将实时视频及车辆总线数据输入到多模态第一阶大模型中，得到第一结果，具体包括：

30、获取历史车辆总线数据、历史驾驶员行为视频及历史车辆风险记录；

31、以历史车辆总线数据、历史驾驶员行为视频及历史车辆风险记录为训练集，对预设人工智能大模型进行训练，得到多模态第一阶大模型；

32、将实时视频及车辆总线数据输入到多模态第一阶大模型中，按照预设第一模版输出第一结果，第一结果包括驾驶员风险类型和驾驶员风险概率。

33、通过采用上述技术方案，系统利用历史车辆总线数据、历史驾驶员行为视频及历史车辆风险记录作为训练集，提高了大模型与风险判定的适配性，使大模型输出的结果更加符合驾驶员的驾驶习惯。通过对预设人工智能大模型进行训练，系统能够不断优化和更新其风险判断能力，适应不同的驾驶场景和风险模式。将实时视频和车辆总线数据同时输入到模型中，实现了对驾驶员状态和车辆状态的综合分析，这种多模态的分析方法能够捕捉到单一数据源可能忽略的风险因素，从而提高了评估驾驶风险的准确度。

34、结合第一方面的一些实施例，在一些实施例中，将第一结果和车外摄像头发送的车外环境视频输入到多模态第二阶大模型中，得到第二结果，具体包括：

35、获取车辆的历史车外环境视频；

36、以历史车外环境视频及历史车辆风险记录为训练集，对预设人工智能大模型进行训练，得到多模态第二阶大模型；

37、将第一结果和车外摄像头发送的车外环境视频输入到多模态第二阶大模型中，按照预设第二模版输出第二结果，第二结果包括修正风险类型和修正风险概率。

38、通过采用上述技术方案，系统利用历史车外环境视频及历史车辆风险记录作为训练集，使模型能够学习到各种复杂的道路环境和相应的风险模式。通过对预设人工智能大模型进行训练，系统能够不断优化其对外部环境的理解和风险评估能力，适应不同的道路情况和天气条件，提高了对风险类型和风险概率预估的准确度。

39、结合第一方面的一些实施例，在一些实施例中，在确定风险等级为第三等级的情况下，控制车辆按照预设规避方案行驶，具体包括：

40、预设规避方案行驶为：

41、根据实时监控视频判断车辆行驶方向的反方向是否有潜在碰撞物；

42、若不存在潜在碰撞物，则控制车辆减速且保持碰撞风险为第二等级；

43、若存在潜在碰撞物，则根据实时监控视频判断车辆的左右方向是否存在潜在碰撞物；

44、若不存在潜在碰撞物，则控制车辆向垂直于行驶方向的任一车道变更；

45、若存在潜在碰撞物，则控制车辆变更行驶方向使驾驶员不在正面碰撞范围之内。

46、通过采用上述技术方案，系统根据实时监控视频判断车辆周围环境，判断是否存在潜在碰撞物，为后续车辆的规避方向提供了数据参考。若不存在潜在碰撞物，系统优先选择减速并保持在第二等级风险状态，在提高安全性的同时，也降低了过度反应可能带来新风险的发生概率。如果减速不足以规避风险，系统会考虑向左右方向变道，这提供了更多的规避选项。在极端情况下，系统会控制车辆改变行驶方向，使驾驶员避开正面碰撞范围，这种措施虽然可能带来一定风险，但在紧急情况下能最大程度保护驾驶员的安全。提高了在高风险情况下的应对能力，提高了驾驶员的安全性。

47、结合第一方面的一些实施例，在一些实施例中，控制车辆变更行驶方向使驾驶员不在正面碰撞范围之内，具体包括：

48、在确定车辆左侧或右侧存在潜在碰撞物且另一侧不存在潜在碰撞物的情况下，计算正面碰撞范围使驾驶员不在正面碰撞范围之内，正面碰撞范围为车辆与前方的潜在碰撞物撞击时的接触面积。

49、通过采用上述技术方案，系统会判断车辆左右两侧的情况，只有在一侧有潜在碰撞物而另一侧没有的情况下才会控制车辆变更行驶方向使驾驶员不在正面碰撞范围之内，提高了规避动作的安全性。通过计算正面碰撞范围，系统能够确定需要避开的区域。能更好地保护驾驶员，减少规避动作可能带来的二次风险。

50、第二方面，本技术实施例提供了一种多模态大模型驾驶风险判断系统，该多模态大模型驾驶风险判断系统包括：一个或多个处理器和存储器；存储器与一个或多个处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，一个或多个处理器调用计算机指令以使得系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

51、第三方面，本技术实施例提供一种计算机可读存储介质，包括指令，当上述指令在系统上运行时，使得上述系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

52、第四方面，本技术实施例提供一种计算机程序产品，当计算机程序产品在系统上运行时，使得系统执行如第一方面中任一可能的实现方式描述的方法。

53、本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

54、1、本技术提供了一种多模态大模型驾驶风险判断方法，将碰撞风险分为三个等级，根据风险程度采取不同的应对策略，能够更加精准地应对不同情况，避免过度反应或反应不足。在第二等级风险时引入了多模态大模型的分析，这种方法结合了车内驾驶员状态和车外环境信息，能够更全面地评估风险。通过两阶段的大模型分析，系统能够更准确地判断风险类型和概率，从而采取更有针对性的措施。在最高风险等级时，驾驶员可能来不及做出规避操作，系统会自动执行预设的规避方案，以提高车辆规避碰撞风险的成功率。该技术方案结合了驾驶员的实时状态，提高了对驾驶风险判断的准确性，辅助驾驶员规避风险，进而提高了驾驶的安全性。

55、2、本技术提供了一种多模态大模型驾驶风险判断方法，系统实时监测车辆外部的碰撞传感器数据，计算潜在碰撞物与车辆的最短距离，能够提高发现潜在危险的概率和效率。将风险等级与具体的距离范围相对应，如将不大于第一预设碰撞距离的情况判定为最高风险等级，这种明确的划分标准使得风险评估更加客观和一致。这种基于距离的分级方法也考虑了不同速度和道路条件下的反应时间差异，预设距离阈值可以根据实际情况进行调整。能够提高识别潜在危险的准确率，并根据危险的紧迫程度采取相应的措施，从而在提高安全性的同时，减少了过度干预对正常驾驶的影响。

56、3、本技术提供了一种多模态大模型驾驶风险判断方法，系统根据实时监控视频判断车辆周围环境，判断是否存在潜在碰撞物，为后续车辆的规避方向提供了数据参考。若不存在潜在碰撞物，系统优先选择减速并保持在第二等级风险状态，在提高安全性的同时，也降低了过度反应可能带来新风险的发生概率。如果减速不足以规避风险，系统会考虑向左右方向变道，这提供了更多的规避选项。在极端情况下，系统会控制车辆改变行驶方向，使驾驶员避开正面碰撞范围，这种措施虽然可能带来一定风险，但在紧急情况下能最大程度保护驾驶员的安全。提高了在高风险情况下的应对能力，提高了驾驶员的安全性。