一种智能座舱仿生眼机器人舱驾融合感知决策方法及系统

本发明涉及人机交互与智能驾驶，尤其涉及一种智能座舱仿生眼机器人舱驾融合感知决策方法及系统。

背景技术：

1、车载智能机器人是运用于车载智能座舱场景的一种服务机器人，属于社交机器人、个人交互机器人，主要提供驾驶智能信息、提升人机交互能力，具有拟人化以及一定程度自主交互能力的机器人。一个决策智能、感知能力强、人性化的车载机器人可以提高行驶安全性和决策科学性，通过恰当的、贴心的人机交互行为使用户在行驶过程中保持身心愉悦，从而提升整体的驾驶和乘坐体验。

2、传统的车载机器人以纯语音形式，智能屏上的虚拟形象，或全息投影为主，可以进行一些简单的被动交互。

3、然而，传统的车载机器人无法同时观察到座舱内外的情况从而进行更科学的智能决策，而且拟人性不足，大多不以实体形态出现，也不能在用户未发出指令的情况下灵活地进行主动交互。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、鉴于上述现有存在的问题，提出了本发明。

3、因此，本发明提供了一种智能座舱仿生眼机器人舱驾融合感知决策方法及系统解决现有技术存在的无法同时观察到座舱内外的情况、拟人性不足、不能灵活主动交互等缺陷的问题。

4、为解决上述技术问题，本发明提供如下技术方案：

5、第一方面，本发明提供了一种智能座舱仿生眼机器人舱驾融合感知决策方法，包括：

6、舱外观察眼获取舱外异常情况，生成并发送异常信息和接管信息；

7、舱内观察眼接收所述异常信息和接管信息后，基于驾驶员视线凝点判断驾驶员注意力是否朝向舱外异常情况，并进行接管主体选择，实现智能座舱内外的人机共驾协同决策。

8、作为本发明所述的智能座舱仿生眼机器人舱驾融合感知决策方法的一种优选方案，其中：

9、所述接管主体选择，包括：

10、若驾驶员的注意力朝向与舱外异常情况朝向不相同，则判定为不安全，自动驾驶系统拒绝驾驶员接管，继续按自动驾驶系统策略处理异常情况；

11、若驾驶员的注意力朝向与舱外异常情况朝向相同，则判定为安全，自动驾驶系统同意驾驶员接管，若舱内观察眼一段时间内没有接收到异常信息，则将控制权交还给自动驾驶系统。

12、作为本发明所述的智能座舱仿生眼机器人舱驾融合感知决策方法的一种优选方案，其中：

13、所述舱外异常情况，包括：

14、第一种类型为在自动驾驶过程中，前方突然出现行人、车辆或其他障碍物；

15、第二种类型为车辆在没有打转向灯的情况下偏离了当前车道；

16、第三种类型为在行驶过程中遇到交通拥堵和交通事故；

17、第四种类型为在行驶过程中遇到坑洼路段和施工区域。

18、作为本发明所述的智能座舱仿生眼机器人舱驾融合感知决策方法的一种优选方案，其中：

19、所述舱内预警情况，包括

20、若舱内人员未系安全带，则自动驾驶系统发出二级警报；

21、若车辆起步后未松手刹且速度超过50km/h时，则自动驾驶系统发出一级警报；

22、若大灯在白天处于开启状态，则自动驾驶系统发出三级警报；

23、若舱外环境处于黑暗环境下而灯光未开启，则自动驾驶系统发出一级警报；

24、若车辆速度在经过限速路段时超过道路限速标牌，则自动驾驶系统发出三级警报；

25、若车辆速度达到120km/h以上，则自动驾驶系统发出一级警报；

26、所述三级警报为提醒警报，二级警报为重要警报，一级警报为危险警报；

27、若三种警报同时发生，优先级为：一级警报，二级警报，三级警报。

28、作为本发明所述的智能座舱仿生眼机器人舱驾融合感知决策方法的一种优选方案，其中：

29、所述基于驾驶员视线凝点判断驾驶员的注意力，包括通过resnet深度残差网络提取驾驶员面度的眼睛与鼻梁3d坐标，通过以下公式计算驾驶员视线朝向角度：

30、

31、其中，(x1,y1,z1)和(x2,y2,z2)分别是驾驶员眼睛和鼻梁的3d坐标，r1和r2分别是眼睛和鼻梁的半径，θ是眼睛和鼻梁之间的夹角。

32、作为本发明所述的智能座舱仿生眼机器人舱驾融合感知决策方法的一种优选方案，其中：

33、所述自动驾驶系统策略，包括：

34、若出现舱外异常情况的第一种类型事件，则自动驾驶系统应迅速识别障碍物并采取紧急刹车措施，在刹车后向舱内发出语音提示，告知前方有障碍物，并进行接管主体选择；

35、若出现舱外异常情况的第二种类型事件，则自动驾驶系统应通过自动调整方向盘将车辆引导回原车道，在车辆回正后向舱内发出语音提示，告知车道偏离的情况，并进行接管主体选择；

36、若出现舱外异常情况的第三种类型事件，则自动驾驶系统应减速并保持安全距离，在减速并保持安全距离后向舱内发出语音提示，告知当前路况和预计的延迟时间，并询问是否需要改变路线；

37、若出现舱外异常情况的第四种类型事件，则自动驾驶系统应减速通过，在通过后向舱内发出语音提示，告知道路施工或障碍物的情况，并进行接管主体选择。

38、第二方面，本发明提供了一种智能座舱仿生眼机器人舱驾融合感知决策系统，包括：

39、获取模块，舱外观察眼获取舱外异常情况，生成并发送异常信息和接管信息；

40、判断模块，舱内观察眼接收所述异常信息和接管信息后，基于驾驶员视线凝点判断驾驶员注意力是否朝向舱外异常情况，并进行接管主体选择，实现智能座舱内外的人机共驾协同决策。

41、更进一步的，所述舱内观察眼包括：

42、多自由度类人头部运动控制模块，用于实现仿生眼机器人的头部旋转、侧倾以及俯仰运动；

43、基于主动感知双向仿生眼的舱内外协同感知模块，用于通过仿生眼摄像头获取驾驶员信息和实时路况；

44、多用户识别记忆与交互模块，用于识别用户音色特征、身份和位置的个性化交互；

45、驾驶习惯记忆分析模块，用于记录驾驶行为，评估驾驶员的安全意识和操作熟练度；

46、出行安全性评估模块，用于评估出行安全性，提供出行建议；

47、舱内智能定位模块，用于接收交互指令，通过头部运动控制模块感知乘客状态；

48、日常事务处理模块，用于连接车载系统，处理日常事务；

49、基于用户画像的多感官主动交互模块，用于通过用户画像预测行为，多感官途径与用户主动交互。

50、第三方面，本发明提供了一种计算设备，包括：

51、存储器，用于存储程序；

52、处理器，用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现所述智能座舱仿生眼机器人舱驾融合感知决策方法的步骤。

53、第四方面，本发明提供了一种计算机可读存储介质，包括：所述程序被处理器执行时，实现所述的智能座舱仿生眼机器人舱驾融合感知决策方法的步骤。

54、本发明的有益效果：根据“一机多用”理念，依托仿生眼机器人集成多维度智能感知交互的多功能轻量化座舱平台，能够替代dms/oms功能，实现舱内全息感知，全方位覆盖智能座舱中各类人员的各种需求，并结合基于边缘计算的深度学习与强化学习，不断优化用户体验。