基于多源数据融合的驾驶安全系统及智控方法

本发明属于车辆驾驶智能安全检测，具体涉及基于多源数据融合的驾驶安全系统及智控方法。

背景技术：

1、在过去的几十年里，随着城市化进程的推进和交通运输需求的不断增加，道路交通拥堵、交通事故频发的问题逐渐显现。为了提高公路交通的安全性和效率，致力于推进智能交通系统的建设和运用。其中，营运车辆是公共交通运输的重要组成部分，具有较高的流动性和复杂性。然而，由于驾驶员疲劳、超速行驶、不良驾驶习惯等问题，以及道路环境变化等因素的影响，营运车辆事故频发、安全风险较高。安全系统利用先进的传感器技术、人工智能算法和数据分析能力，可以实时监测车辆和驾驶员的状态，提前预警潜在的危险情况，并向驾驶员发送相应的警告信号，帮助驾驶员采取正确的避险措施。这不仅有助于减少交通事故的发生，保障公众的出行安全，也推动了我国交通运输行业的科技创新和发展。

2、公告号为“cn105894736a”公开了一种疲劳驾驶监测的方向盘装置及其安全预警方法。该方法通过安装在乘用车上的方向盘转角采集模块、车速采集模块、方向盘压力采集模块和眼动特征数据采集模块等装置，采集驾驶员当前驾驶状态，将采集到的数据处理后发送给数据分析模块，可以监测驾驶员是否处于驾驶疲劳状态，同时对驾驶员自动进行安全预警。、

3、公告号为“cn104029598a”公开了一种汽车安全驾驶系统。该驾驶系统通过手部操作位压力传感器、变速杆传感器根据所接受信号分别向报警装置、油路控制装置、制动控制装置发送动作信号。该安全驾驶系统可以通过其信息采集部分采集到的信息分析得到此时是否有他人干涉驾驶员驾驶以及驾驶员是否处于正常驾状态，从而根据当前状态对驾驶员进行报警以及强制控制车辆。

4、公告号为“cn215851196u”公布了一种汽车安全驾驶辅助系统，包括驾驶员状态监测装置、行车监测装置、车内环境监测装置、控制器及报警装置，驾驶员状态监测装置包括方向盘控制监测装置、驾驶员姿态监测装置、驾驶员眼球追踪装置及驾驶员体征感应装置，行车监测装置包括三轴加速度传感器、三轴角速度传感器、三轴磁力计及gps模块，车内环境监测装置包括有毒有害气体传感器、温度传感器、湿度传感器及pm2.5传感器，报警装置用于检测驾驶员是否出现危险驾驶或疲劳驾驶的情况或者车内环境及车外环境不满足行车条件时，控制器控制报警装置报警，提醒驾驶员调整，无线通信模块用于将控制器获取的信息传送至远程服务器，当行车监测装置检测到发生碰撞或翻车时，控制器通过无线通信模块将gps位置信息发送至远程服务器，第一时间请求救援。

5、公告号为“cn115188395a”公布了一种车内争吵处理方法、装置、电子设备和存储介质，该专利的主要技术原理是通过获取车辆内人员的第一音频信息，对其进行人声提取、情感识别等处理，进而判断车内是否处于争吵状态，并在争吵发生时及时处理争吵事件，以安抚司机和乘客，减少交通事故发生。

6、从现有的专利来看，多数专利是单独针对监测驾驶员是否处于疲劳驾驶、单双手开车、驾驶争吵等单个或者部分危险驾驶行为的识别，并不能完整的识别常见的多种不良驾驶行为。公告号为“cn104029598a”仅对驾驶员疲劳驾驶状态进行识别，公告号为“cn115188395a”仅对于驾驶员争吵事件进行识别，公告号为“cn215851196u”公布了一种汽车安全驾驶辅助系统，虽然囊括种类较多，但仍旧无法覆盖较常见的危险驾驶行为，也无法对于较为危险的未注意信号灯、未礼让行人等近年来常在舆论中的驾驶行为进行预测，且现有专利对于危险驾驶的识别缺乏个体独特性以及场景差异等因素的考虑。

技术实现思路

1、本发明的目的是提供一种基于多源数据融合的驾驶安全系统及智控方法，能够对于驾驶过程中较为常见的多种危险行为进行识别，以提醒并纠正驾驶员始终处于安全驾驶状态。

2、为解决上述技术问题，本发明采用如下技术方案：基于多源数据融合的驾驶安全系统，包括数据采集装置、中央处理器和报警装置；数据采集装置的信号输出端与中央处理器的信号输入端连接，中央处理器的信号输出端与报警装置的信号输入端连接；数据采集装置包括驾驶员状态采集模块和外部数据采集模块；驾驶员状态采集模块包括非接触式眼动仪、手部操作位压力传感器和音频采集部，外部数据采集模块包括车辆数据采集器和车外摄像头。

3、进一步的，所述的非接触式眼动仪安装在驾驶位正前方的中控台上，用以监测驾驶员瞳孔直径、注视点和头部姿态数据；

4、所述的手部操作位压力传感器安装在方向盘以及变速箱操纵杆的手握区域，用以监测在操纵车辆时所给予的压力是否是正常范围内以确定驾驶员是否同时使用两只手部操纵车辆；

5、所述的音频采集部安装在方向盘内部，主要对驾驶员声音进行音频采集，声纹识别，并用以采集争吵关键词以及音频分贝；

6、所述的车辆数据采集器安装在车辆底盘中部，用以采集车辆各向速度以及加速度；

7、所述的车外摄像头安装在驾驶室车顶外部，拍摄车辆周围环境画面；

8、所述的中央处理器集成在车载电脑中，接收来自数据采集装置的数据，并通过内置算法对驾驶员状态和车辆行为进行实时分析；中央处理器还与数据库中的状态数据集进行比对，从而准确判定当前驾驶员所处状态，数据库包括驾驶行为数据库和车辆性能数据库；同时，根据判定结果，系统能够控制车辆的相应部件实施预设的反馈动作；报警装置为车内音响，报警反馈动作由中央处理器控制车内音响完成。

9、基于多源数据融合的驾驶安全智控方法，包括以下步骤：

10、s1、身份识别及情绪评估：驾驶员坐到驾驶位，启动车辆，非接触式眼动仪、手部操作位压力传感器和音频采集部也同时启动工作，采集驾驶员的生物特征和情绪信息；这一步骤旨在确保合法授权的驾驶员并评估其情绪状态；

11、s2、数据采集与处理：数据采集装置将采集的驾驶员数据传递至驾驶行为数据库构建模块，该模块运用深度学习技术对多源数据进行处理，实时更新驾驶员驾驶行为数据库，构建驾驶行为模型；采集的车辆数据传输至车辆性能数据库，该模块运用深度学习技术对多源数据进行处理，构建车辆性能表现模型；

12、s3、自适应阈值调整：根据驾驶员生物特征和环境因素进行动态调整阈值，以实现对不同驾驶情境和驾驶人群的个性化、精准识别；驾驶员可调参数允许根据具体需求进行自定义，提高系统的适应性；

13、s4、驾驶行为识别与预测：在车辆行驶过程中，实时采集的驾驶信息和自适应阈值调整的数据传递至数据库；通过深度学习技术获取关键参数，判定危险驾驶状态并预测不良行为，为驾驶者提供全方位的安全提醒。

14、进一步的，步骤s1具体包括以下步骤：

15、第一步、音频采集与处理

16、在车辆启动前，中央处理器通过音频采集部获取驾驶员的语音信息；音频采集部负责采集并传输驾驶员的语音信号至中央处理器；

17、第二步、驾驶员身份识别

18、中央处理器通过控制车内音响，对驾驶员进行一系列预设问题的提问；这些问题旨在促使驾驶员以语音方式回应；通过音频采集部获得的语音信息，中央处理器采用专门设计的算法，识别并验证驾驶员的声音，以确认其个体身份；通过确定驾驶员身份，将其身份信息传回中央处理器，从云端数据库获取驾驶员的个人信息包括但不限于驾驶员年龄、性别、驾驶年龄、健康状态和交通违法记录；

19、第三步、情绪状态评估

20、中央处理器利用预设问题对驾驶员进行语音交互，通过分析语音中的音调、语速和语言表达方面的特征，进行情绪状态评估；这一过程旨在识别驾驶员在车辆启动前的情绪状态，并为其情感状态打分；中央处理器中预设问题内容包括自适应阈值调整中所需采集的问题；

21、第四步、数据处理与存储

22、中央处理器将经过处理的语音数据与身份识别结果、情绪评分信息进行整合，然后将这些数据存储在车辆系统的数据库中；有助于建立驾驶员个体档案，为未来的情绪状态监测和个性化交互提供参考；将获得的驾驶员情感状态计入驾驶员自适应阈值调整策略心理健康影响因素中，在该因素中具有一定的影响占比；

23、第五步、启动控制

24、在完成身份识别和情绪评估后，中央处理器根据得到的结果采取相应措施；如果身份验证成功且情绪状态评分在安全范围内，车辆可继续启动；反之，系统触发相应的安全措施，提醒驾驶员或进一步的身份验证步骤。

25、进一步的，车辆性能数据库的构建具体包括以下内容：采用一种车辆数据采集器，旨在有效获取车辆在各向速度和加速度方面的详尽数据；车辆数据采集器安装于车辆底盘中部，实时监测车辆运动状态，包括但不限于速度和加速度；车辆数据采集器通过精准的数据采集机制，实时记录车辆的动态性能指标；

26、其中，车辆数据采集器在行驶过程中定期采集车辆的各向速度和加速度信息，并将所得数据传输至中央处理器；通过在车辆运行过程中对这些关键性能参数进行采样和记录，形成一个全面的车辆性能数据库；在实施过程中，利用车辆数据采集器的数据，通过深度学习算法和模型对车辆的速度变化、加速度响应以及制动性能关键指标进行分析；此分析结果有助于系统对车辆性能进行客观评估，为驾驶员提供有关车辆在各种行驶条件下的表现的量化指标。

27、进一步的，驾驶行为数据库的构建具体包括以下内容：

28、(1)通过安装在车内的非接触式眼动仪采集行程中驾驶员的眼动数据，根据采集得到的眼部注视点轨迹计算出头部运动的角度，当头部运动角度大于阈值并且持续超过所设时间阈值，系统就会判定驾驶员低头瞌睡，计入驾驶员的低头时长；系统计算自行程开始以来每分钟内的均值低头时长tc，直至行程结束；低头时长tc取值范围为0～59秒；将所采集到的数据计入驾驶员驾驶行为数据库；

29、通过非接触式眼动仪对驾驶员瞳孔直径进行检测，当小于一定直径阈值后，判定当前驾驶员为闭眼状态，计算自行程开始以来每分钟内的均值闭眼时长bc，直至行程结束；闭眼时长bc取值范围为0～59秒；将所采集到的数据计入驾驶员驾驶行为数据库；

30、驾驶过程中，驾驶员的视线转移与注意力分散紧密相连，对交通安全构成重大影响；利用非接触式眼动追踪技术，在不影响驾驶操作的前提下，实时捕捉驾驶员的视点数据；基于驾驶员的视线定位特点，将其注视区域分为五类：(1)前方区域：涵盖车辆前方的道路、交通标识以及远处的目标，主要反映驾驶员对前挡风玻璃内视野目标的注意力；(2)左后视区域：包括左侧的后视镜及其附近区域，涉及车辆左侧的目标；(3)右后视区域：车辆右侧的后视镜及其附近区域，涉及车辆右侧的目标；(4)仪表区域：涉及车辆的仪表盘和音响控制区；(5)其他区域：指除上述提到的区域外，与驾驶任务无直接关联的部分；

31、通过非接触式眼动仪采集当前驾驶员注视点，当驾驶员注视点不在上述区域(1)、(2)、(3)以内，计入分神时长，计算自行程开始以来每分钟内的均值分神时长fc，直至行程结束；分神时长fc取值范围为0～59秒；将所采集到的数据计入驾驶员驾驶行为数据库；

32、当驾驶员与乘客发生冲突时，驾驶员视野一般会脱离驾驶区域聚焦在发生冲突的对象身上，故通过非接触式眼动仪采集驾驶员注视区域，当驾驶员注视点聚集区域在已划分区域(1)、(2)、(3)、(4)之外，将其计入驾驶员眼神非法时间，计算自行程开始以来每分钟内的均值眼神非法时间为tf，直至行程结束；眼神非法时长tf取值范围为0～59秒；将所采集到的数据计入驾驶员驾驶行为数据库；

33、将驾驶员注视点聚集在仪表区域(4)计入驾驶员计算自行程开始以来每分钟内的均值看仪表时长yc，直至行程结束；看仪表时长yc取值范围为0～59秒；将所采集到的数据计入驾驶员驾驶行为数据库；

34、车辆数据采集器采集车辆横向加速度发生明显变化，将其采集数据发送至中央处理器进行分析此时车辆处于向左还是向右变道的状态，此时非接触式眼动仪采集驾驶员注视点所在划分区域，若此时车辆处于向左变道，则非接触式眼动仪采集驾驶员注视点在左侧后视镜区域(2)计入驾驶员左侧观察时间tl，直至行程结束；左侧观察时长tl取值范围为0～59秒；若此时车辆处于向右变道，则非接触式眼动仪采集到的驾驶员注视点应在右侧后视镜区域(3)，眼动采集驾驶员注视点在右侧后视镜区域计入驾驶员右侧观察时间tr，直至行程结束；右侧观察时长tr取值范围为0～59秒；

35、车外摄像头采集到红绿灯信号灯时，能够根据采集到的图像判断此时的交通信号灯状态以及信号灯所处的位置，将此时摄像头所拍摄到的红绿灯位置传送给中央处理器进行分析，实时确认以驾驶员眼睛位置红绿灯所处的注视点区域；将注视点分布区域对应细化划分为若干个小区域，以便于与车外摄像头拍摄信号灯位置进行对比；同时车内驾驶室前方的非接触式眼动仪对驾驶员眼神注视点进行追踪，由于前方道路与红绿灯所处位置水平高度有不同，故其所处注视点区域应大幅不同，记录驾驶员注视点所处区域与信号灯所处注视区域相同时长，记录为观察信号灯时长tx；将所采集到的数据计入驾驶员驾驶行为数据库；

36、车外摄像头采集到道路左右侧有行人图像时，能够根据采集到的图像判断此时的行人所处的位置，将此时摄像头所拍摄到的行人位置传送给处理器进行分析，实时确认以驾驶员眼睛位置行人所处的注视点区域；将注视点分布区域对应细化划分为若干个小区域，以便于与车外摄像头拍摄行人位置进行对比；同时车内驾驶室前方的非接触式眼动仪对驾驶员眼神注视点进行追踪，记录驾驶员注视点所处区域与行人所处注视区域相同时长，记录为观察行人时长tp；将所采集到的数据计入驾驶员驾驶行为数据库；

37、通过车辆方向盘和变速箱操纵杆上的手部操作位压力传感器采集行程中驾驶员手部离开方向盘和档位的时长，停车时间不计；每分钟计算一次该时长占当前行驶总时长的驾驶员单双手离开操作位时长占比rf，直至行程结束；单双手离开操作位时长占比rf取值范围为0～1；将所采集到的数据计入驾驶员驾驶行为数据库；

38、通过车辆驾驶室内的音频采集部对驾驶员声音进行识别并采集，首先通过麦克风采集到的音频进行人声识别，人声识别模块利用声纹识别技术，过滤掉车内人声除驾驶员的其他声音，仅从采集到的音频中保留驾驶员的声音进行下一步的处理；

39、通过声音识别后的驾驶员音频传送给中央处理器进行进一步判别，中央处理器内置关键词识别、人声分贝识别，该关键词所属人情绪较为激动时高频易出现词汇，通过关键词识别模块对于驾驶员音频进行识别，记录在音频中关键词所出现的次数，记录每分钟关键词所出现的次数gc。将所采集到的数据计入驾驶员驾驶行为数据库；

40、中央处理器内设置有分贝识别模块，负责将驾驶员人声识别后的音频进行分贝识别，在其中根据对驾驶员日常交流所得到的正常聊天最小分贝l1和正常聊天最大分贝l2；通过分贝识别模块记录过滤后的驾驶员音频，当音频声音分贝超过l1时，计入驾驶员聊天时长，记录自行程开始以来每分钟内的均值聊天时长tl1，直至行程结束；聊天时长tl1取值范围为0～59秒；当音频声音分贝超过l2时，计入驾驶员情绪异常时长，记录自行程开始以来每分钟内的均值情绪异常时长tl2，直至行程结束；情绪异常时长tl2取值范围为0～59秒；将所采集到的数据计入驾驶员驾驶行为数据库；

41、驾驶员驾驶行为数据库构建方法利用深度学习技术，对建立的特征空间进行训练；通过该训练过程，系统能够学习不同特征之间的关联性，理解个体驾驶者的独特行为模式；在系统运行时，实时地从各种传感器中获取数据，并利用这些数据不断更新驾驶员特征模型；通过不断的对于驾驶员驾驶行为采集，采用深度学习技术得到驾驶员各驾驶状态所属特征的关键参数；这样，系统可以适应驾驶员行为的变化，保持模型的准确性和适应性；对于驾驶员状态判定以及驾驶行为预测工作所设置特征参数以及各项安全阈值均通过训练过的驾驶行为数据库进行输出。

42、进一步的，步骤s3中自适应阈值调整根据驾驶员特征、环境因素、车辆状态和性能、驾驶员对警报的反应等动态调整阈值，以实现对不同驾驶情境和驾驶人群的精准识别；

43、首先通过驾驶员驾驶行为数据构建方式建立一个全面的特征数据集，形成全面且多维度的特征空间；自适应阈值策略的影响因素通过安全系统构件进行数据采集和分析，通过车载计算机与驾驶员进行交互采集；

44、通过驾驶启动身份识别与情绪评估方法预设问题，记录并根据系统评估结果调整相应功能的阈值，以适应不同驾驶员健康状况，健康状况包括驾驶员生理健康和心理健康；环境因素的动态调整包括天气、路况和交通流量，通过车辆传感器获取信息，系统调整相应功能的阈值，以适应不同驾驶环境。

45、考虑车辆状态和性能时，包括速度、加速度、制动情况，通过车辆性能数据库进行输出，系统实时监测这些参数，并动态调整功能的阈值，以适应不同驾驶状态。驾驶员对警报的反应通过监测反应时间和方式，系统及时调整相应功能的阈值，提高系统的准确性和用户体验；

46、其他因素的考虑包括连续驾驶时长和交通违章记录，系统根据这些因素动态调整各状态阈值，以防止疲劳驾驶和更准确地判定驾驶行为；自适应阈值调整策略具有实时反馈机制，监控系统性能和准确性，并在系统运行中根据实时性能进行调整，确保系统在不同情境下更精准地做出驾驶行为识别；

47、此外，自适应阈值调整策略具有用户可调参数功能，提供用户可调的参数，让驾驶员或系统管理员根据需求进行自定义，以更好地适应个人习惯和驾驶风格；系统中添加了用户界面，使驾驶员或系统管理员能够查看和调整驾驶员特征模型的性能，提供实时的系统状态、模型输出及其影响，允许用户进行个性化调整。

48、该自适应阈值调整系统通过综合考虑多方面因素，实现了对不同驾驶情境和驾驶人群的个性化、精准识别，提高了驾驶行为识别系统的智能性和适应性。自适应阈值调整策略利用深度学习技术对建立的特征空间进行训练，系统能够学习不同特征之间的关联性，理解个体驾驶者的独特行为模式，以便于预测系统需要调整的阈值参数；在系统运行时，实时地从各种传感器中获取数据，并利用这些数据不断更新驾驶员特征模型。这样，系统可以适应驾驶员行为的变化，保持模型的准确性和适应性；

49、将上述自适应阈值调整系统对于驾驶状态所设安全阈值的调整进行综合后，在状态识别中的输出影响系数统称为自适应阈值调整系数k。

50、进一步的，步骤s4中驾驶行为识别与预测具体包括以下内容：

51、当车辆处于行驶过程中，通过实时不断采集驾驶信息以及车辆信息，不断刷新驾驶员驾驶行为数据库，对当前车辆驾驶员危险驾驶状态进行判定以及对于驾驶员不良驾驶行为进行预测，其中危险驾驶状态包括：①单双手离开方向盘；②驾驶分心；③疲劳驾驶；④驾驶玩手机；⑤驾驶聊天；⑥接打电话；⑦驾驶争吵；其中驾驶员不良行为预测包括⑧未礼让行人；⑨未注意信号灯；⑩危险变道。

52、进一步的，对于状态①单双手离开方向盘的识别，具体如下：根据驾驶员行为数据库中的驾驶员特征设置单双手离开操作位时长占比安全阈值rfs；通过车辆方向盘和档位上的传感器采集到在车辆行驶过程中单双手离开操作位时长占比rf大于经过自适应阈值调整系统影响系数kr调整的所设置单双手离开方向盘安全时间阈值rfs，即

53、rf＞krrfs

54、系统判定此时驾驶员处于长时间单双手离开方向盘的危险驾驶状态，此时；系统控制车内音响对驾驶员进行反馈提醒，播报“请勿单双手离开方向盘”提示音，提醒驾驶员改正以保证安全驾驶；同时数据采集装置继续采集数据传给处理器；当检测到驾驶员恢复正常驾驶状态后，将取消报警；

55、对于状态②驾驶分心的识别，具体如下：根据驾驶员行为数据库中的驾驶员特征设置驾驶员分神时长安全阈值fcs；当非接触式眼动仪采集到的驾驶员分神时长fc大于经过自适应阈值调整系统影响系数kf调整的所设驾驶员分神时长安全阈值fcs，即

56、fc＞kffcs

57、系统判定此时驾驶员处于驾驶分心的危险驾驶状态，此时系统控制车内音响对驾驶员进行反馈提醒，播报“请勿驾驶分心”提示音，提醒驾驶员改正以保证安全驾驶；同时数据采集装置继续采集数据传给处理器；当检测到驾驶员恢复正常驾驶状态后，将取消报警；

58、对于状态③疲劳驾驶的识别，如图5所示，具体如下：通过安装在车内的非接触式眼动仪采集驾驶员行程中低头瞌睡数据，计算每分钟内的低头时长tc，将驾驶员行为数据库中的驾驶员疲劳特征每分钟的低头时长的a％和b％分别定义为低头时长的疲劳阈值的最小值tcmin和最大值tcmax，与tcmin和tcmax进行比较；若tc>tcmin，表示驾驶员在低头时长指标下处于疲劳状态，两者差值越大，疲劳程度越高；

59、低头时长疲劳指数dt1计算方法如下：

60、

61、通过安装在车内的非接触式眼动仪采集驾驶员行程中眼动数据，计算每分钟内的闭眼时长bc，将驾驶员行为数据库中的驾驶员疲劳特征每分钟的闭眼时长的c％和d％分别定义为闭眼时长的疲劳阈值的最小值bcmin和最大值bcmax；与bcmin和bcmax进行比较；若bc>bcmin，表示驾驶员在闭眼时长指标下处于疲劳状态，两者差值越大，疲劳程度越高；

62、闭眼时长疲劳指数dt2计算方法如下：

63、

64、行程开始后，通过车辆方向盘和档位上的传感器采集驾驶员行程中手部离开方向盘和档位的时长，每分钟计算一次该时长占当前行驶总时长的比例rf，将驾驶员行为数据库中的驾驶员疲劳特征每分钟的占比值的e％和f％分别定义为单双手离开操作位时长占比的疲劳阈值的最小值rfmin和最大值rfmax；与rfmin和rfmax进行比较；若rf>rfmin，表示驾驶员在单双手离开操作位时长占比指标下处于疲劳状态，两者差值越大，疲劳程度越高；

65、单双手离开操作位时间比例疲劳指数dt3计算方法如下：

66、

67、每分钟计算一次总疲劳指数dt，公式如下：

68、

69、根据驾驶员行为数据库中的驾驶员特征设置其疲劳驾驶阈值dts，当计算得到的总疲劳指数超出经过自适应阈值调整系统影响系数kdt调整的该阈值后，即

70、dt＞kdtdts

71、系统判定此时驾驶员处于疲劳驾驶的危险驾驶状态，此时系统控制车内音响对驾驶员进行反馈提醒，播报“请勿疲劳驾驶”提示音，提醒驾驶员改正以保证安全驾驶；同时数据采集装置继续采集数据传给处理器；当检测到驾驶员恢复正常驾驶状态后，将取消报警；

72、对于状态④驾驶玩手机的识别，具体如下：

73、通过非接触式眼动仪采集当前驾驶员注视点，当驾驶员注视点不在上文所述区域(1)、(2)、(3)以内，计入分神时长，计算每分钟内的分神时长fc，将驾驶员行为数据库中的驾驶员疲劳特征每分钟的分神时长的g％和h％分别定义为分神时长的行驶玩手机阈值的最小值fcmin和最大值fcmax；与fcmin和fcmax进行比较；若fc>fcmin，表示驾驶员在分神时长指标下处于行驶玩手机状态，两者差值越大，行驶玩手机可能程度越高；

74、分神时长行驶玩手机指数wt1计算方法如下：

75、

76、行程开始后，通过车辆方向盘和档位上的传感器采集驾驶员行程中手部离开方向盘和档位的时长，每分钟计算一次该时长占当前行驶总时长的比例rf，将驾驶员行为数据库中的驾驶员疲劳特征每分钟的占比值的i％和j％分别定义为单双手离开操作位时长占比的行驶玩手机的最小值rfmin和最大值rfmax；与rfmin和rfmax进行比较；若rf>rfmin，表示驾驶员在单双手离开操作位时长占比指标下处于行驶玩手机状态，两者差值越大，行驶玩手机可能程度越高；

77、单双手离开操作位时间比例疲劳指数wt2计算方法如下：

78、

79、每分钟计算一次总行驶玩手机指数wt，公式如下：

80、

81、根据驾驶员行为数据库中的驾驶员特征设置安全阈值指数wts，当计算后的危险指数大于经过自适应阈值调整系统影响系数kwt调整的所设安全阈值指数wts，即

82、wt＞kwtwts

83、系统判定此时驾驶员处于行驶玩手机的危险驾驶状态，此时系统控制车内音响对驾驶员进行反馈提醒，播报“请勿行驶玩手机”提示音，提醒驾驶员改正以保证安全驾驶；同时数据采集装置继续采集数据传给处理器；当检测到驾驶员恢复正常驾驶状态后，将取消报警；

84、对于状态⑤驾驶聊天的识别，具体如下：

85、通过安装在车内的非接触式眼动仪采集驾驶员行程中眼神非法数据，计算每分钟内的眼神非法时长tf，将驾驶员行为数据库中的驾驶员驾驶聊天特征每分钟的眼神非法时长的k％和l％分别定义为眼神非法时长的驾驶聊天安全阈值的最小值tfmin和最大值tfmax；与tfmin和tfmax进行比较；若tf>tfmin，表示驾驶员在眼神非法时长指标下处于驾驶聊天状态，两者差值越大，危险状态程度越高；

86、lt1眼神非法时长驾驶聊天指数计算方式如下：

87、

88、通过安装在车内的音频采集部采集驾驶员行程中声音分贝数据，计算每分钟内的聊天时长tl1，将驾驶员行为数据库中的驾驶员驾驶聊天特征每分钟的聊天时长的m％和n％分别定义为驾驶聊天安全阈值的最小值tl1min和最大值tl1max；与tl1min和tl1max进行比较；若tl1>tl1min，表示驾驶员在声音分贝聊天时长指标下处于驾驶聊天状态，两者差值越大，驾驶聊天状态程度越高；

89、lt2聊天时长驾驶聊天指数计算方式如下：

90、

91、每分钟计算一次总驾驶聊天指数lt，公式如下：

92、

93、根据驾驶员行为数据库中的驾驶员特征设置安全驾驶聊天阈值lts；当计算后的危险指数大于经过自适应阈值调整系统影响系数klt调整的所设安全驾驶聊天阈值lts，即

94、lt＞kltlts

95、系统判定此时驾驶员处于驾驶聊天的危险驾驶状态，此时系统控制车内音响对驾驶员进行反馈提醒，播报“请勿驾驶聊天”提示音，提醒驾驶员改正以保证安全驾驶；同时数据采集装置继续采集数据传给处理器；当检测到驾驶员恢复正常驾驶状态后，将取消报警。

96、进一步的，对于状态⑥接打电话的识别，具体如下：

97、通过安装在车内的音频采集部采集驾驶员行程中声音分贝数据，计算每分钟内的聊天时长tl1，将驾驶员行为数据库中的驾驶员接打电话特征每分钟的聊天时长的o％和p％分别定义为接打电话的安全阈值的最小值tl1min和最大值tl1max；与tl1min和tl1max进行比较；若tl1>tl1min，表示驾驶员在声音分贝聊天时长指标下处于接打电话状态，两者差值越大，接打电话状态程度越高。

98、jt1聊天时长接打电话指数计算方式如下：

99、

100、行程开始后，通过车辆方向盘和档位上的传感器采集驾驶员行程中手部离开方向盘和档位的时长，每分钟计算一次该时长占当前行驶总时长的比例rf，将驾驶员行为数据库中的驾驶员接打电话特征每分钟的手部离开操作位占比值的q％和r％分别定义为接打电话的安全阈值的最小值rfmin和最大值rfmax；与rfmin和rfmax进行比较；若rf>rfmin，表示驾驶员在单双手离开操作位时间比例指标下处于接打电话状态，两者差值越大，接打电话可能程度越高；

101、单双手离开操作位时间比例接打电话指数jt2计算方法如下：

102、

103、通过非接触式眼动仪采集当前驾驶员注视点，当驾驶员注视点在车辆仪表区域(4)以内，计入看仪表时长，计算每分钟内的看仪表时长yc，将驾驶员行为数据库中的驾驶员接打电话特征每分钟的看仪表时长的s％和t％分别定义为接打电话的安全阈值的最小值ycmin和最大值ycmax；与ycmin和ycmax进行比较；若yc>ycmin，表示驾驶员在看仪表时间指标下处于接打电话状态，两者差值越大，接打电话可能程度越高；

104、jt3看仪表时长接打电话指数计算方式如下：

105、

106、每分钟计算一次总接打电话指数jt，公式如下：

107、

108、根据驾驶员行为数据库中的驾驶员特征设置接打电话指数阈值jts，当计算后的危险指数大于经过自适应阈值调整系统影响系数kjt调整的所设接打电话指数阈值jts，即

109、jt＞kjtjts

110、系统判定此时驾驶员处于接打电话的危险驾驶状态，此时系统控制车内音响对驾驶员进行反馈提醒，播报“请勿接打电话”提示音，提醒驾驶员改正以保证安全驾驶；同时数据采集装置继续采集数据传给处理器；当检测到驾驶员恢复正常驾驶状态后，将取消报警；

111、对于状态(7)驾驶争吵的识别，具体如下：

112、通过安装在车内的音频采集部采集驾驶员行程中声音分贝数据，计算每分钟内的情绪异常时长tl2，将驾驶员行为数据库中的驾驶员驾驶争吵特征每分钟的情绪异常时长的u％和v％分别定义为情绪异常时长的争吵阈值的最小值tl2min和最大值tl2max；与tl2min和tl2max进行比较；若tl2>tl2min，表示驾驶员在声音分贝情绪异常时长指标下处于驾驶争吵状态，两者差值越大，驾驶争吵状态程度越高。

113、zt1情绪异常时长驾驶争吵指数计算方式如下：

114、

115、通过安装在车内的非接触式眼动仪采集驾驶员行程中眼神非法数据，计算每分钟内的眼神非法时长tf，将驾驶员行为数据库中的驾驶员驾驶争吵特征每分钟的眼神非法时长的w％和x％分别定义为眼神非法时长tf的争吵安全阈值的最小值tfmin和最大值tfmax；与tfmin和tfmax进行比较；若tf>tfmin，表示驾驶员在眼神非法时长指标下处于驾驶争吵状态，两者差值越大，驾驶争吵程度越高；

116、zt2眼神非法时长驾驶争吵指数计算方式如下：

117、

118、通过安装在车内的音频采集部采集驾驶员行程中关键词出现频次，计算每分钟内的关键词出现频次，将驾驶员行为数据库中的驾驶员驾驶争吵特征每分钟的音频中关键词每分钟出现频次的y％和z％分别定义为关键词出现频次gc的争吵安全阈值的最小值gcmin和最大值gcmax；与gcmin和gcmax进行比较；若gc>gcmin，表示驾驶员在关键词出现频次指标下处于驾驶争吵状态，两者差值越大，驾驶争吵状态程度越高；

119、zt3关键词频次驾驶争吵指数计算方式如下：

120、

121、每分钟计算一次总驾驶争吵指数zt，公式如下：

122、

123、设置其驾驶争吵阈值zts，当计算后的危险指数大于经过自适应阈值调整系统影响系数kzt调整的所设驾驶争吵阈值zts，即

124、zt＞kztzts

125、系统判定此时驾驶员处于驾驶争吵的危险驾驶状态，此时系统控制车内音响对驾驶员进行反馈提醒，播报“请勿驾驶争吵”提示音，提醒驾驶员改正以保证安全驾驶；同时数据采集装置继续采集数据传给处理器；当检测到驾驶员恢复正常驾驶状态后，将取消报警；

126、对于状态⑧未礼让行人的驾驶员危险驾驶行为预测功能，如图7所示，具体如下：

127、根据驾驶员驾驶行为数据库设置观察行人时长安全阈值tps；车外摄像头实时采集此时行驶道路前方路况，车外摄像头实时判断此时与道路中人行横道距离，当达到所设置的距离阈值后，发现驾驶员位眼神未注视到时即观察行人时长tp小于经过自适应阈值调整系统影响系数ktp调整的所设观察行人时长安全阈值tps，即

128、tp＜ktptps

129、车辆数据采集器对车辆此时运动状态进行监测，若仍未检测到车辆无明显减速制动行为，此时满足未礼让行人危险行为预测条件，系统判定此时驾驶员处于未礼让行人的危险驾驶状态，此时系统控制车内音响对驾驶员进行反馈提醒，播报“请礼让行人”提示音，提醒驾驶员改正以保证安全驾驶；同时数据采集装置继续采集数据传给处理器；当检测到驾驶员恢复正常驾驶状态后，将取消报警；

130、对于状态⑨未注意信号灯的驾驶员危险驾驶行为预测功能，如图8所示，具体如下：

131、根据驾驶员驾驶行为数据库设置观察信号灯时长安全阈值txs；车外摄像头实时采集此时行驶道路前方路况，车外摄像头实时判断此时与道路中人行横道距离，当达到所设置的距离阈值后，若小于与信号灯距离安全阈值，当发现驾驶员位观察信号灯时长tx小于经过自适应阈值调整系统影响系数ktx调整的所设观察信号灯时长安全阈值txs，即

132、tx＜ktxtxs

133、车辆数据采集器对车辆此时运动状态进行监测，若仍未检测到车辆无明显减速制动行为，此时满足未注意信号灯预测条件，系统判定此时驾驶员处于未注意信号灯的危险驾驶状态，此时系统控制车内音响对驾驶员进行反馈提醒，播报“请注意信号灯”提示音，提醒驾驶员改正以保证安全驾驶；同时数据采集装置继续采集数据传给处理器；当检测到驾驶员恢复正常驾驶状态后，将取消报警；

134、对于状态⑩危险变道的驾驶员危险驾驶行为预测功能，具体如下：

135、根据驾驶员驾驶行为数据库设置左侧观察安全阈值tls，车辆数据采集器采集车辆横向加速度发生明显变化，将其采集数据发送至处理器进行分析此时车辆处于向左还是向右变道的状态，此时非接触式眼动仪采集驾驶员注视点所在划分区域，若此时车辆处于向左变道，则非接触式眼动仪采集到的驾驶员注视点应在左侧后视镜区域，指定驾驶员安全左转左侧观察时长tl需大于经过自适应阈值调整系统影响系数ktl调整的左侧安全阈值tls，若左侧观察时长

136、tkt

137、则判定为危险变道；

138、根据驾驶员驾驶行为数据库设置右侧观察安全阈值trs，若此时车辆处于向右变道，指定驾驶员安全右转右侧观察时长tr需大于经过自适应阈值调整系统影响系数ktr调整的右侧安全阈值trs，若右侧观察时长

139、tr＜ktrtrs

140、则判定为危险变道；

141、若系统判定此时驾驶员处于危险变道的危险驾驶状态，此时系统控制车内音响对驾驶员进行反馈提醒，播报“请勿危险变道”提示音，提醒驾驶员改正以保证安全驾驶；同时数据采集装置继续采集数据传给处理器；当检测到驾驶员恢复正常驾驶状态后，将取消报警。

142、采用上述技术方案，本发明中的多模块数据采集装置的非接触式眼动仪、手部操作位压力传感器、音频采集部、车辆数据采集器和车外摄像头协同工作，全面获取驾驶员的生物特征、情绪信息以及车辆性能数据。

143、驾驶行为数据库和车辆性能数据库利用深度学习技术对多源数据进行处理。驾驶行为数据库用于构建驾驶员的驾驶行为模型，并实时更新以适应驾驶员行为的动态变化，确保模型的准确性和适应性。车辆性能数据库为车辆各项性能进行收集并打分，为驾驶员提供参考。

144、自适应阈值调整考虑多个因素，包括驾驶员特征、环境因素等。通过动态调整阈值，以实现对不同驾驶情境和驾驶人群的精准识别，并提供用户可调参数，实现个性化设置。

145、驾驶行为识别与预测实时采集驾驶信息、车辆信息和车辆性能数据。通过深度学习技术获取关键参数，判定危险驾驶状态并预测不良行为，如未礼让行人、未注意信号灯等。

146、本发明旨在识别和预测驾驶过程中的多种危险行为并警报提醒驾驶员安全驾驶。其技术效果主要包括：

147、(1)全面的数据采集：通过多模块数据采集系统，包括眼动仪、手部操作位压力传感器、音频采集器和车辆数据采集器，系统全面获取驾驶员的生物特征、情绪信息以及车辆性能数据，为后续的分析和预测提供了丰富的数据基础。

148、(2)高效的深度学习处理：利用深度学习技术对多源数据进行处理，构建驾驶行为模型和车辆性能数据库。这使得系统能够准确地评估驾驶行为和车辆性能，并能够实时更新以适应驾驶员行为的动态变化，提高了系统的准确性和适应性。

149、(3)智能的阈值调整：通过自适应阈值调整系统，根据驾驶员特征、环境因素等多个因素动态调整阈值。这样的智能调整能够使系统更好地适应不同的驾驶情境和驾驶人群，提高了系统的识别准确性和实用性。

150、(4)实时的驾驶行为识别与预测：驾驶行为识别与预测模块实时采集驾驶信息、车辆信息和车辆性能数据，通过深度学习技术获取关键参数，判断危险驾驶状态并预测不良行为。这使得系统能够及时发出警示，提醒驾驶员采取正确的行动，有效降低交通事故风险。

151、综上所述，本发明综合利用多源数据、深度学习技术和自适应调整机制，各模块相互协同工作，以对驾驶员状态的准确识别和对车辆行为的实时监测，实现了对驾驶过程中多种危险行为的准确识别和预测，为提高车辆驾驶安全性提供了可靠的技术支持。