用于检测车辆驾驶员的分心驾驶的系统和方法与流程

1.本公开总体上涉及驾驶员行为，并且更具体地涉及分心驾驶。


背景技术：

2.交通安全中的主要问题是驾驶员行为，特别是分心驾驶和困倦。车辆制造商已通过提供驾驶员监测系统(dsm)来解决此类驾驶员行为。典型的驾驶员监测系统监测驾驶员的各种身体特性，以便连续地评估他/她的警觉性。可以监测的各种身体特性中的一个包括驾驶员的眼睛，其可以识别各种状况，包括例如困倦。通常，昏昏欲睡的驾驶员的眼睑倾向于下垂、部分闭合或完全闭合。当检测到这种状况时，驾驶员监测系统可以提供可听警报和/或提供车辆方向盘的振动，以警告并唤醒驾驶员。
3.然而，在一些情况下，驾驶员可能完全清醒，但是由于车辆内部或外部的分心，他/她的视线可能从道路移开。驾驶员监测系统可以监测驾驶员的注视方向并确定驾驶员不在看道路，而是在看向位于车辆内部的对象，例如车辆后座中的儿童。驾驶员监测系统可以发出听觉警报以提示驾驶员停止分心并注意道路。当驾驶员的注视方向明显地远离前方道路时，这种布置的效果相当好。然而，狡猾的驾驶员可能决定通过以某种方式将装置(例如，智能电话或膝上型计算机)放置在车辆的仪表盘上，使得驾驶员的眼睛似乎在看前方道路，即使驾驶员实际上在看装置来欺骗驾驶员监测系统。
4.因此，期望在常规实践中至少解决这个缺点。


技术实现要素：

5.就总体概述而言，本公开中描述的某些实施例涉及用于检测车辆驾驶员的分心驾驶的系统和方法。在根据本公开的示例方法中，可以执行光源识别程序，以便检测例如存在于车辆的车厢内部和驾驶员监测相机的视野外部的第一装置，例如智能电话。光源识别程序可以包括例如从驾驶员监测相机获得图像数据样本并评估图像数据样本以识别发射入射在驾驶员的面部上的光的各种装置的操作。在示例场景中，入射光可以具有例如对应于由第一装置发射的光的第一脉冲模式和对应于由第二装置发射的光的第二脉冲模式。第一脉冲模式对应于由放置在车辆的仪表盘上的第一装置的显示屏发射的光(其中第一装置在驾驶员监测相机的视野外部)。第二脉冲模式对应于由第二装置的显示屏发射的光。可以存在对应于位于车辆的车厢内部以及车辆外部的各种其他光源的附加脉冲模式。在一个示例解决方案中，可以通过执行用于评估所述第一脉冲模式与所述第二脉冲模式之间的相位关系的时间加窗操作来检测所述第一装置。在另一个示例解决方案中，可以通过评估可能存在于图像数据样本中的光谱内容来检测第一装置。
附图说明
6.下面参考附图阐述具体实施方式。使用相同的附图标记可以指示类似或相同的项。各种实施例可以利用除了附图中示出的那些之外的元件和/或部件，并且一些元件和/
或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。在整个本公开中，根据上下文，单数和复数术语可以可互换地使用。
7.图1示出示例分心驾驶场景。
8.图2示出根据本公开的实施例的可以存在于车辆内部并且可以用于检测分心驾驶的一些示例光源。
9.图3示出与可能存在于车辆内部的各种类型的光相关联的一些示例脉冲模式。
10.图4示出根据本公开的实施例的布置用于检测分心驾驶的一些示例脉冲模式。
11.图5示出根据本公开的实施例的帧外装置使用检测系统的一些示例部件。
12.图6示出根据本公开的实施例的检测分心驾驶的示例方法的流程图。
具体实施方式
13.下文将参考附图更全面地描述本公开，其中示出了本公开的示例实施例。然而，本公开可以以许多不同形式来体现，并且不应被解释为受限于本文阐述的示例实施例。相关领域技术人员将理解，在不脱离本公开的精神和范围的情况下可对各种实施例作出形式和细节上的各种变化。因此，本公开的广度和范围不应受上述示例性实施例中的任一者的限制，而是应仅根据所附权利要求及其等效物来限定。以下描述是为了说明而呈现，并且不意图是详尽性的或受限于所公开的精确形式。应理解，替代实现方式可以以任何所期望的组合使用，以形成本公开的附加混合实现方式。例如，相对于特定装置或部件描述的功能中的任一者可以由另一个装置或部件执行。此外，尽管已经描述了特定的装置特性，但是本公开的实施例可以涉及许多其他装置特性。此外，尽管已用特定于结构特征和/或方法动作的语言描述了实施例，但是应理解，本公开不一定受限于所描述的具体特征或动作。相反，将具体特征和动作公开为实现实施例的说明性形式。
14.本文使用的某些词语和短语仅是为了方便，并且这些词语、术语和标签应被解释为是指本领域普通技术人员通常以各种形式和等价方式理解的各种对象和动作。例如，在本公开中使用的标签“车辆”涵盖各种类型的车辆中的任一种，例如汽车、运动型多功能车(suv)、卡车、货车、半挂卡车、公共汽车，以及任何种类的自主车辆。如在本公开中使用的短语“自主车辆”通常是指可在没有人工干预的情况下执行至少一些操作的车辆。所描述的实施例中的至少一些适用于级别1车辆，并且还可以适用于更高级别的车辆。汽车工程师协会(sae)限定范围从级别0(完全手动)到级别5(完全自主)的六个驾驶自动化级别。这些级别已经由美国运输部采用。级别0(l0)车辆是不具有驾驶相关自动化的手动控制车辆。级别1(l1)车辆结合一些特征，例如巡航控制，但是人类驾驶员保持对大部分驾驶和操纵操作的控制。级别2(l2)车辆部分地自动化，其中由车辆计算机控制某些驾驶操作，例如转向、制动和车道控制。驾驶员保持对车辆的某种级别的控制，并且可以超驰由车辆计算机执行的某些操作。级别3(l3)车辆提供有条件的驾驶自动化，但在具有感知驾驶环境和某些驾驶情况的能力方面更智能。级别4(l4)车辆可以在自动驾驶模式下操作，并且包括其中车辆计算机在某些类型的装备故障期间进行控制的特征。人为干预的级别很低。级别5(l5)车辆是不涉及人类参与的完全自主车辆。如本文所使用的短语“软件应用程序”是指可以安装在装置中并被执行以实现根据本公开的一个或多个操作的各种类型的代码(固件、软件、机器代码等)。如本文所使用的词语“图像”可以指单个数字图像或多个数字图像(例如，视频片段)。
如本文所使用的词语“信息”表示可以各种形式(例如图像、文本、数字、数字数据和原始模拟数据)传达的数据。如本文所使用的短语“图像数据样本”旨在涵盖所有形式的图像相关信息，例如模拟格式的图像、数字格式的图像(jpeg、tiff、gif、bmp等)和/或各种格式的视频(mpeg、mp4、mov、wmv、flv、avi、webm等)。短语“评估图像数据样本”涵盖可以对图像和/或图像数据执行的各种类型的操作(例如，图像处理、滤波、增强、区分等)。如本文所使用的词语“示例”意图在本质上是非排他性的和非限制性的。
15.图1示出示例分心驾驶场景，其中车辆100的驾驶员110正在看放置于车辆100的仪表盘上的装置115，而不是注视前方的道路。装置115可以是发射光的各种类型的装置中的任一种，例如个人通信装置(例如，智能电话)、娱乐装置(例如，dvd播放器)和/或导航装置(例如，全球定位系统(gps))。在根据本公开的实施例中，由装置115发射的光由显示屏的部件(例如，显示屏中的发光二极管(led))产生。图像可以通过示例技术显示在装置115的显示屏上，其中打开和关闭led，以便在黑白图像中和/或在彩色图像中产生亮区域和暗区域。
16.车辆100还可以包括驾驶员辅助系统，所述驾驶员辅助系统可以被称为高级驾驶员辅助系统(adas)125。adas 125可以提供各种类型的特征，这些特征不仅可以帮助驾驶员110在车辆100上执行某些操作，而且还可以自动化、适应和增强各种车辆系统以使驾驶更安全。adas 125可以例如使照明操作自动化、提供自适应巡航控制、帮助避免碰撞、发出交通警报、向驾驶员110警告可能的障碍物、帮助车道偏离和车道居中和/或提供导航辅助。adas 125通常还通过最小化或消除可能导致事故和/或碰撞的某些类型的人为错误来实现减少交通事故死亡的安全特征。在一些情况下，如果需要，adas 125可以通过控制车辆100来警告驾驶员110存在问题并执行安全操作。在示例场景中，驾驶员110可能没有注意前方的道路，因为驾驶员110正在看装置115的显示屏。adas 125可以检测到这种分心驾驶的发生并执行安全相关操作，例如发出驾驶员警告和/或接管对通常由驾驶员110执行的一些操作的控制。在另一个示例场景中，adas 125可以在某些情况下控制例如车辆100的加速、制动和转向的操作。驾驶员110保持情景感知并且能够在任何时刻以最小的时延收回对车辆100的控制。
17.adas 125可以基于从各种类型的装置(例如驾驶员监测相机105、外部对象监测相机120和车辆计算机130)接收的数据来执行这些操作。驾驶员监测相机105可以安装在车辆100的各种固定装置中的任一者上，例如安装在车辆100的仪表盘、车辆100的方向盘，或车辆100的后视镜上(如图1所示)。驾驶员监测相机105被布置成具有包围驾驶员110的面部的视野。由驾驶员监测相机105捕获的图像可以由adas 125评估以检测各种状况，例如困倦、醉酒和/或分心。
18.可以通过评估驾驶员110的眼睑状态来检测困倦状况。眼睑下垂、半闭或全闭可以向adas 125提供驾驶员110困倦和/或醉酒的指示。adas 125可以在检测到困倦和/或醉酒状况时发出驾驶员警告。驾驶员警告可以例如经由车辆100的信息娱乐系统以音频消息的形式和/或作为经由车辆100的方向盘传输的触觉振动发出。
19.可以通过评估驾驶员110的注视方向状态来检测分心驾驶状况。在一个示例场景中，驾驶员110可能已经将他/她的视线从前方的道路上移开并且转过身来越过他/她的肩膀看向坐在车辆100的后座中的乘客。在另一个示例场景中，驾驶员110可能已经将他/她的视线从前方的道路上移开，并且可能正在执行活动，例如在看遮阳板中的镜子，以便涂上口
红、涂上眼部化妆品或刮脸。adas 125可以在检测到此分心驾驶状况时发出驾驶员警告。驾驶员警告可以例如经由车辆100的信息娱乐系统以音频消息的形式发出。
20.在又一种场景中，驾驶员110可能已经将他/她的视线从前方的道路上移开以观看在装置115上播放的视频。装置115位于驾驶员监测相机105的视野外部，并且由驾驶员监测相机105传送到adas 125的图像看起来指示驾驶员110正在注意前方的道路。在此示例场景中，驾驶员110的分心驾驶状况可以通过adas 125执行本文根据本公开描述的各种操作来检测。
21.外部对象监测相机120被布置成捕获可能不存在于驾驶员监测相机105的视野中的各种对象的图像。更具体地，外部对象监测相机120被布置成捕获位于车辆100外部的各种对象的图像，所述对象例如在车辆100前方移动的车辆、交通信号、行人、道路上存在的障碍物、道路标志和/或建筑物。出于各种目的，例如出于事故避免目的和事故发生后的保险目的，图像可以由adas 125和/或其他装置(例如，车辆计算机130)评估。外部对象监测相机120可以安装在车辆100的各种固定装置中的任一者上，例如安装在车辆100的仪表盘，或车辆100的挡风玻璃上。
22.车辆计算机130可以对车辆100执行各种功能，例如控制发动机操作(燃料喷射、速度控制、排放控制、制动等)、管理气候控制(空气调节、加热等)、激活安全气囊和发出警报(检查发动机灯、灯泡故障、低轮胎压力、车辆处于盲点等)。在车辆100是自主的应用中，车辆计算机130可以控制由自主车辆执行的各种自主动作。根据本公开，车辆计算机130还可以与adas 125协作以执行各种驾驶辅助功能，包括解决分心驾驶状况。
23.车辆计算机130和/或adas 125可以经由通信网络与例如基于云的计算机(未示出)和/或基于云的存储装置的装置无线地通信。通信网络可以包括任一网络或网络的组合，例如局域网(lan)、广域网(wan)、电话网络、蜂窝网络、有线网络、无线网络和/或私有网络/例如互联网的公共网络。通信网络可以支持一种或多种类型的通信技术，例如超宽带、蜂窝、近场通信(nfc)、wi-fi、wi-fi直连、li-fi、控域网(can)、局部互连网络(lin)、机器对机器通信和/或人对机器通信。通信网络的至少一个部分包括无线通信链路，所述无线通信链路允许车辆计算机130和/或adas 125与例如基于云的服务器计算机通信。在一些实现方式中，基于云的计算机可以执行本文根据本公开描述的各种操作。所述操作可以独立地和/或与adas 125协作地执行。
24.图2示出根据本公开的实施例的可以存在于车辆100内部并且用于检测分心驾驶的一些示例光源。各种示例光源可以包括可以从装置115的显示屏发射光215的装置115、可以从信息娱乐系统205的显示屏发射光210的信息娱乐系统205，以及可以从仪表板235的显示屏发射光220的仪表板235。装置115、信息娱乐系统205和仪表板235中的每一者可以利用脉冲调制技术来在其相应的显示屏上显示图像，特别是在显示屏包括例如发光装置(led)的发光部件的情况下。例如，此类发光装置通常通过使用一个或多个脉冲信号快速地打开和关闭，以便产生图像帧的亮区域和暗区域。脉冲信号的特性(例如脉冲重复率和占空比)有时可能导致在装置的显示屏上显示的图像的闪烁。闪烁可能会或可能不会被人类感知。
25.存在于车辆100内部的光还可以包括环境光230和外部光225。环境光230可以源自自然和/或人造源(阳光、路灯等)。由例如太阳的自然源产生的环境光通常不具有闪烁特性(如可能存在于装置的显示屏上显示的图像中)。外部灯225可以源自存在于车辆100前方的
对象(尾灯、前灯、交通灯、建筑物上的灯、固定装置上的灯等)。外部光225的闪烁可以取决于外部光源225。车辆100前方的另一车辆的尾灯在一种情况下可以包括白炽灯泡，而在另一种情况下可以包括led阵列。在容纳白炽灯泡的尾灯中可能不存在闪烁，但是在容纳led阵列的尾灯中可能存在闪烁。
26.在根据本公开的实施例中，驾驶员监测相机105被布置成具有包围驾驶员110的面部的视野，以便向adas 125提供信息以用于评估驾驶员110的状态(困倦状态、醉酒状态、分心状态等)。所述信息可以各种形式，例如以一个或多个图像和/或视频馈送的形式提供。此类信息在本文中通常可以被称为图像数据样本。
27.在示例实现方式中，驾驶员监测相机105是卷帘快门相机。卷帘快门相机通常通过快速扫描场景(水平地或垂直地)而不是在单个时刻拍摄快照来捕获图像或视频帧。因此，并非同时捕获图像的所有部分。此程序可能会产生图像失真，特别是快速移动的对象。在这种情况下，驾驶员监测相机105通过执行可能涉及向图像传感器施加脉冲信号的扫描过程来捕获驾驶员110(以及在驾驶员监测相机105的视野内的所有其他对象)的图像。可以定制脉冲信号的特性以向图像传感器提供各种曝光时间。在示例应用中，卷帘快门相机包括互补金属氧化物半导体(cmos)传感器，所述cmos传感器捕获对应于位于卷帘快门相机的视野中的对象的光信号。在脉冲信号的控制下由cmos传感器捕获的光信号可以被称为图像元素(像素)。通过耦合至cmos传感器的电路将像素转换成电信号(表示数字图像)。可以通过采用涉及使用脉冲信号的脉冲调制技术来执行光电信号转换。在一些情况下，脉冲调制技术的使用可能导致图像数据样本中的像差。每个图像数据样本可以包括对应于单个图像或多个图像的数字信息。可以通过应用图像处理技术(图像滤波、重建、误差校正等)来校正图像像差。
28.在另一个示例实现方式中，驾驶员监测相机105是通过在任何单个时刻执行整个帧的图像捕获来捕获驾驶员110(以及驾驶员监测相机105的视野内的所有其他对象)的图像的全局快门相机。每个图像帧构成图像数据样本，所述图像数据样本含有对应于单个图像或多个图像的数字信息。可以包括在全局快门相机中的电荷耦合装置(ccd)传感器耦合至执行光电转换以产生表示数字图像的电信号的电路。在一些情况下，由于使用某些帧速率进行图像捕获，可能会出现图像像差。
29.由驾驶员监测相机105捕获的图像不仅包含入射在驾驶员110的面部上的光的信息，而且还包含存在于车厢区域中的车辆100内部的光的信息。在此实施例中，存在于车辆100内部的光包括来自装置115的显示屏的光215、来自信息娱乐系统205的显示屏的光210、来自仪表板235的显示屏的光220以及环境光230。
30.在由外部对象监测相机120捕获的图像中可以包含关于由车辆100外部和前方的对象(其他车辆的尾灯、其他车辆的前灯、交通灯、建筑物上的灯、固定装置上的灯等)产生的外部光225的信息。
31.根据本公开的实施例，可以将来自驾驶员监测相机105和外部对象监测相机120的图像数据样本传送到adas 125以进行评估，以检测驾驶员110的分心驾驶状态。
32.图3示出与可能存在于车辆100内部的一些示例类型的光相关联的一些示例脉冲模式。由装置115的显示屏发射的光215可以具有由脉冲模式305表示的闪烁特性。由信息娱乐系统205的显示屏发射的光210可以具有由脉冲模式310表示的闪烁特性。由仪表板235的
显示屏发射的光220可以具有由脉冲模式315表示的闪烁特性。由存在于车辆100前方的对象产生的外部光225可以具有可以由脉冲模式320表示的闪烁特性。进入车辆100的车厢区域的环境光230(例如，阳光)可以具有可以由环境光条件325示出的相对恒定的振幅。
33.在此示例场景中，装置115采用产生由脉冲模式305表示的闪烁特性的脉冲调制技术。脉冲模式305具有第一占空比和第一脉冲重复率。信息娱乐系统205包含独立于装置115中所包含的电路的电路，并且采用产生由脉冲模式310表示的闪烁特性的脉冲调制技术。脉冲模式310具有与脉冲模式305的第一占空比和第一脉冲重复率不同的第二占空比和第二脉冲重复率。此外，在脉冲模式310与脉冲模式305之间可能存在第一相位偏移。
34.仪表板235包含独立于装置115中所包含的电路，但是可以与信息娱乐系统205中所包含的电路共享一些共性的电路。共性可以包括使用例如由车辆计算机130提供的一个或多个信号(时钟信号、调制信号等)。仪表板235采用产生由脉冲模式315表示的闪烁特性的脉冲调制技术。共享的共性可以导致脉冲模式315具有与脉冲模式310的第二占空比和第二脉冲重复率基本上类似的第三占空比和第三脉冲重复率。然而，在脉冲模式315与脉冲模式310(以及脉冲模式305)之间可能存在相位偏移。
35.与源自车辆100外部并由外部对象监测相机120捕获的外部光225相关联的脉冲模式320可以具有与脉冲模式305、脉冲模式310和脉冲模式315不同的占空比和脉冲重复率。
36.图4示出上述示例脉冲模式，所述脉冲模式被布置成检测在车辆100内部和驾驶员监测相机105的视野外部是否存在装置115。一些脉冲模式可以存在于由adas 125从驾驶员监测相机105接收的第一图像数据样本中。其余脉冲模式可以存在于由adas 125从外部对象监测相机120接收的第二数据样本中。第一图像数据样本和第二图像数据样本可以由adas 125以各种方式评估，以便检测装置115的存在。
37.在根据本公开的实施例中，adas 125执行光源识别程序，所述光源识别程序涉及识别和忽略环境光状况325。可以各种方式，例如通过检测第一图像数据样本和/或第二图像数据样本中的基本恒定的dc电压偏移来识别环境光状况325。dc电压偏移的幅度通常对应于车辆100的车厢区域中存在的环境光状况325的强度。在识别其余脉冲模式之前，可以去除或忽略dc电压偏移。
38.脉冲模式320主要存在于由adas 125从外部对象监测相机120接收的第二图像数据样本中，所述外部对象监测相机被布置成专门捕获车辆100前方的对象(尾灯、前灯、交通灯、建筑物上的灯、固定装置上的灯等)的图像。在识别其余脉冲模式之前，可以去除或忽略脉冲模式320。可以通过在时域中和/或在频域中采用各种类型的图像处理技术(数字滤波、频率消除等)来执行去除和/或忽略脉冲模式320。
39.其余脉冲模式现在包括脉冲模式305(如果装置115在车辆100的车厢区域中操作)、脉冲模式310和脉冲模式315。在光源检测过程的示例实现方式中，可以通过执行脉冲对准过程、脉冲变化过程和/或脉冲关闭过程中的一者或多者来识别脉冲模式310和脉冲模式315。可以通过将脉冲模式310与脉冲模式315对准来执行脉冲对准程序。当对准时，脉冲模式310中的每个脉冲的前沿与脉冲模式315中的每个脉冲的前沿对准(如虚线410所指示)。当脉冲模式310的占空比与脉冲模式315的占空比相同时，脉冲模式310中的每个脉冲的下降沿自动地与脉冲模式315中的每个脉冲的下降沿对准(如虚线415所指示)。可以通过将时钟信号和/或由车辆计算机130(例如)提供的控制信号施加到信息娱乐系统205(脉冲
模式310)和仪表板235(脉冲模式315)中所包含的电路来执行对准。还可以通过执行一个或多个软件程序和软件算法在adas 125中执行对准。
40.对准过程之后可以是加窗操作，以识别脉冲模式305与脉冲模式310(或脉冲模式315)之间的相位偏移。可以由adas 125在时域中执行的加窗操作可以识别脉冲模式305中的脉冲405的前沿与脉冲模式310中的脉冲420的前沿之间的相位偏移。相位偏移提供相对于彼此相位对准的脉冲模式310和脉冲模式315对脉冲模式305的识别。脉冲模式305还可以包含与脉冲模式310和/或脉冲模式315中的任何脉冲不重叠的脉冲425。
41.在根据本公开的另一实施例中，adas 125执行光源识别程序，所述光源识别程序涉及在以上述方式进行的识别之后识别和忽略环境光状况325和脉冲模式320。然后，adas 125可以与车辆计算机130协作以在脉冲模式310和/或脉冲模式315中执行有意相移。有意相移也可以由adas 125中的软件执行。然后，adas 125可以检测到可以在将脉冲模式310与脉冲模式315对准或不对准的情况下执行的有意相移，以便识别脉冲模式310和/或脉冲模式315。脉冲模式305可以被识别为未经历有意相移的脉冲模式。
42.在根据本公开的又另一实施例中，adas 125执行光源识别程序，所述光源识别程序涉及在以上述方式进行的识别之后识别和忽略环境光状况325和脉冲模式320。然后，adas 125可以与车辆计算机130协作以执行有意关闭程序，由此暂时关闭信息娱乐系统205和/或仪表板235。对应于关闭的装置的脉冲模式310和/或脉冲模式315将消失，从而导致对信息娱乐系统205和/或仪表板235的识别。然后，脉冲模式305可以被识别为不受关闭操作影响的脉冲模式。
43.可以使用各种信号处理技术和/或图像处理技术来执行上述各种操作。信号处理技术的几个示例可以包括重叠图案的分离、时域处理(时间加窗)、频域滤波(重叠频谱)、比较两个或更多个图像数据样本。图像处理的几个示例可以包括利用光度立体原理来确定一个或多个光源(装置115、信息娱乐系统205、仪表板235等)的位置，以及对准从驾驶员监测相机105和/或其他相机中的个别cmos传感器行获得的信号。此类动作可以允许确定例如各种脉冲模式的频率、重复率、相位和占空比的参数。
44.adas 125还可以执行其他操作以便检测装置115，例如确定驾驶员110的头部姿态、驾驶员110的注视方向以及优化驾驶员监测相机105和/或其他相机的操作参数(曝光、信号增益、焦点、视野等)。
45.图5示出根据本公开的实施例的帧外装置使用检测系统500的一些示例部件。帧外装置使用检测系统500包括安装在车辆100中的各种部件，例如adas 125、车辆计算机130、信息娱乐系统205、仪表板235、图像捕获系统505和光检测器系统510。各种部件经由例如示例总线511的一个或多个总线彼此通信地耦合。
46.可以使用各种有线和/或无线技术来实现总线511。例如，总线511可以是车辆总线，所述车辆总线使用控制器局域网(can)总线协议、面向媒体的系统传输(most)总线协议和/或can灵活数据(can-fd)总线协议。总线511的一些或所有部分也可以使用无线技术来实现，例如超宽带、wi-fi、或近场通信(nfc)。例如，总线511可以包括wi-fi通信链路，所述wi-fi通信链路允许adas 125与车辆计算机130无线地通信。信息娱乐系统205可以包括各种元件，例如收音机、dvd播放器、mp3播放器、视频播放器和显示屏565。显示屏565可以包括以脉冲调制格式操作并发射具有上述脉冲模式310
的光的发光装置(例如led、oled、微型led、lcd等)。仪表板235还可以包括含有以脉冲调制格式操作并发射具有上述脉冲模式315的光的发光装置(例如led)的显示屏。
47.图像捕获系统505可以包括一个或多个相机，例如上面描述的驾驶员监测相机105和外部对象监测相机120。图像捕获系统的一些或全部相机可以在adas 125的控制下操作，例如当从adas 125接收到图像捕获命令时执行图像捕获操作。任何一个或多个相机的捕获图像可以经由总线511以图像数据样本的形式传播到adas 125。在一些应用中，图像数据样本可以例如以视频流的形式实时地传播到adas 125。在一些应用中，可以响应于由adas 125发出的命令来设置相机的各种设置，例如变焦设置、感兴趣区域、曝光持续时间、帧到帧时间间隙或焦点设置。
48.光检测器系统510可以包括光传感器，所述光传感器响应于检测到跨越光谱的各个部分(范围从可见波长到不可见波长)的各种类型的光而生成数字数据样本。在根据本公开的一些实现方式中，光检测器系统510可以补充由图像捕获系统505执行的一些功能。例如，光传感器可以安装在车辆100中，以便检测车辆100的车厢中存在的环境光。光传感器可以经由总线511将环境光的数字数据样本传送到adas 125。adas可以使用数字数据样本来代替或验证对从驾驶员监测相机105接收的数字数据样本执行的环境光测量。
49.adas 125可以包括各种部件，例如处理器520、帧外装置使用检测硬件525和存储器530。作为非暂时性计算机可读介质的一个示例的存储器530可以用于存储操作系统(os)550和各种代码模块，例如帧外装置使用检测模块535和图像数据样本评估模块540。代码模块以可以由处理器520执行以执行根据本公开的各种操作的计算机可执行指令的形式提供。存储器530还可以包括数据库545。
50.帧外装置使用检测硬件525可以包括执行各种功能的各种硬件部件，所述功能例如从图像捕获系统505和/或光检测器系统510接收数字数据样本并将数字数据样本存储在存储器530中。例如集成电路(ic)和专用集成电路(asic)的硬件部件可以与由处理器520执行帧外装置使用检测模块535协作地执行各种硬件功能。
51.帧外装置使用检测模块535可以由处理器520执行，以便执行根据本公开的各种操作，例如检测车辆100的驾驶员110的分心驾驶。帧外装置使用检测模块535可以与图像数据样本评估模块540协作操作，所述图像数据样本评估模块可以由处理器520执行以执行例如上面关于各种脉冲模式描述的功能。
52.数据库545可以存储可由帧外装置使用检测模块535使用以执行根据本公开的操作的信息。在示例实现方式中，数据库545可以存储关于各种装置的历史数据，例如与装置115相关联的脉冲模式305。存储在数据库545中的脉冲模式305可以在执行帧外装置使用检测模块535期间用作参考模板，以检测车辆100内部的装置115的使用。
53.图6示出用于检测存在于车辆的车厢内部和驾驶员监测相机的视野外部的装置的示例方法的流程图600。流程图600示出可以以硬件、软件或其组合实现的示例操作系列。在软件的背景下，所述操作表示存储在一个或多个非暂时性计算机可读介质(例如存储器530)上的计算机可执行指令，所述计算机可执行指令在由一个或多个处理器(例如处理器520)执行时执行所列举的操作。一般而言，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、部件、数据结构等。描述操作的顺序不意图被解释为限制，并且任何数目的所描述操作可以以不同的顺序执行、省略、以任何顺序组合和/或并行
执行。已经通过参考车辆100和上述示例部件描述流程图600中指示的操作。然而，必须理解，流程图600可同样地适用于根据本公开的各种其他车辆和各种其他部件。流程图600中描述的一些或全部操作可以由adas 125执行。然而，必须理解，由adas 125执行的各种动作可以同样地适用于各种其他部件，例如基于云的计算机和/或车辆计算机130。
54.在框605处，操作驾驶员监测相机105以捕获车辆100的驾驶员110的一个或多个图像，并且更具体地，驾驶员110的面部的一个或多个图像。一个或多个图像可以提供与由一个或多个光源发射并入射在驾驶员110的面部上的光相关的信息。当装置115放置在驾驶员监测相机105的视野外部时，光源中的一个可以包括所述装置的显示屏。在示例场景中，驾驶员110可能已经将装置115放置在车辆100的仪表盘上，在那里他/她可以观看装置115的显示屏，同时偶尔扫视前方道路和/或欺骗adas 125断定他/她正在注视前方的道路。在另一个示例场景中，驾驶员110可以是细心的驾驶员，其注意前方的道路并且避免在驾驶车辆100时因使用例如装置115的小工具而分心。
55.在框610处，adas 125可以从驾驶员监测相机105接收一个或多个图像数据样本。adas 125评估一个或多个图像数据样本以检测可能入射在驾驶员110的面部上的各种类型的光的存在。各种类型的光可以由各种光源，例如上述光源(装置115、信息娱乐系统205、仪表板235等)发射。
56.在框615处，adas 125可以表征可以入射在驾驶员110的面部上的各种类型的光。在示例实施例中，可以以确定可能存在于一个或多个图像数据样本中的一个或多个脉冲模式的形式来执行表征。上面描述并在图3和图4中示出几个示例脉冲模式。在另一个示例实施例中，可以以确定可以入射在驾驶员110的面部上的光的光谱含量的各种波长的形式来执行表征。
57.在框620处，adas 125可以分析表征的参数(脉冲模式和/或光谱含量)。可以以各种方式，包括以上面参考图4描述的方式分析和评估脉冲模式。还可以以各种方式分析和评估光谱含量。在示例实现方式中，adas 125可以获得关于由一个或多个装置发射的光的光谱含量的信息。所述信息可以从各种来源，例如从基于云的存储元件获得，或者可以存储在adas 125的数据库545中。
58.更具体地，由仪表板235发射的光的光谱含量可以包含由设置在仪表板235中的绿色led和/或蓝色led(例如)发射以显示例如速度、里程、电池荷电状态、汽油油位等信息的波长。这些发光部件不会发射某些波长的光，例如黄色或绿色。存在于车辆100的车厢中的另一装置可以具有发射单个波长(或窄带波长)的光的单色显示屏。由太阳光产生的环境光具有跨越可见波长以及不可见波长(紫外线、红外线等)的光谱含量。装置115(例如，其可以是智能电话)可以由驾驶员110操作以在驾驶时观看视频。视频通常将包含涵盖一系列可见波长的光谱含量。adas 125可以利用这些各种光源的这种光谱含量信息，以便区分和识别装置115(当装置115在车辆100中操作时)。
59.在框625处，操作外部对象监测相机120以捕获位于车辆100前方的对象的一个或多个图像。这些对象中的一些可以包括光源(另一车辆的尾灯、另一车辆的前灯等)。
60.在框630处，adas 125可以从外部对象监测相机120接收一个或多个图像数据样本。adas 125评估一个或多个图像数据样本以检测可能入射在驾驶员110的面部上的各种类型的光的存在。各种类型的光可以由各种光源发射，所述光源例如车辆100前方的车辆的
制动灯、迎面而来的车辆的前灯、交通标志和/或建筑物上霓虹灯标志。
61.在框635处，adas 125可以表征从外部对象监测相机120接收的图像数据样本中的各种类型的光。在示例实施例中，可以以确定可以存在于一个或多个图像数据样本中的一个或多个脉冲模式(例如，在图3和图4中示出的脉冲模式320)的形式来执行表征。在另一个示例实施例中，可以以确定入射在驾驶员110的面部上的光的光谱含量的各种波长的形式来执行表征。
62.在框640处，adas 125可以分析表征的参数(脉冲模式和/或光谱含量)。可以以各种方式，包括以上面参考图4描述的方式分析和评估脉冲模式。还可以以各种方式分析和评估光谱含量。在示例实现方式中，adas 125可以获得关于由车辆100前方的对象中的一个或多个元素发射的光的光谱含量的信息。所述信息可以从各种来源，例如从基于云的存储元件获得，或者可以存储在adas 125的数据库545中。更具体地，由制动灯发射的光的光谱含量例如可以主要是红色波长。另一车辆中的危险警告灯的光谱含量可能主要是橙色波长。adas 125可以利用各种光源的这种光谱含量信息，以便识别由车辆100前方的对象发射的光。
63.在框645处，adas 125从在框620处识别的光含量中去除在框640处识别的外部光含量，所述外部光含量包括由装置115发射的光含量(如果存在的话)。
64.在框650处，确定在框650处采取的动作之后是否剩余任何光含量。如果这种光含量不存在(因为装置115未进行操作)，则动作返回到流程图600的开始。
65.如果存在这种光含量，则在框655处，adas 125确定作为此光含量的发起者的装置115的位置。可以以各种方式，例如通过评估入射在驾驶员110的面部上的光的阴影和照明角度来确定装置115的位置。
66.在框660处，adas 125可以评估图像数据样本以确定驾驶员110正看向装置115的位置。
67.在框665处，adas 125可以确定驾驶员110是否固定地注视着装置115的位置。在一些情况下，驾驶员110有时可能会将注意力从装置115转移开以看向前方的道路。只要驾驶员110注视装置115的持续时间低于阈值时间参数，此种行为就可能不一定构成分心驾驶。阈值时间参数可以由adas 125设置并用于驾驶员注视评估。还可以采取附加的动作，例如确定装置115的显示屏的尺寸以及显示屏的尺寸是否妨碍前方道路的视野。
68.如果驾驶员保持朝向装置115的超过阈值时间参数的固定注视，则在框670处，adas 125可以执行一个或多个安全相关操作。在示例场景中，adas 125可以发出听觉和/或触觉警告。在另一个示例场景中，adas 125可以接管车辆100的一些驾驶操作(制动、加速、巡航控制等)和/或防止adas 125的特征的接合或脱离。
69.在以上公开中，已经参考了形成以上公开的一部分的附图，附图示出了其中可实践本公开的具体实现方式。应理解，在不脱离本公开的范围的情况下，可以利用其他实现方式，并且可以进行结构改变。说明书中对“一个实施例”、“实施例”、“示例实施例”、“示例实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每一个实施例可以不必包括所述特定特征、结构或特性。此外，此类短语不一定是指同一个实施例。此外，当结合实施例描述特定特征、结构或特性时，无论是否明确地描述，本领域技术人员都将认识到结合其他实施例的此类特征、结构或特性。
70.本文所公开的系统、设备、装置和方法的实现方式可以包括或利用包括硬件(例如本文所讨论的一个或多个处理器和系统存储器)的一个或多个装置。本文公开的装置、系统和方法的实现方式可以通过计算机网络进行通信。“网络”被定义为能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当通过网络或另一种通信连接(硬连线、无线或者硬连线或无线的任何组合)向计算机传送或提供信息时，所述计算机适当地将连接视为传输介质。传输介质可以包括网络和/或数据链路，所述网络和/或数据链路可用于以计算机可执行指令或数据结构的形式承载期望的程序代码手段，并且可由通用或专用计算机访问。以上项的组合也应包括在非暂时性计算机可读介质的范围内。
71.计算机可执行指令包括例如当在处理器(例如，处理器520)处执行时致使处理器执行特定功能或功能组的指令和数据。计算机可执行指令可以是例如二进制代码、中间格式指令(例如汇编语言)或甚至源代码。虽然已经用特定于结构特征和/或方法动作的语言描述了本主题，但是应理解，在所附权利要求中限定的主题不一定限于上面描述的所述特征或动作。相反，所描述的特征和动作被公开作为实施权利要求的示例形式。
72.存储器装置(例如存储器530)可以包括任一存储器元件或易失性存储器元件(例如，随机存取存储器(ram，例如dram、sram、sdram等))和非易失性存储器元件(例如rom，硬盘驱动器、磁带、cdrom等)的组合。此外，存储器装置可以并入有电子、磁性、光学和/或其他类型的存储介质。在本文件的背景下，“非暂时性计算机可读介质”可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置。所述计算机可读介质的更具体的示例(非详尽列表)将包括如下：便携式计算机软磁盘(磁性)、随机存取存储器(ram)(电子)、只读存储器(rom)(电子)、可擦除可编程只读存储器(eprom、eeprom或快闪存储器)(电子)以及便携式压缩盘只读存储器(cd rom)(光学)。应注意，所述计算机可读介质甚至可为上面打印有程序的纸张或另一合适的介质，因为所述程序可以例如经由对纸张或其他介质的光学扫描被电子捕获，然后在必要时以合适的方式编译、解释或以其他方式处理，并且随后存储在计算机存储器中。
73.本领域技术人员将了解，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实践，所述计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器的或可编程的消费电子产品、网络pc、小型计算机、大型计算机、移动电话、pda、平板电脑、寻呼机、路由器、交换机、各种存储装置等。本公开还可以在分布式系统环境中实践，其中通过网络链接(通过硬连线数据链路、无线数据链路或通过硬连线数据链路与无线数据链路的任何组合)的本地和远程计算机系统两者都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器存储装置两者中。
74.另外，在适当的情况下，本文描述的功能可以在以下项中的一者或多者中执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(asic)可以被编程为执行本文所描述的系统和程序中的一者或多者。贯穿说明书以及权利要求使用的某些术语是指特定系统部件。如本领域技术人员将了解，部件可以用不同的名称指代。本文件不意图区分名称不同但功能相同的部件。
75.应当注意，以上讨论的传感器实施例可包括计算机硬件、软件、固件或它们的任何
组合以执行它们的功能的至少一部分。例如，传感器可以包括被配置为在一个或多个处理器中执行的计算机代码并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例装置在本文中出于说明目的而提供，而不意图进行限制。如相关领域的技术人员所知晓，本公开的实施例可以在其他类型的装置中实施。
76.本公开的至少一些实施例已经涉及计算机程序产品，所述计算机程序产品包括(例如，以软件的形式)存储在任何计算机可用介质上的这种逻辑。这种软件当在一个或多个数据处理装置中执行时致使装置如本文所描述那样进行操作。
77.尽管上文已描述了本公开的各种实施例，但应理解，仅通过示例而非限制的方式呈现本公开的各种实施例。相关领域的技术人员将明白，在不脱离本公开的精神和范围的情况下可以作出形式和细节上的各种变化。因此，本公开的广度和范围不应受到上述示例实施例中的任何一个的限制，而是应仅根据所附权利要求和其等效物限定。已经出于说明和描述目的而呈现了前述描述。前述描述不意图是详尽的或将本公开限制于所公开的精确形式。根据以上教导，许多修改和变化是可能的。此外，应注意，前述可选实现方式中的任一者或全部可以按任何所期望的组合使用，以形成本公开的附加混合实现方式。例如，相对于特定装置或部件描述的功能中的任一者可以由另一个装置或部件执行。另外，尽管已经描述了具体装置特性，但本公开的实施例可能涉及许多其他装置特性。此外，尽管已用特定于结构特征和/或方法动作的语言描述了实施例，但是应理解，本公开不一定受限于所描述的具体特征或动作。相反，将具体特征和动作公开为实现实施例的说明性形式。除非另有特别说明或在使用时在上下文内以其他方式理解，否则例如尤其是“能够”、“可能”、“可以”或“可”的条件语言通常意图表达某些实施例可能包括某些特征、元件和/或步骤，而其他实施例可能不包括某些特征、元件和/或步骤。因此，此类条件语言一般并不意图暗示一个或多个实施例无论如何都需要各特征、元件和/或步骤。
78.根据本发明的一个实施例，驾驶员监测相机是产生第一图像数据样本的卷帘快门相机，所述第一图像数据样本具有包含在由所述第一装置的显示屏发射的光中的第一脉冲模式。
79.根据实施例，所述卷帘快门相机包括互补金属氧化物半导体(cmos)传感器。
80.根据实施例，存在于车辆的车厢内部的第一装置是放置在车辆的仪表盘上的个人通信装置。
81.根据实施例，本发明的特征还在于：外部对象监测相机，所述外部对象监测相机产生第二图像数据样本，所述第二图像数据样本包括从车辆外部进入车辆的光的信息。
82.根据实施例，从车辆外部进入车辆的光是存在于车辆外部的环境光或由另一车辆的发光部件发射的光。