用于控制成像装置的曝光时间的方法和设备与流程

本公开涉及一种用于控制成像装置的曝光时间的计算机实现的方法。具体地，本公开涉及调整曝光时间以提高图像的亮度，从而更适当地捕获图像的相关区域。本公开还涉及相应的设备、计算机程序和包括所述设备的车辆。

背景技术：

1、如今，如汽车之类的车辆正朝着具有高级感测和控制装置的软件驱动平台的范式转变，以便向驾驶员提供一定程度的辅助。一个示例是用于监视驾驶员和/或车厢状态的车厢内感测相机。通常，使用近红外(nir)相机、彩色相机(rgb相机)和组合的彩色-nir相机。

2、这种相机拍摄经受光照条件的强烈变化的图像，并因此捕获图像的亮度。例如，根据环境条件(例如白天、夜晚、区域变化等)，接近车厢窗户的区域可以是相当亮或暗的。此外，靠近相机的对象也对这种变化有贡献，因为它们通常将发射的ir光反射回相机的镜头。靠近相机而导致反射的对象因此显得相当明亮。在高反射的情况下，图像传感器可能饱和，因此图像的质量降低。此外，在风景中经常存在高反射性的元素(诸如警示背心、由乘客佩戴的附件等)可能损害图像。此外，所有这些变化通常是时间相关的。总之，这些变化在具有相当亮和相当暗的区域的图像中达到顶点。

3、希望这种相机能够更适当地拍摄景物，特别是补偿光照条件的强烈变化，从而提高图像质量。

技术实现思路

1、在一个方面，本公开涉及一种用于控制成像装置的曝光时间的计算机实现的方法，该方法包括以下步骤：从所述成像装置获得成像数据，所述成像数据被分组在一个或更多个区域中，其中，每个区域与加权系数相关联；基于从所述成像数据获得的并且属于所关联的区域的光强度值来修改所述加权系数中的一个或更多个加权系数；基于所获得的成像数据和所述加权系数，确定所述成像数据的至少一部分的光强度值；以及基于所述光强度值，调整所述成像装置的曝光时间。

2、以这种方式，本公开允许改进对成像数据的捕获(也意味着包括表示、示出、相似的术语)。由此，更准确地捕获成像数据。因此，可以更精确地识别成像数据的相关区域。例如，相关区域因此看起来未饱和或甚至过饱和(具有相当高的强度)。此外，相关区域由此显得不太暗。例如，通过调整曝光时间，可以更好地捕捉驾驶员的面部。因此，这可以提高安全性。例如，可以采用成像装置来检测与驾驶员的认知相关联的状态，如驾驶员是否是警觉的。由此，可以适当地防止驾驶员的小睡(microsleeping)等。为了这种目的更准确地表示驾驶员是非常重要的。

3、在区域的加权系数与相应相关区域的光强度值之间提供连接有助于确保上述优点。因此，具有较高或较低强度的区域可以或多或少地被考虑。

4、一个或更多个区域可以是成像数据的一个或更多个像素。区域可以包括多于一个像素。在一个示例中，包括多于一个像素的区域可能是有利的，因为这使得该方法更有效。

5、术语“光强度”(为简洁起见在本文中也用作“强度”)可以是每单位面积的功率，并且可以称为物理量。它是与亮度相关联的量。亮度可以受人如何视觉感知光的影响。在一个示例中，强度值可以按像素的数字数量来定义。此外，相关区域的强度值可以是所述区域所包括的所有像素的平均强度。

6、此外，成像数据的至少一部分的强度值可以是所述成像数据的所述至少一部分所包括的所有像素的平均强度(优选地，这可以包括成像数据的基本上所有像素)。确定成像数据的至少一部分的光强度值的步骤可以包括：将每个修改的加权系数与关联区域的光强度值相乘，并针对各个区域进行平均。以这种方式，术语“成像数据的至少一部分的光强度”是本领域技术人员所理解的。

7、术语“曝光时间”可以理解为曝光的周期，并且可以是传统照相机的胶片和/或现代数字相机的传感器曝光以记录图像的时间跨度。

8、根据本公开的方法可以被应用于任何类型的成像装置。成像装置可以是相机，例如车辆的车厢内相机。例如，它可以是nir或彩色(rgb)-ir车厢相机。应当理解，根据本公开的方法允许调整这种车厢相机的自动曝光控制。

9、在优选实施方式中，该方法还包括从确定光强度值中排除具有高于预定上限阈值的光强度的一个或更多个第一区域。

10、在该实施方式的情况下，不考虑第一区域来确定成像数据的至少一部分的光强度值。这具有以下优点：具有相当高强度的第一区域(这些区域可以是饱和的和/或过饱和的)不影响成像数据的至少一部分的光强度值。

11、这可以防止在适当地捕获第一区域的尝试中减少曝光时间，因为通常而言上限阈值相当高，使得即使曝光时间显著减少，也不能精确地捕获第一区域。因此，成像数据的剩余区域被精确地捕获。

12、警示背心和/或成像装置附近的对象可以是这种第一区域所包含的例子。

13、这样的第一区域可以是相当亮的区域，即使在成像装置的正常使用期间将成像装置的曝光时间减小到基本上最低的合理值。

14、如果曝光时间低于限定的曝光时间阈值，则可以将第一区域识别为第一区域。这可以确保仅排除相当亮的区域，尽管曝光时间低于较低的曝光时间阈值。

15、从确定光强度值的步骤中排除一个或更多个第一区域的步骤在与修改一个或更多个加权系数相结合时可能是特别有利的。作为示例，在具有相当高强度的元素用值2加权而具有相当低强度的元素用值1加权(例如保持相同)的情况下，在一个示例中平均强度值仍可以是255(0是最小值，255是最大值，如本文别处所述)。因此，可以减少曝光时间以降低强度。以这种方式，当对具有相当高强度的元素的灵敏度增加(值为2)时，排除一个或更多个第一区域可能是特别有利的。因此，有益地排除了保持明亮的相当明亮的区域(例如，即使在成像装置的正常使用期间曝光时间被减少到基本上最低的合理值)。在一个示例中，可以通过调整曝光时间来降低包围驾驶员面部的区域的亮度，但是这对于高反射元素是不可能的。

16、在另一个优选实施方式中，该方法包括以下步骤：如果具有高于预定的下限阈值、低于预定的上限阈值的光强度的一个或更多个第二区域与至少一个第一区域相邻，则从确定光强度值的步骤中排除所述一个或更多个第二区域。

17、与本文中关于第一区域所描述的相同，所述第二区域也被排除。因此，本文关于第一区域描述的各个优点同样适用。

18、此外，这个进一步优选的实施方式具有的优点是也排除了仍然可能具有相当高的强度并且与至少一个第一区域相邻的第二区域(其可以低于第一区域的强度)。因此，有利地排除了被认为对于捕获成像数据的相关区域有害的第一区域和第二区域。这可在本文别处关于“滞后阈值”更详细地描述。

19、术语“相邻”可以包括第二区域接近第一区域。例如，第二区域可以邻接第一区域和/或接触第一区域的边界。在一个示例中，第二区域可以与第一区域间隔开。

20、预定的上限阈值和/或下限阈值可以取决于成像数据的位深度。例如，对于8位图像，最大值是255。为了说明这一点，可以将8位图像以数字矩阵的形式存储在计算机中，然后可以将这些数字称为像素值。所述像素值可以表示每个像素的强度：0表示黑色，255表示白色。对于8位图像，合适的上限阈值可以是大约至少200(最大值255的78％)、210(82％)或220(86％)。

21、在另一个例子中，对于10位图像，最大值是1023。因此，合适的上限阈值可以是大约至少800(最大值1023的78％)、900(88％)或1000(97％)。

22、如所理解的，在涉及12位图像的又一示例中，最大值是4095。对于任何类型的图像比特率，可以定义相对于最大值的适当的相对阈值。因此，合适的预定上限阈值可以是最大值的大约至少75％，优选为至少80％，更优选为至少85％，更优选为至少90％，更优选为至少95％，最优选为至少97％。

23、预定的下限阈值可以比相应的预定上限阈值低约1％点、2％点、3％点、4％点或5％点(例如，90％的上限阈值可能需要89％至85％的下限阈值)。

24、优选地，排除第一区域和/或第二区域还要求对于由成像装置获得的帧序列的n个连续成像数据，第一区域和/或第二区域具有高于预定的上限阈值和/或高于预定的下限阈值的光强度至少n次。优选地，n是至少为1的整数。在一个示例中，此条件在本文中可称为计数阈值，如别处更详细描述的。

25、注意，(整数)n可以取决于成像装置的帧速率(即每秒帧数)和/或应当执行排除的期望灵敏度。如本领域技术人员所理解的，可以选择(整数)n，使得第一区域/第二区域被检测为具有相当高强度的基本上静止的区域。

26、在一些示例中，数量n可以是至少2，更优选为5，最优选至少为10，和/或至多为100，优选至多为80，更优选至多为60，最优选至多为50。

27、这具有以下优点：如果第一区域和第二区域仅出现一次(例如n＝1)，则第一区域和第二区域可能尚未被排除，因为这种出现可能是由噪声等引起的。因此，增加要遇到此的数量n可能是有益的。

28、在优选实施方式中，修改一个或更多个加权系数包括：如果相关区域的光强度值高于第一阈值，则增加加权系数的每个值。

29、这具有更多考虑具有较高强度的区域的优点。例如，驾驶员的面部通常可以是较高强度的区域。这可以是要准确捕获的相关区域。因此，上述实施方式确保该区域不会由于增加的曝光时间而过饱和。

30、优选地，修改所述加权系数中的一个或更多个包括：如果相关区域的光强度值低于第二阈值，则减小所述加权系数中的每个值；其中，优选地，所述第一阈值大于所述第二阈值。

31、这具有的优点是，可能不如驾驶员的面部(通常较亮)相关的区域(例如，较暗的副驾驶的座位)被较少地考虑。

32、这在本文的其他地方相对于典型的车厢情形更详细地描述，其中，副驾驶的存在可以不利地影响捕获这种相关区域。因此，本公开提供了改善的措施。这增加了安全性。然而，同样如本文所描述的，本发明便于成像装置基本上同时用于多个目的(例如，在应当感测驾驶员的意识并且应当检测乘客，特别是后座乘客的情况下)。

33、在优选实施方式中，修改一个或更多个加权系数包括基于与相关区域的光强度的函数关系，优选地基于诸如s形传递函数的传递函数来修改加权系数的值。

34、该函数关系的优点在于，可以基于先前得到的数据来精确地修改系数，这已被证明是适用的，并且有助于更精确地表示相关区域。例如，可以基于所述关系的函数值来缩放系数。对于浮点实现，这可以是0至1之间的浮点值，或者是可应用于定点实现的整数。当然，根据本公开，任何类型的传递函数都是可能的。

35、优选地，排除第一区域和/或第二区域还基于第一区域和/或第二区域的运动跟踪信息。

36、这可以理解为通过运动跟踪信息来检测第一区域和第二区域以分别对应于相干区域。例如，靠近成像装置的手可以从成像数据的一个位置移动到另一个位置。因此，如果这样的移动区域被检测为这样的区域并且如果相应的上限阈值/下限阈值条件被满足，则被排除是有利的。

37、如本文别处所述，这种运动跟踪和n次计数的实现可称为强度计数图。强度计数图可以被连续地更新。优选地，当第一区域和/或第二区域的运动跟踪信息与n次的计数结合使用时，可以在如本文所述那样更新强度计数图之前修改强度计数图。这种修改可以包括根据经由运动跟踪的对象/部分将第一区域和/或第二区域移位。

38、在优选实施方式中，该方法还包括获得成像数据和/或成像装置的附加信息；基于所获得的附加信息，允许和/或禁止排除第一区域和/或第二区域。

39、这可能是有利的，因为排除可以仅在相关情况下被允许和/或禁止。

40、优选地，所述附加信息是以下中的一项或更多项：一个或更多个先前成像数据的成像装置的曝光时间，优选为先前成像数据的曝光时间；优选地在由成像装置获得的帧序列的一个或更多个连续成像数据期间的运动跟踪信息；表示在由成像装置获得的帧序列的一个或更多个连续成像数据期间的运动对象(例如人体的一部分)的运动跟踪信息。

41、这具有以下优点：如果曝光时间相当高，则可以禁止排除。在这种情况下，可以通过减少曝光时间而不必排除所述第一区域/第二区域来使高强度区域更加可识别。

42、此外，如果成像装置在相当低的曝光时间(例如，作为来自先前帧的附加信息而获得)下操作，并且区域仍然会显得相当亮(例如，具有高强度)，则可以有利地允许排除。在这种情况下，排除被证明是有益的。

43、在优选实施方式中，调整成像装置的曝光时间还包括：如果针对成像数据的至少一部分确定的光强度值低于图像阈值，则增加成像装置的曝光时间；和/或如果针对所述成像数据的至少一部分确定的光强度值高于所述图像阈值，则减少所述成像装置的曝光时间。

44、这具有这样的优点：如果所确定的光强度值低于图像阈值则增加曝光时间。特别地，在这种情况下，成像数据可能显得相当暗。因此，增加曝光时间有助于增加强度。反之亦然，如果所确定的光强度值高于图像阈值，则有利地减少曝光时间。这有助于使成像数据变暗。

45、可以理解，可以根据本公开的方法的用例来调整阈值。

46、本公开的另一方面涉及一种用于感测车辆的内部环境，优选地车辆的车厢的计算机实现的方法，该方法包括以下步骤：执行本文所述的方法(用于控制成像装置的曝光时间的方法)；基于所述成像装置的经调整的曝光时间来获得另外的成像数据；基于所述成像数据，确定所述车辆的所述内部环境的一个或更多个特性。

47、优选地，确定一个或更多个特性的步骤包括以下的一个或更多个步骤：确定所述车辆的驾驶员是警觉/清醒、困倦、小睡还是睡着的；确定所述车辆的乘客数量；确定驾驶员的凝视方向。

48、以此方式，该方法便于确定驾驶员的状态，例如与驾驶员的意识相关联的状态。这个另外方面的方法可并入本文所述的用于控制成像装置的曝光时间的方法的所有优点。

49、特别地，用于感测车辆的内部环境的方法可以在驾驶员不警觉的情况下帮助感测和/或恰当地交会。可以理解，感测这样的状态以提供适当的措施来防止驾驶员的认知降低的状态，例如昏昏欲睡和小睡，例如驾驶员入睡的一秒或几秒的时间。由此，该方法可以降低驾驶员的风险和/或危险情况，因为可以克服驾驶员的潜在严重错误，例如在开车时。相同的优点适用于驾驶员的凝视方向。此外，额外的感测可以有助于在任何种类的情况(例如，乘客数量)下增加安全性和/或驾驶员舒适性。要注意的是，其他量表适用本公开所包含的并且与驾驶员的状态相关联的，如karolinska睡意量表(kss：karolinska sleepinessscale)。

50、优选地，本文所述的成像装置基本上同时用于多个目的。例如，可以感测驾驶员的状态(驾驶员应该是可识别的)并检测车厢中的其他乘客，例如后座中的乘客(其他乘客应该是可识别的)。暴露时间的这种冲突要求(例如，对于特别是在后座中的其他乘客，暴露时间应该增加；对于驾驶员来说，应当减少曝光时间)可以通过基于相关区域的光强度值修改一个或更多个加权系数来有利地遇到。以这种方式，相当明亮的区域(例如，驾驶员)不损害图像(例如，使后座变暗)，使得另外的乘客，特别是后座中的乘客不能在图像中识别。反之亦然，例如相当暗的区域同样不损害图像。

51、本公开的另一方面涉及一种数据处理设备，所述数据处理设备包括用于执行本文所述的一个或更多个方法步骤的装置。

52、本公开的另一方面涉及包括指令的计算机程序，所述指令在由计算机执行时使所述计算机执行如本文所述的方法步骤中的一个或更多个。

53、本公开的另一方面涉及一种包括如本文所述的设备的车辆，所述车辆可选地还包括成像装置，例如相机。

54、此外，本文中概述的设备、计算机程序和车辆可以包括用于实现如在本文中概述的所有方面和/或实施方式的装置，即使这些可以相反地在方法步骤的上下文中描述。此外，参照方法步骤描述的特征和优点同样可应用于设备、计算机程序和车辆。

55、还应当理解，参照设备、计算机程序和车辆描述的特征和优点可以等同地适用于方法步骤。