用于限制摄像头图像中的个人信息的方法及装置与流程

本发明涉及一种用于通过降级摄像头图像来减少摄像头单元的摄像头图像中的个人信息的方法、一种用于通过降级摄像头图像来减少摄像头单元的摄像头图像中的个人信息的系统以及一种具有这种系统的车辆。

背景技术：

1、所谓的“计算机视觉”领域中的图像分析方法允许自动处理摄像头单元的图像数据。在这种情况下，例如，可以确定当前是否有人以及有多少人在摄像头单元的检测区域中，在检测区域中是否有对象以及有多少对象被识别，等等；特别是在车辆自动驾驶或驾驶员辅助系统的应用中，这种自动图像分析方法也可以提高道路交通中的安全性，并且在某些情况下对于车辆认证许可而言是要强制性提供的。例如，对于地球上的一些地区，在特定的、有时与安全和认证许可相关的应用情况方面，为实现车辆功能，例如驾驶员监控或乘员监控，或者为使辅助系统运行，必须提供车辆内部摄像头，在车辆行驶期间这些摄像头必须一直运行。这基本上导致如下的两难困境：除了这种内部摄像头所提供的安全技术上的优势外，还产生对乘员隐私的明显限制，特别是当乘员面部原则上能够在摄像头单元的原始摄像头图像中被识别时。虽然存在通过黑客攻击非法访问摄像头图像的风险，但完全停用这种摄像头单元来运行车辆功能或辅助系统是不可能的。因此，希望保护出现在摄像头单元的检测区域中的人以及其他敏感情况和对象的隐私，同时还希望依赖于该摄像头单元的摄像头图像的存在来实现的自动化应用的功能、车辆功能或辅助系统的功能得以保持。

2、us 8,666,110 b2涉及对具有私人信息的图像区域的不可识别处理。为此，确定具有私人信息的相应图像部分，然后处理该区域以使其不可识别。这尤其涉及人的面部、车辆牌照、房屋的窗户区域等。为使图像变得不可识别，可以以编码的方式分解、分割相应的图像区域。此外还公开了可以对相应的不可识别处理过程进行逆操作，以恢复检测图像中的原始信息。

技术实现思路

1、本发明的目的是确保对敏感数据的有效保护，同时仍可使用来自摄像头单元的摄像头图像的信息来运行车辆功能，例如辅助系统。

2、本发明由独立权利要求的特征得出。有利的改进方案和设计方案是从属权利要求的主题。

3、本发明的第一方面涉及一种用于通过降级摄像头图像来减少摄像头单元的摄像头图像中的个人信息的方法，其中，通过图像分析被处理的摄像头图像用于执行车辆功能，例如辅助系统，其中，为了在处理之前减少摄像头图像中的个人信息，在图像处理的阶段中对摄像头单元的原始图像数据进行降级，其中，阶段中的每一阶段都执行该阶段特定的降级方式，阶段中的每一阶段都具有至少一个可变参数用于确定在该相应阶段中的降级强度，其中，计算单元通过使用i)为车辆功能至少要提供的信息和ii)个人信息的期望限制水平的优化算法来确定每个阶段的参数值，以确定降级在各阶段上的分布，其中，i)和ii)被用作目标变量或目标值，并且确定用于达到目标变量的参数。为车辆功能至少要提供的信息代表了最低要求，在该最低要求时，车辆功能能够以期望的程度供使用，即，能够例如不被限制地、被略微限制地或被大幅限制地使用。

4、摄像头单元优选地布置在车辆上或车辆中，并为车辆功能(例如，车辆的自动化应用)提供摄像头图像。这种车辆功能例如是为确定车辆中乘员的数量而观察车辆内部，借助于面部识别而使车辆功能个人化、疲劳警告系统等。然而，也可以在车辆的外侧布置摄像头，以用于为车辆的车辆功能(例如识别交通标志或将车辆周围的道路使用者分类为预定类别，例如骑自行车的人、行人、其他车辆等)而提供视觉数据。

5、对于上述示例性应用，可以为摄像头单元使用多个技术上不同类型的摄像头系统。特别地，可以使用以下任一种：rgb摄像头，ir摄像头，fir/nir/热成像摄像头，飞行时间摄像头，立体摄像头，结构光摄像头。

6、例如，多用途车内摄像头(mpic)是布置在车辆中控台上的内部摄像头。该摄像头可以向各种系统提供信号：注意力辅助(观察驾驶员以识别疲劳和分心、进行认证)、具有“免手扶驾驶”功能的驾驶员辅助系统、驾驶员和乘客识别的个性化、内部辅助(人员和手势识别)以及其他系统。

7、摄像头单元的摄像头图像通常不仅包含用于车辆功能的信息，还可能包含来自个人隐私的敏感数据。特别地，个人信息包括适于识别个人的信息，例如足以用于面部识别的信息。但除了个人本身方面外，对象相关的信息也可能包含敏感数据，例如车辆牌照、门牌号和其他与私人信息相关的敏感、值得保护的数据。

8、然而，根据车辆功能，这种个人信息的一定程度对于执行车辆功能而言并不必需的。因此，根据本发明提出，如果可能，那么在从摄像头单元的传感器到进行处理的、用于执行车辆功能的计算机单元、尤其是车辆的计算机单元的数据路径中,在不同阶段中将个人信息的一定程度降级。在这种情况下，在降级之后所提供的信息必须至少达到被作为要提供的信息限定的目标变量，以便能够为车辆功能的执行提供足够的质量。

9、摄像头图像的降级通过该阶段特定的算法或机制来执行，以便通过诸如图像编辑的编辑步骤来降级相应的摄像头图像，即，将在相应摄像头图像的所有像素中可解释的信息人为地转换为不太可解释的、即可识别性较低的个人数据和个人信息。降级尤其通过例如实现相应摄像头图像的分辨率降低的编辑步骤来实现，通过施加过度曝光、通过改变的色调值曲线、通过双边滤波器/引导滤波器/卡通化滤波器等。此外，已知的计算成像方法和已知的图像处理滤波器方法也可用于降级。

10、结果，在一个实施例中，与原始图像数据相比，可以获得完全颜色偏移的、噪声化的并且分辨率低的降级的摄像头图像。在另一个实施例中，原始图像数据的原始颜色被认为对于车辆功能的完美执行是重要的，优选地以保持原始图像数据的原始颜色的方式改变阶段的参数。

11、在这种情况下，对于每个单独的相应摄像头图像，产生必要的权衡，即在从原始图像数据中获得尽可能多的信息以确保车辆功能执行的完美功能的一个目标与从原始图像数据中删除尽可能多的个人相关信息的另一个目标之间找到折衷。这些基本上是竞争的目标，在本发明第一方面的第一变型中，在这些目标之间进行选择，使得两者都充当优化算法中的目标变量。

12、为此，例如，使用所述目标i)和ii)作为各自的目标变量进行多目标优化，这些目标变量尤其在一个共同的成本函数中加权优化。

13、在本发明第一方面的替代或附加的第二变型中，在通过改变参数不能同时实现两个目标变量的情况下，优化算法优化参数，使得根据应用情况：在为车辆功能提供的信息方面达到目标变量i)，而个人信息所达到的限制水平尽可能地接近目标变量ii)，或者在个人信息的限制水平方面达到目标变量ii)，而所达到的为车辆功能提供的信息尽可能地接近目标变量i)。一旦找不到或至少在预定时间内找不到允许同时实现两个目标变量i)和ii)的参数值，就使用该变型。

14、因此，根据本发明，以下替代方案是可能的：

15、-根据目标变量ii)通过限制和删除个人信息使隐私优先化，而使为车辆功能提供的信息尽可能地接近目标变量i)；或者

16、-根据目标变量i)使为车辆功能提供的信息优先化，而使个人信息尽可能接近期望的限制水平ii)。

17、无论优化算法是解析地解决线性优化问题、迭代地解决非线性优化问题、还是执行基于数据库的解决方案(表、查找表)，结果都是原始图像数据在具有各自阶段特定的降级方法的不同阶段上的降级分布。通过为各自阶段确定参数值，确定了在各自阶段中且因此以各自特定方式的降级强度。然而，这里的问题空间(由阶段中的参数数量决定)通常是高维的，并且通常不能通过简单的折衷(例如1d参数限制)来解决。在通常在个位数的处理阶段中，总共可以存在超过一千个的参数，但是也可以存在在数量级上更多的参数。

18、因此，每一阶段尤其具有至少一个参数，借助于该参数，可以确定以该阶段特定的方式对摄像头图像的降级水平和/或方式。因此，在确定参数值之后，由所有参数整体来确定通过各阶段特定的降级方法的降级分布，即，在当前情况下，特别是根据车辆功能，每个阶段所具有的降级程度/份额。

19、优化算法的目的是，为这些连续的处理阶段确定参数值，进而确定各阶段上的降级分布以及整体的降级强度，并且根据一些实施方式(见下文)，还确定在摄像头图像内的图像数据降级的局部的强度分布。

20、因此，本发明的有利效果是，用于执行车辆功能的摄像头图像被有效地减少了个人信息至确定的程度。特别地，通过将减少分布在不同的阶段上来实现减少的效率，每个单独的阶段都提供用于减少个人信息的特定机制。就此而言，可以根据在图像属性方面存在哪些边界条件以及要从摄像头图像中删除何种和多少个人信息来最佳地利用相应阶段的物理和逻辑特性。此外，可以定义和实现在相互竞争要求之间、即一方面是对包含在摄像头图像中的私人信息的最大可能的隐私保护、另一方面是为运行车辆功能而在摄像头图像中保留尽可能大的信息含量之间的折衷。因此，可以有利地考虑对隐私的要求和对车辆功能的要求，特别是以这样一种方式，即，车辆功能在其功能范围内没有承受损失或仅承受很小损失，同时显著增加对隐私的尊重。因此存在一种系统化的可行方案来优化数据保护与应用功能之间的权衡。因此，攻击者原则上只能确定降级的摄像头图像，其中敏感数据已经全部或大部分被删除。

21、根据一个有利的实施方式，由用户预先确定为车辆功能至少要提供的信息或个人信息的期望限制水平和/或目标变量之一的优先级之间的偏好的度量。

22、换句话说，用户可以预设和影响通过要提供的信息的质量在应用功能的水平方面的目标变量或目标值或者个人信息水平的目标变量或目标值。例如，用户可以决定：他期望对个人数据的高限制水平，即图像数据包含很少的个人数据，或者他期望为实现不受限制的车辆功能而由图像数据传递的大量信息。用户的该预设优选地在车辆的操作计算机的图形操作界面上执行。在这种情况下，诸如滑动调节器/滑块之类的图形元素可能是有利的，但是根据情况和应用，也可以使用通过图形界面上的复选框的离散输入。

23、在对安全关键的车辆功能或由于认证许可规定而在法律上必须要求的车辆功能的情况下，目标变量最多只能被降低至最小值，或者用户的人员也可以仅限于开发人员或车间人员。因此，有利地提供了各种的用户授权，以便能够执行上述预设。

24、根据另一个有利实施方式，例如根据相应的车辆功能、速度、驾驶情况、环境条件等，由计算单元预先确定为车辆功能至少要提供的信息和个人信息的期望限制水平和/或目标变量之一的优先级之间的偏好的度量。

25、与前面描述的实施方式相反，由计算单元本身根据相应的车辆功能作出i)和ii)之间的权衡。因此，例如，计算单元可以对于安全关键的车辆功能规定为该车辆功能至少要提供的信息的目标变量，而在剩余的余量/决策空间中最大化地限制个人信息。这也可以对单个方面适用并在将降级分布到单个阶段时考虑在内。例如，如果眼睛颜色对车辆功能很重要，则计算单元将自动识别在该群集中不允许进行(有助于限制个人信息的)颜色偏移。

26、根据另一有利实施方式，图像处理的阶段包括：摄像头单元的图像传感器，特别是图像传感器的寄存器，摄像头单元的控制单元中的硬件设置，特别是校准数据，摄像头单元的控制单元中用于在算法上执行图像编辑的软件处理。

27、对个人信息的限制被在多个阶段中实现。如上所述，这些阶段优选地包括传感器本身的阶段，因为这里个人信息可以直接在源处从数据中删除。传感器阶段的优选算法包括以下应用：2×2合并(binning)、8倍下采样(subsampl ing)、高值饱和度、16倍增益、图像裁剪、自动曝光控制和用以实现最佳隐私的色调映射。另一优选阶段通过在传感器下游在摄像头单元的控制单元中的硬件设置来实现。该阶段特别是在ecu(例如，中央信息娱乐计算机)中的硬件中实现。在这种情况下，可以使用比传感器中更复杂的算法来增加数据保护，而不会损害车辆功能。通过实现在硬件中，有利地很好地保护该阶段免受外部攻击者的攻击。硬件阶段的优选算法包括以下应用：色调映射以实现最佳隐私、最小色彩饱和度、边缘保留的锐度降低。在摄像头单元的控制单元中的硬件设置下游的另一个优选阶段是摄像头单元的控制单元中的软件预处理，其理想地适用于灵活的在算法上执行的图像编辑，以便在不损害车辆功能的情况下删除个人数据。这里可以应用复杂的算法(例如，神经网络)从数据中删除个人信息。然而，将该第三阶段实现在软件中使这一阶段更容易受到攻击。软件阶段的优选算法包括应用复小波ssim(cw_ssim)，其中，缩写ssim代表“结构相似性指数度量”。cw_ssim可用作信息内容的度量。对于该优选算法，使用下面描述的滤波器和参数来尽可能大幅地减少个人信息，同时通过监控cw_ssim来确保车辆功能。

28、在另一实施方式中，在摄像头单元的控制单元中的软件处理阶段中，为在算法上进行图像编辑，使用滤波器(特别是以下中的至少一个：噪声滤波器、锐化滤波器、缩放滤波器、色调值曲线滤波器、亮度滤波器、颜色变化滤波器)，其通过具有用于使其参数化的参数的人工神经网络来实现。为此，优选指定通用的步骤，特别是以cnn(卷积神经网络)的形式。通过已知的训练方法(有时是数百万个参数)，可以全局优化cnn的无缝链(kette)。这里的基本假设是，为了车辆功能的最佳执行，在该阶段获得的摄像头图像不一定必须看起来特别明亮和中性；相反，特定的强调(例如，边缘)可以由于其非线性特性而大大改善车辆功能的信息的使用。因此，这种扩展版本有利地使得通过预制“构建块”(如当前系列项目中仍然存在的情况)根本无法提供的实现方案成为可能。

29、每个阶段的相应算法优选地适应于计算单元的最大可用计算能力、使用的数据格式、安全要求等。由于在上述优选的第一阶段(传感器)中通常只有很少的计算能力可用，因此优选在这里实现简单的算法(例如，使某些区域中的像素饱和以去除个人信息)。因此，上述进一步优选阶段中的应用的复杂性倾向于由计算单元选择得更高。在阶段之间，数据特别通过物理信道传输(例如，通过从摄像头单元到ecu的电缆从“传感器”阶段传输到“硬件设置”阶段)。

30、在另一个有利实施方式中，例如，使用位于传感器上游的阶段，其中，有目的地针对传感器定向外部信号，以便破坏/干扰传感器检测本身。在优选实施方式中，摄像头图像的人为恶化是通过主动光源(改变现有或附加照明和/或投射仪的强度和/或图案，优选在红外范围内)来实现的。

31、根据另一有利实施方式，通过关于摄像头图像的结构相似性指数来限定个人信息的期望限制水平。根据该实施方式，通过所谓的“结构相似性指数测量”(ssim)来限定关于个人信息的期望限制水平的目标变量。作为用于量化期望限制水平的优选度量使用的是：(1-cw_ssim)，在单词“一减cw_ssim”中，其中，“cw”代表“复小波”，“ssim”代表“结构相似性指数度量”；更多信息可以在出版物“z.wang和a.c.bovik”，“mean squared error:love it or leave i t？a new look at signal fidel i ty measures(均方误差：爱它还是离开它？对信号保真度测量的新看法)”ieee信号处理杂志，第26卷，第1期，第98-117页，2009年1月，doi：10.1109/msp.2008.930649”中找到。

32、根据另一有利实施方式，为车辆功能至少要提供的信息包括在摄像头图像方面的平均标准偏差或信噪比。

33、关于平均标准偏差(缩写为“mse”)的进一步信息可以在出版物“z.wang和a.c.bovik”，“mean squared error:love i t or leave i t？a new look at signalfidel i ty measures(均方误差：爱它还是离开它？对信号保真度测量的新看法)”ieee信号处理杂志，第26卷，第1期，第98-117页，2009年1月，doi：10.1109/msp.2008.930649”中找到。

34、根据另一个有利实施方式，使用设置在车辆中的计算单元，其中，由计算单元确定阶段中的每个阶段的参数的连续更新值，用于连续更新地确定在各阶段上的降级分布。

35、因此，在每种情况下，由计算单元确定的当前参数是车载地/在车上确定的，即在车辆本身中本地确定的。降级分布的不断更新的确定导致在阶段上的降级分布以及降级的总强度的实时调整。因此，可以有利地根据当前条件进行调整，以便能够在车辆功能和减少个人信息的目标之间执行信息的连续最佳分配。

36、根据另一有利实施方式，计算单元根据所确定的情况参数来确定每个阶段的参数，其中，情况参数特别包括以下之一：人的面部到摄像头单元的距离、人相对于摄像头单元的面部运动、环境条件如当前亮度、驾驶情况。

37、因此，个人信息的限制尤其可以变化，因为例如，靠近摄像头的脸比更远的脸(例如，在黑暗中在车辆后座上)对隐私更关键。为此，即使先前使用的参考图像在操作中不再可用，也优选地通过人工智能或回归方法进行预测。

38、为确定在阶段上的降级分布通过优化算法确定每个阶段的参数值也有利地自适应地进行，特别是关于车辆功能的几何roi(感兴趣区域)，特别是为了尽可能地获得roi，即该特定区域的信息。这些可以根据场景而改变。面部roi可以用已知的算法面部检测来确定。现有技术中还存在面部检测器(用于面部识别)，其对空间分辨率的降低表现得非常鲁棒。此外还可以在参数值对某些图像特性(例如，噪声、缺失结构、缺失对比度)的敏感性方面考虑到相应车辆功能的特性。在这种情况下，预期或实际的当前场景(例如，关于动态范围、亮度分布，如可以用直方图表示)也可以在每种情况下针对特定区域被用于为之确定优化算法中的参数值。此外，可以利用相应阶段的降级在摄像头图像的每个区域中根据局部、时间和内容来应用参数值的不同组合。

39、根据另一有利实施方式，由计算单元为预定义的摄像头图像或来自预定义场景的摄像头图像规定阶段的参数值，并存储在车辆的控制单元中。

40、有利地，根据该实施方式，当预定义的摄像头图像重又出现或出现来自预定义场景的摄像头图像时，不需要重新确定参数值，而是可以采用过去已经非车载地/在车外确定的预定义参数值的预定义集。因此，可以有利地节省不必要的计算工作量。当认定由摄像头单元检测到几乎精确重复的情况时，可以使用预定义的摄像头图像。另一方面，来自预定义场景的摄像头图像的使用更加灵活，并且只需要场景特征匹配/一致。一旦确定了这些参数值的集，就将这些参数值的集对应于预定义的摄像头图像或预定义的场景存储在控制单元中，并且可供计算单元访问，以便为优化算法提供替代源。

41、根据另一有利实施方式，只有当在操作中存在/可用预定义的摄像头图像或来自预定义场景的摄像头图像时，才使用存储在车辆的控制单元中的参数值而不是由计算单元连续更新的参数值进行降级。

42、根据另一有利实施方式，计算单元通过数值方法、特别是迭代方法来确定参数值。

43、迭代的数值的方法特别有利地用于迭代地接近关于i)或ii)的预定目标变量，即改变参数值，直到满足目标变量的所要求的阈值，或者达到目标变量的至少一个阈值i)或ii)，而以尽可能最佳地达到相应地另一个阈值。在多目标优化中，对于非线性优化问题，可以采用迭代搜索算法。

44、根据另一有利实施方式，计算单元借助于预训练的人工神经网络来确定参数值。

45、在这种情况下，优化算法使用预训练的人工神经网络来确定参数。预训练的人工神经网络的可能的输入变量特别是相应的摄像头图像和目标变量i)和ii)；输出值是阶段的参数。

46、根据另一有利实施方式，预训练的人工神经网络基于来自车辆的摄像头单元的数据在服务器上被连续地进一步训练，其中，人工神经网络的更新被传输回车队中的车辆。

47、在另一优选实施方式中，阶段的元素及其参数并不是仅由一定数量的预制滤波器组合，而且完全通过深度学习方法生成，类似于生成对抗网络(gan)。在扩展实施方式中，在目标函数中硬件组件也由另一项(term)考虑。在这种情况下，特别地，资源消耗也被映射，以便在优化算法中考虑这一点——例如，在个人信息的限制水平恒定的情况下，在为车辆功能要提供的信息的质量和数量相似(特别是在基本恒定的程度上)的情况下，选择参数的变体(特别是用于滤波器模块的选择)，这可以在计算单元上或在相应的阶段中特别有效地执行。

48、本发明的另一方面涉及一种用于通过降级摄像头图像来减少摄像头单元的摄像头图像中的个人信息的系统，其中，通过图像分析被处理的摄像头图像用于执行车辆功能，特别是在车辆中执行车辆功能，用于减少摄像头图像中的个人信息的计算单元被设计为在处理之前分阶段降级摄像头单元的原始图像数据，其中，阶段中的每一阶段执行该阶段特定的降级方式，阶段中的每一阶段具有用于确定该相应阶段中的降级强度的至少一个可变参数，其中，计算单元被设计为通过使用i)为车辆功能至少要提供的信息和ii)个人信息的期望限制水平的优化算法来确定每个阶段的参数值，以确定降级在各个阶段上的分布，其中，i)和ii)被用作目标变量，并且确定用于实现目标变量的参数。

49、本发明的另一方面涉及一种具有如上和如下所述系统的车辆。

50、所提出的系统的优点和优选的改进方案是通过与所提出的方法相关的上述实施方案的类似和适当转用而产生的。