技术新讯 > 计算推算,计数设备的制造及其应用技术 > 用于识别显示设备的系统的制作方法  >  正文

用于识别显示设备的系统的制作方法

  • 国知局
  • 2024-10-09 16:38:38

本发明涉及一种用于识别显示设备的系统、方法和计算机程序,一种用于评估主体关于显示设备的资格的系统和方法,以及一种显示设备。

背景技术:

1、例如,为了评估比如智能电话等显示设备的用户是否有资格使用该显示设备,可能有必要对该用户进行识别。由于面部检测算法对于与这些设备相关联的用户的便利性及其相对较高的可靠性,对由显示设备的前置相机获取的图像执行面部检测算法通常是用于识别用户的优选方式。然而,当前置相机被显示器覆盖时(这可能出于其他原因),由前置相机获取的图像可能被干扰,这可能使对前置相机图像执行的面部检测算法不太可靠。于是,与显示设备相关联的资格、比如用户使用智能电话的资格可能不再能被可靠地评估。因此,需要用于评估与显示设备相关联的资格的改进的手段。

技术实现思路

1、本发明的目的是提供用于评估与显示设备相关联的资格的改进的手段。

2、在本发明的第一方面,提供了一种用于识别显示设备的系统,该系统包括:a)图像提供单元,该图像提供单元用于提供对象的图像,其中,已经通过将照射图案透过该显示设备的显示器投射到该对象上并且透过该显示器对被照射的对象进行成像来获取了该图像;b)反射图案提取单元,该反射图案提取单元用于从该图像中提取对应于该照射图案的反射图案;以及c)身份确定单元,该身份确定单元用于基于该反射图案确定该显示设备的身份。

3、由于反射图案是从已经通过将照射图案透过显示设备的显示器投射到对象上并且透过显示器对被照射的对象进行成像来获取的图像中提取的,因此反射图案携带关于显示器的光学特性的信息。由于显示器是任何显示设备的必要部分,因此该信息可以用于基于反射图案根据显示设备的显示器来识别显示设备。由于确定了显示设备的身份,因此可以基于所确定的身份来评估与显示设备相关联的资格。因此,该系统还可以被认为是用于评估与显示设备相关联的资格的系统。

4、资格可以指例如显示设备本身的资格,或者显示设备关于特定人的资格。例如,资格、即与要评估的显示设备相关联的资格可以指显示设备访问或允许访问数字服务的资格,这特别是取决于请求访问的显示设备的用户。因此,可以评估例如a)显示设备到底是否有资格允许用户(即,任何人)访问数字服务,和/或b)特定的显示设备和用户的配对是否有资格访问数字服务。

5、例如,在已经发现显示设备的身份被未经授权的第三方操纵的情况下,或者如果所确定的身份仅是不与显示设备的实际身份相对应的据称身份(当所提供的图像实际上是由未经授权的第三方提供时可能是这种情况),可以拒绝显示设备本身的资格。例如,如果图像提供单元被第三方(比如在软件基础上)操纵,以便不提供由要识别的显示设备的图像传感器实际获取的图像,而是提供并未使用要识别的显示设备获取的“伪造”图像,则可能发生这种情况。这种“伪造”图像例如可以示出有资格使用显示设备的人,该人可能是也可能不是在相应时刻与该设备交互的人。该“伪造”图像可能是先前由可以被视为是攻击者的第三方从显示设备的图像存储装置或任何其他来源取得的。这类网络攻击也被称为欺骗。事实上,“伪造”图像不一定是用不同于显示设备的设备来获取的,也可能仅是使用显示设备的后置相机来获取的。如果并未透过显示设备的显示器而是比如通过使用显示设备的后置相机或任何其他成像设备获取了“伪造”图像,则它将不包括与显示设备的显示器相关联的特性光学干扰。发明人已经认识到,这种特性光学干扰的缺乏可以用于确定显示设备遭受了如欺骗的攻击,在这种情况下,显示设备本身可以被视为是无资格的。

6、例如,在已知特定的人未被授权使用显示设备或未被授权访问显示设备的情况下,即使同一人可能被授权使用相似的显示设备或被授权访问相似的显示设备,也可以拒绝该显示设备关于该人的资格。已经发现,上文已经提到的显示器的光学特性也可以用于区分人被授权使用或被授权访问的那些显示设备与人未被授权使用或被授权访问的那些显示设备。因此,可以以设备特定的方式给予授权或授权访问。这可以不管识别用户的可靠性如何而提高授权方案的总体安全级别,因为设备的身份可以起到与用户的身份同样重要的授权指示器的作用。

7、换言之,已经发现本发明的上述目的不仅能通过尝试例如校正由显示器引起的光学干扰来实现,还能相反地通过使用显示器的光学特性来生成附加安全要素来实现。由显示器引起并使得对用户的认证潜在地不太可靠的可能的光学干扰通常被视为是显示器后面有相机的显示设备与其用户之间的授权方案的障碍,发明人已经发现该光学干扰实际上是有用的,即用于根据显示设备的显示器的光学特性来识别显示设备,并且采用显示设备身份以通过第二认证因素扩展现有授权方案。已经发现本发明特别适用于决定是否应当允许显示器后面有相机的显示设备的用户使用该设备,或者被授权通过该设备进行访问,因为这可以取决于人的身份以及附加地设备的身份。在这种情况下,可以由通过识别显示设备获得的附加可靠性来平衡例如由显示器的光学干扰引起的面部检测算法的可能降低的可靠性。鉴于光学干扰通常被视为是不想要的并且因此通常尝试抑制这些光学干扰的事实,发明人所采取的利用显示器的光学干扰而不是试图抑制或校正光学干扰的途径规避了本领域中现存的问题,不仅是有益的而且是出人意料的。

8、图像提供单元被配置为提供对象的图像。图像提供单元还可以被配置为提供对象的多于一个图像,其中,于是可以通过将照射图案透过显示设备的显示器投射到对象上并且透过该显示器对被照射的对象进行成像来获取所提供的所有图像。图像提供单元可以从图像传感器(比如智能电话的前置相机的图像传感器)接收一个或多个图像,并且然后提供该一个或多个图像以进行进一步处理。

9、照射图案可以被理解为对象上的照射分布。取决于视角,照射的分布会表现出不同。例如,在使用强度相对较低的基本上非定向光(比如发光二极管(led)光)来投射照射图案的情况下,出现在对象的有光泽表面上的光反射映像会根据视角而改变位置。另一方面,例如,如果使用强度相对较高的激光器作为照射源,则可以投射其外观(特别是其在对象的非光滑表面上的位置)至少在直接观看下可以基本上独立于视角的照射图案。

10、如下文将参考显示设备进一步描述的,将照射图案透过显示器投射到对象上可以指透过显示器将一个或多个照射光束引导到对象上,使得照射图案出现在显示器的朝向对象的一侧、特别是出现在对象上。照射图案可以至少部分地由于一个或多个照射光束与显示器的交互而发生。然而,一个或多个照射光束也可以在穿过显示器之前已经基本上形成照射图案。照射图案优选地使用布置在显示设备中,即在显示器远离对象的一侧的照射源来投射。被照射的对象可以是场景的包括对象的一部分,并且特别地还可以是主体、比如人或具体地是人的面部。术语“场景”优选地是指任意的空间区域或环境。透过显示器对被照射的对象进行成像可以指捕获由对象反射并穿过显示器的光,其中,该光可以由图像传感器(比如包括在智能电话中并被显示器覆盖的前置相机的图像传感器)捕获。

11、反射图案提取单元被配置为从图像中提取对应于照射图案的反射图案。因此,反射图案从图像中被提取,其中,所提取的反射图案对应于投射到对象上的照射图案。如果反射图案与照射图案共享特定特性,或者更一般地,如果可以确定反射图案对应于照射图案的成像版本,特别地,是照射图案的就透过显示器获取的图像而言的表示,则反射图案可以被视为对应于照射图案,其中,术语“版本”和“表示”可以指投射和/或变换。因此,反射图案也可以被理解为是对应于透过显示器观看的照射图案的照射分布。因为显示器包括衍射和/或散射性质,所以反射图案可以包括衍射和/或散射图案,即使在直接观看所照射的对象时,照射图案可能不包括或基本不包括衍射和/或散射特性。

12、提取反射图案可以包括识别图像中的反射特征。出于该目的,反射图案提取单元可以应用例如以下手段中的任一种:滤波、选择至少一个关注区域、在由传感器信号创建的图像与至少一个偏移之间形成差图像、通过反转由传感器信号创建的图像来反转传感器信号、在由传感器信号在不同时间创建的图像之间形成差图像、背景校正、分解成颜色通道、分解成色相、饱和度和亮度通道、频率分解、奇异值分解、应用斑点(blob)检测器、应用角点检测器、应用海森行列式滤波器、应用基于主曲率的区域检测器、应用最大稳定极值区域检测器、应用广义霍夫变换、应用脊线检测器、应用仿射不变特征检测器、应用仿射适应兴趣点算子、应用哈里斯仿射区域检测器、应用海森仿射区域检测器、应用尺度不变特征变换、应用尺度空间极值检测器、应用局部特征检测器、应用加速鲁棒特征算法、应用梯度位置和取向直方图算法、应用定向梯度描述符的直方图、应用德里奇(deriche)边缘检测器、应用微分边缘检测器、应用时空兴趣点检测器、应用莫拉维克角检测器、应用坎尼边缘检测器、应用拉普拉斯高斯滤波器、应用差分高斯滤波器、应用索伯算子、应用拉普拉斯算子、应用沙尔(scharr)算子、应用普瑞维特(prewitt)算子、应用罗伯茨算子、应用基尔希算子、应用高通滤波器、应用低通滤波器、应用傅立叶变换、应用拉东变换、应用霍夫变换、应用小波变换、阈值处理、创建二进制图像。

13、具体地,可以通过将反射图案视为反射特征在图像中的分布来从图像中提取反射图案,其中,可以基于反射特征的强度分布在图像中检测反射特征。强度分布可以与预定的参考强度分布进行比较,这些参考强度分布可以基于所使用的照射源或照射图案的特性来预先确定。反射特征优选地被理解为反射图案的一部分,该部分可以在空间上与反射图案的其他部分区分开,其中,每个反射特征可以具有特定的空间范围。从图像中提取反射图案可以是指从图像中裁剪出分块,其中,该分块包括反射特征的分布。如果图像是二维的,则分块可以具有例如正方形、矩形或圆形的形状。

14、身份确定单元被配置为基于反射图案(即,已经从图像中提取的反射图案)来确定显示设备的身份。显示设备的身份可以指例如具有相同类型显示器的显示设备类别,其中,显示器类型可以以其光学属性为特性。显示设备类别可以由例如共享相同技术类型、源自相同批次、具有相同生产年份等的显示设备组成。然而,通常还可能可以唯一地识别显示设备,即,例如通过建立反射图案与显示设备之间的一一对应关系来唯一地识别显示设备。在一些实施例中,身份确定单元被配置为基于反射图案和照射图案来确定显示设备的身份,反射图案和照射图案可能是预先确定的。然而,照射图案也可以是固定的,使得显示设备的身份的确定可能实际上不取决于照射图案。

15、在一些实施例中,照射图案包括激光光斑和/或光反射映像,并且反射图案包括与激光光斑和/或光反射映像相对应的衍射图案。在这种情况下,反射图案通常可以是光斑图案。光反射映像可以指例如出现在对象的有光泽部分(比如人的眼睛或眼镜)上的具有相对高反射强度的光斑。如果对象包括有光泽部分,则不仅可以使用生成相对较窄的射束的激光器或其他照射源,而且甚至使用相对较宽的照射射束(比如led的射束)来生成点状照射图案。然后,照射射束可以较宽以使得照射也可以被称为泛光。

16、根据与点状照射图案相对应的反射图案,可以得到与显示器相关联的衍射核。透过显示器获取的图像可以通过使用衍射核对这些图像进行去卷积来校正。因此,可以使用与显示器相关联的衍射核来改进基于图像的资格评估(比如使用被显示器覆盖的相机的图像的面部识别技术)。

17、在一些实施例中,照射图案包括多个光斑,特别是激光光斑。可以使用垂直腔表面发射激光器(vcsel)作为照射源或使用衍射光学元件(doe)作为照射源的一部分来生成这种照射图案。在后一种情况下,投射的照射图案可以由照射源在doe处并且随后在显示器处生成的光的衍射产生。然而,由doe引起的衍射常相对于由显示器引起的衍射而言占主导地位,在这种情况下,投射的照射图案可以被充分近似地处理为仅由doe造成的衍射引起。已经发现,特别地,oled衍射可以有利于投射器图案,即,由相应照射源预先生成的衍射图案。包括多个光斑的照射图案允许特别准确地确定显示设备的身份。在一些实施例中,显示设备的身份至少基于衍射图案的0阶和1阶来确定。优选地,基于衍射图案的所有可见阶数来确定显示设备的身份,其中,相对于用于获取图像的图像传感器的灵敏度来理解“可见性”。

18、在一些实施例中,该系统进一步包括参考反射图案提供单元,该参考反射图案提供单元用于提供对应于相应参考显示设备身份的多个参考反射图案,其中,该身份确定单元被配置为进一步基于该多个参考反射图案来确定显示器的身份。

19、可以基于所获取的参考反射图案的数据库和相关联的参考显示设备身份来提供参考反射图案。由于参考显示设备身份可以被认为定义了显示设备类别,因此建立数据库也可以被视为分类程序,即根据对应获取的反射图案对显示设备进行分类。

20、可以优选的是,以与获取随后识别显示设备所基于的反射图案的方式类似的方式获取参考反射图案,即,例如使用图像传感器和显示器的相同或相似配置并且使用对相应图像数据的相同或相似处理来获取参考反射图案。然而,已经发现,如果不是这种情况,也可以获取允许准确识别显示设备的参考反射图案。特别地,已经发现,还可以使用如下的参考反射图案来可靠地识别显示设备,这些参考反射图案是基于投射到除了预期在要识别的显示设备的显示器前面的那些对象上的照射图案之外的其他类型的对象上的照射图案来获取的。这可以被看作是由于从被照射的对象的图像中可提取的反射图案可以与被照射的对象的类型相对无关的情况。例如,从投射到墙壁上的照射图案的图像中提取的反射图案可以与从投射到人的身体部位上的照射图案的图像中提取的反射图案相同或相似。特别地,已经发现,不管被投射的目标(即,被照射的对象)如何,由不同光学显示特性引起的不同反射图案之间的变化可用作相应显示器的指示器,并且因此可用作显示设备的指示器。

21、在一些实施例中,该系统进一步包括相似度确定单元,该相似度确定单元用于确定反射图案与这些参考反射图案中的每个参考反射图案之间的相应相似度,其中,该身份确定单元被配置为基于所确定的相似度来确定显示设备的身份。例如,在参考反射图案与由反射图案提取单元提取的反射图案具有最高相似度的情况下,显示设备的身份可以被确定为等同于与该参考反射图案相对应的参考显示设备身份。相似度也可以被看作匹配值。

22、在一些实施例中,该相似度确定单元包括人工智能提供单元,该人工智能提供单元用于提供人工智能,其中,该人工智能已经被训练用于确定该多个参考反射图案中的每个参考反射图案与作为输入提供给该人工智能的反射图案之间的相应相似度,其中,该相似度确定单元被配置为基于由该人工智能在被提供所提取的反射图案时确定的相似度来确定显示设备的身份。再次,例如,在人工智能针对参考反射图案确定出与由反射图案提取单元提取的反射图案的最高相似度的情况下,可以将显示设备的身份确定为等同于与该参考反射图案相对应的参考显示设备身份。参考反射图案与作为人工智能的输入提供的反射图案之间的相应相似度、或基于此确定的显示设备的最终身份可以对应于人工智能的输出。可以例如基于训练数据来训练人工智能,该训练数据包括作为训练输入数据的多个参考反射图案以及作为训练输出数据的对应参考显示设备身份。人工智能可以包括人工神经网络,例如特别是卷积神经网络。然而,也可能优选的是,使用任何其他机器学习模型(特别是任何其他分类模型)作为人工智能。虽然卷积神经网络被认为是分类模型的示例,但是可以使用的其他示例性分类模型包括例如视觉transformer等。

23、在一些实施例中,身份确定单元被配置为如果反射图案与参考反射图案中的每个参考反射图案的相似度低于预定阈值,则确定显示设备没有有效身份。如果例如显示设备已经被操纵,则不能确定显示设备的有效身份。这种操纵可以指例如软件操纵,该软件操纵的效果是图像提供单元提供实际上不存在的对象的图像。这种图像可以被称为“伪造”或“欺骗”图像。

24、在一些实施例中,身份确定单元被配置为如果反射图案与参考反射图案中的预期参考反射图案的相似度低于预定阈值,则确定该显示设备没有有效身份。参考反射图案中的预期参考反射图案可以被理解为假定真正由显示设备生成并且因此可以用作显示设备的真实身份的指示器的参考反射图案。如果做出该假定,即如果可以预期特定参考反射图案,则相似度确定单元仅必须确定一个相似度,即在由反射图案提取单元提取的反射图案与预期参考反射图案之间的相似度。如果该相似度低于预定阈值,则可以假定存在设备操纵。如上文已经进一步指出的,相似度可以例如指两个反射图案或示出这两个反射图案的图像之间的差异(比如绝对平均差值或平均绝对差值),其中,然后该差异可能需要非常小才能排除设备操纵。

25、在另一方面,提供了一种用于评估主体关于显示设备的资格的系统,该系统包括a)用于识别主体的主体身份确定单元,b)如上所述的用于识别显示设备的系统,以及c)资格评估单元,该资格评估单元用于基于对i)主体身份和ii)显示设备身份的配对的预定资格分配来评估主体关于显示设备的资格。

26、主体身份确定单元可以被配置为基于主体的图像来识别主体,例如,其中,可以将该图像与主体的参考图像进行比较。例如,已知的面部检测方法可以用于该目的。

27、在另一方面,提供了一种显示设备,该显示设备包括a)显示器,b)用于将照射图案透过该显示器投射到对象上的照射源,c)用于透过该显示器获取被照射的对象的图像的图像传感器,以及d)用于识别如上所述的显示设备的系统。

28、如本文所使用的术语“显示器”优选地是指被配置用于显示一个或多个信息项(比如,图像、图表、直方图、文本和/或符号)的设备。显示器可以是指监视器或屏幕,并且可以具有任意形状,比如矩形形状。优选地,显示器是有机发光显示器(oled)或液晶显示器(lcd)。如本文所使用的术语“显示设备”优选地是指包括显示器的电子设备,比如选自以下各项的设备,例如:电视设备、智能电话、游戏控制台、个人计算机、膝上型计算机、平板计算机、虚拟现实设备或前述设备的组合。与oled和lcd的情况一样,例如,电子显示设备的显示器典型地包括电子布线结构,该电子布线结构用于控制显示器的单独像素,并且还可能用于触摸屏和/或另外的功能。典型地,像素以周期性或准周期性结构布置,例如以栅格配置布置。布线结构则会继承周期性或准周期性。由于像素的典型尺寸,这具有显示器可以衍射从其穿过的光的效果。应当理解,显示器优选地基本上是半透明或透明的,特别是对于可见光以及具有更高波长的光。这具体对于像素区域可以成立,而像素之间的区(布线结构可能位于其中)可以是基本上不透明的。

29、该照射源被配置为将照射图案透过该显示器投射到对象上。对象可以被布置在场景中或者是场景的一部分。该照射源优选地是指被配置为生成用于照射显示设备的环境的一部分的光的设备。特别地,照射源可以是指被配置为生成具有可配置方向的照射光束的设备。将照射图案透过显示器投射到对象上可以指引导照射光束透过显示器到达对象上,其中,照射光束与显示器相互作用,使得照射图案出现在显示器的朝向对象的一侧、特别是出现在对象上。照射源可以被配置为直接和/或间接地照射对象,其中,该照射图案可以部分地由在显示器处和/或对象的环境中的表面处的反射和/或散射产生,其中,反射光和/或散射光仍然可以与直接从照射源到达对象的任何光一起至少部分地被引导到对象上。然而,没有直接照射也是可能的,在这种情况下,例如,照射源可以被配置为例如通过引导照射光束朝向对象的环境中的反射表面以使得反射光被引导到对象上来照射对象。

30、显示设备可以包括一个或多个照射源,其中,这些照射源中的每一个可以被配置为将相应的照射图案透过显示器投射到对象上。照射源可以包括人工照射源,特别是激光源和/或白炽灯和/或半导体光源,比如发光二极管(led),例如特别是有机和/或无机led。由一个或多个照射源发射的光的波长可以介于300nm,特别是介于500nm与1100nm之间。附加地或可替代地,该一个或多个照射源可以被配置为发射红外光谱范围内的光,比如波长介于780nm与3.0μm之间的光。具体地,可以使用波长在适用于硅光电二极管的近红外区域中的光,更具体地,在介于700nm与1100nm之间的范围内的光。使用近红外区域内的光具有这样的优点,即光不对人眼可见或仅微弱地对人眼可见,并且仍然可由硅传感器、特别是标准硅传感器检测到。优选地,显示设备包括红外激光器、特别是近红外激光器作为第一照射源,以利用红外、特别是近红外光谱区域内的光将第一照射图案透过显示器投射到对象上;并且显示设备包括led作为第二照射源,以利用具有不同光谱区域、特别是可见光谱区域中的波长的光将第二照射图案透过显示器投射到对象上。

31、术语“投射照射图案”通常可以理解为是指由相应的照射源发射光,使得在空间区域中、特别是在对象上生成照射图案。更具体地,特别是取决于照射源,该术语可以是指来自照射源的光发射,其中,所发射的光已经在射束结构中传播以形成特定图案(其可以被视为发射图案),其中,传播的光可以与环境(比如显示器)交互,以最终形成照射图案(特别是在对象上),其中,照射图案可以不同于发射图案。例如,如果使用激光器作为照射源,则可以使用衍射光学元件(doe)或者使用垂直腔面发射激光器(vcsel)作为激光器来生成发射图案。在优选实施例中,vcsel用作照射源,其中,vcsel用于生成发射图案、特别是一组彼此相距预定义距离的激光射线,其中,于是可能不需要衍射光学元件。

32、如本文所指的“射线”被理解为具有相对较窄宽度的光束、特别是宽度低于预定值的光束。光的“射束”可以包括在相应方向上传播的一条或多条光射线,其中,光束可以被认为是沿着由组成该光束的一条或多条光射线传播的方向的平均值所定义的中心方向传播,并且其中,光束可以与对应的扩散角或加宽角相关联。光束可以具有与垂直于光束传播方向的平面中的光强分布相对应的射束剖面,该光束传播方向可以由中心方向给出。射束剖面可以是例如以下各项中的任一项:高斯、非高斯、梯形、三角形、圆锥形。特别地,例如,梯形射束剖面可以具有平台区域和边缘区域。

33、一个或多个照射源可以被配置为发射单一波长或多个波长的光。例如,激光器可以被认为发射单一波长的光,而led可以被认为发射多个波长的光。多个波长可以特别是指连续的(特别是扩展的)发射光谱。一个或多个照射源可以被配置为生成一个或多个光束,以将相应的照射图案透过显示器投射到对象上。特别地,例如,vcsel也可以被认为发射多个射束而不是多个射线。

34、一个或多个照射源可以布置在显示设备中,使得由一个或多个照射源生成的任何光透过显示设备的显示器离开显示设备。可以将由相应照射源发射的任何光、特别是任何光束的传播方向定义为所发射的光传播的主方向。传播方向可以特别地被定义为从照射源到被照射的对象的方向。在传播方向上,一个或多个照射源可以被认为是布置在显示器前方,而所照射的对象可以被认为是布置在显示器后方。使用显示设备的用户的观看方向可以与由照射源发射的光的初始传播方向相反。用户的观看方向可以更确切地对应于由对象朝向图像传感器反射的光的传播方向,即,在可以由照射图案形成反射图案的方向上。

35、在穿过显示器时,由一个或多个照射源生成的任何光可能经历显示器的衍射和/或散射,这可以产生照射图案。显示器可以用作光栅,其中,显示器的布线、特别是显示器的屏幕的布线,可以形成光栅的间隙和/或狭缝和脊。应当理解,显示器优选地对于由一个或多个照射源生成的光是半透明的或透明的,至少对于其大部分是透明的或透明的。

36、一个或多个照射源可以被配置用于发射调制光或非调制光,其中,如果使用多于一个照射源,则不同的照射源可以具有不同的调制频率,这些调制频率可以用于区分发射光束的照射源的光束。

37、光轴可以被定义为指向与显示器(特别是显示器的表面)垂直并朝向显示设备的外部的方向。由一个或多个照射源生成的任何光可以平行于光轴传播或者相对于光轴倾斜传播,其中,倾斜是指传播方向与光轴之间的非零角度。显示设备可以包括结构装置,用于沿着光轴或者在相对于光轴不超过预定角度的方向上引导由一个或多个照射源生成的任何光。例如,出于该目的,显示设备可以包括一个或多个反射元件或棱镜。然后,由一个或多个照射源生成的任何光可以例如在相对于光轴倾斜小于十度、优选地小于五度或者甚至小于两度的角度的方向上传播。此外,由一个或多个照射源生成的任何光可以在与光轴具有一定空间偏移处离开显示设备,但是其中,该偏移可以被认为是任意的。

38、投射在对象上的照射图案可以包括一个或多个照射特征,其中,每个照射特征照射对象的一部分。照射特征在本文优选地被理解为照射图案的空间部分,该空间部分可与照射图案的其他空间部分区别开并且具有特定的空间范围。照射图案可以是例如以下各项中的任一项:点图案、线图案、条纹图案、棋盘图案、包括周期性和/或非周期性特征布置的图案。照射图案可以包括规则的和/或恒定的和/或周期性的子图案(比如三角形、矩形或六边形子图案)、或包括另外的凸镶嵌的子图案、伪随机点图案或准随机图案、sobol图案、准周期性图案、包括一个或多个已知特征的图案、规则图案、三角形图案、六边形图案、包括凸均匀镶嵌的图案、包括一条或多条线的线图案,其中,线可以是平行的或交叉的。一个或多个照射特征可以是例如以下各项中的一项:点、线、如平行线或交叉线等多条线、前述各项的组合、周期性和/或非周期性特征的布置或任何其他任意形状的特征。一个或多个照射源可以被配置为生成点云。该一个或多个照射源可以包括一个或多个投影仪,该一个或多个投影仪被配置为生成点云,使得照射图案包括多个点图案,其中,照射源可以包括掩模,以便从照射源最初生成的任何光生成照射图案。

39、应当理解,照射源和图像传感器优选地布置在显示器后面,即,例如在显示器与显示设备的任何另外的内部电子器件之间。图像传感器可以特别是数字图像传感器,比如互补金属氧化物半导体(cmos)传感器。显示器优选地是半透明显示器。例如,它可以是oled或液晶显示器(lcd)。优选地,显示器包括周期性布线结构,比如用于控制像素或触摸屏功能。

40、图像提供单元优选地被配置为提供显示器前面的对象的图像,其中,当照射源将照射图案透过显示设备的显示器投射到对象上时由图像传感器获取该图像。

41、图像传感器被配置为透过显示器获取被照射的对象的图像。在优选实施例中,显示设备包括包含图像传感器的单个相机。在其他实施例中,显示设备可以包括多个相机,其中,这些相机中的每一个包括对应的图像传感器。单个相机也可以包括多个图像传感器。

42、获取图像优选地是指捕获由对象朝向图像传感器反射的光的过程。由于对象被照射图案照射,因此获取图像特别是指捕获照射图案在图像传感器的方向上的反射。图像传感器优选地被布置在显示设备中,使得由图像传感器捕获的任何光穿过显示设备的显示器。因此,照射源和图像传感器两者优选地沿显示设备的用户的观看方向布置在显示设备的显示器后面。这允许在显示设备中使用连续或均匀的显示器,这可以降低制造复杂性并且允许增加显示区域,由此增加可以显示的信息量。被对象反射并且由图像传感器捕获的、穿过显示器的任何光(即使显示器对于光是透明的或半透明的)将与显示器相互作用,特别是经历由显示器的布线结构引起的衍射和/或散射。因此,对象上的照射图案可能在由图像传感器获取的图像中表现出变化。在由图像传感器获取的图像中表现出的照射图案可以被称为反射图案。反射图案可以是由照射图案产生的衍射图案。特别地,反射图案可以包括一个或多个反射特征。反射特征优选地被理解为反射图案的一部分,该部分可以在空间上与反射图案的其他部分区分开,其中,每个反射特征可以具有特定的空间范围。反射图案可以是与照射特征相对应的衍射图案的叠加。如果照射图案是点状的,则反射图案可以包括多个点状反射特征。

43、特别地,图像传感器可以是对由一个或多个照射源发射的光谱范围内的光敏感的图像传感器。例如,图像传感器可以包括光伏型的感测装置,更优选地选自由以下各项组成的组中的至少一个半导体光电二极管:ge光电二极管、lngaas光电二极管、扩展型lngaas光电二极管、lnas光电二极管、lnsb光电二极管、hgcdte光电二极管。附加地或可替代地。同样地,图像传感器可以包括非本征光伏型的感测装置,更优选地选自由以下各项组成的组中的至少一个半导体光电二极管:ge:au光电二极管、ge:hg光电二极管、ge:cu光电二极管、ge:zn光电二极管、si:ga光电二极管、si:as光电二极管。附加地或可替代地,图像传感器可以包括光导式传感器,比如pbs传感器或pbse传感器、辐射热测量计(优选地选自由vo辐射热测量计和非晶si辐射热测量计组成的组中的辐射热测量计)。

44、如上文已经进一步指示的,被照射的对象可以是场景的包括对象的部分,并且特别地还可以是主体、比如人或具体地是人的面部。然而,特定类型的被照射的对象不是必需的。不管被照射的对象的类型如何,都可以通过本文描述的系统来识别显示设备。无需被照射的对象与显示设备之间具有联系。例如,被照射的对象不一定是显示设备的用户的身体部位。同时,为了能够获取图像,即可以基于其识别显示设备的图像,当然可以将存在被照射的某个对象(即,任何种类的对象)视为是必要的。换言之,照射图案需要被投射在某处并从其反射,并且这个“某处”可以被视为是对象——无论其是墙壁、人的面部、他或她的眼镜或场景的任何其他部分。然而,由于被照射的对象的类型不是必需的和/或由于可以认为隐含地清楚存在被照射的至少某个对象,因此本文所呈现的系统也可以在不参考对象的情况下被定义。

45、因此,提出了一种用于识别显示设备的系统,该系统包括a)用于提供图像的图像提供单元,其中,已经通过将照射图案投射透过该显示设备的显示器并且透过该显示器对所投射的照射图案进行成像来获取了该图像,b)反射图案提取单元,该反射图案提取单元用于从图像中提取对应于该照射图案的反射图案,以及c)身份确定单元,该身份确定单元用于基于该反射图案确定该显示设备的身份。包括该系统的显示设备然后可以包括除了该系统和显示器之外的用于透过该显示器投射照射图案的照射源、以及用于透过该显示器获取所投射的照射图案的图像的图像传感器。

46、另一方面,提供了一种用于识别显示设备的方法,该方法包括:a)提供对象的图像,其中,已经通过将照射图案透过该显示设备的显示器投射到该对象上并且透过该显示器对被照射的对象进行成像来获取了该图像;b)从该图像中提取对应于该照射图案的反射图案;以及c)基于该反射图案确定该显示设备的身份。

47、同样,可以在不参考被照射的对象的情况下定义上述方法。因此,还提供了一种用于识别显示设备的方法,该方法包括以下步骤:a)提供对象的图像,其中,已经通过将照射图案投射透过该显示设备的显示器并且将所投射的照射图案透过该显示器进行成像来获取了该图像,b)从该图像中提取对应于该照射图案的反射图案,以及c)基于该反射图案确定该显示设备的身份。

48、在另一方面,提供了一种用于评估主体关于显示设备的资格的方法,该方法包括a)识别该主体,b)如上所述识别该显示设备,以及c)基于对i)主体身份和ii)显示设备身份的配对的预定资格分配来评估该主体关于该显示设备的资格。

49、上述系统和方法可以例如用于以下目的中的任一目的:交通技术中的位置测量、娱乐应用、安保应用、监视应用、安全应用、人机界面应用、跟踪应用、摄影应用、成像应用或相机应用、用于生成至少一个空间的地图的地图应用、用于车辆的寻的或跟踪信标检测器、户外应用、移动应用、通信应用、机器视觉应用、机器人应用、质量控制应用、制造应用。

50、在另一方面,提供了一种用于识别显示设备的计算机程序,该程序包括程序代码装置,该程序代码装置用于当该程序在控制上述用于识别显示设备的系统的计算机上运行时使该系统执行上述用于识别显示设备的方法。

51、在另一方面,提供了一种用于评估主体关于显示设备的资格的计算机程序,该程序包括程序代码装置,该程序代码装置用于当该程序在控制上述用于评估主体关于显示设备的资格的系统的计算机上运行时使该系统执行上述评估主体关于显示设备的资格的方法。

52、应当理解,上述各方面,具体是根据权利要求1所述的系统、根据权利要求11所述的方法和根据权利要求13所述的计算机程序具有特别是如在从属权利要求中定义的相似和/或相同的优选实施例。

53、应当理解,本发明的优选实施例也可以是从属权利要求或上述实施例与相应独立权利要求的任意组合。

54、本发明的这些和其他方面将参考下文描述的实施例变得显而易见并且得以阐明。

本文地址:https://www.jishuxx.com/zhuanli/20240929/313636.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。