录制指示灯的制作方法

录制指示灯


背景技术：

1.虚拟现实(vr)允许用户体验和/或与沉浸式人工环境进行交互，使得用户感觉他们好像身处于该环境中。例如，虚拟现实系统可向用户显示立体场景以产生深度错觉，并且计算机可实时调整场景内容以提供用户在场景内移动的错觉。当用户通过虚拟现实系统观看图像时，用户可因此感觉他们好像正从第一人称视角在场景内移动。类似地，混合现实(mr)将计算机生成的信息(称为虚拟内容)与现实世界图像或现实世界视图相结合，以增强或添加内容到用户的世界视图。因此，可利用vr的模拟环境和/或mr的混合环境为多个应用提供交互式用户体验，诸如将虚拟内容添加到观看者的环境的实时视图的应用、与虚拟训练环境进行交互的应用、游戏应用、远程控制无人机或其他机械系统的应用、观看数字媒体内容的应用、与因特网交互的应用等。


技术实现要素：

2.描述了用于在具有相机的设备中提供录制指示灯的方法和装置的各种实施方案。设备(例如，移动、手持设备或头戴式设备)可以包括一个或多个相机，该一个或多个相机可以用于捕获用户环境的静态图像或视频帧。在至少一些设备中，设备可包括允许用户录制由相机捕获的真实环境的图像或视频的录制功能。描述了用于设备的录制指示灯的各种实施方案，该录制指示灯提供防篡改保护，使得录制指示灯不能容易地被禁用或遮蔽。
3.描述了集成在设备相机中并且发射可见光通过相机透镜孔径的录制指示灯的实施方案。录制指示灯包括在相机内部的光源(例如，led灯)，该光源在帧捕获(积分)周期之间的时间周期内发射光通过相机透镜。由于录制指示灯集成在相机中，因此它们不能容易地被机械禁用。此外，由于录制指示灯发射光通过相机透镜，因此在指示灯之上贴胶带将会阻止相机录制。
4.在一些实施方案中，光学元件(例如，棱镜)可以定位于透镜镜筒的前面。元件的第一表面s1面向相机前面的物场。元件的第二表面s2面向透镜镜筒。录制指示灯(例如，一个或多个led)可以定位于元件的表面s2处。来自物场的光穿过元件的表面s1和第三表面s3并进入透镜镜筒中。录制指示灯发射光脉冲通过元件的表面s2；然后来自录制指示灯的光被元件的表面s3反射(例如，经由表面s3处的全内反射(tir))并且通过元件的表面s1离开以提供有效地覆盖相机的视场的可见光。
5.除了使用如上文所描述的内部可见光录制指示灯作为设备的摄像机的防篡改录制指示灯解决方案之外，描述了用于提供用户可能正在用设备的相机进行录制的指示的模块化解决方案的实施方案。在一些实施方案中，可以提供含有用于设备的整个录制功能的模块化附件。为了录制视频，用户必须将附件附接于设备。另选地，在一些实施方案中，可以提供模块化“键”，用户必须将该键附接于设备以使得能够利用集成相机进行录制。在两种情况下，模块化附件的存在将会向环境中的人指示可能正在对他们进行录制。需注意，如上所述的内部可见光录制指示灯可以与模块化解决方案中的任一者结合地使用。
附图说明
6.图1示出了根据一些实施方案的包括可以实现录制指示灯的相机的示例性设备。
7.图2a至图2c示出了根据一些实施方案的相机中的录制指示灯部件和方法。
8.图3示出了根据一些实施方案的示例性相机。
9.图4示出了根据一些实施方案的如图3所示的示例性相机，该相机包括定位于图像传感器处或其附近的录制指示灯。
10.图5示出了根据一些实施方案的如图3所示的示例性相机，该相机包括定位于透镜镜筒的图像侧与图像传感器之间的录制指示灯。
11.图6示出了根据一些实施方案的如图3所示的示例性相机，该相机包括定位于相机孔径光阑的图像侧处的录制指示灯。
12.图7示出了根据一些实施方案的如图3所示的示例性相机，该相机包括定位于相机孔径光阑的对象侧上的透镜镜筒中(例如在透镜镜筒中的第一(物镜)透镜处)的录制指示灯。
13.图8是根据一些实施方案的用于在如图2a至图7所示的设备中提供录制指示灯的方法的流程图。
14.图9a和图9b示出了根据一些实施方案的录制指示灯，该录制指示灯包括围绕相机透镜的光元件环，该光元件环以加密图案生成光脉冲。
15.图10是根据一些实施方案的用于在如图9a及图9b所示的设备中提供录制指示灯的方法的流程图。
16.图11示出了根据一些实施方案的包括在相机透镜前面的棱镜的录制指示灯。
17.图12示出了根据一些实施方案的示例性头戴式设备(hmd)。
18.图13示出了根据一些实施方案的用于hmd的模块化相机附件。
19.图14示出了根据一些实施方案的充当“键”的用于hmd的模块化附件，以启用hmd相机的录制功能。
20.图15a至图15c是示出根据一些实施方案的可以包括部件和实现用于在设备中提供如图2至图14中所示的录制指示灯的方法的示例性系统的框图。
21.本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。
[0022]“包括”，该术语是开放式的。如在权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元...的装置”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。
[0023]“被配置为”，各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件据称可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35u.s.c.
§
112的第六段。此外，“被配置为”可包括由软件
或固件(例如，fpga或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。
[0024]“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。
[0025]“基于”或“取决于”，如本文所用，这些术语用于描述影响确定的一个或多个因素。这些术语不排除可影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于b来确定a”。在这种情况下，b为影响a的确定的因素，此类短语不排除a的确定也可基于c。在其他实例中，可仅基于b来确定a。
[0026]“或”，在权利要求书中使用时，术语“或”被用作包含性的或，而不是排他性的或。例如，短语“x、y或z中的至少一个”表示x、y和z中的任何一个以及它们的任何组合。
具体实施方式
[0027]
描述了用于在设备中提供录制指示灯的方法和装置的各种实施方案。本文描述的录制指示灯方法和装置的实施方案可以例如应用于移动、手持设备(诸如智能电话和平板电脑或平板设备)中的相机。图1示出了根据一些实施方案的包括可以实现录制指示灯的相机的示例性手持设备。设备100可以例如是智能电话或平板电脑或平板设备。设备100可以包括在一侧上的显示屏102(称为前部)，以及在相对侧上的一个或多个相机150(称为背部)。图1示出了设备100的背部的视图。然而，需注意，设备还可包括在前侧上的一个或多个相机。在一些实施方案中，相机150可以包括如图2a至图2c和图4至图7中所示的录制指示灯158技术，其中集成在相机150中的led发射可见光通过相机透镜孔径以提供有效地覆盖相机的视场的可见光。在一些实施方案中，相机150可以包括如图9a至图9b中所示的录制指示灯158技术，其中围绕相机150透镜布置的led以加密图案发射可见光。在一些实施方案中，相机150可以包括如图11所示的录制指示灯158技术，其中光学元件(例如，棱镜)定位于相机150的透镜镜筒的前面。在一些实施方案中，如图14所示的模块化“键”可能必须附接于设备100以使得能够由相机150进行录制。
[0028]
设备100可包括控制器160，该控制器可包括各种类型的处理器、图像信号处理器(isp)、图形处理单元(gpu)、编码器/译码器(编解码器)、片上系统(soc)、cpu和/或用于处理和渲染视频和/或图像的其他部件中的一者或多者。例如，控制器160可以至少部分地基于从相机150获得的输入来渲染帧，并且例如，可将帧提供给显示屏102。
[0029]
设备100可以包括存储器170，该存储器可以例如用于录制由该一个或多个相机150捕获的视频或图像。存储器170可包括任何类型的存储器，诸如动态随机存取存储器(dram)、同步dram(sdram)、双数据速率(ddr、ddr2、ddr3等)sdram(包括sdram的移动版本，诸如mddr3等，或sdram的低功率版本，诸如lpddr2等)、rambus dram(rdram)、静态ram(sram)等。在一些实施方案中，一个或多个存储器设备可以耦接到电路板上以形成存储器模块，诸如单列直插存储器模块(simm)、双列直插存储器模块(dimm)等。另选地，该设备可以与实现系统的集成电路在芯片堆叠配置、封装堆叠配置或者多芯片模块配置中安装。
[0030]
描述了用于设备的录制指示灯的各种实施方案，该录制指示灯提供防篡改保护，包括但不限于如图1所示的移动、手持设备，使得录制指示灯不能容易地被禁用或遮蔽。
[0031]
描述了集成在设备相机中并且发射可见光通过相机透镜孔径的录制指示灯的实施方案。录制指示灯包括光源(例如，led灯)，该光源在帧捕获(积分)周期之间的时间周期内发射光通过相机透镜。由于录制指示灯集成在相机中，因此它们不能容易地被机械禁用。此外，由于录制指示灯发射光通过相机透镜，因此在指示灯之上贴胶带将会阻止相机录制。
[0032]
还描述了在设备的相机外部的录制指示灯的实施方案。这些实施方案可以包括围绕相机透镜布置的一个或多个光源(例如，led灯)，该一个或多个光源可以加密图案发射可见光。led可以围绕相机透镜紧密布置，这可能使得难以使用例如胶带来阻挡led。另外，发射光图案可以被环境中的一个或多个对象或表面反射，并且由相机捕获。设备控制器可以处理所捕获的帧以检测加密图案。如果无法检测到加密图案(例如，由于用户已经阻挡或禁用led)，则控制器可以禁用对由相机捕获的视频的录制。设备控制器还可以实现在录制或进一步处理帧之前从所捕获的帧移除或减少加密图案的方法。
[0033]
除了使用如上文所描述的内部或外部可见光录制指示灯作为设备中的摄像机的防篡改录制指示灯解决方案之外，描述了用于提供用户可能正在用设备的相机进行录制的指示的模块化解决方案的实施方案。在一些实施方案中，可以提供含有用于设备的整个录制功能的模块化附件。为了录制视频，用户必须将附件附接于设备。另选地，在一些实施方案中，可以提供模块化“键”，用户必须将该键附接于设备以使得能够利用集成相机进行录制。在两种情况下，模块化附件的存在将会向环境中的人指示可能正在对他们进行录制。需注意，如上所述的内部或外部可见光录制指示灯可以与模块化解决方案中的任一者结合地使用。
[0034]
本文描述的录制指示灯方法和设备的实施方案可以应用于各种设备和系统中的相机，包括但不限于智能电话、平板电脑或平板设备中的相机、hmd中的相机、手持摄像机、移动电话中的相机、膝上型或台式计算机系统中的相机以及监视摄像机。
[0035]
图2a至图2c示出了根据一些实施方案的用于发射光通过相机透镜孔径的录制指示灯部件和方法。
[0036]
图2a是示出根据一些实施方案的示例性相机250的部件的框图。相机250包括但不限于透镜镜筒254，该透镜镜筒包括但不限于一个或多个折射透镜元件和至少一个孔径光阑。相机250还包括被配置用于在积分周期期间对像素进行积分的图像传感器256。元件252说明相机250的“孔径”，该孔径可以对相机250前面的人可见，并且还可以对应于相机250的视场。录制指示灯258集成在相机250中。录制指示灯258可以包括但不限于一个或多个光源(例如，led灯)，该一个或多个光源在帧捕获(积分)周期之间的时间周期内发射光脉冲通过相机孔径252。由于录制指示灯258发射光脉冲通过用于捕获图像的相同孔径252，因此录制指示灯258可以对相机的视场中的任何人可见。由于录制指示灯258集成在相机250中，因此其不能容易地被机械禁用。此外，由于录制指示灯258发射光通过用于捕获图像的相同孔径252，因此在指示灯258之上贴胶带将会阻止相机250录制。需注意，相机250可以操作以捕获帧以供设备控制器处理，而不录制视频，在这种情况下，录制指示灯258可能被禁用。
[0037]
图2b和图2c以图形方式示出了在非积分周期期间发射光脉冲的录制指示灯258。图2b以图形方式示出了由相机250的图像传感器256对像素进行积分的周期。如图2b所示，
相机250可以被配置为使得当没有对像素进行积分时，在帧捕获之间存在短暂的周期。例如，相机250可以每秒30或60帧的帧速率捕获帧。可以提供帧捕获之间相对短的非积分周期，其中录制指示灯258发射光脉冲通过相机孔径252，如图2c所示。如图2b和图2c所示，在非积分周期期间发射光脉冲可以防止录制指示灯258所发射的光干扰在积分周期期间捕获的光。
[0038]
录制指示灯258可以各种方式中的任何方式实现。图3至图7示出了录制指示灯的若干示例性实施方案，该录制指示灯在如图2a至图2c所示的非积分时间周期期间发射光脉冲通过相机透镜孔径。
[0039]
图3示出了示例性相机350，该示例性相机包括(但不限于)透镜镜筒354、图像传感器356和定位于透镜镜筒354与图像传感器356之间的任选元件357(例如，红外(ir)滤波器)。透镜镜筒354可以包括但不限于一个或多个折射透镜元件(在此示例中为四个透镜元件)和定位于透镜镜筒内的孔径光阑355。需注意，提供透镜元件的数量和形状作为实例，并且不旨在是限制性的。透镜镜筒354中的透镜元件折射从相机350前面的视场352接收的光通过孔径355，以在图像传感器356的表面处或其附近的图像平面处形成图像。图像传感器356可以被配置为在如图2b所示的积分周期期间捕获帧。
[0040]
图4示出了如图3所示的示例性相机450，该相机包括定位于图像传感器456处或其附近的录制指示灯458。例如，录制指示灯458可以包括围绕图像传感器456的周边布置的两个或更多个光源(例如，led)。录制指示灯458可被配置为在如图2b和图2c所示的非积分周期期间发射光脉冲。透镜镜筒454中的透镜元件折射发射光通过孔径455，以提供有效地覆盖相机450的视场452的可见光。
[0041]
图5示出了如图3所示的示例性相机550，该相机包括定位于透镜镜筒的图像侧与图像传感器556之间的录制指示灯558。相机550可以但不可避免地包括定位于透镜镜筒与图像传感器556之间的任选元件557。元件557可以例如是ir滤波器或一些其他类型的滤波器、偏振器、定位于图像传感器556的对象侧表面上或其附近的覆盖玻璃。例如，录制指示灯558可以包括围绕透镜镜筒中的最后一个透镜元件的图像侧的周边布置的两个或更多个光源(例如，led)。录制指示灯558可以被配置为在如图2b和图2c所示的非积分周期期间朝向图像传感器556发射光脉冲。如果存在任选元件557，则光脉冲可以被元件557的表面朝向透镜镜筒554反射。另选地，如果不存在任选元件557，则光脉冲可以被传感器556的表面反射。透镜镜筒554中的透镜元件折射反射光通过孔径555以提供有效地覆盖相机550的视场552的可见光。
[0042]
图6示出了如图3所示的示例性相机650，该示例性相机包括定位于相机孔径光阑655的图像侧处的录制指示灯658。例如，录制指示灯658可以包括围绕定位于相机孔径光阑655的图像侧处的玻璃或塑料元件659(例如，玻璃或塑料板)的外边缘布置的两个或更多个光源(例如，led)。录制指示灯658的led可以被配置为在如图2b和图2c所示的非积分周期期间将光脉冲发射到元件659的外边缘中。在在孔径光阑655处离开元件659之前，光脉冲可以例如经由表面的全内反射(tir)被元件659的表面朝向孔径光阑655反射一次或多次。另选地，元件659可以是全息元件或波导，由led发射的光从元件659的外边缘被“引导”通过该全息元件或波导以在孔径光阑655处离开。650。
[0043]
图7示出了如图3所示的示例性相机750，该示例性相机包括定位于相机孔径光阑
755的对象侧上的透镜镜筒754中(例如在透镜镜筒754中的第一(物镜)透镜处)的录制指示灯758。例如，录制指示灯758可以包括围绕透镜镜筒754中的第一(物镜)透镜的外边缘或凸缘布置的两个或更多个光源(例如，led)。录制指示灯758的led可以被配置为在如图2b和图2c所示的非积分周期期间将光脉冲发射到透镜(s2)的外边缘或凸缘中。光脉冲可以例如经由图像侧表面的全内反射(tir)被透镜(s3)的内(图像侧)表面反射，并且然后通过透镜(s1)的外(对象侧)表面离开透镜，以提供有效覆盖相机750的视场752的可见光。
[0044]
图8是根据一些实施方案的用于在如图2a至图7所示的设备中提供录制指示灯的方法的高级流程图。如800所示，相机的图像传感器在积分时间周期期间捕获被折射通过相机透镜的光以生成帧。如810所示，录制指示灯在帧捕获之间的非积分时间周期期间发射光脉冲通过相机透镜，以提供相机正在录制的指示，该录制有效地覆盖相机的视场。如返回到元件800的箭头所指示，只要相机捕获和录制视频即可继续此过程。需注意，相机仍可操作以捕获帧以供设备控制器处理，而不录制视频，在这种情况下，录制指示灯可能被禁用。
[0045]
图9a、图9b和图10示出了在设备的相机外部的录制指示灯的实施方案。
[0046]
图9a和图9b示出了根据一些实施方案的录制指示灯958，该录制指示灯包括围绕相机透镜954的光元件959环，该光元件环以加密图案生成光脉冲。如图9a所示，由录制指示灯958发射的光可以提供相机950正在录制的指示，该录制有效地覆盖相机950的视场。光元件959(例如，led)可以围绕相机透镜954紧密布置，如图9b所示，这可能使得难以使用例如胶带来阻挡led。另外，发射光图案可以被环境中的一个或多个对象或表面反射，并且由相机950捕获。代替或除了来自环境的反射光，来自光元件959的至少一些光可以直接返回到相机透镜954。设备控制器960可以处理所捕获的帧以检测加密图案。如果无法检测到加密图案(例如，由于用户已经阻挡或禁用led)，则控制器960可以禁用对由相机950捕获的视频的录制。设备控制器960还可以实现在录制或进一步处理帧之前从所捕获的帧移除或减少加密图案的方法。
[0047]
图10是根据一些实施方案的用于在如图9a及图9b所示的设备中提供录制指示灯的方法的流程图。如1000所示，录制指示灯以加密图案发射光脉冲。如1010所示，光图案被环境中的对象或表面反射，并且被相机的图像传感器捕获在帧中。如1020所示，设备控制器处理所捕获的帧中的一者或多者以查找加密图案。在1030处，如果检测到图案，则可为相机启用录制模式，如1040所示。否则，可以禁用录制模式，如1050所示。需注意，当录制模式被禁用时，相机仍可操作来捕获帧以供设备控制器处理，并且当录制模式被启用时和当录制模式被禁用时，控制器可继续处理由相机所捕获的视频帧，以检测由从图像传感器所捕获的录制指示灯发射的光形成的加密图案。
[0048]
在一些实施方案中，每次用户启动录制时，可以随机选择加密模式，以防止用户“欺骗”该模式。
[0049]
虽然图10中未示出，但设备控制器还可以实现在录制或进一步处理帧之前从所捕获的帧移除或减少加密图案的方法。
[0050]
图11示出了根据一些实施方案的包括在相机透镜前面的棱镜的录制指示灯。相机1150可以包括但不限于透镜镜筒1154和图像传感器1156。光学元件1180(例如，棱镜)可以定位于透镜镜筒1154的前面。元件1180的表面s1面向相机1150前面的物场。元件1180的表面s2面向透镜镜筒1154。录制指示灯1158(例如，一个或多个led)可以定位于元件1180的表
面s2处。来自物场的光穿过元件1180的表面s1和s3并进入透镜镜筒1154。录制指示灯1158发射光脉冲通过元件1180的表面s2；然后来自录制指示灯1158的光被元件1180的表面s3(例如，在表面s3处经由全内反射(tir))反射，并且通过元件1180的表面s1离开，以提供有效覆盖相机1150的视场的可见光。
[0051]
如图11所示的录制指示灯系统可以被配置为在如图2b和图2c所示的非积分周期期间发射光脉冲，或者替代地可以在积分期间发射脉冲。在第二种情况下，相机和/或控制器可以被配置为过滤由相机捕获的录制指示灯发射的光。
[0052]
cgr系统中的录制指示灯
[0053]
除了如图1所示的移动手持设备中的应用之外，如本文所述的录制指示灯的实施方案也可以应用于计算机生成现实(cgr)系统中。cgr系统可以包括可穿戴设备，诸如头戴式耳机、头盔、护目镜或眼镜(在本文中称为头戴式设备(hmd))。hmd可实现各种类型的显示技术中的任一者。例如，hmd可以包括近眼显示系统，该近眼显示系统在用户眼睛前面的由用户观看的不透明显示屏上显示左图像和右图像。作为另一实例，代替不透明显示器，hmd可以具有透明或半透明显示器和介质，用户可以通过该透明或半透明显示器观看真实环境，通过该介质代表图像的光被引导到人的眼睛以向用户提供增强的现实视图。
[0054]
hmd还可以包括一个或多个相机，该一个或多个相机可以用于捕获用户环境的静态图像或视频帧。由相机捕获的视频帧可以例如由hmd的控制器处理，并且用于经由显示系统向用户提供真实环境的增强视图。在至少一些系统中，hmd可包括允许用户录制由hmd相机捕获的真实环境的图像或视频的录制功能。
[0055]
常规的视频录制系统(例如，常规手持摄像机)可以包括当相机录制视频时打开，并且当相机未录制视频时关闭的指示灯(例如，红色或绿色led灯)。这些录制指示灯发信号通知环境中的人：视频录制系统正在(或没有)录制相机前面的环境的视频。然而，这些常规的录制指示灯可能很容易被阻挠，例如通过机械地禁用灯或者通过简单地在灯之上放置一片不透明胶带。对于如常规手持摄像机、智能电话和平板电脑或平板设备等手持设备，使用这些设备进行录制的物理行为本身可以向人指示正在(或可能正在)对他们进行录制。然而，hmd戴在用户的头上，因此没有清楚的物理运动来指示用户当前是否正在录制视频。因此，需要用于hmd的录制指示灯，该录制指示灯无法容易地被阻挠，使得人可以知道正在对他们进行录制。
[0056]
图12示出了根据一些实施方案的示例性头戴式设备(hmd)。需注意，如图12所示的hmd 1200以举例的方式给出，并且不旨在为限制性的。在各种实施方案中，hmd 1200的形状、大小和其他特征可不同，并且hmd 1200的部件的位置、数量、类型和其他特征可变化。
[0057]
hmd 1200可实现各种类型的显示技术中的任一者。例如，hmd 1200可为近眼显示系统，该近眼显示系统在用户的眼睛前面的屏幕上显示左图像和右图像(该左图像和右图像由受试者查看)，诸如dlp(数字光处理)、lcd(液晶显示器)和lcos(硅上液晶)技术显示系统。作为另一示例，hmd 1200可包括直接视网膜投影仪系统，该直接视网膜投影仪系统逐像素地将左图像和右图像扫描到受试者的眼睛。为了扫描图像，左投影仪和右投影仪生成光束，该光束被引导到定位于用户的眼睛前面的左显示屏和右显示屏(例如，椭球镜)；显示屏将光束反射到用户的眼睛。为了创建三维(3d)效果，不同深度或距离处的虚拟内容在这两个图像中根据距离的三角测量而向左或向右移位，其中较近的对象比较远的对象移位得更
多。
[0058]
hmd 1200可以包括安装在可穿戴外壳或框架中的显示器1210。如图12所示，hmd 200可被穿戴在用户的头部上，使得显示器1210(例如，近眼显示系统的屏幕和光学器件，或直接视网膜投影仪系统的反射部件(例如，椭球镜))设置在用户的眼睛的前面。在包括近眼显示系统的实施方案中，hmd 1200还可包括两个光学透镜(目镜)；用户通过目镜朝显示器1210看。
[0059]
hmd 1200还可包括收集关于用户的环境的信息(视频、深度信息、照明信息等)和关于用户的信息的一个或多个传感器(例如，眼睛或注视跟踪传感器)。传感器可包括以下中的一者或多者但不限于以下：捕获用户眼睛的视图的一个或多个眼睛跟踪相机(例如，红外(ir)相机)、捕获用户前面的视场中的真实世界环境的图像的一个或多个相机1250(例如，rgb相机)，以及捕获环境的照明信息的一个或多个环境光传感器。
[0060]
该系统的控制器1260可在hmd 1200中实现，或者替代地可至少部分地由经由有线或无线接口通信地耦接到hmd 1200的外部设备(例如，计算系统)来实现。控制器1260可包括各种类型的处理器、图像信号处理器(isp)、图形处理单元(gpu)、编码器/译码器(编解码器)、片上系统(soc)、cpu和/或用于处理和渲染视频和/或图像的其他部件中的一个或多个。控制器1260可以至少部分地基于从传感器获得的输入来渲染包括虚拟内容的帧(每个帧包括左图像和右图像)，并且可以将帧提供给显示器1210。
[0061]
用于该系统的存储器1270可在hmd 1200中实现，或者替代地可至少部分地由经由有线或无线接口通信地耦接到hmd 1200的外部设备(例如，计算系统)来实现。存储器1270可以例如用于录制由该一个或多个相机1250捕获的视频或图像。存储器1270可包括任何类型的存储器，诸如动态随机存取存储器(dram)、同步dram(sdram)、双数据速率(ddr、ddr2、ddr3等)sdram(包括sdram的移动版本，诸如mddr3等，或sdram的低功率版本，诸如lpddr2等)、rambus dram(rdram)、静态ram(sram)等。在一些实施方案中，一个或多个存储器设备可以耦接到电路板上以形成存储器模块，诸如单列直插存储器模块(simm)、双列直插存储器模块(dimm)等。另选地，该设备可以与实现系统的集成电路在芯片堆叠配置、封装堆叠配置或者多芯片模块配置中安装。
[0062]
图15a至图15c进一步示出了根据一些实施方案的可以包括hmd的系统的部件，该hmd可以实现录制指示灯技术。
[0063]
如图12所示的hmd 1200的实施方案可例如用于增强或混合(ar)应用，以将增强或混合现实视图提供给用户。hmd 1200可包括例如定位于hmd 1200的外表面上的一个或多个传感器，该一个或多个传感器收集关于用户的外部环境的信息(视频、深度信息、照明信息等)；传感器可将所收集的信息提供给cgr系统的控制器1260。传感器可包括一个或多个可见光相机1250(例如，rgb相机)，该一个或多个可见光相机捕获用户的环境的视频，该视频可用于向用户提供其真实环境的虚拟视图。在一些实施方案中，由可见光相机1250捕获的真实环境的视频流可由hmd 1200的控制器1260处理，以渲染包括覆在真实环境的视图上的虚拟内容的增强或混合现实帧，并且所渲染的帧可被提供给显示器1210。
[0064]
hmd 1200可以包括录制功能，该录制功能允许用户录制由hmd相机1250捕获的真实环境的图像或视频，例如通过将视频存储到存储器1270或者替代地通过经由有线或无线连接将视频流式传输到远程设备进行存储。描述了用于hmd 1200的录制指示灯各种实施方
案，该录制指示灯提供防篡改保护，使得录制指示灯不能容易地被禁用或遮蔽。需注意，相机1250可以操作以捕获帧以供hmd控制器1260处理，而不录制视频，在这种情况下，录制指示灯258可能被禁用。
[0065]
参考图2a至图8描述了集成在hmd相机1200中并发射可见光通过相机透镜孔径的录制指示灯的实施方案。
[0066]
模块化录制指示灯解决方案
[0067]
描述了用于提供用户可能正在用hmd中的相机进行录制的指示的模块化解决方案的实施方案。然而，需注意，这些模块化解决方案也可以应用于如图1所示的手持设备中，以及包括相机的其它设备中。
[0068]
图13示出了根据一些实施方案的用于hmd的模块化相机附件。hmd1300可以包括但不限于框架、显示器1310、控制器1360和存储器1370。在一些实施方案中，可以提供模块化附件1350，该模块化附件含有hmd1300的全部录制功能(例如，摄像机、用于处理视频帧的一个或多个处理器和用于存储所捕获的视频的存储器)。为了利用hmd 1300和附件1350录制视频，用户必须将附件1350附接于hmd 1300框架。因此，hmd1300上的模块化附件1350的存在将用于向环境中的人指示可能正在对他们进行录制。这还将具有使hmd 1300框架(没有附件1350)更轻的附加效果，这将有益于不需要录制或者对录制功能不感兴趣的用户。模块化附件1350还将使得禁止模块化附件1350的场所(诸如酒吧和剧院等)仍然允许hmd 1300框架(没有附件1350)进入场所。
[0069]
模块化附件1350可以通过磁性或机械连接附接于hmd 1300框架。模块化附件1350可以经由电接触件或经由无线连接与hmd 1300控制器1360通信。模块化附件1350必须耦接到hmd 1300并与控制器1360通信，以使得能够录制由模块化附件1350捕获的视频。在一些实施方案中，模块化附件1350可以包括电源(例如，电池)。在一些实施方案中，模块化附件1350可以包括一个或多个处理器(例如，耦接到相机的图像传感器的isp)。在各种实施方案中，用户可以经由hmd 1300上和/或附件1350上的一个或多个物理按钮、语音命令或手势来控制附件1350。
[0070]
在一些实施方案中，模块化附件1350可以使得能够将视频录制到hmd存储器1370。在一些实施方案中，模块化附件1350可以包括用于录制视频的存储器。相反或此外，模块化附件1350可以包括有线或无线通信技术，以将视频传输到智能电话或用于录制的其它外部设备。在一些实施方案中，附件1350可以包括智能认证技术，使得每个附件1350唯一地与特定hmd 1300配对。智能认证可以例如阻止盗窃，并通过附件1350的意外“交换”来降低风险。
[0071]
图14示出了根据一些实施方案的充当“键”的hmd 1400的模块化附件1490，以启用hmd相机1450的录制功能。在这些实施方案中，可以提供模块化附件1490，用户必须将该模块化附件附接于hmd 1400以使得能够利用集成相机1450进行录制。因此，hmd 1400上的模块化附件1490的存在将用于向环境中的人指示可能正在对他们进行录制。模块化附件1490还将使得禁止模块化附件1490的场所(诸如酒吧和剧院等)仍然允许hmd 1400框架(没有附件1490)进入场所。
[0072]
模块化附件1490可以通过磁性或机械连接附接于hmd 1300框架。模块化附件1490可以经由电接触件或通过无线连接与hmd 1400控制器1460通信。在一些实施方案中，模块化附件1490可以使得能够将由集成相机1450捕获的视频录制到hmd存储器1470；在没有附
件1490的情况下，无法录制视频。在一些实施方案中，模块化附件1490可以包括用于录制由集成相机1450捕获的视频的存储器；在没有附件1490的情况下，无法录制视频。相反或此外，模块化附件1490可以包括有线或无线通信技术，以将视频传输到智能电话或用于录制的其它外部设备。在一些实施方案中，附件1490可以包括智能认证，使得每个附件1490唯一地与特定hmd 1400配对。智能认证可以例如阻止盗窃，并通过附件1490的意外“交换”来降低风险。
[0073]
需注意，如上参考图2至图11所述的内部或外部可见光录制指示灯可以与如图13和图14所示的模块化解决方案中的任一者结合地使用。然而，在这两个实施方案中，模块化附件的存在可用于向环境中的人指示可能正在对他们进行录制。
[0074]
图15a至图15c是示出根据一些实施方案的可以包括部件和实现用于在包括手持设备和hmd的设备中提供如图2至图11中所示的录制指示灯的方法的示例性系统的框图。需注意，虽然这些示例涉及用于hmd中的相机的录制指示灯，但是类似的录制指示灯方法可以应用于其它设备，包括但不限于如图1所示的移动、手持设备。
[0075]
图15a是示出根据一些实施方案的可以包括如图2a至图11所示的录制指示灯部件和方法的示例性系统的框图。在一些实施方案中，系统可包括hmd 2000，诸如头戴式耳机、头盔、护目镜或眼镜。hmd 2000可实施各种类型的显示技术中的任一者。例如，hmd 2000可以包括近眼显示系统，该近眼显示系统在用户眼睛前面的不透明显示屏2022a和2022b上显示由用户观看的左图像和右图像。作为另一实例，而不是不透明显示器，hmd可以包括透明或半透明显示器2022a和2022b(眼镜透镜)，用户可以通过该透明或半透明显示器观看真实环境，并且包括与显示器2022a和2022b集成的介质，通过该介质代表虚像的光被引导到用户的眼睛以向用户提供增强的现实视图。
[0076]
在一些实施方案中，hmd 2000可包括控制器2030，该控制器被配置为实现系统的功能，并且生成提供给显示器2022a和2022b的帧(每个帧包括左图像和右图像)。在一些实施方案中，hmd 2000也可包括存储器2032，该存储器被配置为存储可由控制器2030执行的系统的软件(代码2034)，以及当在控制器2030上执行时可由系统使用的数据2038。在一些实施方案中，存储器2032还可以用于存储由相机2050捕获的视频。在一些实施方案中，hmd 2000也可包括一个或多个接口(例如，蓝牙技术接口、usb接口等)，一个或多个接口(例如，蓝牙技术接口、usb接口等)被配置为经由有线或无线连接与外部设备2090通信。在一些实施方案中，针对控制器2030描述的功能中的至少一部分可由外部设备2090实现。外部设备2090可为或可包括任何类型的计算系统或计算设备，诸如台式计算机、笔记本或膝上型计算机、平板或平板设备、智能电话、手持式计算设备、游戏控制器、游戏系统等等。
[0077]
在各种实施方案中，控制器2030可为包括一个处理器的单处理器系统、或包括若干个处理器(例如，两个、四个、八个或另一合适数量)的多处理器系统。控制器2030可包括被配置为实现任何合适的指令集架构的中央处理单元(cpu)，并且可被配置为执行在该指令集架构中定义的指令。例如，在各种实施方案中，控制器2030可包括实现多种指令集架构(isa)(诸如x86、powerpc、sparc、risc或mips isa、或任何其他合适的isa)中的任何指令集架构的通用处理器或嵌入式处理器。在多处理器系统中，每个处理器可共同实现相同的isa，但不是必需的。控制器2030可采用任何微架构，包括标量、超标量、流水线、超流水线、乱序、有序、推测性、非推测性等，或它们的组合。控制器2030可包括实现微码技术的电路。
控制器2030可包括各自被配置为执行指令的一个或多个处理核心。控制器2030可包括一个或多个级别的高速缓存，该高速缓存可采用任何大小和任何配置(集合关联、直接映射等)。在一些实施方案中，控制器2030可包括至少一个图形处理单元(gpu)，该至少一个图形处理单元(gpu)可包括任何合适的图形处理电路。通常，gpu可被配置为将待显示对象渲染到帧缓冲区中(例如，包括整个帧的像素数据的帧缓冲区)。gpu可包括一个或多个图形处理器，该图形处理器可执行图形软件以进行部分或全部的图形操作或某些图形操作的硬件加速。在一些实施方案中，控制器2030可包括用于处理和渲染视频和/或图像的一个或多个其他部件，例如图像信号处理器(isp)、编码器/译码器等。
[0078]
存储器2032可包括任何类型的存储器，诸如动态随机存取存储器(dram)、同步dram(sdram)、双数据速率(ddr、ddr2、ddr3等)sdram(包括sdram的移动版本，诸如mddr3等，或sdram的低功率版本，诸如lpddr2等)、rambus dram(rdram)、静态ram(sram)等。在一些实施方案中，一个或多个存储器设备可以耦合到电路板上以形成存储器模块，诸如单列直插存储器模块(simm)、双列直插存储器模块(dimm)等。另选地，设备可以与实现系统的集成电路在芯片堆叠构造、封装堆叠构造或者多芯片模块构造中安装。
[0079]
在一些实施方案中，hmd 2000可包括一个或多个传感器(未示出)，该一个或多个传感器收集关于用户的环境的信息(视频、深度信息、照明信息等)。传感器可将信息提供给系统的控制器2030。在一些实施方案中，传感器可包括但不限于至少一个可见光相机2050(例如，rgb摄像机)和环境光传感器。
[0080]
在一些实施方案中，hmd 2000可被配置为渲染和显示帧以至少部分地根据传感器输入为用户提供增强或混合现实(mr)视图。mr视图可包括渲染用户的环境，包括基于由一个或多个摄像机2050捕获的视频来渲染用户的环境中的真实对象，一个或多个相机捕获用户的环境的高质量、高分辨率视频用于显示。mr视图也可包括虚拟内容(例如，虚拟对象、真实对象的虚拟标签、用户的化身等)，该虚拟内容由该系统生成并与用户的真实环境的所显示视图合成。
[0081]
hmd 2000可包括允许用户录制由hmd相机2050捕获的真实环境的图像或视频的录制功能。hmd 2000可以包括录制指示灯2058，该录制指示灯集成在相机2058中并且发射可见光通过相机透镜孔径或通过相机物镜，使得录制指示灯覆盖相机的视场，例如如图2a至图8中所示。另选地，hmd 2000可以包括如图9a、图9b和图10中所示的录制指示灯2058，或包括定位于相机透镜前面的棱镜的录制指示灯2058，如图11所示。
[0082]
图15b是示出根据一些实施方案的可以包括如图13所示的录制指示灯部件和方法的示例性系统的框图。在这些实施方案中，hmd 2000包括相机接收器2051，参考图13所描述的相机附件2050模块物理地或磁性地附接于hmd 2000。模块化附件2050含有hmd 2000的整个录制功能。为了录制视频，用户必须将附件2050附接于hmd 2000框架。因此，hmd 2000上的模块化附件2050的存在将用于向环境中的人指示可能正在对他们进行录制。
[0083]
图15c是示出根据一些实施方案的可以包括如图14所示的录制指示灯部件和方法的示例性系统的框图。在这些实施方案中，hmd 2000包括键接收器2081，参考图14所描述的键附件2080模块物理地或磁性地附接于hmd 2000。用户必须将附件2080附接于hmd 2000以使得能够利用集成相机2050进行录制。因此，hmd 2000上的模块化附件2080的存在将用于向环境中的人指示可能正在对他们进行录制。
[0084]
需注意，如上参考图2至图11所述的内部或外部可见光录制指示灯可以与如图15b和图15c所示的模块化解决方案中的任一者结合地使用。
[0085]
如图15a至图15c中所示的hmd 2000的实施方案也可用于虚拟现实(vr)应用中以将vr视图提供给用户。在这些实施方案中，hmd 2000的控制器2030可渲染或获得包括虚拟内容的虚拟现实(vr)帧，并且所渲染的帧可被显示以向用户提供虚拟现实(与混合现实相对)体验。
[0086]
通过以下条款进一步说明本发明的至少一些实施方案的方面：
[0087]
条款1.一种设备，所述设备包括：
[0088]
相机，所述相机包括：
[0089]
图像传感器；以及
[0090]
相机透镜，该相机透镜包括一个或多个折射透镜元件，该一个或多个折射透镜元件被配置为折射从物场接收的光以在该图像传感器的表面处的图像平面处形成图像；以及
[0091]
录制指示灯，该录制指示灯包括围绕该相机透镜布置的一个或多个光源，其中该录制指示灯被配置为以加密图案朝向该物场发射可见光脉冲；
[0092]
控制器，所述控制器包括一个或多个处理器，所述一个或多个处理器被配置为：
[0093]
处理由该相机捕获的一个或多个视频帧以检测由该图像传感器所捕获的录制指示灯发射的光形成的加密图案；
[0094]
在检测到该一个或多个视频帧中的加密图案时，启用该相机的录制模式，使得可以录制所捕获的视频；以及
[0095]
在未检测到该一个或多个视频帧中的加密图案时，禁用该相机的录制模式，使得无法录制所捕获的视频。
[0096]
条款2.根据条款1所述的设备，其中由该录制指示灯发射的该可见光覆盖相机的视场。
[0097]
条款3.根据条款1所述的设备，其中该加密图案通过来自该图像传感器所捕获的物场的反射光形成在该一个或多个视频帧中。
[0098]
条款4.根据条款1所述的设备，其中该录制指示灯进一步将可见光的脉冲以加密图案直接发射到相机透镜中，并且其中加密图案通过来自发射到相机透镜中并由图像传感器捕获的录制指示灯的光形成在该一个或多个视频帧中。
[0099]
条款5.根据条款1所述的设备，其中录制指示灯响应于该设备的用户由相机起始录制而被激活。
[0100]
条款6.根据条款5所述的设备，其中控制器被进一步配置为每次由设备的用户启动录制时随机选择不同的加密图案。
[0101]
条款7.根据条款1所述的设备，其中控制器被进一步配置为从相机所捕获的视频帧移除加密图案。
[0102]
条款8.根据条款1所述的设备，其中控制器被配置为连续地处理由相机捕获的视频帧，以在启用录制模式和禁用录制模式时检测由从录制指示灯发射的光形成的加密图案。
[0103]
条款9.根据条款1所述的设备，其中该一个或多个光源是发光二极管(led)。
[0104]
条款10.根据条款1所述的设备，其中该设备是移动手持设备。
[0105]
条款11.根据条款1所述的设备，其中该设备是头戴式设备(hmd)。
[0106]
条款12.根据条款1所述的设备，其还包括用于在启用录制模式时存储由相机捕获的视频帧的存储器。
[0107]
条款13.一种方法，包括：
[0108]
由录制指示灯以加密图案朝向物场发射可见光脉冲；
[0109]
由相机捕获物场的视频帧；
[0110]
由包括一个或多个处理器的控制器执行：
[0111]
处理由相机捕获的视频帧中的一者或多者，以检测由从录制指示灯发射的所述光形成的加密图案；
[0112]
在检测到该一个或多个视频帧中的加密图案时，启用该相机的录制模式，使得可以录制所捕获的视频；以及
[0113]
在未检测到该一个或多个视频帧中的加密图案时，禁用该相机的录制模式，使得无法录制所捕获的视频。
[0114]
条款14.根据条款13所述的方法，其中该加密图案通过来自相机所捕获的物场的反射光形成在该一个或多个视频帧中。
[0115]
条款15.根据条款13所述的方法，其中加密图案通过来自直接发射到相机的透镜中的录制指示灯的光形成在该一个或多个视频帧中。
[0116]
条款16.根据条款13所述的方法，其还包括在启动相机录制时随机选择加密图案。
[0117]
条款17.根据条款13所述的方法，其还包括从相机所捕获的视频帧移除加密图案。
[0118]
条款18.根据条款13所述的方法，其还包括当启用录制模式时和当禁用录制模式时处理由相机捕获的视频帧。
[0119]
条款19.根据条款13所述的方法，其中录制指示灯包括一个或多个发光二极管(led)。
[0120]
条款20.根据条款13所述的方法，其还包括当启用录制模式时将由相机捕获的视频帧存储到存储器。
[0121]
在不同的实施方案中，本文所述的方法可以在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，并且可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可做出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为在本文中被描述为单个示例的部件提供多个示例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其他分配，它们可落在所附权利要求的范围内。最后，被呈现为示例性配置中的分立部件的结构和功能可被实现为组合的结构或部件。这些和其他变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。