显示器的基于眼动追踪的中央凹控制的制作方法

本公开总体上涉及显示器的中央凹控制(foveation control)。具体地，本公开的各方面涉及基于追踪用户观看显示器的眼动来改变显示器上呈现的图像的不同区域的分辨率。本公开的各方面还涉及人工现实系统中的显示器。

背景技术：

1、人工现实系统正变得越来越普遍，在许多领域都有应用。通常，人工现实是在呈现给用户之前已经以某些方式进行了调整的现实形式。人工现实可以包括例如虚拟现实(virtual reality，vr)、增强现实(augmented reality，ar)、混合现实(mixed reality，mr)、混合现实(hybrid reality)、或它们的某种组合和/或衍生物。典型的人工现实系统包括用于渲染内容并向用户显示该内容的一个或多个设备。作为一个示例，人工现实系统可以包含头戴式显示器(head-mounted display，hmd)，该头戴式显示器由用户穿戴、且被配置为向用户输出人工现实内容。在运行期间，用户通常与人工现实系统交互以选择内容、启动软件应用、配置系统、且通常体验人工现实环境。

2、现代显示设备通常基于发光二极管(light emitting diode，led)技术。与其它应用中的电子显示器(例如，电视机或台式监控器)相比，人工现实系统中的显示设备往往更小。尽管较小，但人工现实系统中的显示设备通常是高分辨率的，具有大的像素数量和高像素密度，因为此类显示器通常是近距离观看的。为了满足小型和/或便携式形状要素中的性能要求，在人工现实环境中使用的hmd和其它显示设备有时由微型led构成，所述微型led可以具有小于200微米的线性尺寸(例如，直径)。

3、高分辨率显示器往往消耗更多的功率并需要更多的资源，包括更重的信号处理工作量和更高的带宽要求，这是由于用于驱动显示器的图像数据量和控制信号量的增加。例如，较大的像素数量与相对较高的刷新率相结合可能超过一些显示系统的信号传输能力和处理速度。此外，预期显示器本身(例如，led面板)的功耗和显示驱动器的功耗都将对应于显示分辨率而增加。产生的热量也随着功耗的增加而增加。在高温下长时间工作可能会导致像素退化，并随着时间的推移导致老化或亮度降低。因此，即使在其它方面满足了资源要求，显示器寿命仍然是一个令人担忧的问题。

技术实现思路

1、本公开的各方面涉及用于通过基于眼动追踪动态控制输出图像的不同区域的分辨率来实现中央凹成像(foveated imaging)的技术。尽管显示屏具有由显示器的像素数确定的固有分辨率(有时称为硬件分辨率)，但是可以例如通过数字图像处理来操纵在显示器上渲染的输出图像，以将有效分辨率设置为不同于固有分辨率。例如，个人计算机的操作系统软件通常允许用户整体改变显示器的分辨率。中央凹成像是这样一种技术：改变显示屏上呈现的图像中不同位置处的分辨率，使得一些区域具有比其它区域更高的分辨率。

2、在假设用户的注视聚焦在屏幕的中间的情况下，传统的中央凹成像在显示屏的中心处渲染具有最高分辨率的显示图像。然而，在呈现一个或多个图像的过程中，用户通常会移动其眼睛以聚焦于屏幕的不同部分。对于传统的中央凹成像，用户很有可能在某一时刻将焦点改变到图像的低分辨率区域。这会导致较差的观看体验，因为与中间分辨率区域的质量相比，低分辨率区域的图像质量更差。具体地，低分辨率区域的细节明显较少，并且可能会明显变得模糊。

3、为了在解决上述关于高分辨率显示器的问题的同时改进传统的中央凹成像，本公开的各方面涉及使用眼动追踪来改变图像分辨率，使得图像的最高分辨率区域跟随用户眼睛的焦点位置。本文所描述的中央凹技术还可以降低显示控制部件(例如，显示驱动器和相关联的控制逻辑)的功耗和信号带宽，因为与以全分辨率驱动整个显示器时相比，控制部件可能不需要处理同样多的图像数据和/或发送同样多的经处理的图像数据。

4、此外，本公开的各方面涉及使用控制逻辑来实现中央凹成像，该控制逻辑与显示驱动器协作地产生用于驱动显示器中的像素的信号。控制逻辑可以卸载一些成像处理，这些成像处理将由显示驱动器或其它显示控制器以其它方式来执行。具体地，控制逻辑可以被配置为更有效地并且以更少的功耗来执行中央凹操作。在一些实施例中，控制逻辑包括这样的硬件(例如，数字电路)：所述硬件集成到显示面板中，并且被配置为在显示驱动器的指示下、通过选择性地对用于一组行或列的图像数据和相应的扫描信号进行组合来降低图像的一部分的分辨率。以这种方式，可以减少用于驱动显示器的信号的数量。相比之下，传统的中央凹通常涉及图像处理，以在图像数据被发送到显示驱动器之前将图像数据设置为中央凹格式。尽管图像数据是中央凹的，但是到显示器的输入仍被格式化为全分辨率图像，使得为每个像素单独提供图像数据，这可能会导致高功耗。例如，在传统方法下，显示驱动器可以通过耦接到各显示像素的信号线，为显示器的每行或每列发送单独的图像数据。此外，显示驱动器还可以为每行或每列生成单独的扫描信号。因此，输入到显示器的信号的数量可能与当显示器以全分辨率或固有分辨率驱动时相同。

5、在一些实施例中，系统包括显示器、显示控制器和通信地耦接到该显示器的控制逻辑。该显示器包括排列成多行和多列的多个光源。显示控制器被配置为获取显示器上的焦点的坐标。通过追踪用户观看显示器的眼动来确定焦点。显示控制器还被配置为基于焦点的坐标来确定待在显示器上渲染的输出图像中的第一图像区域和第二图像区域的边界。第一图像区域具有比第二图像区域更高的分辨率。显示控制器还被配置为将图像数据与多个控制信号一起发送到控制逻辑。该多个控制信号使控制逻辑使用图像数据在显示器上渲染输出图像。控制逻辑被配置为：作为渲染第二图像区域的一部分，将共享信号输出到多条信号线上，该多条信号线耦接到一组相邻的行或列中的光源。

6、在一些实施例中，上述系统还包括眼动追踪单元，该眼动追踪单元通信地耦接到显示控制器。眼动追踪单元被配置为采集用户的眼睛的至少一个图像。眼动追踪单元或显示控制器被配置为使用该至少一个图像来确定焦点。

7、在一些实施例中，显示控制器被配置为响应于焦点的变化来改变至少第一图像区域的大小、位置或大小和位置两者。在一些实施例中，第二图像区域至少部分地围绕第一图像区域。在一些实施例中，显示控制器被配置为根据第一视角设置第一图像区域的大小，并根据第二视角设置第二图像区域的大小，其中，第一视角和第二视角能够根据来自用户的输入进行设定。

8、在一些实施例中，由控制逻辑输出的共享信号是扫描信号。替代地，共享信号可以是携带中央凹图像数据(foveated image data)的信号。在一些实施例中，共享扫描信号和共享数据信号被通过控制逻辑输出以驱动显示器。

9、在一些实施例中，由显示控制器发送的该多个控制信号指示第一图像区域的边界和第二图像区域的边界。在一些实施例中，输出图像包括至少一个附加图像区域，该至少一个附加图像区域的分辨率低于第一图像区域的分辨率但高于第二图像区域的分辨率。

10、在一些实施例中，一种在具有以多行和多列布置的光源的显示器上渲染输出图像的方法涉及通过显示控制器获取显示器上的焦点的坐标。该焦点是通过追踪用户观看显示器的眼动来确定的。该方法还涉及通过显示控制器并基于焦点的坐标来确定待渲染的输出图像中的第一图像区域和第二图像区域的边界。第一图像区域具有比第二图像区域更高的分辨率。该方法还涉及通过显示控制器将图像数据与多个控制信号一起发送到控制逻辑，该控制逻辑通信地耦接到显示器。该多个控制信号使控制逻辑使用图像数据在显示器上渲染输出图像。控制逻辑被配置为：作为渲染第二图像区域的一部分，将共享信号输出到多条信号线上，该多条信号线耦接到一组相邻的行或列中的光源。

11、在一些实施例中，上述方法或本文所公开的其它方法通过存储在非暂态计算机可读介质上的指令来实现。所述指令可由一个或多个处理器(例如，显示控制器的处理器)执行，以使得该方法被执行。