基于面部的色调曲线调整的制作方法

基于面部的色调曲线调整


技术实现要素：

1.本文所公开的技术通过使用面部曝光信息连同伽马/色调曲线和/或全局对比度增强来应用色调曲线和/或任何其他全局/局部对比度增强。
2.作为结果，本文所公开的技术允许在基于面部的曝光开启时保留高光和阴影中的所有细节。在所公开的实现中，基于面部的色调曲线/亮度对比度增强与色调曲线/伽马/对比度和亮度增强一起工作。
3.提供本发明内容以便以简化的形式介绍以下在具体实施方式中还描述的概念的选集。本发明内容并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。
4.本文还描述和列举了其他实现。
5.附图简述
6.图1是用于选择色调曲线以应用于图像的系统的示例框图的图示。
7.图2解说了用于选择色调曲线以应用于图像的示例操作。
8.图3解说了在图像中未检测到面部时的示例操作。
9.图4解说了在图像中未检测到面部时要应用的色调曲线。
10.图5解说了在图像中检测到亮肤色面部时的示例操作。
11.图6解说了在图像中检测到亮肤色面部时要应用的色调曲线。
12.图7解说了在图像中检测到暗肤色面部时的示例操作。
13.图8解说了在图像中检测到暗肤色面部时要应用的色调曲线。
14.图9解说了在实现所描述的技术方面可能有用的示例系统。
15.图10解说了在实现所描述的技术方面可能有用的示例移动设备。
16.详细描述
17.在当今市场上，具有相机的电子设备具有基于面部的自动曝光(ae)。由于基于面部的ae，无论场景如何，面部都会变得明亮，然而大部分细节在高光区域中被剪裁，尤其是在高对比度和/或亮度场景下。因此，这给相机的终端用户带来了不愉快的体验。本文所公开的实现通过使用面部曝光信息连同伽马/色调曲线和/或全局对比度增强来应用色调曲线和/或任何其他全局/局部对比度增强。作为结果，本文所公开的技术允许在基于面部的曝光开启时保留高光和阴影中的所有细节。在所公开的实现中，基于面部的色调曲线/亮度对比度增强与色调曲线/伽马/对比度和亮度增强一起工作。在高勒克斯(光照)条件和/或高对比度条件下，本文所公开的技术改进了图像质量，并且在面部细节丢失(消失)的低光照条件下，本文所公开的技术改进了面部细节、纹理和自然度，并且因此显著改进了相机视觉体验。
18.在一个实现中，本文所公开的技术提供了一种提供基于面部的色调曲线调整以改进全局和局部对比度和亮度增强的方法。在示例实现中，该方法包括：确定由相机捕捉的图像的光照水平；确定由相机捕捉的图像的对比度水平；将该光照水平和对比度水平与多个阈值中的一者或多者进行比较；以及基于比较的结果，为图像选择高级智能全局亮度/对比
度增强(aigbce)曲线。在替换实现中，还可以使用其他曲线增强技术，诸如全局亮度/对比度增强(gbce)、局部亮度/对比度增强(lbce)或其他亮度/对比度增强(bce)技术。
19.具体而言，gbce是数码相机中在各种场景条件下使用自适应色调映射来提高图像/视频的亮度和对比度的重要组件。具体而言，gbce曲线被用于基于输入图像的直方图来动态地调整对比度。具体而言，直方图可以表示图像中针对各种强度值的像素数目。gbce曲线被应用以在初始图像具有接近的对比度值时通过高效分散最频繁的强度值以及因此增加图像的全局对比度来改进图像的对比度。作为结果，具有较低对比度的图像区域变为具有较高对比度。如以上所讨论的，本文所公开的实现选择gbce曲线，该gbce曲线被用于基于对面部存在的检测以及基于面部色调水平的计算来将输入直方图调整为输出直方图。
20.虽然gbce曲线被应用于整个图像，但这并不一定意味着图像的所有部分都由于应用gbce曲线而被变换。例如，gbce曲线可能仅改变针对图像的一些部分的对比度水平，在该情形中，曲线对于特定的流明度水平将没有变化。作为示例，参见图4，根据曲线404，0.50的输入流明度可被映射到0.5的输出流明度(因此流明度为0.50的像素的流明度没有变化)，而0.15的输入流明度被映射到0.1的输出流明度(从而增强流明度为0.10的像素的流明度)等。
21.基于面部检测和基于面部色调水平来应用不同gbce曲线得到其中图像的较暗部分足够暗，图像的较亮区域足够亮，并且图像的各个部分之间的色调陡度是合适的图像。
22.对于存在面部时的前置相机(ffc)，本文所公开的技术有助于捕捉图像细节连同适当的面部曝光。在针对电话会议(skype、team等)的ffc视频和针对自拍的ffc图像期间，本文所公开的方法与当前解决方案相比提供了优越的图像质量和相机视觉体验。
23.另一方面，对于面部场景不是主要使用情形的后置相机(rfc)，本文所公开的技术甚至更有价值。在该情形中，伽玛/色调曲线/对比度增强技术针对非基于面部的场景进行了调整。此外，当场景中存在面部时，本文所公开的技术可被用于优化基于面部的场景。
24.图1是用于选择色调曲线以应用于图像的系统100的示例框图的图示。包括相机或其他成像设备的设备102可包括aigbce选择器104。aigbce选择器104的一个或多个组件的功能如以下在图3、5和7中进一步讨论的通过其操作进一步详细地公开。包括多个镜头的图像捕捉模块106可以捕捉存储在图像存储模块116中的图像。光照检测器108检测图像或场景中的光照水平，其可以以勒克斯为单位测得并由l表示。例如，光照检测器108可以检测附连到输入图像的各个像素的流明度水平，并且将流明度水平指派给像素。光照检测器108还可以生成图像的平均流明度水平，并且生成针对各种流明度水平的直方图，其中每个流明度水平与具有该流明度水平的像素的数目或百分比相关联。在一个实现中，光照检测器108可包括测量与每个像素相关联的电磁辐射强度的光度计。替换地，测光计可被用作光照检测器108，以测量与各个像素相关或在图像级别处的流明度量。
25.对比度检测器110检测图像中的对比度水平。对比度水平可被测量为指示图像或场景中最亮的白色与最暗的黑色之间的光的差异的比率并且由c表示。在一个实现中，对比度检测器110获取针对各个像素的来自光照检测器108的输入，并且对其进行分析以检测具有最高和最低流明度的像素。随后，对比度检测器110计算此类最高和最低流明度水平之间的比率。在替换实现中，对比度检测器110可以根据直方图对各个像素进行分类，并且基于具有高于阈值数目的像素的最高和最低直方图水平的平均值来确定对比度水平。还可以使
用检测对比度水平的其他方法。
26.aigbce选择器104可包括阈值存储120，其存储针对光照水平和对比度水平的各种阈值水平，包括低光照水平l1、高光照水平l2、低对比度水平c1、高对比度水平c2等。比较模块122将输入图像的光照水平l和对比度水平c与阈值进行比较。基于比较的结果，aigbce选择模块124从aigbce曲线数据库140中选择aigbce曲线。aigbce曲线数据库140可包括大量曲线，这些曲线可被存储为提供输入光照或对比度水平与输出光照或对比度水平之间的关系的查找表(lut)。
27.设备102还包括面部色调检测模块130，其被配置成分析由图像检测模块106捕捉的图像以确定在该图像中是否检测到面部。如果是，则面部色调检测模块130检测面部色调。例如，面部色调检测模块可以使用在阈值存储120中设置的一个或多个阈值来检测面部色调高于或低于阈值。在一个实现中，阈值存储120可以存储一个或多个面部色调阈值。面部色调检测模块120可以确定面部色调，并且随后将其与面部色调阈值进行比较以确定它是亮面部色调还是暗面部色调。在替换实现中，所确定的面部色调可以与不止一个阈值进行比较，以将所确定的面部色调分类为不止两群。
28.面部色调检测模块的输出被输入到aigbce选择模块124，该aigbce选择模块124基于面部色调与面部色调阈值的比较从aigbce数据库140中选择一条aigbce曲线。aigbce选择器104使用所选的aigbce曲线来增强从图像捕捉模块106收集的图像，并且增强的图像被输入到增强的图像模块126。增强的图像模块126可以存储增强的图像以供将来使用或将该增强的图像显示在设备102的屏幕上。
29.在一个实现中，aigbce曲线基于图像直方图来动态地调整图像中的对比度，以确保图像的较暗部分足够暗，图像的较亮区域足够亮，图像色调陡度合适，以及按需应用任何附加的色调映射。aigbce选择器104在将所选aigbce曲线应用于图像之后生成增强图像126。
30.图2解说了用于选择色调曲线以应用于图像的示例操作200。操作202捕捉图像中的最终曝光设置。操作204分析图像以确定是否检测到面部作为图像的一部分。如果未检测到面部，则操作212使用正常色调曲线来应用于图像，如由图300所呈现的。如果检测到面部，则操作206确定面部具有亮肤色(f《l1)还是暗肤色。在此，f是面部的光照水平。如果面部具有亮肤色，则在222，亮肤色曲线被应用于图像，如由图500所呈现的。如果面部具有暗肤色(f》＝l1)，则在232，暗肤色曲线被应用于图像，如由图700所呈现的。
31.图3解说了在图像中未检测到面部时的示例操作300。在未检测到面部时，如由300给出的，在302，将光照水平l和对比度水平c与阈值l1和c1进行比较，并且如果l《l1和c《c1。在312，正常低勒克斯/对比度色调曲线(402)被应用。在304，将l和c与l1、l2和c1进行比较，并且如果l1《＝l《＝l2并且c《c1，则操作314应用正常中等勒克斯/对比度色调曲线(404)。操作306将l和c与l2和c2进行比较，并且如果l》l2并且c》c2，则操作316应用正常高勒克斯/对比度色调曲线(406)。否则，操作320应用标准勒克斯/对比度色调曲线。
32.图4解说了在图像中未检测到面部时要应用的色调曲线400。具体而言，图4解说了正常低勒克斯/对比度色调曲线(402)、正常中等勒克斯/对比度色调曲线(404)和正常高勒克斯/对比度色调曲线(406)。
33.图5解说了在图像中检测到亮肤色面部时的示例操作500。在检测到亮肤色面部
时，如由500给出的，操作502比较对比度水平，并且如果该对比度水平高于阈值c2，则在操作520应用高对比度曲线(608)。然而，如果对比度低于高对比度水平c2，则操作504将图像的光照水平l与第一光照阈值l1进行比较。如果图像的光照水平l低于第一光照阈值l1，则在512，亮肤色低勒克斯色调曲线(602)被应用。
34.在506，将l与l1和l2进行比较，并且如果l1《＝l《＝l2，则操作514应用亮肤色中等勒克斯色调曲线(604)。操作508将l与l2进行比较，如果l＞l2，则操作516应用亮肤色高勒克斯色调曲线(606)。否则，操作518应用标准勒克斯/对比度色调曲线。
35.图6解说了在图像中检测到亮肤色面部时要应用的色调曲线600。具体而言，图6解说了亮肤色低勒克斯色调曲线602、亮肤色中等勒克斯色调曲线604、亮肤色高勒克斯色调曲线606和亮肤色高对比度曲线608。
36.图7解说了在图像中检测到暗肤色面部时的示例操作700。在检测到暗肤色面部时，如由700给出的，操作702比较对比度水平，并且如果该对比度水平高于阈值c2，则在操作720应用高对比度曲线(808)。然而，如果对比度低于高对比度水平c2，则操作704将图像的光照水平l与第一光照阈值l1进行比较。如果图像的光照水平l低于第一光照阈值l1，则在712，暗肤色低勒克斯色调曲线(802)被应用。
37.在706，将l与l1和l2进行比较，并且如果l1《＝l《＝l2，则操作714应用暗肤色中等勒克斯色调曲线(804)。操作708将l与l2进行比较，如果l＞l2，则操作716应用暗肤色高勒克斯色调曲线(806)。否则，操作718应用标准勒克斯/对比度色调曲线。
38.图8解说了在图像中检测到暗肤色面部时要应用的色调曲线800。具体而言，图8解说了暗肤色低勒克斯色调曲线802、暗肤色中等勒克斯色调曲线804、暗肤色高勒克斯色调曲线806和暗肤色高对比度曲线808。
39.图9的用于实现所述技术的示例硬件和操作环境包括诸如计算机20形式的通用计算设备之类的计算设备、移动电话、个人数据助理(pda)、平板、智能手表、游戏远程控制器或其他类型的计算设备。例如，在图9的实现中，计算机20包括处理单元21、系统存储器22，以及将包括系统存储器的各种系统组件在操作上耦合到处理单元21的系统总线23。可以有只有一个或可以有一个以上的处理单元21，以便计算机20的处理器包括单一中央处理单元(cpu)，或常常被称为并行处理环境的多个处理单元。计算机20可以是常规计算机、分布式计算机、或者任何其它类型的计算机；各实现不限于此。
40.在计算系统900的示例实现中，计算机20还包括提供本文所公开的天线共享操作的一个或多个功能的aigbce选择器950。系统总线23可以是若干类型的总线结构中的任何一种，包括使用各种总线体系结构中的任何一种的存储器总线或存储器控制器、外围总线，交换结构、点到点连接，以及局部总线。系统存储器也可以简称为存储器，并包括只读存储器(rom)24和随机存取存储器(ram)25。基本输入/输出系统(bios)26被存储在rom 24中，包含了诸如在启动过程中帮助在计算机20内的元件之间传输信息的基本例程。计算机20还包括用于对硬盘(未示出)进行读写的硬盘驱动器27、用于对可移动磁盘29进行读写的磁盘驱动器28、以及用于对可移动光盘31(如cd-rom、dvd或其他光学介质)进行读写的光盘驱动器30。
41.计算机20可被用来实现图1-5中所示的共存模块。在一个实现中，跨多个端点共享天线的一个或多个指令可被存储在计算机20的存储器中，诸如只读存储器(rom)24和随机
存取存储器(ram)25，等等。
42.硬盘驱动器27、磁盘驱动器28以及光盘驱动器30分别通过硬盘驱动器接口32、磁盘驱动器接口33，以及光盘驱动器接口34连接到系统总线23。驱动器以及它们相关联的有形计算机可读介质为计算机20提供了计算机可读指令、数据结构、程序模块，及其他数据的非易失存储器。本领域技术人员应该理解，可以在示例操作环境中使用任何类型的有形计算机可读介质。
43.虽然图9解说了包括磁盘驱动器、光盘驱动器和半导体存储器存储设备的计算设备，但是在替换实现中，计算设备可包括其他类型的存储设备，诸如基于dna的存储设备、或可用于存储所需信息并可由处理器访问的任何其他存储设备。此类替换实现可以使用在计算设备上配置的此类存储设备的组合，或者它们可以在计算设备的外部。
44.多个程序模块能存储在硬盘、磁盘29、光盘31、rom 24或ram 25中，包括操作系统35、一个或多个应用程序36、其他程序模块37和程序数据38。用户可以通过诸如键盘40和定向设备42之类的输入设备在个人计算机20上生成提醒。其他输入设备(未示出)可以包括麦克风(例如，用于语音输入)、相机(例如，用于自然用户界面(nui))、操纵杆、游戏垫、圆盘式卫星天线、扫描仪等等。这些及其他输入设备常常通过耦合到系统总线的串行端口接口46连接到处理单元21，但是，也可以通过其他接口，如并行端口、游戏端口或通用串行总线(usb)端口来进行连接。监视器47或其他类型的显示设备也可以通过诸如视频适配器48之类的接口，连接到系统总线23。除监视器之外，计算机通常包括其它外围输出设备(未示出)，如扬声器或打印机。
45.计算机20可使用至一个或多个远程计算机，诸如远程计算机49的逻辑连接在网络化环境中操作。这些逻辑连接由耦合至或者作为计算机20一部分的通信设备来实现；实现不限于特定类型的通信设备。远程计算机49可以是另一计算机、服务器、路由器、网络pc、客户机、对等设备或其它常见的网络节点，并且通常包括上面相对于计算机20所述的许多或全部元件。图4中描绘的逻辑连接包括局域网(lan)51和广域网(wan)52。这样的网络环境常见于办公室网络、企业范围计算机网络、内联网和因特网，并且可以是所有类型的网络。
46.当在lan网络环境中使用时，计算机20通过作为一种通信设备类型的网络接口或适配器53连接到局域网51。当在wan联网环境中使用时，计算机20通常包括调制解调器54、网络适配器、一种类型的通信设备，或者用于经广域网52建立通信的任何其他类型的通信设备。或为内置或为外置的调制解调器54经由串行端口接口46连接到系统总线23。在网络化环境中，相对于个人计算机20所描述的程序引擎或其各部分可以存储在远程存储器存储设备中。可以理解，所示出的网络连接只是示例，也可以使用用于在计算机之间建立通信链路的通信设备的其他装置。
47.在示例实现中，用于请求和管理天线资源的软件或固件指令可被储存在系统存储器22和/或存储设备29或31中并由处理单元21处理。与处理单元21和存储器22通信地连接的aigbce选择器950可启用本文所公开的天线共享系统的能力中的一者或多者。
48.与有形计算机可读存储介质对比，无形计算机可读通信信号可用诸如载波或其他信号传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据。术语“已调数据信号”意指以在信号中对信息进行编码的方式来使其一个或多个特性被设定或改变的信号。作为示例而非限制，无形通信信号包括有线介质，诸如有线网络或直接线
连接，以及无线介质，诸如声学、射频、红外线和其他无线介质。
49.图10解说了可用于实现所描述的技术的另一示例系统(标记为移动设备1000)。移动设备1000包括处理器1002、存储器1004、显示器1006(例如，触摸屏显示器)和其他接口1008(例如，键盘)。存储器1004一般包括易失性存储器(例如，ram)和非易失性存储器(例如，闪存存储器)两者。诸如microsoftphone操作系统之类的操作系统1010驻留在存储器1004中，并且由处理器1002来执行，但是应当理解，可以采用其他操作系统。
50.一个或多个应用程序1012被加载到存储器1004中并且由处理器1002在操作系统1010上执行。应用程序1012的示例包括但不限于电子邮件程序、日程安排程序、个人信息管理器、因特网浏览程序、多媒体播放器应用程序，等等。通知管理器1014也被加载在存储器1004中并且由处理器1002执行来向用户呈现通知。例如，当促销被触发并呈现给购物者时，通知管理器1014可以使移动设备1000蜂鸣或振动(经由振动设备1018)并在显示器1006上显示促销。
51.移动设备1000包括电源1016，该电源由一个或多个电池或其他电源供电并且向移动设备1000的其他组件提供电能。电源1016还可以被连接到外部功率源，该外部功率源对内置电池或其他功率源进行超驰控制(override)或再充电。
52.移动设备1000包括一个或多个通信收发机1030以提供网络连通性(例如移动电话网络、等等)。移动设备1000还包括各种其他组件，诸如定位系统1020(例如全球定位卫星收发机)、一个或多个加速度计1022、一个或多个相机1024、音频接口1026(例如话筒、音频放大器和扬声器和/或音频插孔)、以及附加的存储1028。其他配置也可以被采用。
53.在一示例实现中，移动操作系统、各种应用以及其他模块和服务可以由被储存在存储器1004和/或存储设备1028中的且由处理单元1002处理的指令来体现。用户偏好、服务选项和其他数据可作为持久数据存储被储存在存储器1004和/或存储设备1028中。与处理单元1002和存储器1004通信地连接的aigbce选择器1050可启用本文所公开的天线共享系统的能力中的一者或多者。
54.图10中所公开的存储器1004可以是基于半导体介质的存储器、光学存储器、基于dna的存储器、或可用于存储所需信息并且可由处理器访问的任何其他存储器。此类替换实现可以使用在移动设备上配置的此类存储器的组合，或者它们可以在移动设备的外部。
55.本文所公开的基于面部的色调曲线调整系统提供了一种针对跨多个端点共享天线资源的需求所必需的技术问题的解决方案。具体而言，本文公开的天线共享系统提供了一种针对该技术问题的通过与多个端点进行通信以请求天线资源的非常规技术解决方案。
56.本文中所描述的各实现可被实现为一个或多个计算机系统中的逻辑步骤。逻辑操作可被实现为：(1)在一个或多个计算机系统中执行的处理器实现的步骤的序列；以及(2)一个或多个计算机系统内的互连机器或电路模块。该实现是取决于被利用的计算机系统的性能要求的选择问题。相应地，组成本文中所描述的各实现的逻辑操作另外还可被称为操作、步骤、对象、或模块。此外，还应该理解，逻辑操作可以以任何顺序来执行，除非明确地声明，或者权利要求语言固有地要求某特定顺序。以上说明、示例和数据连同附图提供了对示例性实现的结构和用途的全面描述。