HDR成像中的速率控制感知整形的制作方法

hdr成像中的速率控制感知整形
1.相关申请的交叉引用
2.本技术要求2019年11月27日提交的美国临时专利申请62/940,942和2019年11月27日提交的欧洲专利申请19211730.7的优先权权益，这些专利申请中的每个都以援引方式并入本文。
技术领域
3.本公开总体上涉及图像。更具体地，本发明的实施例涉及使用整形函数来提高从标准动态范围(sdr)图像重建的高动态范围(hdr)图像的编码效率。


背景技术：

4.如本文所使用的，术语
‘
动态范围(dr)’可以涉及人类视觉系统(hvs)感知图像中的强度(例如光亮度(luminance)、亮度(luma))范围的能力，该强度范围例如是从最暗的灰色(黑色)到最亮的白色(高光)。从这个意义上说，dr与
‘
参考场景的(scene-referred)’强度有关。dr还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，dr与
‘
参考显示的(display-referred)’强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应该推断为所述术语可以在任一意义上例如可互换地使用。
5.如本文所使用的，术语“高动态范围(hdr)”涉及跨越人类视觉系统(hvs)的14到15个数量级的dr阔度。实际上，相对于hdr，人类可以同时感知强度范围广泛阔度的dr可能会被稍微截短。如本文所使用的，术语“视觉动态范围(vdr)或增强动态范围(edr)”可以单独地或可互换地与这种dr相关：所述dr可在场景或图像内由包括眼运动的人类视觉系统(hvs)感知，允许场景或图像上的一些光适性变化。如本文所使用的，vdr可以涉及跨越5到6个数量级的dr。因此，虽然相对于真实场景参考的hdr，可能稍微窄一些，但vdr或edr可以代表宽dr阔度并且也可以被称为hdr。
6.实际上，图像包括一个或多个颜色分量(例如，亮度y以及色度cb和cr)，其中每个颜色分量由每像素n比特的精度表示(例如，n＝8)。例如，使用伽马光亮度编码，其中n≤8的图像(例如，彩色24比特jpeg图像)被认为是标准动态范围的图像，而其中n≥10的图像可以被认为是增强动态范围的图像。hdr图像还可以使用高精度(例如，16比特)浮点格式来存储和分布，如由工业光魔公司(industrial light and magic)开发的openexr文档格式。
7.大多数消费类桌面显示器目前支持200cd/m2到300cd/m2或尼特的光亮度。大多数消费者hdtv的范围从300到500尼特，其中，新型号达到1000尼特(cd/m2)。因此，这样的传统显示器代表了与hdr相关的较低动态范围(ldr)，也被称为标准动态范围(sdr)。随着hdr内容的可用性由于捕获设备(例如，相机)和hdr显示器(例如，杜比实验室的prm-4200专业参考监视器)二者的发展而增加，hdr内容可以被颜色分级并被显示在支持更高动态范围(例如，从1,000尼特到5,000尼特或更高)的hdr显示器上。
8.在传统的图像流水线中，使用非线性光电函数(oetf)来量化所捕获的图像，所述
非线性光电函数将线性场景光转换为非线性视频信号(例如，伽马编码的rgb或ycbcr)。然后，信号在被显示在显示器上之前在接收器上通过电光传递函数(eotf)来处理，所述电光传递函数将视频信号值转化成输出屏幕颜色值。这样的非线性函数包括在itu-r rec.bt.709和bt.2020中记录的传统“伽马”曲线、在smpte st 2084中描述的“pq”(感知量化)曲线以及在rec.itu-r bt.2100中描述的“混合对数型伽马(hybridlog-gamma)”或“hlg”曲线。
9.如本文所使用的，术语“前向整形(forward reshaping)”表示数字图像从其原始比特深度和原始码字分布或表示(例如，伽马、pq、hlg等)到相同或不同比特深度和不同码字分布或表示的图像的样本到样本映射或码字到码字映射的过程。整形允许以固定的比特率改善可压缩性或改善图像质量。例如，非限制性地，可以将整形应用于10比特或12比特pq编码的hdr视频，以提高10比特视频编码架构中的编码效率。在接收器中，在对接收到的信号进行解压缩(可能会或可能不会进行整形)之后，接收器可以应用“逆向(或后向)整形函数”以将信号恢复为其原始码字分布和/或实现更高的动态范围。
10.如本文所使用的，术语“速率控制”是指在图像和视频压缩期间调整量化，以实现与编码比特流的总比特率和/或图像质量相关的特定目标。传统的整形技术独立于视频编解码器内的速率控制机制。如发明人在此所理解的，期望用于速率控制感知整形的改进技术，以减少hdr编码中的编码伪像。
11.在本节中描述的方法是可以追寻的方法，但不一定是之前已经设想到或追寻的方法。因此，除非另有指明，否则不应该认为本节中所述的任何方法仅因纳入本节就可被视为现有技术。类似地，除非另有表示，否则关于一种或多种方法所认定的问题不应该因本节本节而认为在被认定为任何现有技术。
附图说明
12.在附图中以举例而非限制的方式来图示本发明的实施例，并且其中类似的附图标记指代类似的元件，并且在附图中：
13.图1a描绘了根据现有技术的使用整形函数的用于hdr数据的示例单层编码器；
14.图1b描绘了根据现有技术的与图1a的编码器相对应的示例hdr解码器；
15.图2a描绘了与场景内的实际hdr亮度码字范围相关的参数的示例；
16.图2b描绘了根据本发明的实施例调整的与虚拟hdr亮度码字范围相关的参数的示例；
17.图3描绘了根据本发明的实施例调整的前向整形映射的示例；
18.图4a和图4b描绘了根据本发明的实施例的自适应参数(m)的示例曲线；
19.图5描绘了根据本发明的实施例调整的前向整形映射的第二示例；以及
20.图6描绘了根据本发明的实施例的速率控制感知整形的示例过程。
具体实施方式
21.本文描述了设计用于编码hdr图像和视频内容的速率控制感知整形函数。在以下说明中，出于解释的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践本发明。在其他情形中，为了避免不必要的遮
蔽、模糊或混淆本发明，没有详尽地描述众所周知的结构和设备。
22.概述
23.本文所描述的示例实施例涉及设计用于hdr图像的高效编码的速率控制感知整形函数。在实施例中，在包括一个或多个处理器的装置中，处理器接收第一动态范围(例如，高动态范围)中的一个或多个输入图像，其计算一个或多个输入图像中的亮度像素的第一码字范围，其计算一个或多个输入图像中的亮度像素的噪声度量，其计算缩放器以基于第一码字范围和噪声度量调整第一码字范围，并且如果缩放器大于一，则a)其基于缩放器和第一码字范围生成一个或多个输入图像中的亮度像素的第二码字范围，其中，第二码字范围大于第一码字范围，以及b)其基于第二码字范围生成将亮度像素值从第一动态范围映射到第二动态范围(例如，标准动态范围)的前向亮度整形函数；否则，其基于第一码字范围生成前向亮度整形函数。
24.示例hdr编码系统
25.如a.kheradmand等人的美国专利序列号10,032,262“block-based content-adaptive reshaping for high dynamic range images[用于高动态范围图像的基于块的内容自适应整形]”(被称为’262专利)所描述的，其全部内容通过援引并入本文，图1a和图1b图示了使用图像整形的示例单层后向兼容编解码器框架。更具体地，图1a图示了示例编码器侧编解码器架构，该架构可以用上游视频编码器中的一个或多个计算处理器来实施。图1b图示了示例解码器侧编解码器架构，该架构也可以用一个或多个下游视频解码器中的一个或多个计算处理器来实施。
[0026]
在该框架下，给定参考hdr内容(120)，对应的sdr内容(134)(也称为基本层(bl)或被整形的内容)由实施编码器侧编解码器架构的上游编码设备在编码视频信号(144)的单个层中编码并传输。sdr内容由实施解码器侧编解码器架构的下游解码设备在视频信号的单个层中接收并解码。后向整形元数据(152)也和sdr内容一起在视频信号中被编码并传输，使得hdr显示设备可以基于sdr内容和后向整形元数据来重建hdr内容。不失一般性，在一些实施例中，如在非后向兼容的系统中，sdr内容本身可能不可观看，而是必须结合将生成可观看的sdr或hdr内容的后向整形函数来观看。在支持后向兼容性的其他实施例中，传统sdr解码器仍然可以回放所接收到的sdr内容而无需采用后向整形函数。
[0027]
如图1a所示，给定hdr图像(120)和目标动态范围，在步骤130中生成前向整形函数(132)之后；给定前向整形函数，将前向整形映射步骤(132)应用于hdr图像(120)以生成整形的sdr基本层(134)。压缩块(142)(例如，根据任何已知的视频编码算法，如avc、hevc、av1等实施的编码器)将sdr图像(134)压缩/编码到视频信号的单层(144)中。另外，后向整形函数生成器(150)可以生成后向整形函数，该后向整形函数可以作为元数据152传输到解码器。在一些实施例中，元数据(152)可以表示前向整形函数(130)，因此，其将由解码器来生成后向整形函数(未示出)。
[0028]
表示/指定最佳后向整形函数的后向整形元数据的示例可以包括但不一定仅限于以下各项中任何一项：逆色调映射函数、逆亮度映射函数、逆色度映射函数、查找表(lut)、多项式、逆显示管理系数/参数等。在多种实施例中，亮度后向整形函数和色度后向整形函数可以联合或单独得到/优化，可以使用多种技术得到，例如但不限于，如
‘
262专利中所描述的。
[0029]
由后向整形函数生成器(150)基于sdr图像(134)和目标hdr图像(120)生成的后向整形元数据(152)可以作为视频信号144的一部分被复用，例如，作为补充增强信息(sei)消息传递。
[0030]
在一些实施例中，后向整形元数据(152)作为整体图像元数据的一部分被承载在视频信号中，所述整体图像元数据与视频信号中的其中sdr图像被编码的单个层分开地被承载在视频信号中。例如，后向整形元数据(152)可以被编码在编码比特流中的分量流中，所述分量流可以与或可以不与其中sdr图像(134)被编码的(经编码比特流的)单个层分开。
[0031]
因此，可以在编码器侧生成或预生成后向整形元数据(152)，以利用在编码器侧可获得的强大的计算资源和离线编码流程(包括但不限于内容自适应多轮次、超前操作、逆亮度映射、逆色度映射、基于cdf的直方图近似和/或传递等)。
[0032]
图1a的编码器侧架构可以用于避免将目标hdr图像(120)直接编码为视频信号中的经编码/压缩hdr图像；相反，视频信号中的后向整形元数据(152)可以用于使下游解码设备能够将(在视频信号中进行编码的)sdr图像(134)后向整形为与参考hdr图像(120)相同或接近/最佳近似的重建图像。
[0033]
在一些实施例中，如图1b所示，在编解码器框架的解码器侧接收单个层(144)中用sdr图像编码的视频信号和作为整体图像元数据的一部分的后向整形元数据(152)作为输入。解压缩块(154)将视频信号的单个层(144)中的经压缩视频数据解压缩/解码成解码的sdr图像(156)。解压缩154通常对应于压缩142的逆过程。解码的sdr图像(156)可以与sdr图像(134)相同，但是在压缩块(142)和解压缩块(154)中经受了量化误差，这些误差已经针对sdr显示设备进行了优化。在后向兼容的系统中，解码的sdr图像(156)可以在输出sdr视频信号中输出(例如，通过hdmi接口、通过视频链路等)以在sdr显示设备上呈现。
[0034]
可选地、替代地或另外地，在同一或另一个实施例中，后向整形块158从输入视频信号中提取后向(或前向)整形元数据(152)，基于整形元数据(152)构建后向整形函数，并基于最佳后向整形函数对解码的sdr图像(156)执行后向整形操作，以生成后向整形图像(160)(或重建的hdr图像)。在一些实施例中，经后向整形的图像表示与参考hdr图像(120)相同或接近/最佳近似的生产质量或接近生产质量的hdr图像。经后向整形的图像(160)可以以输出hdr视频信号的形式输出(例如，通过hdmi接口、通过视频链路等)以呈现在hdr显示设备上。
[0035]
在一些实施例中，作为在hdr显示设备上呈现经后向整形的图像(160)的hdr图像呈现操作的一部分，可以对经后向整形的图像(160)执行特定于hdr显示设备的显示管理操作。
[0036]
速率控制感知整形
[0037]
速率控制是任何视频压缩流水线的组成部分。速率控制背后的原理是调整图片的量化程度以实现目标比特率。通常，每帧更多的比特对应于更好的视觉质量；然而，每帧分配更多的比特的代价是增加带宽。速率控制试图在目标比特率与可接受的质量之间找到平衡。
[0038]
例如，在大多数速率控制方案下，具有复杂纹理的图片被认为在视觉上是重要的并且在量化期间被分配更多的比特；然而，具有感知上不相关的内容的有噪图像也可能表现出复杂的纹理，并且可能最终被分配了比所必要的更多的比特。为感知上不相关的内容
分配更多的比特对应于为真实内容分配更少的比特，这是非常低效的，甚至可能导致更低的整体视觉质量。
[0039]
如图1a所描绘的，在一些实施例中，生成整形函数(例如，块130)可以是完全独立的，并且不知道底层编码器(142)中的速率控制优化。因此，一些肉眼几乎不可见但包含高频噪声的暗场景可能消耗大量比特，并且具有较小hdr码字范围的场景可能被映射到基本层中较宽的码字范围，并耗尽大量比特。为了改善比特分配，提出了一种新的整形技术，该技术基于预期的速率控制机制来调整原始整形，从而提供更高质量的图像。
[0040]
图像整形
[0041]
在整形期间，hdr帧的每个通道或颜色分量被分别映射到基本层(134)。hdr通道到基本层的映射通常被称为前向整形。例如，使用亮度前向整形曲线将hdr的亮度通道映射到基本层亮度通道。使用色度通道相应的前向色度整形曲线，将hdr中的色度通道分别映射到基本层色度通道。为了实现最高的视觉质量，基本层被设计成占据大部分基本层码字范围；然而，在某些条件下(例如，对于具有小码字范围的有噪hdr内容)，不需要跨越整个基本层码字范围，因为这几乎不会提高视觉质量。相反，可以通过将小码字范围hdr内容限制到基本层中更小的码字范围来降低比特率。
[0042]
设亮度通道前向整形函数由f
l
表示，使得它将hdr亮度值v
l
映射到基本层亮度值s
l
，即s
l
＝f
l
(v
l
)。在实施例中，非限制性地，该函数可以是单调非递减的。
[0043]
如本文所使用的，术语“场景”或“图片组”是指视频序列中具有类似颜色或动态范围特性的一组连续帧。虽然示例实施例可以涉及场景，但是对于以下各项之一，本文所描述的前向整形函数和/或对应的后向整形函数可以用类似的方法构建：单个图像、单组图片、场景、单个场景或单个媒体计划内的时间窗口等。
[0044]
设第i个场景中的最小hdr亮度值和最大hdr亮度值分别由和给出。为了生成比特深度bs的基本层，函数f
l
通常试图将最小hdr亮度值映射到零(或其他合法的最小值)，并将最大hdr亮度值映射到最大基本层码字(或其他合法的最大码字值)。因此，设
[0045][0046][0047]
范围中的hdr码字被映射到范围中的基本层亮度码字。这给出了基本层亮度码字的码字范围，如下，
[0048][0049]
不管hdr码字的码字范围如何，基本层通常都跨越整个允许的码字范围。
[0050]
对于色度通道，映射略有不同。假设f
c0
和f
c1
分别是用于c0和c1通道(例如，ycbcr表示中的cb和cr)的前向映射的函数。这些函数也应是单调非递减的。在实施例中，使用以下逻辑来计算基本层色度码字的范围。由于对于c0和c1两者，过程是相同的，所以与色度相关的下标由cx代替。
[0051][0052]
其中k
c0
和k
c1
是小于或等于1.0且取决于颜色空间的常数(例如，对于iptpqc2颜色空间，设置为默认值0.5，这是ictcp颜色空间的变体)。色度前向整形函数f
c0
和f
c1
与亮度无关，但色度码字的范围仍由最小亮度值和最大亮度值控制。在计算码字范围之后，基本层cx通道码字的最小值和最大值是
[0053][0054][0055]
范围中的hdr cx通道码字被映射到基本层cx通道码字范围在实施例中，将hdr cx通道码字映射到基本层码字的函数可由下式给出：
[0056][0057]
其中符号和分别表示任何hdr或基本层码字值。
[0058]
用于改善速率控制的码字范围调整
[0059]
整形函数尝试将hdr码字映射到某一范围的基本层码字。基本层中较宽范围的码字有利于保持高视觉质量；然而，在某些情况下(例如，对于具有窄码字范围的有噪hdr信号)，压缩这种基本层所需的比特数远比视觉质量改善更重要。速率控制感知整形方案应帮助编码器智能地向这种hdr内容分配较少的比特，而常规的hdr内容应不变地通过。
[0060]
为了设计这种方案，必须首先检测具有这种特征的hdr帧，然后调整(例如，减小)基本层码字范围。减小基本层码字范围将减少运动估计期间的残差。较小的残差减小了dct系数的幅度，因此在熵编码之后需要较少的比特来编码。
[0061]
在实施例中，减小基本层码字范围的一种方式是通过调整感知的hdr码字范围，例如，通过人为地减小亮度通道的最小hdr值和/或增加最大hdr值。注意，实际的hdr图像没有变化。只需调整计算的最小和最大亮度hdr值，使得改变前向亮度整形曲线。这些更新后的(调整的或虚拟的)值分别由和表示，使得，
[0062]
并且
[0063]
对于亮度通道，更新后的前向整形函数将虚拟最小值和最大值映射到基本层，如下：
[0064][0065][0066]
因为是单调非递减函数，所以实际的最小值和最大值，即和将映射
到不同的基本层码字：
[0067][0068][0069]
利用该更新后的亮度前向整形曲线，映射的基本层亮度码字范围将缩小，如下：
[0070][0071]
总之，减小最小hdr亮度值和/或增加最大hdr亮度值将减小基本层亮度码字范围，并允许在随后的压缩步骤期间进行更高效的速率控制。
[0072]
对于色度通道，基本层码字的范围取决于亮度hdr的最小值和最大值。利用更新后的(虚拟)值，色度基本层码字范围也将如下改变：
[0073][0074]
随着更新后的分母更大，码字范围减小，即注意，等式(10)的分子与之前相同，如下，这将改变色度基本层范围，如下所示：
[0075][0076][0077]
通过生成虚拟最小hdr亮度值和最大hdr亮度值，亮度和色度基本层码字的范围可以比以前更小。该改变可以帮助降低比特率。这些值应改变的量由基本层码字范围减小参数的强度来控制，该参数将被表示为m。稍后提供关于如何得到m的细节。
[0078]
如所讨论的，通过调整最小亮度hdr值和最大亮度hdr值可以减小基本层的码字范围，从而有效地降低比特率。如图2a所描绘的，设和使得，
[0079][0080][0081]
其中和表示场景i的最小hdr亮度值、平均hdr亮度值和最大hdr亮度值。场景i的最小hdr亮度值与最大hdr亮度值之间的差表示为可以如下得到
[0082][0083]
作为示例，表1用伪代码示出了用于计算的示例算法。场景i中宽度为w
l
高度为hl
的亮度通道帧j表示为该帧中的特定像素由表示，其中(m，n)是该像素的位置。设t为场景中的总帧数。此外，设和为帧j亮度通道的最小hdr亮度值、平均hdr亮度值和最大hdr亮度值。
[0084]
表1:用于计算的示例伪代码
[0085][0086][0087]
计算缩放器m
[0088]
在实施例中，基本层码字范围自适应m的值大于或等于1。当m＝1时，不执行速率控制感知整形。对于m》1，最小hdr亮度值和最大hdr亮度值和被转换为虚拟和值，如下：
[0089][0090][0091]
通常，如果m》1，如图2b所描绘的，将减少并且将增加。这将减小更新后的基本层码字范围因为是单调非递减函数。如前所述，色度基本层码字范围也将随着分母的的增加而缩小，如所解释的。因此，增加m将减少对该特定帧或场景进行编码所需的比特，从而允许在真正需要更高比特率的帧或场景中分配更多的比特。
[0092]
如等式(14)所示，在典型实施例中，m可以用于调整和两者。在另一个实施例中，可能期望仅调整这两个边界值中的一个(例如，以更好地保留高光或暗部)。因此，可以使保持不变，并且通过使用等式(14b)仅调整或者可以使保持不变，并且通过使用等式(14a)调整
[0093]
图3描绘了调整最小和最大hdr值如何影响基本层中的码字范围的示例。该图提供前向整形函数的非常粗略的表示，以帮助解释核心概念。图中的曲线不是按比例绘制的。随着原始亮度前向整形映射(310)被更新为调整后的映射(320)，基本层码字的范围从减小到该变化由基本层减小因子(即，m)的强度控制。对于色度映射也发生类似的调整。
[0094]
在等式(14)中，通过将和乘以m来调整和这些变化隐含地影响sdr码字范围。注意，通过直接缩窄原始sdr码字范围可以实现完全相同的效果。例如，设
[0095][0096]
然后，对于原始sdr范围对于m》1，更新后的sdr码字范围可以被计算为
[0097][0098][0099]
并且
[0100][0101]
调整hdr码字范围的标准
[0102]
生成虚拟hdr亮度值将确保亮度和色度通道的基本层码字范围将减小。该减小将导致对这种基本层进行编码的较低比特率；然而，这种调整只需要对选定的场景进行。在实施例中，非限制性地，建议将具有小hdr码字范围和高频的类噪声内容的场景映射到更小的
sdr码字范围。在这种情况下，提出了三步算法：
[0103]
1.计算用于识别具有相对较小码字范围的有噪hdr内容的特征
[0104]
2.根据这些特征值来评估基本层码字范围减小的强度
[0105]
3.构建修改后的前向整形曲线并生成基本层
[0106]
和以前一样，讨论可能涉及场景；然而，场景可以是任一组连续的帧，甚至是单个帧。给定场景中的最小光亮度值、平均光亮度值和最大光亮度值，在实施例中，(参见等式(13))可以用于识别输入hdr内容是否具有小的码字范围。例如，如果小于某个阈值(例如，th
hdr
)，则该场景可以被分类为具有小hdr码字范围的场景。
[0107]
如本领域技术人员所知，存在多种算法来将图片或帧的区域分类为“有噪的”。例如，可以计算基于块的统计数据，诸如它们的平均值、方差和/或标准偏差，并使用这些统计数据进行分类。在实施例中，非限制性地，图片中的噪度度量是基于被分类为“边缘”的帧中的像素数量来得到的。接下来将提供详细信息。
[0108]
为了检测有噪的内容，可以从计算帧的每个亮度和颜色通道中的边缘点的总数开始。设和表示场景i中帧j(即，)的归一化亮度和色度通道。归一化图像中的每个像素值都在范围[0，1)内。将bv视为源hdr的比特深度。
[0109]
对于所有m∈[0，h
l-1]和n∈[0，w
l-1]，
ꢀꢀꢀꢀ
(18)
[0110]
对于所有m∈[0，h
cx-1]和n∈[0，w
cx-1]。
[0111]
设亮度通道图像的高度和宽度分别为h
l
、w
l
，并且设h
cx
、w
cx
表示色度通道的高度和宽度。在实施例中，可以应用本领域中任何已知的边缘检测技术(例如，sobel算子等)来识别亮度通道中的边缘。例如，在实施例中，sobel算子由下式给出
[0112]
并且
[0113]
内核ψ1和ψ2分别用于评估亮度通道的水平和竖直梯度图像和
[0114]
并且
[0115][0116]
其中符号表示2d卷积算子，是亮度梯度幅度图像。还评估了色度通道的梯度图像。
[0117]
并且
[0118][0119]
在计算梯度图像之后，梯度幅度高于阈值thj的像素被指定为边缘点。选择固定阈值可能不是非常可靠，因此，在实施例中，自适应阈值可能是优选的，计算如下：
[0120][0121]
其中阈值的值在范围[0.001，1]内。常数0.001为阈值设定了下限，因此它不应减小到零。量和是强度差，大致类似于梯度。取中的最小值给出了图像内归一化像素差范围的估计，并提供了合适的阈值。注意，阈值的值仅由亮度值决定；然而，相同的阈值适用于亮度和色度通道梯度图像两者。尽管阈值对于每一帧可能改变，但它对整个算法的时间一致性没有直接影响。
[0122]
对于小码字范围的有噪图像，或较小，因此阈值thj较低，并且更多的点被检测为边缘点。相反，正常图像具有较高的或值，这增加了阈值并减少了检测到的边缘点的数量。
[0123]
分别用和表示亮度或色度通道中边缘像素的百分比。对于梯度图像中的每个像素，如果该值大于或等于阈值thj，则将其视为边缘像素。假设ξ是恒等函数，
[0124][0125][0126]
设是该帧的所有三个通道中的最大值，并且pi是场景中所有帧的最大值。
[0127][0128][0129]
表2提供了使用等式(19)至(23)来计算帧中边缘点百分比的示例算法。通常，边缘像素的百分比是用于检测高频噪声的相关特征。有噪图像具有这样的纹理：其中具有截然不同强度的像素并列在一起。这些区域中的梯度通常较高，并且边缘像素的密度较高。相反，平滑图像具有较少的边缘像素和较低的边缘像素百分比。因此，可以结合hdr亮度强度码字范围和边缘点百分比特征来计算基本层码字范围减小m的强度。
[0130]
表2:计算帧中边缘点百分比的示例算法
[0131]
[0132][0133]
m自适应方案的示例
[0134]
如前所述，可以对特征值使用硬阈值(例如，th
hdr
)来确定某个hdr场景是有噪的还是具有小码字范围。硬阈值的一个潜在问题是时间不一致。例如，可能存在这样的情况：场景特性触发速率控制感知整形；然而，下一个场景是用正常的整形来处理的。这种情况将产生时间不一致和潜在的视觉质量问题，尤其是当每个场景仅一帧时。为了避免这些问题，提出了一种不使用这种硬阈值的新技术。
[0135]
在实施例中，代替将场景二(例如，是/否)分类为小码字范围有噪的，可以使用特征值来调制基本层范围减小m的强度。如果特征值强烈指示需要速率控制感知整形，则应用较大的m值。相反，如果特征值是需要速率控制感知整形的弱指示符，则采用较小的m。通过应用特征值来计算m，不需要将每个场景明确地分类为小码字范围有噪的。接下来解释所提出的方法的细节。
[0136]
设δ和β表示控制基本层范围减小m的强度的参数。这些参数取决于特征值。归一化的hdr亮度范围δ是范围[0，1)中的分数，并且在实施例中，其值可以取决于场景中的hdr亮度码字(即，)的范围，如下：
[0137][0138]
在实施例中，有理数β是基于该场景的边缘点百分比(即，pi)来计算的，如下：
[0139][0140]
对于pi＝0，β＝1。当pi∈(0，100.0]时，β的值在[1.0，100.0]内变化。选择max(1/pi，pi)来计算β的原因如下。对于有噪的场景，特征值pi将很大，而对于大多数平坦(没有空间变化)的场景，1/pi将很大。在这两种情况下，期望具有更高的β和更强的基本层码字范围减小。
[0141]
给定这两个参数，在实施例中，可以使用指数映射计算基本层码字范围减小的强
度m，如下式中
[0142]
m＝max(βe-αδ
，1.0)。
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(26)
[0143]
曲线βe
αδ
是单调递减的。设c(例如，c＝0.15)表示作为归一化截止hdr亮度码字范围的函数的常数。例如，设δ≥c表示速率控制感知整形不应被触发的范围。换句话说，当δ＝c及其后时，m＝1。将值δ＝c和m＝1代入等式(26)中，可以将α的值计算为
[0144]
m＝1＝βe-αc
，
[0145]
这意味着
[0146][0147]
图4a描绘了m与δ∈[0，1)和β＝10的曲线图。如曲线图所示，当δ＝0时m＝β，并且对于δ＝c＝0.15迅速减小到m＝1。常数c＝0.15充当截止值，因此任何δ≥c的场景都不会经历速率控制感知整形。仅δ＜c的场景才会触发该算法。
[0148]
图4b描绘了对于c＝0.15、0.45和0.70的值绘制m与δ的附加示例。截止点随c变化。在实施例中，常数c的值可以通过默认设置为0.15的可定制配置文件进行调整。随着场景hdr光亮度码字范围减小(小范围)，δ减小，m增加，并且码字范围减小更强。根据特征值计算m之后，最小和最大亮度hdr值如前所述进行更新(参见等式(14))。表3以伪代码提供了等式(21)、(22)、(24)和(14)的示例实施，以生成虚拟hdr最小和最大码字边界。
[0149]
在表3中，如前所述(参见等式(15)-(17))，在“如果m》1”后，在替代实施例中，也可以直接减小sdr码字范围，而不是增加hdr码字范围。
[0150]
表3:示例m自适应算法
[0151]
[0152]
修改前向整形映射
[0153]
给定调整后的最小hdr亮度值和最大hdr亮度值和使用虚拟的和作为最小hdr亮度值和最大hdr亮度值，使用本领域已知的技术(例如，如在“262专利中)来计算亮度和色度前向整形曲线。在实施例中，索引范围之外的值通过从最接近的有效条目复制来外推。换句话说，索引范围中的所有条目获得的值与索引处的值相同。类似地，索引范围中的码字获得的值是索引处的值。使用跨越相同码字范围的功率曲线来指派未使用的码字。因此，前向lut还将hdr亮度码字范围映射到sdr码字范围例如，参见等式(4)和(5)，色度前向整形曲线也由于见等式(4)和(5)，色度前向整形曲线也由于而改变。
[0154]
图5描绘了根据实施例的经修改以生成调整后的亮度前向整形映射(510)的原始亮度前向整形映射(505)的示例。在原始映射中，在有噪的hdr输入中，0到约2k之间的16比特hdr值被映射到整个10比特bl码字范围[0，1023]。这导致了相当低效的编码。使用经调整的整形映射(510)，输入hdr值仅在bl码字范围[0，23]内被映射，从而允许编码器(142)进行更高效的压缩。
[0155]
图6描绘了根据实施例的用于生成速率控制感知的前向整形函数的示例过程。如图6所描绘的，给定hdr输入(120)，在步骤605和610中，计算适当的特征来检测输入数据是否可以被分类为值得被调整用于速率控制感知整形(例如，具有小码字范围的有噪hdr数据)。例如，在步骤605中，可以应用表1中的算法来计算hdr亮度码字范围然后应用等式(24)来计算参数δ。在步骤610中，可以应用表2中的算法使用边缘算子来计算边缘点百分比度量pi和对应的度量β(参见等式(25))。给定这些参数，在步骤615中，计算亮度码字范围自适应度量m(例如参见表3中的算法)。如果m＝1，则不需要进行任何调整，并且步骤625(例如，块130内的处理块)将像之前一样使用在步骤610中计算的hdr码字范围生成前向整形函数。如果m》1，则如表3所描绘的，在步骤620中，需要计算调整后的或虚拟的hdr亮度码字范围，并在步骤630中使用它来计算前向亮度和色度整形函数。
[0156]
本文的讨论假设了环外整形，其中，前向和后向整形在压缩和解压缩之外执行；然而，用于hdr码字范围自适应的类似技术也可适用于环内整形方案，诸如在由p.yin等人于2019年2月13日提交的pct申请序列号pct/us 2019/017891“image reshaping in video coding using rate distortion optimization[使用率失真优化的视频编码中的图像整形]”中呈现的，所述申请通过援引并入本文。
[0157]
示例计算机系统实施方式
[0158]
本发明的实施例可以利用计算机系统、以电子电路和部件来配置的系统、集成电路(ic)设备(比如微控制器、现场可编程门阵列(fpga)或另一个可配置或可编程逻辑设备
(pld)、离散时间或数字信号处理器(dsp)、专用ic(asic))和/或包括这样的系统、设备或部件中的一个或多个的装置来实施。计算机和/或ic可以执行、控制或运行与生成速率控制感知整形函数相关的指令，诸如本文所描述的那些。计算机和/或ic可以计算与本文所描述的速率控制感知整形函数相关的多种参数或值中的任一个。图像和视频动态范围扩展实施例可以以硬件、软件、固件及其各种组合来实施。
[0159]
本发明的某些实施方式包括执行软件指令的计算机处理器，所述软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行处理器可访问的程序存储器中的软件指令来实施如上所述的速率控制感知整形函数的方法。还可以以程序产品的形式提供本发明。程序产品可以包括承载一组计算机可读信号的任何非暂态且有形介质，所述一组计算机可读信号包括指令，所述指令当由数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以采用各种非暂态且有形形式中的任何一种。程序产品可以包括例如物理介质，如包括软盘、硬盘驱动器的磁性数据存储介质、包括cd rom、dvd的光学数据存储介质、包括rom、闪速存储器ram的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。
[0160]
在上面提到部件(例如，软件模块、处理器、组件、设备、电路等)的情况下，除非另有说明，否则对此部件的引用(包括对“装置”的引用)都应被解释为包括为此部件的执行所描述部件的功能的任何部件的等效物(例如，功能上等同的)，包括在结构上不等同于执行在本发明的所图示示例实施例中的功能的所公开结构的部件。
[0161]
等效、扩展、替代及其他方式
[0162]
因此，描述了涉及用于hdr图像的速率控制感知整形函数的示例实施例。在前述说明书中，已经参考可以根据实施方式而变化的许多具体细节描述了本发明的实施例。因此，作为本发明的、并且申请人意图作为本发明的唯一且独有的指示是从本技术中以这套权利要求发布的具体形式发布的权利要求，包括任何后续修改。本文中针对这种权利要求中包含的术语明确阐述的任何定义应该支配如在权利要求中使用的这种术语的含义。因此，权利要求中未明确引用的限制、要素、特性、特征、优点或属性不应该以任何方式限制这种权利要求的范围。因此，应当从说明性而非限制性意义上看待本说明书和附图。
[0163]
可以从以下枚举的示例实施例(eee)中理解本发明的各个方面：
[0164]
eee 1.一种用于使用一个或多个处理器生成整形函数的方法，所述方法包括：
[0165]
接收第一动态范围中的一个或多个输入图像(120)；
[0166]
计算(605)所述一个或多个输入图像中的亮度像素的第一码字范围；
[0167]
计算(610)所述一个或多个输入图像中的所述亮度像素的噪声度量；
[0168]
基于所述第一码字范围和所述噪声度量来计算(615)缩放器以调整所述第一码字范围；以及
[0169]
如果所述缩放器大于一，则：
[0170]
基于所述缩放器和所述第一码字范围，生成所述一个或多个输入图像中的所述亮度像素生成(620)的第二码字范围，其中，所述第二码字范围大于所述第一码字范围；以及
[0171]
基于所述第二码字范围生成(630)将光亮度像素值从所述第一动态范围映射到第二动态范围的前向亮度整形函数；
[0172]
否则：
[0173]
基于所述第一码字范围生成(625)所述前向亮度整形函数。
[0174]
eee 2.如eee 1所述的方法，进一步包括：
[0175]
如果所述缩放器大于一，则：
[0176]
基于所述第二码字范围生成将色度像素值从所述第一动态范围映射到所述第二动态范围的前向色度整形函数；
[0177]
否则：
[0178]
基于所述第一码字范围生成所述前向色度整形函数。
[0179]
eee 3.如eee 2所述的方法，进一步包括：
[0180]
应用所述前向亮度整形函数和所述前向色度整形函数来将所述第一动态范围中的所述一个或多个输入图像映射到所述第二动态范围中的一个或多个整形图像；以及
[0181]
对所述一个或多个整形图像进行编码以生成编码比特流。
[0182]
eee 4.如eee 1至eee 3中任一项所述的方法，其中，计算所述第一码字范围包括
[0183]
计算所述第一动态范围中的所述一个或多个输入图像中的第一最小亮度像素值和第一最大亮度像素值。
[0184]
eee 5.如eee 4所述的方法，其中，计算所述缩放器包括基于所述第一码字范围和所述噪声度量来计算指数映射。
[0185]
eee 6.如eee 5所述的方法，其中，计算所述缩放器(m)包括计算
[0186]
m＝max(βe-αδ
，1.0)，
[0187]
其中，δ表示所述第一码字范围的函数，β表示所述噪声度量的函数，并且α是所述噪声度量和截止参数c的函数，其中，如果δ≥c，则m＝1。
[0188]
eee 7.如eee 6所述的方法，其中，
[0189][0190]
其中，bv表示所述一个或多个输入图像的比特深度分辨率，并且表示所述第一最小亮度像素值与所述第一最大亮度像素值之差，
[0191][0192]
其中，pi表示所述噪声度量，并且
[0193][0194]
eee 8.如eee 4至eee 7中任一项所述的方法，其中，生成所述第二码字范围包括计算第二亮度像素最小值和第二亮度像素最大值如下：
[0195][0196][0197]
其中，bv表示所述一个或多个输入图像的比特深度分辨率，m表示所述缩放器，并且
[0198][0199][0200]
其中，和表示所述一个或多个输入图像中的所述第一最小亮度像素值、所述第一最大亮度像素值和第一平均亮度像素平均值。
[0201]
eee 9.如eee 1至eee 8中任一项所述的方法，其中，计算所述噪声度量包括：
[0202]
将所述一个或多个输入图像中的像素值归一化为[0，1)，以生成一个或多个归一化图像；
[0203]
基于边缘检测算子和一个或多个阈值确定所述一个或多个归一化图像中的边缘点；以及
[0204]
基于所确定的边缘点占所述一个或多个归一化图像中的像素总数的百分比来确定所述噪声度量。
[0205]
eee 10.如eee 9所述的方法，其中，所述边缘检测算子包括sobel算子。
[0206]
eee 11.如eee 9或eee 10所述的方法，其中，计算所述一个或多个归一化图像中的第j个图像的阈值包括计算
[0207][0208]
其中，bv表示第j个图像的比特深度分辨率，
[0209][0210][0211]
其中，和表示第j个图像中的最小亮度像素值、第j个图像中的最大亮度像素值、以及第j个图像中的平均亮度像素平均值。
[0212]
eee 12.如eee 9至eee 11中任一项所述的方法，其中，确定所述噪声度量pi进一步包括计算
[0213][0214]
其中，表示所述一个或多个归一化图像中第j个归一化图像中的边缘点的百分比。
[0215]
eee 13.一种非暂态计算机可读存储介质，其上存储有用于用一个或多个处理器执行根据eee 1至eee 12中任一项所述的方法的计算机可执行指令。
[0216]
eee 14.一种装置，包括处理器并且被配置为执行如eee 1至eee 12中所述的方法中的任一种方法。