用于对视频数据进行编码的基于上下文的整形算法的制作方法

本技术一般而言涉及使用整形算法对高动态范围(hdr)视频内容进行编码的系统和方法。

背景技术：

1、如本文所使用的，术语“动态范围”(dr)可以涉及人类视觉系统(hvs)感知图像中的强度范围(例如，辉度(luminance)，亮度(luma))的能力，例如，从最暗的灰色开始(黑色)到最亮的白色(高光)。从这个意义上，dr涉及“场景参考的”强度。dr还可以涉及显示设备充分地或近似地渲染特定宽度的强度范围的能力。在这个意义上，dr涉及“显示相关的”强度。除非在本文的描述中的任何点处明确指定特定含义具有特定意义，否则应当推断该术语可以以任一含义使用，例如，可互换。

2、如本文所使用的，术语高动态范围(hdr)涉及跨越人类视觉系统(hvs)的大约14-15个数量级的dr宽度。在实践中，相对于hdr，人类可以同时感知宽泛的强度范围的dr可能会有所缩短。如本文所使用的，术语增强动态范围(edr)或视觉动态范围(vdr)可以单独地或可互换地涉及由包括眼睛移动的人类视觉系统(hvs)在场景或图像内可感知的dr，从而允许跨场景或图像的一些光适应改变。

3、在实践中，图像包括一个或多个颜色分量(例如，亮度y以及色度cb和cr)，其中每个颜色分量由每像素n位的精度来表示(例如，n＝8)。使用线性亮度编码，其中n<8的图像被认为是标准动态范围的图像，而其中n>8的图像(例如，彩色24位jpeg图像)可以被认为是增强动态范围的图像。edr和hdr图像还可以使用诸如工业光魔(industrial light andmagic)开发的openexr文件格式之类的高精度(例如，16位)浮点格式来存储和分发。

4、如本文所使用的，术语“元数据”涉及作为编码位流的一部分被传输并协助解码器渲染解码的图像的任何辅助信息。此类元数据可以包括但不限于本文所述的色彩空间或色域信息、参考显示参数和辅助信号参数。

5、目前，大多数消费者桌面显示器支持200至300cd/m2或尼特的亮度。大多数消费者hdtv的范围是从300至500尼特，新型号达到1000尼特(cd/m2)。因此，此类常规显示器代表相对于hdr或edr的较低动态范围(ldr)，也称为标准动态范围(sdr)。由于捕获设备(例如，相机)和hdr显示器(例如，杜比实验室的prm-4200专业参考显示器)的进步，hdr内容的可用性不断增加，hdr内容可以进行颜色分级并在支持较高动态范围(例如，从1000尼特到5000尼特或更高)的hdr显示器上显示。

6、gadgil，neeraj j.等人的“efficient banding-alleviating inverse tonemapping for high dynamic range video”，第53届asilomar信号、系统和计算机会议，ieee，2019年11月3日，第1885-1889页，xp033750575，公开了一种从标准动态范围(sdr)图像构造hdr图像的方法是使用逆色调映射(itm)。但是，它会在所得到的hdr图像中产生或放大视觉伪影，诸如条带(banding)/错误轮廓。为了解决这个问题，提出了一种高效构造itm的新方法，以减少hdr图像的高光区域中的条带。所提出的方法基于输入的sdr图像特性使用给定的itm曲线来估计每个亮度范围内的条带风险。然后，使用风险量度来调整itm的局部斜率以避免所得到的hdr图像中的条带。实验结果表明，所提出的方法在减少hdr图像中的条带方面非常有效。

7、wo2020/033573a1公开了用于在显示高动态范围图像时减少条带伪影的方法和系统。给定第一动态范围中的输入图像，以及将码字从第一动态范围映射到第二动态范围的输入后向整形函数，其中第二动态范围等于或高于第一动态范围，生成基于输入图像和输入后向整形函数的统计数据以估计通过将输入后向整形函数应用于输入图像而生成的第二动态范围中的目标图像中的条带伪影的风险。在第一动态范围的暗部和高光部分中应用单独的条带缓解算法以生成经修改的后向整形函数，经修改的后向整形函数当被应用于输入图像以生成目标图像时消除或减少目标图像中的条带。

8、wo2020/072651a1公开了用于在显示从编码的整形图像重构的高动态范围图像时减少条带伪影的方法和系统。给定映射到第二动态范围中的第二图像的高动态范围(hdr)中的输入图像，通过a)在输入图像的暗部和中色调区域中，在映射到第二图像之前向输入图像添加噪声，以及b)在输入图像的高光区域中，修改输入后向整形函数，减少了使用第二图像生成的重构hdr图像中的条带伪影，其中经修改的后向整形函数将被解码器用来将第二图像的解码版本映射到重构hdr图像。提供了使用模拟的胶片颗粒噪声的示例噪声生成技术。

9、ep3203442a1公开了用于信号整形的处理器，其接收具有输入位深度的输入图像。计算基于块的标准偏差。将输入码字划分为码字区间，并为每个区间指派标准偏差值。对于每个区间，向区间值应用与位深度函数的标准偏差以生成每个码字区间的最小位深度值。基于输入位深度、目标位深度和最小位深度值生成输出码字映射函数。将码字映射函数应用于输入图像以生成目标位深度的输出图像。

技术实现思路

1、本发明由独立权利要求定义。从属权利要求涉及本发明的一些实施例的可选特征。随着越来越多地使用hdr内容，诸如基于云的游戏，存在使用编码将hdr视频数据传输到目标显示设备(例如，tv)的需求，诸如具有最小时延的8位基础层(bl)。特别是对于云游戏情况，可能需要8位的高级视频编码(avc)bl。因而，用于此类情况的编码器需要将hdr内容传送到较低位深度域并为接收解码器提供元数据，使得解码器从解压缩的bl重构hdr内容。

2、此外，对于基于云的游戏和hdr内容的其他实时使用，存在低时延和轻量级计算的需求。因而，可以使用基于特征的高效整形算法，用于将hdr内容转换成bl并生成用于重构hdr内容的后向整形元数据。可以生成允许用于亮度整形的八段多项式函数和用于色度整形的两段多项式的位流。这避免了繁重的计算，从而减少了时延。

3、此外，8位bl可能在重构的hdr内容中经历条带伪影。条带一般出现在图像的较平滑区域中。条带的可见性取决于受影响区域相对于整个图像有多大(例如，有多少像素)。通过具有内容自适应的非线性整形函数，条带被最小化。

4、所提出的系统和方法收集并使用基于块的图像统计，诸如亮度通道中的标准偏差和直方图图像统计。这些统计被用于根据离散的亮度码字范围(称为“区间”)构造图像特征。这种按区间的特征的值指示哪个区间对码字的需求最大。识别出的区间被指派为涵盖整个亮度码字范围的函数曲线(例如，高斯曲线、抛物线等)的“峰”区间。曲线的形状由特征的相对值确定。这个函数曲线被用于计算图像的前向整形函数。前向整形函数被用于压缩hdr视频数据，如下文更详细描述的。此外，为了提高条带减少性能，可以在整形之前将综合生成的固定最大强度的胶片颗粒噪声注入到hdr亮度通道。因而，所提出的编码框架在计算上是高效的，以满足低延迟要求，并且对于减少重构的hdr内容中的条带是有效的。

5、本公开的各个方面涉及用于使用整形算法对视频数据进行编码的设备、系统和方法。虽然某些实施例针对hdr视频数据，但是视频数据还可以包括标准动态范围(sdr)视频数据和其他用户生成内容(ugc)，诸如游戏内容。

6、在本公开的一个示例性方面，提供了一种用于视频数据的基于上下文的编码的视频递送系统。该递送系统包括执行视频数据编码的处理器。处理器被配置为接收由多个图像帧组成的视频数据，每个图像帧包括多个像素块。处理器被配置为对于每个像素块确定亮度区间索引，对于每个亮度区间确定条带风险值，并且基于条带风险值确定高斯函数参数。处理器被配置为使用高斯函数参数生成差分整形函数，基于差分整形函数计算基于亮度的前向整形函数，并且通过将基于亮度的前向整形函数应用于每个图像帧来针对相应图像帧生成输出图像。

7、在本公开的另一个示例性方面，提供了一种用于视频数据的基于上下文的编码的方法。该方法包括接收由多个图像帧组成的视频数据，每个图像帧包括多个像素块。该方法包括对于每个像素块确定亮度区间索引，对于每个亮度区间确定条带风险值，并且基于条带风险值确定高斯函数参数。该方法包括使用高斯函数参数生成差分整形函数，基于差分整形函数计算基于亮度的前向整形函数，并且通过将基于亮度的前向整形函数应用于每个图像帧来针对相应图像帧生成输出图像。

8、在本公开的另一个示例性方面中，提供了一种存储指令的非暂态计算机可读介质，指令在由视频递送系统的处理器执行时，使得视频递送系统执行操作，包括：接收由多个图像帧组成的视频数据，每个图像帧包括多个像素块，对于每个像素块确定亮度区间索引，对于每个亮度区间确定条带风险值，基于条带风险值确定高斯函数参数，使用高斯函数参数生成差分整形函数，基于差分整形函数计算基于亮度的前向整形函数，并且通过将基于亮度的前向整形函数应用于每个图像帧来针对相应图像帧生成输出图像。

9、以这种方式，本公开的各个方面提供了具有高动态范围和高分辨率的图像的显示，并且至少在图像投影、全息、信号处理等技术领域实现了改进。