从对应的相机未加工图像和SDR图像生成HDR图像的制作方法

本公开一般而言涉及图像处理操作。更具体而言，本公开的实施例涉及视频编解码器。

背景技术：

1、如本文所使用的，术语“动态范围”(dr)可以涉及人类视觉系统(hvs)感知图像中的强度(例如，亮度(luminance)、灰度(luma))范围的能力，例如，从最暗的黑色(暗色)到最亮的白色(高光)。从这个意义上讲，dr涉及“牵涉场景的”强度。dr还可以涉及显示设备充分或近似地渲染特定宽度的强度范围的能力。从这个意义上讲，dr涉及“牵涉显示器的”强度。除非在本文的描述中的任何一点明确指定特定意义具有特定重要性，否则应当推断该术语可以以任一含义使用，例如可互换使用。

2、如本文所使用的，术语高动态范围(hdr)涉及跨越人类视觉系统(hvs)的14-15个或更多数量级的量值的dr宽度。在实践中，人类可以同时感知强度范围的广泛宽度的dr可能相对于hdr稍有截断。如本文所使用的，术语增强动态范围(edr)或视觉动态范围(vdr)可以单独或可互换地涉及由包括眼球移动的人类视觉系统(hvs)在场景或图像中可感知的dr，从而允许跨场景或图像的一些光适应改变。如本文所使用的，edr可以涉及跨越5到6个数量级的量值的dr。虽然与真实场景涉及的hdr相比可能略窄，但edr仍然表示宽dr宽度并且也可以被称为hdr。

3、在实践中，图像包括颜色空间的一个或多个颜色分量(例如，灰度y以及色度cb和cr)，其中每个颜色分量以每像素n位的精度表示(例如，n＝8)。使用非线性亮度编码(例如，伽马编码)，n≤8的图像(例如，彩色24位的jpeg图像)被视为标准动态范围的图像，而n>8的图像可以被视为增强动态范围的图像。

4、用于给定显示器的参考电-光传递函数(eotf)表征输入视频信号的颜色值(例如，亮度)与由显示器产生的输出屏幕颜色值(例如，屏幕亮度)之间的关系。例如，通过引用整体并入本文的itu rec.itu-r bt.1886，“reference electro-optical transferfunction for flat panel displays used in hdtv studio production”(2011年3月)定义了用于平板显示器的参考eotf。给定视频流，关于其eotf的信息可以作为(图像)元数据嵌入位流中。本文中的术语“元数据”涉及作为编码的位流的一部分被传输并协助解码器渲染解码的图像的任何辅助信息。此类元数据可以包括但不限于如本文描述的颜色空间或色域信息、参考显示参数和辅助信号参数。

5、如本文使用的术语“pq”是指感知的亮度的振幅量化。人类视觉系统以非常非线性的方式响应增加的光照等级。人类看到刺激的能力受到刺激的亮度、刺激的尺寸、构成刺激的空间频率以及眼睛在查看刺激的特定时刻适应的亮度等级的影响。在一些实施例中，感知量化器函数将线性输入灰度级映射到更好地匹配人类视觉系统中的对比敏感度阈值的输出灰度级。通过引用整体并入本文的smpte st 2084:2014“high dynamic range eotfof mastering reference displays”(在下文中称为“smpte”)中描述了示例pq映射函数，其中给定固定的刺激尺寸，对于每个亮度等级(例如，刺激等级等等)，根据最敏感的适应等级和最敏感的空间频率(根据hvs模型)选择该亮度等级的最小可见对比度步长。

6、支持200cd/m2至1000cd/m2或尼特的亮度的显示器代表与edr(或hdr)相关的较低动态范围(ldr)，也称为标准动态范围(sdr)。edr内容可以显示在支持更高动态范围(例如，从1000尼特到5000尼特或更高)的edr显示器上。此类显示器可以使用支持高亮度能力(例如，0尼特至10000尼特或更高)的替代eotf来定义。这种eotf的示例在smpte 2084和rec.itu-r bt.2100“image parameter values for high dynamic range televisionfor use in production and international programme exchange”(06/2017)中定义。如本文的发明人所认识到的，期望用于生成具有高动态范围、高局部对比度和鲜艳颜色的高质量视频内容数据的改进的技术。

7、wo 2022/072884 a1公开了一种用于sdr到hdr上转换的自适应局部整形方法。使用输入图像中的灰度码字生成用于为动态范围相对低的输入图像选择全局整形函数的全局索引值。对输入图像应用图像滤波以生成经滤波的图像。经滤波的图像的经滤波的值提供了输入图像中的局部明亮度(brightness)等级的量度。使用全局索引值和经滤波的图像的经滤波的值生成用于为输入图像选择特定的局部整形函数的局部索引值。通过用使用局部索引值选择的特定局部整形函数对输入图像进行整形，生成具有相对高动态范围的经整形的图像。

8、cn 112 200 719a公开了一种图像处理方法，包括以下步骤：获取第一分辨率标准动态范围sdr图像；根据第一分辨率sdr图像，获得第二分辨率sdr图像的引导图和第二分辨率sdr图像的滤波器系数；以及根据第二分辨率sdr图像的引导图和第二分辨率sdr图像的滤波系数执行引导滤波处理以获得第二分辨率hdr图像，其中第二分辨率高于第一分辨率。根据本公开，可以降低滤波器系数的计算复杂度，实现sdr图像到hdr图像的快速映射，并且解决sdr图像到hdr图像的映射方法计算量大的问题。

9、wo 2020/210472 a1公开了一种用于生成高动态范围(hdr)图像的方法。该方法包括：(a)对短曝光时间图像进行去噪，其中去噪包括将第一引导滤波器应用于短曝光时间图像，该引导滤波器利用长曝光时间图像作为其引导；(b)在去噪步骤之后，缩放短曝光时间图像和长曝光时间图像中的至少一个，以将短曝光时间图像和长曝光时间图像置于共同的辐射尺度上；以及(c)在缩放步骤之后，将短曝光时间图像与长曝光时间图像合并以生成hdr图像。

10、us2015/078661 a1公开了通过计算由常规色调映射算子(tmo)产生的第一色调映射的图像的对比度浪费分数和对比度损失分数来改进tmo的性能的算法。这两个对比度分数可以被用于通过降低噪声和提高对比度来优化tmo的性能。通过将非线性颜色空间图像转换成线性颜色空间格式、将图像与参考对准、在必要时对对准的图像进行去重影、以及合并对准的(并可能去重影的)图像以创建hdr图像来生成hdr图像的算法。可以用曝光融合、hdr重构或其他合适的技术来执行合并。

11、本节中描述的方法是可以采用的方法，但不一定是之前已经构想或采用的方法。因此，除非另有指示，否则不应当假设本节中描述的任何方法仅因其包括在本节中而有资格成为现有技术。类似地，除非另有指示，否则不应当假设基于本节关于一种或多种方法识别出的问题已在任何现有技术中被认识到。

技术实现思路

1、本发明由独立权利要求定义。从属权利要求涉及本发明的一些实施例的可选特征。