一种HDR视频动态范围无参考质量评价方法

一种hdr视频动态范围无参考质量评价方法
技术领域
1.本发明涉及一种hdr视频动态范围无参考质量评价的方法，属于图像质量评价技术。


背景技术：

2.hdr(high dynamic range，高动态范围)视频指可以呈现更暗和更亮内容的视频。凭借着出色的视觉效果，hdr视频被越来越多的消费者所接受。hdr技术的蓬勃发展和hdr视频内容的海量生产必然需要相关的测试评价标准进行监督和规范。当前市面中存在大量通过gamma校正制作而来的劣质hdr视频内容，其过亮或过暗的画面效果以及捉襟见肘的亮部、暗部细节显然无法满足观众的视觉需求。
3.为解决上述问题，自hdr视频问世以来，诸如sony、apple等设备厂商，dolby、hdr10等协议发行公司，vesa等标准制定机构和无数从业人员无一不通过暗部、亮部和细节层次这样抽象的概念来描述hdr视频的效果。然而亮部和暗部的界定标准以及细节的具体表现形式在业界始终是抽象模糊的。也有研究人员从信道传输质量、色调映射算法效果和压缩编码损失等诸多方面提出了hdr视频质量评价方法。但对于节目内容本身，尤其是hdr视频画面中最重要的亮部和暗部细节方面却鲜有涉及。
4.当前业界尚无针对于hdr视频的动态范围质量的评价方法。为此，设计了关于hdr视频动态范围质量评价的方法。本发明针对行业习惯和行业需求，设计可以定量描述hdr视频内容的暗部、亮部以及其细节层次的特征计算方式，利用机器学习模型将特征计算结果与主观评价结果进行拟合训练，得到针对hdr视频动态范围方面的无参考质量评价模型，能够得到可以量化的hdr视频动态范围性能指标。本发明具有现实意义和良好的应用前景。


技术实现要素：

5.针对上述不足，本发明提供了关于hdr视频动态范围质量评价的方法。
6.本发明的主要目的是对hdr节目内容进行动态范围方面的无参考质量评价。依据当前hdr信号与sdr信号的光电传输特性，计算画面亮部与暗部的分界值并进行亮部分量与暗部分量的提取。通过对二者空间分布层面和统计层面信息的计算，得到用于评估画面细节层次的特征参量，对所有特征参量进行预处理后结合主观质量评价结果，利用适宜的机器学习模型实现专业的、适合行业习惯的有效的无参考质量评价模型。
7.为实现上述目的，本发明流程图如图1所示，实施流程如下：
8.步骤1、将hdr视频转化为图像序列；
9.首先将hdr视频转为图像序列。当输入视频采用hlg曲线时，需利用hlg-ootf函数、hlg-eotf函数、pq-eotf函数以及hlg转pq方法，将hlg曲线的图像序列转化为pq曲线的图像序列。
10.hlg转pq公式如下所示：
11.e＝oetf
pq
[eotf
hlg
[e]]#(1)
[0012]
其中e表示视频归一化电信号，范围[0,1]。
[0013]
hlg-ootf公式如下所示：
[0014][0015][0016][0017][0018]ys
＝0.2627rs 0.6780gs 0.0593bs#(6)
[0019]
其中fd是显示的线性分量的亮度，单位是cd/m2。ys是归一化的线性场景亮度。α是以cd/m2为单位的显示器的标称峰值亮度。γ为系统显示伽马。
[0020]
hlg-eotf公式如下所示：
[0021]
fd＝eotf[max(0,(1-β)e
′
β)]＝ootf[oetf-1
[max(0,(1-β)e
′
β)]]#(7)
[0022][0023]
其中e
′
是[0:1]范围内产生的非线性信号。a＝0.17883277,b＝0.28466892,c＝0.55991073。
[0024]
pq-eotf公式如下所示：
[0025]
fd＝eotf[e
′
]＝10000y#(9)
[0026][0027]
其中式中fd是显示光的线性分量，单位是cd/m，e'代表区间在[0,1]的非线性值，y在[0:1]范围内代表归一化的线性值。m1＝0.1593017578125，m2＝78.84375，c2＝18.8515625，c3＝18.6875，c1＝0.8359375。
[0028]
然后将得到的彩色图像序列通过公式(6)计算得到对应的灰度图像序列。
[0029]
步骤2、将步骤1得到的灰度图像序列进行亮暗区域划分，得到亮部分量图像序列和暗部分量图像序列。
[0030]
首先计算亮部阈值，当sdr达到100％白电平时(也称作100％动态范围)，pq信号电平仅为58％，因此将58％*2n作为亮部阈值，其中n由图像量化比特数决定，当前取16。
[0031]
然后计算暗部阈值。sdr和pq曲线的oetf部分对输入光信号求一阶偏导并做比，公式如下所示：
[0032][0033]
其中pq曲线oetf部分如下所示：
[0034]
e＝ootf[eotf-1
[e
′
]]#(12)
[0035]
其中ootf如下所示：
[0036]
fd＝ootf[e]＝g
1886
[g
709
[e]]#(13)
[0037]
fd＝g
1886
[g
709
[e]]＝g
1886e′
#(14)
[0038][0039]
fd＝g
1886
[e
′
]＝100e
′
2.4
#(16)
[0040]
sdr视频采用的gamma2.4曲线oetf部分如下所示：
[0041][0042]
其中式中l其由场景光决定，范围[0:1]。v是量化后的非线性电信号。
[0043]
当输入光信号小于0.001时电信号为0.198，pq和sdr曲线的oetf一阶偏导比r大于1，此时pq信号相比sdr信号使用更多的电平空间记录相同场景信息，也意味着pq信号在当前部分拥有显示更多细节的条件，因此将0.198％*2n作为暗部量化电平阈值，n取16。
[0044]
最后根据亮部阈值和暗部阈值将灰度图像序列划分为亮部分量图像序列和暗部分量图像序列。
[0045]
步骤3、根据步骤2得到的亮部和暗部分量图像序列分别计算统计层面特征。
[0046][0047][0048]
其中eh和ed为亮部和暗部分量图像序列的量化值，n取16。
[0049]
根据公式20、21计算得到亮部分量和暗部分量在画面中的占比，记为亮部比例和暗部比例。
[0050][0051][0052]
其中rh和rd分别为亮部比例和暗部比例，m、n为输入视频的长和宽，当前n取16。
[0053]
根据公式24计算的得到亮部和暗部的平均水平的差值，记为亮暗差。
[0054][0055][0056][0057]
其中和分别代表亮部分量和暗部分量的单像素对应量化电平值，meanh和meand分别为亮部量化电平均值和暗部量化电平均值，为亮部和暗部量化电平均值差。
[0058]
根据公式25、26计算得到亮部和暗部在统计层面的灰度层次程度，记为亮部标准差和暗部标准差。
[0059]
[0060][0061]
根据公式27、28计算得到亮部和暗部的有效最大内容亮度和有效最小内容亮度。
[0062][0063][0064]
其中76％对应于母版为pq1000的输入视频，若为其他模板则可根据pq-eotf另行推导电平值，当前n取16。
[0065]
步骤4、对步骤2得到的亮部和暗部灰度序列分别计算空间分布层面特征。公式30、32计算可以计算衡量图像亮部和暗部的空间细节，记为亮部局部熵和暗部局部熵。
[0066][0067][0068][0069][0070]
其中和分别为亮部和暗部分量中某像素灰度占局部总灰度概率，hh和hd对应局部熵值，m和n为局部分区范围，当前取值为8。
[0071]
步骤5，将计算得到的特征参数进行预处理。
[0072]
将步骤3、步骤4计算得到的亮部比例、暗部比例、亮部标准差、暗部标准差、有效最大内容亮度、有效最小内容亮度、亮暗差、亮部局部熵和暗部局部熵9个特征参数进行归一化处理。当输入视频不具备暗部或亮部时，部分参数存在空值，此时需要将其置为0。
[0073]
步骤6、对输入视频进行主观质量评价打分。
[0074]
参考itu-bt500-14建议书中提供的方法，利用专业hdr显示器对系统输入的10bit hdr视频进行动态范围方面的主观评价打分，打分标准如表1所示。
[0075]
步骤7、利用步骤5得到的预处理参数和步骤6得到的主观评价结果训练决策树模型，得到无参考hdr视频动态范围评价模型。
[0076]
与现有技术相比，本发明具有如下有益效果。
[0077]
经过实验论证，在有效训练无参考hdr视频动态范围评价模型后，模型的测试正确率可以达到89％。错误部分与主观评价结果相差不超过1分。当前方法操作简单，针对性强，可以对hdr的动态范围进行有效评价，同时也为hdr视频质量评价研究丰富了思路。
附图说明
[0078]
图1为本发明具体流程图。
具体实施方式
[0079]
下面将结合附图对本发明的实施方法做进一步的详细描述。本发明的一种无参考hdr视频动态范围评价模型计算流程如图1所示，具体包括以下步骤：
[0080]
步骤1、将hdr视频转化为图像序列；
[0081]
首先将hdr视频转为图像序列,根据需求选择不同的图像格式，当前图像序列格式为16bit tiff。当输入视频采用hlg曲线时，需利用hlg-ootf函数、hlg-eotf函数、pq-eotf函数以及hlg转pq方法，将hlg曲线的图像序列转化为pq曲线的图像序列。
[0082]
hlg转pq公式如下所示：
[0083]
e＝oetf
pq
[eotf
hlg
[e]]#(1)
[0084]
其中e表示视频归一化电信号，范围[0,1]。
[0085]
hlg-ootf公式如下所示：
[0086][0087][0088][0089][0090]ys
＝0.2627rs 0.6780gs 0.0593bs#(6)
[0091]
其中fd是显示的线性分量的亮度，单位是cd/m2。ys是归一化的线性场景亮度。α是以cd/m2为单位的显示器的标称峰值亮度。γ为系统显示伽马。
[0092]
hlg-eotf公式如下所示：
[0093]
fd＝eotf[max(0,(1-β)e
′
β)]＝ootf[oetf-1
[max(0,(1-β)e
′
β)]]#(7)
[0094][0095]
其中e
′
是[0:1]范围内产生的非线性信号。a＝0.17883277,b＝0.28466892,c＝0.55991073。
[0096]
pq-eotf公式如下所示：
[0097]
fd＝eotf[e
′
]＝10000y#(9)
[0098][0099]
其中式中fd是显示光的线性分量，单位是cd/m，e'代表区间在[0,1]的非线性值，y在[0:1]范围内代表归一化的线性值。m1＝0.1593017578125，m2＝78.84375，c2＝18.8515625，c3＝18.6875，c1＝0.8359375。
[0100]
然后将得到的彩色图像序列通过公式(6)计算得到对应的灰度图像序列。
[0101]
步骤2、将步骤1得到的灰度图像序列进行亮暗区域划分，得到亮部分量图像序列和暗部分量图像序列。
[0102]
首先计算亮部阈值，当sdr达到100％白电平时(也称作100％动态范围)，pq信号电
平仅为58％，因此将58％*2n作为亮部阈值，其中n由序列比特数决定，当前取16。
[0103]
然后计算暗部阈值。sdr和pq曲线的oetf部分对输入光信号求一阶偏导并做比，公式如下所示：
[0104][0105]
其中pq曲线oetf部分如下所示：
[0106]
e＝ootf[eotf-1
[e
′
]]#(12)
[0107]
其中ootf如下所示：
[0108]
fd＝ootf[e]＝g
1886
[g
709
[e]]#(13)
[0109]
fd＝g
1886
[g
709
[e]]＝g
1886e′
#(14)
[0110][0111]
fd＝g
1886
[e
′
]＝100e
′
2.4
#(16)
[0112]
sdr视频采用的gamma2.4曲线oetf部分如下所示：
[0113][0114]
其中式中l其由场景光决定，范围[0:1]。v是量化后的非线性电信号。
[0115]
当输入光信号小于0.001时电信号为0.198，pq和sdr曲线的oetf一阶偏导比r大于1，此时pq信号相比sdr信号使用更多的电平空间记录相同场景信息，也意味着pq信号在当前部分拥有显示更多细节的条件，因此将0.198％*2n作为暗部阈值，n取16。
[0116]
最后根据亮部阈值和暗部阈值将灰度图像序列划分为亮部分量图像序列和暗部分量图像序列。
[0117]
步骤3、根据步骤2得到的亮部和暗部分量图像序列分别计算统计层面特征。
[0118][0119][0120]
其中eh和ed为亮部和暗部分量图像序列的量化值，当前n取16。
[0121]
根据公式20、21计算得到亮部分量和暗部分量在画面中的占比，记为亮部比例和暗部比例。
[0122][0123][0124]
其中rh和rd分别为亮部比例和暗部比例，m、n为输入视频的长和宽，当前n取16。
[0125]
根据公式24计算的得到亮部和暗部的平均水平的差值，记为亮暗差。
[0126][0127]
[0128][0129]
其中和分别代表亮部分量和暗部分量的单像素对应量化电平值，meanh和meand分别为亮部量化电平均值和暗部量化电平均值，为亮部和暗部量化电平均值差，当前n取16。
[0130]
根据公式25、26计算得到亮部和暗部在统计层面的灰度层次程度，记为亮部标准差和暗部标准差。
[0131][0132][0133]
根据公式27、28计算得到亮部和暗部的有效最大内容亮度和有效最小内容亮度。
[0134][0135][0136]
其中76％对应于母版为pq1000的输入视频，若为其他模板则可根据pq-eotf另行推导电平值，当前n取16。
[0137]
步骤4、对步骤2得到的亮部和暗部灰度序列分别计算空间分布层面特征。公式30、32计算可以计算衡量图像亮部和暗部的空间细节，记为亮部局部熵和暗部局部熵。
[0138][0139][0140][0141][0142]
其中和分别为亮部和暗部分量中某像素灰度占局部总灰度概率，hh和hd对应局部熵值，m和n为局部分区范围，当前取值为8。
[0143]
步骤5，将计算得到的特征参数进行预处理。
[0144]
将步骤3、步骤4计算得到的亮部比例、暗部比例、亮部标准差、暗部标准差、有效最大内容亮度、有效最小内容亮度、亮暗差、亮部局部熵和暗部局部熵9个特征参数进行归一化处理。当输入视频不具备暗部或亮部时，部分参数存在空值，此时需要将其置为0。
[0145]
步骤6、对输入视频进行主观质量评价打分。
[0146]
参考itu-bt500-14建议书中提供的方法，利用专业hdr显示器对系统输入的10bit hdr视频进行动态范围方面的主观评价打分，打分标准如表1所示。
[0147]
表1
[0148][0149][0150]
步骤7、利用步骤5得到的预处理参数和步骤6得到的主观评价结果训练决策树模型，得到无参考hdr视频动态范围评价模型。