一种基于时空域的无参考色调映射视频质量评价算法

本发明涉及视频质量客观评价领域，尤其涉及一种基于时空域的无参考色调映射视频质量评价算法。

背景技术：

1、高动态范围(high dynamic range,hdr)成像和显示技术的发展改变了传统的图像采集和显示的方式。hdr相机采用高质量的传感器，拍摄的图像/视频精度更高、噪声更小；hdr显示设备能够更好地匹配人眼对真实场景的亮度、对比度、色彩、自然度等特性感知，能够带给人们更真实的视觉体验。hdr技术的优点使其在电影、医疗、工业机器视觉、家庭娱乐、沉浸式虚拟现实等众多互联网+领域有广泛应用。

2、尽管市场已有一些hdr显示设备，但就高品质的hdr色调映射视频应用普及而言，许多重要的科学问题和技术难关尚待解决，如真实场景的亮度范围高达9个数量级以上，人类视觉系统亮度动态范围可达4个数量级，传统标准动态范围(standard dynamic range,sdr)显示设备仅有2个数量级的8bit显示技术不能满足人们的要求。专用的hdr显示器由于成本较高而难以普及，因此迫切需要研究发展面向sdr显示设备的hdr色调映射(tonemapping,tm)视频技术。hdr色调映射视频技术采用色调映射算子(tone-mapped operator,tmo)在压缩hdr视频动态范围的同时尽可能地保留原始视频中的场景信息，从而使得获得的hdr色调映射视频能够在动态范围为sdr的显示设备上进行播放,以实现更高分辨率、更高动态范围、更大对比度、更宽色域发展目标。然而，目前还未开发出面向通用hdr视频的色调映射算子，急需高效的hdr色调映射视频视觉体验质量评价技术来动态选择合适的色调映射算子及其最佳参数。hdr色调映射视频系统包括内容生成、编码传输、色调映射、显示、视觉体验质量评价等，如何准确评估hdr色调映射视频的视觉体验质量是其关键环节。

3、hdr色调映射视频质量评价分为主观质量评价和客观质量评价，目前大部分视频tmo性能评价主要采用主观质量评价。因为人眼是hdr色调映射视频的最终接受者，主观质量评分具有准确性高的特点。然而，主观质量评价具有三方面的缺点。首先主观质量评价比较耗时费力，需要昂贵的hdr显示器和多个测试人员多次实验。其次主观质量评价不能嵌入到视频处理系统来改进tmo。eilertsen等人对现有的视频tmo进行描述和分类，使用主观评价方法对tmo的效果进行评价。boitard等人提出独立应用面向色调映射图像的tmo算子到视频序列的每一帧生成hdr色调映射视频，没有考虑视频帧之间的关系是hdr色调映射视频产生时域不一致的原因。petit等人首先优化tmo的参数，然后用主观评价方法评价视频色调映射过程中常常产生的闪烁、时域颜色不一致、鬼影等失真。moon等人通过脑电波等检测技术表明人类对hdr色调映射视频的感知质量要高于低动态视频，本质上也是一种主观评价方法。据我们所知，yeganeh[9]于2016年第一次提出了一种色调映射视频客观质量评价方法，该方法结合了空域的结构保真度、统计自然度特征和时域简单的记忆效应，从总体上看该方法是色调映射图像质量评价方法在视频领域的拓展，并没有考虑hdr色调映射视频时域的闪烁、亮度不一致、颜色不一致等特性，因此评价效果一般。

技术实现思路

1、本发明针对现有技术中的不足，提供一种基于时空域的无参考色调映射视频质量评价算法。

2、为了实现上述目的，本发明采用了如下技术方案：

3、一种基于时空域的无参考色调映射视频质量评价算法，包括以下步骤：

4、a.将视频分解为视频帧的集合，并根据每个视频帧的亮度分成高亮区、低暗区域、中间区域，分别在三个区域提取细节丢失信息；

5、b.结合运动矢量和语义分割来提取视频帧质量感知特征；

6、c.通过圆对称高斯函数聚合时域闪烁特征，获得标准差和能量特征；

7、d.在时空域提取视频自然度特征；

8、e.融合上述特征，得到色调映射视频的质量分。

9、优选的，所述步骤a中的细节丢失信息提取进一步包括：

10、a.将视频帧转换为灰度图像；

11、b.使用kmeans聚类算法将灰度图像按照亮度值聚类为多个区域；

12、c.在多个区域分别计算信息熵作为空域细节特征。

13、优选的，所述空域细节特征的计算方法如下：

14、设m×n的灰度图像i，i(x,y)表示图像i中像素点(x,y)的亮度值，设暗区、中间区、亮区的像素亮度值集合分别为rl，rm，rh，则

15、

16、其中c3，c1为亮区和暗区的聚类中心，设p为概率密度，对rl，rm，rh分别求信息熵为：

17、eω＝-∫p(x)logp(x)dx,ω∈{l,m,h}

18、分别对一个视频的所有帧的暗区、中间区、亮区信息熵求均值，得到所述空域细节特征。

19、优选的，所述步骤b中的视频帧质量感知特征提取进一步包括：

20、a.使用光流法估计视频帧之间的运动矢量；

21、b.使用语义分割算法将视频帧分割为多个语义区域；

22、c.结合运动矢量和语义区域提取加权全局信息量作为质量感知特征。

23、优选的，所述视频帧质量感知特征的提取计算过程如下：采用liu的光流法对视频进行运动估计，liu的光流法要把视频帧转换成灰度图像，设ft为帧号t的视频帧转换而成的灰度图像，则t帧和t-1帧之间的光流可以计算为：

24、(mx,my)＝computeceliu(ft,ft-1)

25、函数computeceliu(·)为采用liu的光流法估计运动矢量，mx(i,j)和my(i,j)分别表示视频帧(i,j)位置水平方向和垂直方向的运动矢量，(i,j)位置的运动强度m(i,j)为：

26、

27、然后采用lin的方法对视频帧ft进行语义分割，经过语义分割得到语义掩膜图，掩膜图mask是m×n一个的矩阵，mask(i,j)表示掩膜图(i,j)点对应的语义类别，定义第k类掩膜图maskk(i,j)为：

28、

29、其中k＝1,2,…,150，k类区域的平均运动强度mk(i,j)为：

30、视频帧ft的k类区域为：

31、采用上述公式可以得到区域的熵为则ft的全局信息量et为：

32、

33、优选的，所述步骤c中的时域闪烁特征提取包括：

34、a.将视频帧按三分法分块；

35、b.对每个块的亮度值进行平滑处理；

36、c.计算原始亮度值与平滑后亮度值的残差；

37、d.使用圆对称高斯函数对残差进行加权聚合，得到标准差和能量特征。

38、优选的，其中步骤d中的视频自然度特征提取包括：

39、a.计算色调映射视频的3dmscn系数；

40、b.对3dmscn系数进行二维高斯拟合，提取分布函数的均值和偏度作为时空域特征。

41、优选的，对于色调映射视频v的3dmscn系数其计算过程为：

42、

43、

44、

45、其中t为视频帧号，j,k,l窗口大小，此处取8。

46、优选的，所述步骤e中的特征融合进一步包括使用支持向量机对提取的特征进行融合，得到色调映射视频的质量分。

47、与现有技术相比，本发明具有如下有益效果：

48、本发明先提取空域细节特征、加权全局信息量特征、时域特征、时空域特征，然后使用支持向量机池化融合特征获得色调映射视频的质量分数。

49、本发明结合运动矢量和语义分割来提取色调映射视频加权全局信息量特征，通过圆对称高斯函数聚合时域色调映射闪烁特征，具有显著的效果，本发明在色调映射视频三维空间提取自然度。