针对视频编码数据的加权PSNR质量度量的制作方法

针对视频编码数据的加权psnr质量度量
技术领域
1.本发明涉及一种用于改进的视频质量评估的装置及方法，并且更具体地，涉及一种改进的用于视频质量评估的感知加权psnr(wpsnr；加权峰值信噪比)的装置及方法。


背景技术：

2.众所周知，客观psnr度量与视频编码质量的主观印象的相关性非常差。因此，已经提出了诸如(ms-)ssim和vmaf之类的若干替代度量。
3.在jvet-h0047[6]中，提出了一种块级别感知加权失真度量作为psnr度量的扩展，称为wpsnr，其在jvet-k0206[7]和jvet-m0091[8]中得到了改进。最近，发现wpsnr度量与主观平均意见得分(mos)数据以及至少跨若干个mos注释静态图像数据库的(ms-)ssim相关[9]，参见表1。然而，在视频数据上，与mos得分的相关性(例如，[4]中提供的相关性或jvet上一次提案征集[10]的结果)被发现比(ms-)ssim或vmaf的相关性更差，因此表明改进的必要性。在下文中，提供了对块级别wpsnr度量的总结以及对视频编码的低复杂度wpsnr扩展的描述，以解决上述缺点。
[0004][0005]
表1示出了四个数据库的jpeg和jpeg 2000压缩静态图像上的主观mos数据与客观值之间的平均相关性。srocc：斯皮尔曼等级顺序，plcc：皮尔逊线性相关[9]。
[0006]
考虑到峰值信噪比(psnr)在对给定编解码器c和图像或视频刺激s的视觉编码质量的平均主观判断进行预测时众所周知的不准确性，在过去的二十年中已经开发了若干种执行更好的度量。最常用的是结构相似性度量(ssim)[1]及其多尺度扩展ms-ssim[2]，以及最近提出的视频多方法评估融合(vmaf)，其使用机器学习结合了众多其他度量[4]。发现vmaf方法对于视频编码质量的评估特别有用[4]，但是确定客观vmaf得分在算法上非常复杂并需要两次处理。更重要的是，vmaf算法是不可微的[5]，因此不能用作在图像或视频编码期间的感知比特分配策略(如基于psnr或基于ssim的度量)的参考。
[0007]
能够理解，希望提供改进的视频质量评估概念。


技术实现要素：

[0008]
本发明的目的在于提供用于改进的视频质量评估的改进概念。本发明的目的通过根据权利要求1的装置、通过根据权利要求31的装置、通过根据权利要求35的方法、通过根据权利要求36的方法、通过根据权利要求37的计算机程序、通过根据权利要求38的装置、通过根据权利要求40的编码器、通过根据权利要求49的解码器、通过根据权利要求54的方法、通过根据权利要求55的方法、通过根据权利要求56的方法、根据权利要求57的程序、以及根据权利要求58的数据流来解决。
[0009]
提供了一种用于针对视频序列的预定图片块确定视觉活动信息的装置，该视频序列包括包括多个视频帧，该多个视频帧包括当前视频帧和一个或多个时间在先视频帧，其中，一个或多个时间在先视频帧在时间上先于当该前视频帧。该装置被配置为接收一个或多个时间在先视频帧中的每一个的预定图片块和当前视频帧的预定图片块。此外，该装置被配置为根据当前视频帧的预定图片块并且根据一个或多个时间在先视频帧中的每一个的预定图片块并且根据时间高通滤波器来确定视觉活动信息。
[0010]
此外，提供了一种用于针对视频序列的预定图片块确定视觉活动信息的装置，该视频序列包括多个视频帧，该多个视频帧包括当前视频帧。该装置被配置为接收当前视频帧的预定图片块。此外，该装置被配置为根据当前视频帧的预定图片块并且根据空间高通滤波器和/时间高通滤波器来确定视觉活动信息。此外，该装置被配置为：对当前视频帧的预定图片块进行下采样以获得经下采样的图片块，并且对经下采样的图片块的多个图片样本中的每个图片样本应用空间高通滤波器和/或时间高通滤波器；或者，该装置被配置为：仅对预定图片块的多个图片样本中的第一组而不对预定图片块的多个图片样本中的第二组应用空间高通滤波器和/或时间高通滤波器。
[0011]
此外，提供了一种根据实施例的用于在图片上变化编码量化参数的装置，该装置包括如上所述的用于确定视觉活动信息的装置。该用于在图片上变化编码量化参数的装置被配置为：根据视觉活动信息来确定预定块的编码量化参数。
[0012]
此外，提供了一种用于将图片编码到数据流中的编码器。该编码器包括：如上所述的用于在图片上变化编码量化参数的装置，以及编码级，编码级被配置为使用编码量化参数将图片编码到数据流中。
[0013]
此外，提供了一种用于从数据流中解码图片的解码器。该解码器包括：如上所述的用于在图片上变化编码量化参数的装置，以及解码级，解码级被配置为使用编码量化参数从数据流中解码图片。解码级被配置为：从数据流中解码残差信号，使用编码量化参数对残差信号进行反量化，以及使用残差信号并使用预测解码从数据流中解码图片。
[0014]
此外，提供了一种用于针对视频序列的预定图片块确定视觉活动信息的方法，该视频序列包括多个视频帧，多个视频帧包括当前视频帧和一个或多个时间在先视频帧，其中，一个或多个时间在先视频帧在时间上先于当前视频帧。该方法包括：
[0015]-接收一个或多个时间在先视频帧中的每一个的预定图片块和当前视频帧的预定图片块，以及：
[0016]-根据当前视频帧的预定图片块并且根据一个或多个时间在先视频帧中的每一个的预定图片块并且根据时间高通滤波器来确定视觉活动信息。
[0017]
此外，提供了一种用于针对视频序列的预定图片块确定视觉活动信息的方法，该视频序列包括多个视频帧，该多个视频帧包括当前视频帧。该方法包括：
[0018]-接收当前视频帧的预定图片块，以及：
[0019]-根据当前视频帧的预定图片块并且根据空间高通滤波器和/或时间高通滤波器来确定视觉活动信息。
[0020]
该方法包括：对当前视频帧的预定图片块进行下采样以获得经下采样的图片块，并对经下采样的图片块的多个图片样本中的每个图片样本应用空间高通滤波器和/或时间高通滤波器。或者，该方法包括：仅对预定图片块的多个图片样本中的第一组而不对预定图
片块的多个图片样本中的第二组应用空间高通滤波器和/或时间高通滤波器。
[0021]
此外，提供了一种根据实施例的用于在图片上变化编码量化参数的方法。该方法包括如上所述的用于确定视觉活动信息的方法。
[0022]
该用于在图片上变化编码量化参数的方法还包括：根据视觉活动信息来确定预定块的编码量化参数。
[0023]
此外，提供了一种根据实施例的用于将图片编码到数据流中的编码方法。该编码方法包括如上所述的用于在图片上变化编码量化参数的方法。
[0024]
该编码方法还包括：使用编码量化参数将图片编码到数据流中。
[0025]
此外，提供了一种根据实施例的用于从数据流中解码图片的解码方法。该解码方法包括如上所述的用于在图片上变化编码量化参数的方法。
[0026]
该解码方法还包括：使用编码量化参数从数据流中解码图片。
[0027]
此外，提供了一种计算机程序，包括指令，该指令在计算机或信号处理器上执行时使该计算机或信号处理器执行上述方法之一。
[0028]
此外，提供了一种数据流，其具有由如上所述的编码器编码到其中的图片。
[0029]
实施例表明，通过我们先前在jvet-h0047、jvet-k0206、jvet-m0091中提出的感知加权psnr(wpsnr)工作的低复杂度扩展，可以获得运动感知wpsnr算法，其产生与上述现有技术度量相比具有与主观平均意见得分的相似相关性水平，并具有较低的算法复杂度。
附图说明
[0030]
在下文中，将参考附图更详细地描述本发明的实施例，在附图中：
[0031]
图1示出了根据实施例的用于确定视觉活动信息的装置。
[0032]
图2示出了多个帧上的不同wpsnr平均概念的效果。
[0033]
图3示出了在滤波期间未对输入信号s进行空间下采样和对输入信号s进行空间下采样的情况下，s的样本级别高通滤波。
[0034]
图4示出了用于在图片上变化编码量化参数qp的装置，其包括视觉活动信息确定器和qp确定器。
[0035]
图5示出了编码级的可能结构。
[0036]
图6示出了被配置为从数据流中解码视频和/或图片的重构版本的可能的解码器。
具体实施方式
[0037]
图1示出了根据实施例的用于针对视频序列的预定图片块确定视觉活动信息的装置，视频序列包括多个视频帧。多个视频帧包括当前视频帧和一个或多个时间在先视频帧，其中，一个或多个时间在先视频帧在时间上先于当前视频帧。
[0038]
该装置被配置为例如通过第一模块110来接收一个或多个时间在先视频帧中的每一个的预定图片块和当前视频帧的预定图片块。
[0039]
此外，该装置被配置为例如通过第二模块120，根据当前视频帧的预定图片块并且根据一个或多个时间在先视频帧中的每一个的预定图片块并且根据时间高通滤波器来确定视觉活动信息。
[0040]
根据实施例，时间高通滤波器例如可以是有限脉冲响应滤波器。
[0041]
在实施例中，装置100例如可以被配置为通过将当前视频帧的预定图片块中的图片样本与一个或多个时间在先视频帧中的每一个的预定图片块中的图片样本组合，来应用时间高通滤波器。
[0042]
根据实施例，当前视频帧的预定图片块的图片样本中的每个图片样本和一个或多个时间在先视频帧中的每一个的预定图片块的图片样本中的每个图片样本例如可以是亮度值。或者，当前视频帧的预定图片块的图片样本中的每个图片样本和一个或多个时间在先视频帧中的每一个的预定图片块的图片样本中的每个图片样本例如可以是色度值。或者，当前视频帧的预定图片块的图片样本中的每个图片样本和一个或多个时间在先视频帧中的每一个的预定图片块的图片样本中的每个图片样本例如可以是红色值或绿色值或蓝色值。
[0043]
在实施例中，一个或多个时间在先视频帧是恰好一个时间在先视频帧。装置100例如可以被配置为通过将当前视频帧的预定图片块中的图片样本与该恰好一个时间在先视频帧的预定图片块中的图片样本组合，来应用时间高通滤波器。
[0044]
根据实施例，时间高通滤波器例如可以根据下式来定义：
[0045][0046]
其中，x是预定图片块内的样本位置的第一坐标值，其中y是预定图片块内的样本位置的第二坐标值，其中si[x,y]指示当前视频帧的预定图片块中位于位置(x,y)处的图片样本，其中s
i-1
[x,y]指示恰好一个时间在先视频帧的预定图片块中位于位置(x,y)处的图片样本，其中指示预定图片块的通过应用时间高通滤波器产生的图片样本。
[0047]
在实施例中，一个或多个时间在先视频帧是两个或更多个时间在先视频帧。装置100例如可以被配置为通过将当前视频帧的预定图片块中的图片样本与两个或更多个时间在先视频帧中的每一个的预定图片块中的图片样本组合，来应用时间高通滤波器。
[0048]
根据实施例，一个或多个时间在先视频帧是恰好两个时间在先视频帧，该恰好两个时间在先视频帧中的第一时间在先视频帧在时间上紧接在当前视频帧之前，并且其中，该恰好两个时间在先视频帧中的第二时间在先视频帧在时间上紧接在第一时间在先视频帧之前。装置100例如可以被配置为通过将当前视频帧的预定图片块中的图片样本与第一时间在先视频帧的预定图片块中的图片样本和第二时间在先视频帧的预定图片块中的图片样本组合，来应用时间高通滤波器。
[0049]
在实施例中，时间高通滤波器例如可以根据下式来定义：
[0050][0051]
其中，x是预定图片块内的样本位置的第一坐标值，其中y是预定图片块内的样本位置的第二坐标值，其中si[x,y]指示当前视频帧的预定图片块中位于位置(x,y)处的图片样本，其中s
i-1
[x,y]指示第一时间在先视频帧的预定图片块中位于位置(x,y)处的图片样本，其中s
i-2
[x,y]指示第二时间在先视频帧的预定图片块中位于位置(x,y)处的图片样本，其中指示预定图片块的通过应用时间高通滤波器产生的图片样本。
[0052]
根据实施例，装置100例如可以被配置为将当前视频帧的预定图片块中的图片样本的经空间高通滤波版本与经时间高通滤波的图片样本组合，经时间高通滤波的图片样本
是通过将当前视频帧的预定图片块中的图片样本与一个或多个时间在先视频帧中的每一个的预定图片块中的图片样本组合来应用时间高通滤波器产生的。
[0053]
在实施例中，装置100例如可以被配置为根据下式的定义将当前视频帧的预定图片块中的图片样本的经空间高通滤波版本与经时间高通滤波的图片样本组合：
[0054][0055]
其中，指示当前视频帧的预定图片块中位于位置(x,y)处的图片样本的经空间高通滤波版本，其中γ指示常数，γ》0，并且其中，指示经时间高通滤波的图片样本。
[0056]
根据实施例，γ例如可以被定义为γ＝2。
[0057]
在实施例中，为了获得预定块的多个中间图片样本，针对预定块的多个图片样本中的每个图片样本，装置100例如可以被配置为通过将当前视频帧的预定图片块中的所述图片样本的经空间高通滤波版本与经时间高通滤波的图片样本组合来确定中间图片样本，经时间高通滤波的图片样本是通过将当前视频帧的预定图片块的所述图片样本与一个或多个时间在先视频帧中的每一个的预定图片块中的所述图片样本组合来应用时间高通滤波器产生的。装置100例如可以被配置为确定多个图片样本的总和。
[0058]
根据实施例，装置100例如可以被配置为根据下式来确定视觉活动信息：
[0059][0060]
其中，是多个中间图片样本中位于(x,y)的一个中间图片样本，其中bk指示具有n x n的图片样本的预定块。
[0061]
在实施例中，装置100例如可以被配置为根据下式来确定视觉活动信息：
[0062][0063]
其中，指示视觉活动信息，并且其中指示大于等于0的最小值。
[0064]
根据实施例，装置100例如可以是用于确定视频序列的视觉质量值的装置。装置100例如可以被配置为通过针对视频序列的多个视频帧中的一个或多个视频帧的多个图片块中的一个或多个图片块中的每个图片块确定视觉活动信息，来获得多个视觉活动值。此外，装置100例如可以被配置为根据多个视觉活动值来确定视觉质量值。
[0065]
在实施例中，装置100例如可以被配置为通过针对视频序列的多个视频帧中的一个或多个视频帧的多个图片块中的每个图片块确定视觉活动信息，来获得多个视觉活动值。
[0066]
根据实施例，装置100例如可以被配置为通过针对视频序列的多个视频帧中的每个视频帧的多个图片块中的每个图片块确定视觉活动信息，来获得多个视觉活动值。
[0067]
在实施例中，装置100例如可以被配置为通过针对视频序列的多个视频帧中的一
个或多个视频帧中的视频帧确定视觉质量值，来确定视频序列的视觉质量值。
[0068]
根据实施例，装置100例如可以被配置为根据下式来定义针对视频序列的多个视频帧中的所述视频帧的视觉质量值：
[0069][0070]
其中，wpsnr
c,s
指示所述视频帧的视觉质量值，其中w是所述视频帧的多个图片样本的宽度，其中h是所述视频帧的多个图片样本的高度，其中bd是每个样本的编码比特深度，并且其中s[x,y]是(x,y)处的原始图片样本，其中sc[x,y]是(x,y)处的解码图片样本，解码图片样本是通过对(x,y)处的原始图片样本的编码进行解码产生的，并且其中
[0071][0072]
其中，ak是所述图片块的视觉活动信息，其中a
pic
》0，并且其中0《β《1。
[0073]
在实施例中，装置100例如可以被配置为通过针对视频序列的多个视频帧中的每个视频帧确定视觉质量值，来确定视频序列的视觉质量值，
[0074]
其中，装置100例如可以被配置为根据下式来确定视频序列的视觉质量值：
[0075][0076]
其中，wpsnrc指示视频序列的视觉质量值，
[0077]
其中，si指示视频序列的多个视频帧中的一个视频帧，
[0078]
其中，指示视频序列的多个视频帧中由si指示的所述一个视频帧的视觉质量值，并且
[0079]
其中，f指示视频序列的多个视频帧的数量。
[0080]
根据实施例，例如可以被定义为上述wpsnr
c,s
。
[0081]
在实施例中，装置100例如可以被配置为通过对视频序列的多个视频帧的帧级别加权失真进行平均，来确定视频序列的视觉质量值。
[0082]
根据实施例，装置100例如可以被配置为根据下式来确定视频序列的视觉质量值：
[0083][0084]
其中，wpsnr
′c指示视频序列的视觉质量值，其中f指示视频序列的多个视频帧的数量，其中w是所述视频帧的多个图片样本的宽度，其中h是所述视频帧的多个图片样本的高度，其中bd是每个样本的编码比特深度，并且其中i是指示视频序列的多个视频帧中的一个视频帧的索引，其中k是指示视频序列的多个视频帧中的一个视频帧的多个图片块中的一个图片块的索引，其中bk是视频序列的多个视频帧中的一个视频帧的多个图片块中的所述一个图片块，其中si[x,y]是(x,y)处的原始图片样本，其中s
c,i
[x,y]是(x,y)处的解码图片样本，解码图片样本是通过对(x,y)处的原始图片样本的编码进行解码产生的，其中
[0085][0086]
其中，ak是所述图片块bk的视觉活动信息，其中a
pic
》0，并且其中0《β《1。
[0087]
在实施例中，装置100例如可以被配置为根据下式来确定视频序列的视觉质量值：
[0088][0089]
其中，wpsnr
″c指示视频序列的视觉质量值，其中f指示视频序列的多个视频帧的数量，其中wpsnr
′c如上所述地定义，其中被定义为上述wpsnr
c,s
，其中0《δ《1。
[0090]
根据实施例，δ例如可以被定义为δ＝0.5。
[0091]
在实施例中，装置100例如可以被配置为根据下式来确定视频序列的视觉质量值：
[0092][0093]
其中，指示视频序列的视觉质量值，其中f指示视频序列的多个视频帧的数量，其中w是所述视频帧的多个图片样本的宽度，其中h是所述视频帧的多个图片样本的高度，其中bd是每个样本的编码比特深度，并且其中i是指示视频序列的多个视频帧中的一个视频帧的索引，其中k是指示视频序列的多个视频帧中的一个视频帧的多个图片块中的一个图片块的索引，其中bk是视频序列的多个视频帧中的一个视频帧的多个图片块中的所述一个图片块，其中si[x,y]是(x,y)处的原始图片样本，其中s
c,i
[x,y]是(x,y)处的解码图片样本，解码图片样本是通过对(x,y)处的原始图片样本的编码进行解码产生的，
[0094][0095]
其中，ak是所述图片块bk的视觉活动信息，其中a
pic
》0，并且其中0《β《1。
[0096]
根据实施例，例如可以被定义为β＝0.5，并且
[0097]
或者
[0098][0099]
在实施例中，装置100例如可以被配置为根据空间高通滤波器和/或时间高通滤波器来确定120视觉活动信息。
[0100]
根据实施例，装置100例如可以被配置为：对当前视频帧的预定图片块进行下采样以获得经下采样的图片块，并对经下采样的图片块中的多个图片样本中的每个图片样本应用空间高通滤波器和/或时间高通滤波器。或者，装置100例如可以被配置为：仅对预定图片块的多个图片样本中的第一组而不对预定图片块的多个图片样本中的第二组应用空间高
通滤波器和/或时间高通滤波器。
[0101]
此外，提供了一种根据实施例的针对包括视频序列的预定图片块确定视觉活动信息的装置100，该视频序列包括多个视频帧，该多个视频帧包括当前视频帧。
[0102]
该装置被配置为接收110当前视频帧的预定图片块。
[0103]
此外，装置100被配置为根据当前视频帧的预定图片块并且根据空间高通滤波器和/时间高通滤波器来确定120视觉活动信息。
[0104]
此外，装置100被配置为：对当前视频帧的预定图片块进行下采样以获得经下采样的图片块，并且对经下采样的多个图片样本中的每个图片样本应用空间高通滤波器和/或时间高通滤波器。或者，装置100被配置为：仅对预定图片块的多个图片样本中的第一组而不对预定图片块的多个图片样本中的第二组应用空间高通滤波器和/或时间高通滤波器。
[0105]
根据实施例，装置100例如可以被配置为：仅对预定图片块的多个图片样本中的第一组而不对多个图片样本中的第二组应用空间高通滤波器和/或时间高通滤波器，多个图片样本中的第一组刚好包括预定图片块的多个图片样本中位于行索引为偶数的行中且位于列索引为偶数的列中的那些图片样本，预定图片块的多个图片样本中的第二组刚好包括预定图片块的多个图片样本中位于行索引为奇数的行中和/或位于列索引为奇数的列中的那些图片样本。
[0106]
或者，装置100例如可以被配置为：仅对预定图片块的多个图片样本中的第一组而不对多个图片样本中的第二组应用空间高通滤波器和/或时间高通滤波器，多个图片样本中的第一组刚好包括预定图片块的多个图片样本中位于行索引为奇数的行中且位于列索引为奇数的列中的那些图片样本，预定图片块的多个图片样本中的第二组刚好包括预定图片块的多个图片样本中位于行索引为偶数的行中和/或位于列索引为偶数的列中的那些图片样本。
[0107]
或者，装置100例如可以被配置为：仅对预定图片块的多个图片样本中的第一组而不对多个图片样本中的第二组应用空间高通滤波器和/或时间高通滤波器，多个图片样本中的第一组刚好包括预定图片块的多个图片样本中位于行索引为奇数的行中且位于列索引为偶数的列中的那些图片样本，预定图片块的多个图片样本中的第二组刚好包括预定图片块的多个图片样本中位于行索引为偶数的行中和/或位于列索引为奇数的列中的那些图片样本。
[0108]
或者，装置100例如可以被配置为：仅对预定图片块的多个图片样本中的第一组而不对多个图片样本中的第二组应用空间高通滤波器和/或时间高通滤波器，多个图片样本中的第一组刚好包括预定图片块的多个图片样本中位于行索引为偶数的行中且位于列索引为奇数的列中的那些图片样本，预定图片块的多个图片样本中的第二组刚好包括预定图片块的多个图片样本中位于行索引为奇数的行中和/或位于列索引为偶数的列中的那些图片样本。
[0109]
在实施例中，仅对多个图片样本中的第一组应用的空间高通滤波器例如可以根据下式来定义：
[0110]
[0111]
其中，或者
[0112][0113]
其中，si[x,y]指示第一组的图片样本。
[0114]
根据实施例，时间高通滤波器例如可以根据根据实施例，时间高通滤波器例如可以根据或者根据来定义，其中x是预定图片块内的样本位置的第一坐标值，其中y是预定图片块内的样本位置的第二坐标值，其中指示当前视频帧的预定图片块中位于位置(x,y)处的图片样本，其中指示第一时间在先视频帧的预定图片块中位于位置(x,y)处的图片样本，其中s
i-2
[x,y]指示第二时间在先视频帧的预定图片块中位于位置(x,y)处的图片样本，其中指示预定图片块的通过应用时间高通滤波器产生的图片样本。
[0115]
在描述另外的优选实施例之前，提供了基于块的wpnsr算法的回顾。
[0116]
与psnr类似，编解码器c和视频帧(或静态图像刺激)s的wpsnr
c,s
值由下式给出：
[0117][0118]
其中w和h分别是s的亮度宽度和高度，bd是每个样本的编码比特深度，并且
[0119][0120]
表示每个n
·
n大小的块bk的灵敏度权重，其从块的空间活动ak中导出，其中
[0121][0122]
选择a
pic
使得在较大图像集上wk≈1。注意，对于所有k，如果wk＝1，则获得了psnr。详见[9]、[11]。对于视频，对帧级别wpsnr
c,s
值进行平均以获得最终输出：
[0123][0124]
其中f指示视频中帧的总数量。通常，高质量视频的wpsnrc≈40。
[0125]
在下文中，提供了根据实施例的用于运动图片的wpsnr的扩展。
[0126]
上面引入的空间自适应wpsnr算法可以通过将时间自适应引入视觉活动ak的计算中而很容易地扩展到运动图片信号si，其中i表示视频中的帧索引。之前，通过对si高通滤波，将ak确定为：
[0127][0128]
其中hs是使用卷积hs＝s*hs而获得的高通滤波信号，卷积利用了空间滤波器hs。
[0129]
在实施例中，例如可以根据下式将经时间高通滤波的h
t
＝s*h
t
添加到hs来合并时间自适应：
[0130][0131]
公式(6)的是根据实施例的视觉活动信息。例如可以被视为时间视觉活动信息。
[0132]
在实施例中，将ak替换为上述等式(1)至(4)，特别是等式(2)，同样适用于
[0133]
在实施例中，优选使用两个时间高通滤波器。
[0134]
第一时间高通滤波器是用于30hz或更低(例如，每秒24帧、25帧和30帧)帧速率的一阶fir(有限脉冲响应)滤波器，由下式给出：
[0135][0136]
第二时间高通滤波器是用于高于30hz(例如，每秒48帧、50帧和60帧)帧速率的二阶fir滤波器，由下式给出：
[0137][0138]
换言之，一个或两个先前帧输入用于随时间确定每个帧s的每个块bk中的时间活动的度量。
[0139]
相对权重参数γ是可以实验地确定的常数。例如，γ＝2。为了补偿ak中由于引入|ht
|而导致的增加的样本方差，例如，将wk修改为：
[0140][0141]
值得注意的是，这里引入的中的时间活动分量是在所有现代视频编解码器中都可以找到的块级别运动估计算法的相对粗略(但复杂度非常低)的近似。自然地，可以设计更尖端(但在计算上更复杂)的时间活动度量，其在将时间滤波器h
t
应用于i之前考虑了帧i、i-1与(如果适用的话)i-2之间的块内运动[12]、[13]。由于算法复杂度较高，这里未使用这种扩展。
[0142]
在下文中，提供了根据实施例的对时变视频质量的改变。
[0143]
如已经概述的，对于视频序列，传统方法是对各个帧的psnr(或wpsnr)值进行平均，以获得整个序列的单个测量值。对于视觉质量随时间变化很大的压缩视频材料，这种对帧级别度量输出进行平均的形式可能与人类观察者(尤其是非专家)给出的mos值没有很好的相关性。对对数(w)psnr值进行平均在总体视觉质量高的视频内容上似乎是特别次优的，然而，在这些视频内容中，一些简短的时间片段呈现出低质量。由于引入了速率自适应视频流传输，这种场景实际上并不少见。在实验中已经发现，即使压缩视频的大多数帧对于非专业观众的眼睛来说质量都很好，但是在这种情况下，他们在视频质量评估任务期间分配了相对较低的分数。因此，在这种情况下，对数域平均的wpsnr通常会高估视觉质量。
[0144]
这个问题的一个解决方案是对在wpsnr
c,s
计算(即，等式(1)中的分母)期间确定的帧级别加权失真而不是wpsnr
c,s
值本身进行平均：
[0145][0146]
图2示出了不同wpsnr平均概念在多个帧(水平)上的效果。非恒定线：帧级别wpsnr值，恒定线：传统对数域平均：所提出的线性域(失真)平均。
[0147]
具体地，图2示出了上述线性域算术平均与传统对数域平均(其相当于线性域中多个帧上的几何平均)相比的优点。对于具有相对恒定帧wpsnr的序列，如左侧所示，平均方法产生非常相似的输出。在具有不同帧质量的视频上，如右侧所示，(由相对较高的帧失真引起的)相对较低的帧wpsnr在线性域平均中比在对数域平均中更占主导地位。这会导致总体wpsnr值略低，并且如所期望的，通常不会高估总体wpsnr值。
[0148]
线性域(算术)和对数域(几何)wpsnr平均值的加权平均也可以用于获得位于两个输出值(例如，图2中的右侧图形中的31.8db和33.2db)之间的总体测量值。具体地，总体wpsnr平均值可以由下式给出：
[0149][0150]
其中wpsnr
′c表示线性域平均值，并且0≤δ≤1表示线性相对对数的加权因子。这种方法在wpsnr计算中添加了一个更多的自由度，其可以用于最大化wpsnr
″c值与实验mos结果之间的相关性。
[0151]
另一种替代方法是在导出wpsnr
′c时利用“均方根”[14]失真：
[0152][0153]
等式开头的20(而不是10)“取消”了幂为0.5的平方根。这种计算平均视频wpsnr数据的形式产生介于上述对数域解决方案与线性域解决方案之间的结果，并且可以非常接近wpsnr
″c在优选地权重δ＝0.5或权重δ≈0.5时的结果。
[0154]
在下文中，提供了根据实施例的对超高分辨率视频内容的改变。
[0155]
据观察，特别是对于分辨率大于2048
×
1280亮度样本的超高清(uhd)视频序列，[6]、[7]、[8]、[9]和[11]中的原始wpsnr方法与(例如，jvet的提案征集数据集[10]上的)主观mos数据的相关性仍然很差。在这方面，wpsnr的表现仅比传统psnr度量略好。一种可能的解释是，通常在仅具有例如1920
×
1080(hd)或2048
×
1080(2k)亮度样本的较低分辨率高清晰度内容类似的屏幕大小上观看uhd视频。总之，uhd视频的样本被显示为小于(放大的)高清或2k视频的样本，这是在wpsnr算法中的视觉活动计算期间应考虑的事实，如上所述。
[0156]
解决上述问题的方法是扩展对空间高通滤波器hs的支持，使得它扩展到跨s[x,y]的更多相邻样本。鉴于此，在[7]、[9]、[11]，例如：
[0157][0158]
或者其缩放版本(在[9]中乘以1/4)，一种方法是以因子2对hs进行上采样，即，将其大小从3
×
3增加到6
×
6或甚至7
×
7。然而，这将显著增加空间-时间视觉活动计算的算法复杂度。因此，选择了一种替代解决方案，其中如果输入图像或视频大于2048
×
1280亮度样本，则在输入帧序列si–2、si–1、si的下采样版本上确定视觉活动换言之，对于si的多个样本，例如对于si的样本的每个四元组，可以仅计算的单个值，并且可选地对于视频，可以计算的单个值。这种方法已经应用于许多质量度量，最突出的是ms-ssim[2]。但值得注意的是，在本研究的上下文中，通过适当地设计高通滤波器，可以将下采样操
作和高通操作统一到一个过程中，从而实现最小的算法复杂度。例如，使用以下滤波器：
[0159][0160]
或者
[0161][0161][0162]
或者
[0163][0164]
其中表示下采样，并且
[0165][0166]
使用仅需要针对x和y的偶数值(即，输入样本集s的每第四个值)确定导出(或对于静态图像输入为ak)所需的空间-时间活动值。所提出的下采样高通操作的这种具体好处如图3所示。否则，如上所述，(或ak)的计算例如可以保持相同(包括除以4n2)。
[0167]
应当强调的是，仅在块级别空间-时间视觉活动(或对于单个静态图像为ak，)的计算期间临时应用下采样过程。wpsnr度量(即，上面的等式中)评估的失真总和仍然在输入分辨率下确定，而未进行任何下采样，无论输入是uhd、hd还是更小的大小。
[0168]
图3示出了在滤波期间未对输入信号s进行空间下采样(中)和对输入信号s进行空间下采样(右)的情况下，s(左)的样本级别高通滤波。在进行下采样时，4个输入被映射到一个高通输出。
[0169]
在下文中，描述了确定用于视频编码的量化参数的另外的实施例。
[0170]
此外，提供了一种视频编码器，其根据量化参数对包括多个视频帧的视频序列进行编码，其中，根据视觉活动信息来确定量化参数。此外，提供了对应的解码器、计算机程序
和数据流。
[0171]
提供了一种根据实施例的用于在图片上变化编码量化参数的装置，该装置包括如上所述的用于确定视觉活动信息的装置100。
[0172]
该用于在图片上变化编码量化参数的装置被配置为：根据视觉活动信息来确定预定块的编码量化参数。
[0173]
在实施例中，用于变化编码量化参数的装置例如可以被配置为在确定编码量化参数时，对视觉活动信息进行对数化。
[0174]
此外，提供了一种用于将图片编码到数据流中的编码器。编码器包括：如上所述的用于在图片上变化编码量化参数的装置，以及编码级，编码级被配置为使用编码量化参数将图片编码到数据流中。
[0175]
在实施例中，编码器例如可以被配置为将编码量化参数编码到数据流中。
[0176]
在实施例中，编码器例如可以被配置为对编码量化参数进行二维中值滤波。
[0177]
在实施例中，编码级例如可以被配置为：使用图片并使用预测编码来获得残差信号，并且使用编码量化参数将残差信号编码到数据流中。
[0178]
在实施例中，编码级例如可以被配置为：使用预测编码将图片编码到数据流中以获得残差信号，使用编码量化参数对残差信号进行量化，以及将经量化的残差信号编码到数据流中。
[0179]
在实施例中，编码级例如可以被配置为：在将图片编码到数据流中时，根据编码量化参数来调整拉格朗日率失真参数。
[0180]
在实施例中，用于改变编码量化参数的装置例如可以被配置为：基于图片的原始版本来执行编码量化参数的变化。
[0181]
在实施例中，编码级例如可以支持以下一项或多项：
[0182]
在变换域预测残差编码与空间域预测残差编码之间进行块级别切换；
[0183]
以水平维度和垂直维度为4的倍数的块大小进行块级别预测残差编码；
[0184]
确定环路滤波器系数并将环路滤波器系数编码到数据流中。
[0185]
在实施例中，用于变化编码量化参数的装置例如可以被配置为在对数域中将编码量化参数编码到数据流中，并且编码引擎被配置为：在使用编码量化参数对图片进行编码时，通过以下方式应用编码量化参数：当在非对数域中进行量化之前，编码量化参数作为要量化的信号的除数。
[0186]
此外，提供了一种用于从数据流中解码图片的解码器。
[0187]
解码器包括：如上所述的用于在图片上变化编码量化参数的装置，以及解码级，解码级被配置为使用编码量化参数从数据流中解码图片。
[0188]
解码级被配置为：从数据流中解码残差信号，使用编码量化参数对残差信号进行反量化，以及使用残差信号并使用预测解码从数据流中解码图片。
[0189]
在实施例中，用于变化编码量化参数的装置例如可以被配置为：基于由解码级从数据流中重构的图片版本来执行编码量化参数的变化。
[0190]
在实施例中，解码级例如可以支持以下一项或多项：
[0191]
在变换域预测残差编码与空间域预测残差编码之间进行块级别切换；
[0192]
以水平维度和垂直维度为4的倍数的块大小进行块级别预测残差解码；
[0193]
从数据流中解码环路滤波器系数。
[0194]
在实施例中，用于变化编码量化参数的装置可以例如被配置为根据对数域中的预测离差来确定编码量化参数，并且解码引擎被配置为：在使用编码量化参数对图片进行解码时，通过指数运算将编码量化参数从对数域转换到非对数域，并且应用非对数域中的编码量化参数作为对数据流发送的经量化信号进行缩放的因子。
[0195]
此外，提供了一种数据流，其具有由如上所述的编码器编码到该数据流中的图片。
[0196]
在下文中，更详细地描述了具体实施例。
[0197]
所有当代感知图像和视频变换编码器都应用量化参数(qp)来进行速率控制，在编码器中，量化参数(qp)用作除数以在变换系数的量化之前对变换系数进行归一化，而在解码器中，对经量化的系数值进行缩放以进行重构。如[8]中指定的高效率视频编码(hevc)中，每个图像编码qp值一次或每个n
×
n块编码qp值一次，其中n＝8、16、32或64，在对数尺度上具有大致1db的步长。
[0198]
编码器：q＝round(6log2(qp) 4)，解码器：qp'＝2
(q
–
4)/6
，
[0199]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(18)
[0200]
其中q是编码的qp索引，并且'指示重构。注意，qp'也用于编码器侧归一化，以避免由于qp量化引起的任何错误传播效应。本实施例在图像和视频具有等于或小于全高清(fhd，1920
×
1080像素)的分辨率的情况下，针对每个64
×
64大小的编码树单元(ctu，即，n＝64)局部地调整qp，或者在大于fhd分辨率(例如，3840
×
2160像素)的情况下针对每个64
×
64或128
×
128大小的块，局部地调整qp。
[0201]
现在，在整个图片(或者，在hevc的情况下，在片上)对上面确定的视觉活动信息(例如，根据等式(6)确定的)的平方进行平均。例如，在fhd图片中，例如当n＝64时，对每个bk(每个块)的510个值进行平均。
[0202]
使用
[0203]
在hevc中，优先地，常数c＝2
[0204]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(19)
[0205]
用于对数转换，可以使用表查找来高效地实现(对于一般算法，参见例如[16])，每个块k的qp偏移量
–
q《ob≤51
–
q可以最终被确定为：
[0206][0207]
在hevc中，这种ctu级别的偏移量被添加到默认的切片级别qp索引q中，并且每个ctu的qp'从(1)中获得。
[0208]
备选地，假设图片的总体乘数λ与所述图片的总体qp相关联，例如根据下式获得qp分配规则：
[0209]
[0210]
其中半方括号指示舍入(rounding)。在这一点上，注意，例如可以优先地以在图片或图片集或视频帧上的平均值接近1的方式缩放加权因子wk。然后，可以使用图片/集合拉格朗日参数λ与图片/集合qp之间与用于未加权sse失真相同的关系。
[0211]
注意，为了稍微降低增量qp辅信息速率，发现将二维中值滤波应用于q ob总和的所得矩阵是有利的，该所得矩阵作为编码比特流的一部分发送到解码器。在优选实施例中，使用三抽头十字形核，即，类似于(1)的高通滤波器的滤波器，该滤波器根据一值以及其紧接垂直和紧接水平的邻居来计算该值的中值。此外，在每个ctu中，例如可以根据q ob更新率失真参数λb＝λk以最大化编码效率
[0212]
λ'b＝λb·
2ob/3，或者在中值滤波时，λb·
2(median(q ob)
–
q)/3。
[0213]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(21)
[0214]
在[15]中，边缘块被分类为单独的类别，并使用专用定制参数进行量化，以防止在直向线或对象边界周围量化引起的振铃效应显著增加。当在hevc的上下文中使用当前实施例时，即使未执行可比较的分类，也不会观察到这种效应。该属性最可能的原因是hevc在边缘编码方面比[15]中使用的mpeg-2标准提高了效率。最值得注意的是，hevc支持较小的4
×
4块，其中可选的变换跳过以直接在空间域中进行量化，以及形状自适应偏移(sao)后滤波操作以在解码期间减少边带效应和振铃效应[8、10]。
[0215]
由于在(6)中对图片平均的和进行了合并，平均编码比特率当在不同的输入材料集上测量时不会由于应用qp自适应提议而显著增加。实际上，对于q＝37和类似的附近值，发现平均比特流速率在采用qp自适应时根本未改变。因此，除了其低计算复杂度之外，该属性可以被视为本实施例的第二优点。
[0216]
应当强调的是，本实施例可以容易地扩展到非方形编码块。对于本领域技术人员应该显而易见的是，在(2-4)中，可以通过用(除以)n1·
n2替换所有出现的(这里是除以)n2来考虑不相等的水平块和垂直块/ctu大小，其中下标1和2表示水平块和垂直块尺寸。
[0217]
在已经描述了用于控制块的编码量化参数的该块的视觉活动信息的第一实施例之后，下面参考图4描述对应的实施例，图4示出了用于在图片上变化或调整编码量化参数的装置及其在用于对图片进行编码的编码器中的可能应用，但是这次上面呈现的细节是概括的，并且尽管图4的实施例可以实现为如上述情况的hevc编解码器的修改，但这不需要必须是下面更详细概述的情况。
[0218]
图4示出了用于在图片12上变化编码量化参数qp的装置10，其包括视觉活动信息确定器(vai确定器)14和qp确定器16。视觉活动信息确定器确定图片12的预定块的视觉活动信息。视觉活动信息确定器14例如使用等式(6)来计算视觉活动信息此外，同样如上所述，视觉活动信息确定器14可以首先对预定块进行高通滤波，然后确定视觉活动信息18。视觉活动信息确定器14可以备选地通过变化等式(6)中使用的一些参数来使用其他等式而不是使用等式(6)。
[0219]
qp确定器16接收视觉活动信息18，并且根据视觉活动信息18来确定量化参数qp。如上所述，qp确定器16可以对从视觉活动信息确定器14接收的视觉活动信息进行例如等式5中指示的对数化，尽管可以备选地使用到对数域的任何其他转换。
[0220]
qp确定器16可以对低通滤波器域视觉活动信息应用对数化。例如，由qp确定器16
进行的确定还可以涉及舍入或量化，即，对数域中的视觉活动信息的舍入。
[0221]
上面已经针对图片12的特定预定块讨论了视觉活动信息确定器14和qp确定器16的操作的模式。例如，在图4中的20a处示例性地指示了这种预定块。以刚刚概述的方式，确定器14和确定器16作用于图片12所组成的多个块中的每个块，由此实现图片12上的qp变化/调整，即，对图片内容进行量化参数qp的调整，以便适于例如人类视觉系统。
[0222]
由于这种调整，所得量化参数可以有利地由接收对应量化参数qp的编码级22使用，以便将图片12的对应块编码到数据流24中。因此，图4示例性地示出了装置10可以如何与编码级22结合以便形成编码器26。编码级22将图片12编码到数据流24中，并且为此使用由装置10在图片12上变化/调整的量化参数qp。也就是说，在组成图片12的每个块内，编码级22使用由qp确定器16确定的量化参数。
[0223]
为了完整起见，应当注意，被编码级22使用以对图片12进行编码的量化参数可以不仅仅由qp确定器16来确定。编码级22的一些速率控制例如可以协作，以例如通过确定qpq来确定量化参数，而qp确定器16的贡献可以最终进入qp偏移0b。如图4所示，编码级22例如可以将量化参数编码到数据流24中。如上所述，量化参数可以在对数域中针对对应块(例如，块20a)编码到数据流24中。编码级22继而可以在非对数域中应用量化参数，即，以便通过使用非对数域或线性域中的量化参数作为要应用于相应信号的除数来对要编码到数据流24中的信号进行归一化。通过这种措施，在图片12上控制了由编码级22进行量化而产生的量化噪声。
[0224]
如上面所讨论，例如，对于图片12或其片，将量化参数编码到数据流24中可以作为与全局确定的更大范围的基量化参数的差异，即以偏移ob的形式并且编码可以涉及熵编码和/或差分或预测编码、合并或类似的概念。
[0225]
图5示出了编码级22的一种可能结构。具体地，图4涉及其中图4的编码器26是视频编码器的情况，其中图片12是视频28中的一个图片。这里，编码级22使用混合视频编码。图5的编码级22包括减法器30，其从要编码的信号(例如，图片12)中减去预测信号32。在可选的变换级34、量化器36和熵编码器38的级联中，按照它们提到的顺序将它们连接到减法器30的输出。变换级34是可选的，并且可以对减法器30输出的残差信号应用诸如频谱分解变换之类的变换，并且量化器36基于由装置10变化或调整的量化参数对变换域中或空间域中的残差信号进行量化。如此量化的残差信号由熵编码器38熵编码到数据流24中。反量化器42、随后是可选的逆变器44的级联反转模块34和36的变换和量化或者执行模块34和36的变换和量化的逆操作，以便在除了由量化器36的量化而出现的量化误差之外重构由减法器30输出的残差信号。加法器46将重构的残差信号与预测信号32相加以得到重构信号。可以可选地存在环路滤波器48，以便提高完全重构的图片的质量。预测级50接收重构的信号部分，即当前图片的已经重构的部分和/或已经重构的先前编码图片，并且输出预测信号32。
[0226]
因此，图5清楚地表明可以在编码级22中使用由装置10变化或调整的量化参数，以便对预测残差信号进行量化。预测级50可以支持不同的预测模式，例如帧内预测模式和帧间预测模式(例如，运动补偿预测模式)，根据帧内预测模式，从已经编码的部分中对预测块进行空间预测，根据帧间预测模式，基于已经编码的图片来预测预测块。应当注意，例如，编码级22可以支持以残差块为单位打开/关闭由变换级34进行的残差变换和由逆变换器44进行的对应逆变换。
[0227]
此外，应当注意，所提到的块粒度可以不同：变化预测模式的块、设置用于控制相应预测模式的预测参数并在数据流24中发送这些预测参数的块、变换级34执行例如单独频谱变换的块、以及最后由装置10变化或调整量化参数的块20a和20b可以相互不同，或者至少一些可以相互不同。例如，并且如关于hevc的上述示例中所例示的，当频谱变换例如可以是dct、dst、klt、fft或hadamard变换时，由装置10执行量化参数变化/调整的块20a和20b的尺寸可以比变换级34对齐执行变换的最小块大小大四倍以上。备选地，它甚至可以比最小变换块大小的八倍还大。如上面所指出，环路滤波器48可以是sao滤波器[17]。备选地，可以使用alf滤波器[18]。可以将环路滤波器的滤波器系数编码到数据流24中。
[0228]
最后，如上面已经指出的，作为装置10的输出的qp可以以已经通过一些二维中值滤波的方式编码到数据流中，以便降低必要的数据速率。
[0229]
图6示出了可能的解码器60，其被配置为从数据流24中解码视频28和/或图片12的重构版本62。在内部，该解码器包括熵解码器64，在其输入处数据流24进入，随后是所示的模块，并且以关于图6所示的方式彼此互连，使得在图6中已经再次使用了相同的附图标记，但用撇号以便指示它们存在于解码器60而不是编码器级22中。也就是说，在加法器46'的输出处或可选地在环路滤波器48'的输出处获得重构信号62。一般而言，图5的编码级22与图6的解码器60的模块之间的差异依赖于以下事实：编码级22根据使用例如拉格朗日成本函数的一些优化方案来确定或设置预测参数、预测模式、剩余残差变换与残差编码的空间域之间的切换等。经由数据流24，量化器42'获得由装置10有利选择的量化参数变化/调整。它使用非对数域中的量化参数作为因子以便对经量化的信号进行缩放，即由熵解码器64从数据流24中获得的经量化的残差信号。刚刚提到的拉格朗日成本函数可以涉及拉格朗日率/失真参数，该参数是应用于编码速率的因子，对应的乘积被添加到失真以产生拉格朗日成本函数。该拉格朗日率/失真参数可以由编码级22根据编码量化参数调整。
[0230]
应当注意，上文和下文中，术语“编码”指示静态或运动图片的源编码。然而，根据本发明确定视觉编码质量值的当前方面同样适用于其他形式的编码，最显著的是，可以导致视觉上类似形式的可见失真的信道编码(例如，在网络分组丢失的情况下由fec算法的激活引起的帧错误隐藏(fec)伪影)。
[0231]
虽然已经在装置的上下文中描述了一些方面，但是将清楚的是，这些方面还表示对应方法的描述，其中，块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤上下文中描述的方面也表示对相应块或项或者相应装置的特征的描述。可以由(或使用)硬件装置(诸如，微处理器、可编程计算机或电子电路)来执行一些或全部方法步骤。在一些实施例中，可以由这种装置来执行最重要方法步骤中的一个或多个方法步骤。
[0232]
本发明的数据流可以存储在数字存储介质上，或者可以在诸如无线传输介质或有线传输介质(例如，互联网)等的传输介质上传输。
[0233]
取决于某些实现要求，可以在硬件中或在软件中实现本发明的实施例。可以使用其上存储有电子可读控制信号的数字存储介质(例如，软盘、dvd、蓝光、cd、rom、prom、eprom、eeprom或闪存)来执行实现，该电子可读控制信号与可编程计算机系统协作(或者能够与之协作)从而执行各个方法。因此，数字存储介质可以是计算机可读的。
[0234]
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可编程计算机系统协作以便执行本文所述的方法之一。
process.,vol.13,no.4,pp.600
–
612,apr.2004.
[0251]
[2]z.wang,e.p.simoncelli,and a.c.bovik,“multiscale structural similarity for image quality assessment,”in proc.ieee 37
th asilomar conf.on signals,systems,and computers,nov.2003.
[0252]
[3]netflix,“vmaf
–
video multimethod assessment fusion,”online:https://github.com/netflix/vmaf,https://medium.com/netflix-techblog/toward-a-practical-perceptual-video-quality-metric-653f208b9652.
[0253]
[4]p.philippe,w.hamidouche,j.fournier,and j.y.aubi
é
,“ahg4:subjective comparison of vvc and hevc,”joint video experts team,doc.jvet-o0451,gothenburg,july 2019.
[0254]
[5]z.li,“vmaf:the journey continues,”in proc.mile high video workshop,denver,july 2019,online:http://mile-high.video/files/mhv2019/pdf/day1/1_08_li.pdf.
[0255]
[6]s.bosse,c.helmrich,h.schwarz,d.marpe,t.wiegand,“perceptually optimized qp adaptation and associated distortion measure,”doc.jvet-h0047,macau,oct./dec.2017.
[0256]
[7]c.helmrich,h.schwarz,d.marpe,t.wiegand,“ahg10:improved perceptually optimized qp adaptation and associated distortion measure,”doc.jvet-k0206,ljubljana,july 2018.
[0257]
[8]c.helmrich,h.schwarz,d.marpe,t.wiegand,“ahg10:clean-up and finalization of perceptually optimized qp adaptation method in vtm,”doc.jvet-m0091,marrakech,dec.2018.
[0258]
[9]j.erfurt,c.helmrich,s.bosse,h.schwarz,d.marpe,t.wiegand,“a study of the perceptually weighted peak signal-to-noise ratio(wpsnr)for image compression,”in proc.ieee int.conf.on image processing(icip),taipei,pp.2339
–
2343,sep.2019.
[0259]
[10]v.baroncini,“results of subjective testing of responses to the joint cfp on video compression technology with capability beyond hevc,”doc.jvet-j0080,san diego,apr.2018.
[0260]
[11]c.r.helmrich,s.bosse,m.siekmann,h.schwarz,d.marpe,and t.wiegand,“perceptually optimized bit-allocation and associated distortion measure for block-based image or video coding,”in proc.ieee data compression conf.(dcc),snowbird,pp.172
–
181,mar.2019.
[0261]
[12]m.barkowsky,j.bialkowski,b.eskofier,r.bitto,and a.kaup,“temporal trajectory aware video quality measure,”ieee j.selected topics in signal processing,vol.3,no.2,pp.266
–
279,apr.2009.
[0262]
[13]k.seshadrinatan and a.c.bovik,“motion tuned spatio-temporal quality assessment ofnatural videos,”ieee trans.image processing,vol.19,no.2,pp.335
–
350,feb.2010.
[0263]
[14]d.mck.kerslake,the stress of hot environments,p.37,cambridge university press,1972,online:https://books.google.de/books？id＝fqo9aaaaiaaj&pg＝pa37&lpg＝pa37&dq＝％22square mean root％22&q＝％22square％20mean％20root％22&f＝false#v＝snippet&q＝％22square％20mean％20root％22&f＝false.
[0264]
[15]w.osberger,s.hammond,and n.bergmann,“an mpeg encoder incorporating perceptually based quantisation,”in proc.ieee annual conf.speech&image technologies for comput.&telecomm.,brisbane,vol.2,pp.731
–
734,1997.
[0265]
[16]s.e.anderson,“bit twiddling hacks,”stanford university,2005.http://graphics.stanford.edu/～seander/bithacks.html
[0266]
[17]c.-m.fu,e.alshina,a.alshin,y.huang,c.chen,c.tsai,c.hsu,s.lei,j.park,and w.-j.han,“sample adaptive offset in the hevc standard,”ieee trans.circuits&syst.for video technology,vol.22,no.12,pp.1755
–
1764,dec.2012.
[0267]
[18]c.-y.tsai,c.-y.chen,t.yamakage,i.s.chong,y.-w.huang,c.-m.fu,t.itoh,t.watanabe,t.chujoh,m.karczewicz,and s.-m.lei,“adaptive loop filtering for video coding,”ieee j.selected topics in signal process.,vol.7,no.6,pp.934
–
945,dec.2013。