基于双向迭代优化及自适应融合的弹性运动估计方法与流程

1.本发明涉及视频编码压缩领域，尤其是一种运算速度快、运动补偿质量好、收敛效率高、实用性强的，基于双向迭代优化及自适应融合的弹性运动估计方法。


背景技术：

2.在基于块的差分预测 变换的闭环混合编码框架下，运动估计是一种有效的时间维差分预测技术，被广泛应用于avs、h.261/2/3、mpeg
‑
1/2/4、h.264/avc、h.265/hevc、h.266/vvc和vc
‑
1等视频编码标准中，对于提升视频编码效率、改善视频编码的主客观质量发挥了重要作用，是影响和制约视频编码器的整体率失真性能的关键技术。然而，运动估计环节所消耗的计算资源往往占编码器全部资源的50％以上，甚至可达80％。在这种情况下，为了在复杂度和预测精度之间进行折中，现有视频编码标准普遍采用基于平移模型的块匹配运动估计方法，并陆续提出了多种快速块匹配策略，如基于候选向量下采样的块匹配运动估计、基于像素下采样的块匹配运动估计、基于低比特深度像素的块匹配运动估计等。然而，平移模型无法有效预测由物体的旋转、缩放、变形和摄像机运动产生的非刚性复合运动。而且，基于块平移模型的运动估计通常不能获得平滑、连续的运动场，特别是在低码率下容易产生块效应，从而不可避免地影响了解码视频的主观质量。
3.为了弥补平移模型的不足，高阶运动模型被引进运动估计环节中，出现了基于网格模型的运动估计、基于仿射模型的运动估计、基于缩放模型的运动估计和基于弹性模型的运动估计。其中，基于网格模型的运动估计方法对相邻网格的共有控制点进行处理和率失真优化的难度较大，仍缺乏行之有效的优化方法；基于仿射模型的运动估计方法随着模型参数的增多，搜索复杂度明显提高，并且对局部复杂运动的刻画能力不足；基于缩放模型的运动估计方法仅可捕获视频中的物体缩放，却不能表示旋转、错切等运动；基于弹性模型的运动估计可兼顾表示物体的平移、缩放、错切等复杂运动，它不仅便于表示物体的全局和局部运动，而且能依据块尺寸和视频的具体特性灵活调整模型参数的个数。邓斌攸等人的研究结果表明，在相同码率下基于弹性运动估计的解码视频的峰值信噪比较之块匹配运动估计高0.7db，若将弹性运动估计引进到h.265中，则可在图像失真度损失约l％的情况下，将h.265的码率降低3～12％，为视频编码器提供更高的帧间预测效率。但是，基于弹性模型的运动估计方法尚存在两个方面的缺点：第一，求解弹性运动模型的高斯—牛顿算法在每次迭代过程中均需计算偏导数、黑塞矩阵、逆矩阵、矩阵乘法、双线性插值和运动补偿误差，其计算复杂度甚至高于块平移模型的全搜索，明显降低了弹性运动估计在视频编码中的实用性；第二，传统的基于弹性模型的运动估计方法大多利用高斯—牛顿法求解运动向量，其对初始搜索点非常敏感，容易陷入局部最优点，收敛效率也不高，无法获得令人满意的运动补偿质量和率失真性能。
4.为克服上述不足，研究人员目前主要从三个方面对基于弹性模型的运动估计方法进行改进。
5.首先，muhit等人将传统弹性运动模型与hevc编码标准相结合，通过利用较大的块
尺寸、符合几何边缘分布的三角形网格来减少块的数量和运动矢量码率，使弹性模型能够更有效地以较大尺寸的块来表示复杂运动。但是，此类方法既不能从根本上降低弹性运动估计的计算量，又无法改善其收敛效率。
6.其次，对像素的比特深度进行转换，从而降低高斯—牛顿优化过程中运动补偿误差的计算量。haque等人采用1bit深度像素的匹配误差函数来完成弹性运动模型的高斯—牛顿迭代优化过程；biswas等人则进一步采用2bit深度像素的匹配误差函数来求解弹性运动向量。然而，此类方法均忽视了视频数据的复杂性和像素深度转换过程引起的信息损失对高斯—牛顿法收敛性的影响。
7.最后，引进更高效的无约束最小二乘优化方法对弹性运动模型进行求解，从而搜索更接近全局最优解的弹性运动向量。为了在计算量与计算精度之间进行合理权衡，宋传鸣等人提出了一种基于改进高斯—牛顿法的前向迭代优化方法，使用2bit深度像素和均匀搜索模板预测初始迭代点，然后离散余弦变换的低频能量比率和黄金分割法计算最佳迭代步长因子，从而达到使匹配误差曲面能够高效逼近最优运动参数的目的。由于该方法需要多次迭代才能得到预测误差的最小值，难免会增加运动估计的计算复杂度，在一定程度上限制了其适用范围。赵长伟等人进一步提出了基于levenberg
‑
marquardt优化和反向合成映射算子的弹性运动估计方法，只需要在预处理阶段计算1次黑塞矩阵，即可在多次迭代过程中重复利用。虽然该方法有效降低了计算量，可是却无法充分保证运动向量的精度和运动补偿质量。于是，宋传鸣等人提出一种基于前向levenberg
‑
marquardt迭代优化的弹性运动估计方法，采用最近两次迭代的搜索步长的平方商自适应地确定levenberg
‑
marquardt优化的更新因子，并对该阻尼系数进行交替更新。尽管该方法取得了不错的收敛效率，可是其计算量约为基于块平移模型的全搜索的65％，尚高于tzsearch等基于块匹配的代表性快速运动估计方法的计算复杂度。
8.综上所述，目前尚没有一种能够在计算复杂度、收敛效率和运动向量精度之间达到理想折中的，运算速度快、运动补偿质量好、收敛效率高、实用性强的的弹性运动估计方法。


技术实现要素：

9.本发明是为了解决现有技术所存在的上述技术问题，提供一种运算速度快、运动补偿质量好、收敛效率高、实用性强的，基于双向迭代优化及自适应融合的弹性运动估计方法。
10.本发明的技术解决方案是：一种基于双向迭代优化及自适应融合的弹性运动估计方法，其特征在于按照如下步骤进行：
11.步骤1.输入待处理的视频序列v，令其视频长度为l帧，并令l
←
2；
12.步骤2.从视频序列v中取出第l帧作为当前帧，令其为i，并将第l
‑
1帧作为参考帧r；
13.步骤3.若第l帧中的所有宏块都已处理完毕，则转入步骤22，否则，从当前帧中选出一个未处理过的宏块i(x
tl
,y
tl
)作为当前宏块，设其大小为m
×
n像素，所述x
tl
、y
tl
分别表示当前宏块的左上角像素的横坐标和纵坐标；
14.步骤3.1根据公式(1)和公式(2)，分别建立当前宏块的前向弹性运动模型g(x
i
,y
i
；
v
f
)和反向弹性运动模型g(x
i
,y
i
；v
b
)；
[0015][0016][0017]
所述x
i
、y
i
分别表示当前宏块中某个像素的横坐标和纵坐标，x
tl
≤x
i
≤x
tl
n
‑
1，y
tl
≤y
i
≤y
tl
m
‑
1，v
f
表示当前宏块的前向弹性运动向量，v
b
表示当前宏块的反向弹性运动向量，p表示运动向量的分量个数，和分别表示v
f
和v
b
的第k个分量，表示弹性运动向量的第k个基函数，其定义由公式(3)给出：
[0018][0019]
所述k＝su v 1且1≤k≤p，u,v＝0,1,
…
,s
‑
1，表示弹性运动基函数在像素(x
i
,y
i
)处的值；
[0020]
步骤3.2将v
f
的所有分量置0，将v
b
的所有分量置0；
[0021]
步骤3.3利用菱形搜索算法计算当前宏块的平移运动向量(t
x
,t
y
)，并令
[0022]
步骤4.对基于levenberg
‑
marquardt优化的反向迭代参数进行初始化，令反向迭代的更新步长δ
backward
←
0.02；
[0023]
步骤4.1对于当前宏块中的每个像素(x
i
,y
i
)，根据反向弹性运动向量v
b
、公式(2)和公式(3)计算其在参考帧中的匹配像素g(x
i
,y
i
；v
b
)，并利用双线性插值方法计算该匹配像素的值r(g(x
i
,y
i
；v
b
))，r(
·
)表示参考帧中位于坐标“·”处的像素值；
[0024]
步骤4.2计算v
b
产生的初始运动补偿误差并令v
f
产生的初始运动补偿误差为所述i(x
i
,y
i
)表示当前宏块中位于坐标(x
i
,y
i
)处的像素值；
[0025]
步骤4.3计算当前宏块的像素值梯度和参考帧的像素值梯度
[0026]
步骤4.4计算弹性运动模型的雅克比矩阵
[0027]
步骤4.5计算最速下降方向
[0028]
步骤4.6根据公式(4)计算反向迭代的高斯—牛顿海塞矩阵
[0029]
[0030]
步骤4.7根据公式(5)计算反向迭代的levenberg
‑
marquardt海塞矩阵
[0031][0032]
所述表示当前帧对v
b
的第1个分量的偏导数，表示当前帧对v
b
的第2个分量的偏导数，表示当前帧对v
b
的第p个分量的偏导数；
[0033]
步骤4.8计算的逆矩阵
[0034]
步骤5.令迭代计数器iter
←
1；
[0035]
步骤6.根据公式(6)计算反向迭代的最速下降向量b
b
；
[0036][0037]
步骤7.根据公式(7)计算反向弹性运动向量的增量δv
b
；
[0038][0039]
步骤8.更新反向弹性运动向量v
b
←
v
b
‑
δv
b
；
[0040]
步骤9.将v
b
代入公式(2)和公式(3)，建立当前宏块中的每个像素与参考帧中匹配像素的坐标映射，进而利用双线性插值计算匹配像素的值得到第iter次迭代所产生的运动补偿误差
[0041]
步骤10.如果则对步骤8进行逆操作并令δ
backward
←
10
×
δ
backward
，否则，令δ
backward
←
δ
backward
/10；
[0042]
步骤11.计算最速下降方向
[0043]
步骤12.根据公式(8)计算前向迭代的最速下降向量b
f
；
[0044][0045]
步骤13.根据公式(9)计算前向迭代的高斯—牛顿海塞矩阵
[0046][0047]
步骤14.计算的逆矩阵
[0048]
步骤15.根据公式(10)计算前向弹性运动向量的增量δv
f
；
[0049][0050]
步骤16.更新前向弹性运动向量v
f
←
v
f
δv
f
；
[0051]
步骤17.将v
f
代入公式(1)和公式(3)，建立当前宏块中的每个像素与参考帧中匹配像素的坐标映射，进而利用双线性插值计算匹配像素的值得到第iter次迭代所产生的运动补偿误差
[0052]
步骤18.令iter
←
iter 1，若iter≤th，则转入步骤6，否则转入步骤19，所述th为预设的迭代次数阈值；
[0053]
步骤19.对于当前宏块中的每个像素(x
i
,y
i
)，将前向弹性运动向量v
f
的运动补偿结果与反向弹性运动向量v
b
的运动补偿结果进行线性融合；
[0054]
步骤19.1将v
b
代入公式(2)和公式(3)，建立当前宏块中的每个像素(x
i
,y
i
)与参考帧中匹配像素的坐标映射，从而得到反向弹性运动向量的运动补偿结果
[0055]
步骤19.2将v
f
代入公式(1)和公式(3)，建立当前宏块中的每个像素(x
i
,y
i
)与参考帧中匹配像素的坐标映射，从而得到正向弹性运动向量的运动补偿结果
[0056]
步骤19.3根据公式(11)将与进行线性融合，得到
[0057][0058]
所述α
f
表示预设的线性加权系数；
[0059]
步骤19.4根据公式(12)计算利用对当前宏块进行运动补偿的误差e
fusion1
；
[0060][0061]
步骤20.计算前向弹性运动向量v
f
与反向弹性运动向量v
b
的自适应融合，令v
mix
表示融合后的双向弹性运动向量；
[0062]
步骤20.1令所述和表示v
mix
的平移分量；
[0063]
步骤20.2根据公式(13)和公式(14)，计算v
f
对每个像素(x
i
,y
i
)的匹配误差e
f
(x
i
,y
i
)及其平均匹配误差
[0064]
e
f
(x
i
，y
i
)＝i(x
i
，y
i
)
‑
r(g(x
i
，y
i
；v
f
))
ꢀꢀ
(13)
[0065][0066]
步骤20.3根据公式(15)和公式(16)，计算v
b
对每个像素(x
i
,y
i
)的匹配误差e
b
(x
i
,y
i
)及其平均匹配误差
[0067]
e
b
(x
i
，y
i
)＝i(x
i
，y
i
)
‑
r(g(x
i
，y
i
；v
b
))
ꢀꢀ
(15)
[0068][0069]
步骤20.4对于v
f
的第k个分量，根据公式(17)计算其基函数与e
f
(x
i
,y
i
)的相关系数product_f；
[0070][0071]
其中，1≤k≤p且k≠1、k≠p/2 1；
[0072]
步骤20.5对于v
b
的第k个分量，根据公式(18)计算其基函数与e
b
(x
i
,y
i
)的相关系数product_b；
[0073][0074]
其中，1≤k≤p且k≠1、k≠p/2 1；
[0075]
步骤20.6对于v
mix
的第k个分量若product_f≤product_b，则令否则令其中，1≤k≤p且k≠1、k≠p/2 1；
[0076]
步骤20.7根据公式(19)和公式(20)，计算弹性运动向量的自适应融合对当前宏块的运动补偿误差e
fusion2
；
[0077][0078][0079]
步骤21.若e
fusion1
<e
fusion2
，则将当前宏块的运动估计/补偿模式设置为“0”，输出模式位“0”以及当前宏块的前向弹性运动向量v
f
、反向弹性运动向量v
b
、运动补偿误差e
fusion1
，表明当前宏块适合兼顾使用v
f
和v
b
完成运动补偿；否则，将当前宏块的运动估计/补偿模式设置为“1”，输出模式位“1”以及融合后的双向弹性向量v
mix
、运动补偿误差e
fusion2
，表明当前宏块适合使用v
mix
完成运动补偿；
[0080]
步骤22.令l
←
l 1，若l≤l，则返回步骤2，否则，运动估计过程结束。
[0081]
与现有的技术相比，本发明从两个方面降低弹性运动估计的计算复杂度，并改善传统基于高斯—牛顿优化法的弹性运动估计精度：首先，采用基于高斯—牛顿法的前向迭代优化法计算参考帧向当前帧的运动映射，利用基于levenberg
‑
marquardt法的反向迭代优化法计算当前帧向参考帧的运动映射，进而通过匹配误差函数与弹性运动基函数的内积来判断前向、反向运动映射与物体运动的相关性，实现了双向运动向量的自适应融合并从两个方向产生梯度下降的合力，有利于使迭代过程成功跨越局部最优点、更有效地逼近全
局最优点；其次，前向迭代优化法有利于保证黑塞矩阵、逆矩阵和最速下降方向的计算精度，为反向迭代优化法提供了较为准确的初始解和中间解，而反向迭代优化法又可有效减少前向迭代优化法所需的黑塞矩阵、逆矩阵的重复计算次数，从而在较低的计算复杂度和总迭代次数不变的前提下，保证弹性运动估计的精度。实验结果表明，与基于高斯—牛顿法的传统弹性运动估计和基于levenberg
‑
marquardt法的弹性运动估计相比，本发明的运动补偿峰值信噪比分别提高了1.60db、0.54db；并且，本发明的计算量比基于块匹配的全搜索方法、基于高斯—牛顿法的传统弹性运动估计分别降低了52.98％、46.67％，与目前被广泛应用的基于块平移模型的快速运动估计方法tzsearch的计算量相当。因此，本发明具有运算速度快、运动补偿质量好、收敛效率高、实用性强等优点。
具体实施方式
[0082]
本发明的基于双向迭代优化及自适应融合的弹性运动估计方法，其特征在于按照如下步骤进行：
[0083]
步骤1.步骤1.输入待处理的视频序列v，令其视频长度为l帧，并令l
←
2；
[0084]
步骤2.从视频序列v中取出第l帧作为当前帧，令其为i，并将第l
‑
1帧作为参考帧r；
[0085]
步骤3.若第l帧中的所有宏块都已处理完毕，则转入步骤22，否则，从当前帧中选出一个未处理过的宏块i(x
tl
,y
tl
)作为当前宏块，设其大小为m
×
n像素，所述x
tl
、y
tl
分别表示当前宏块的左上角像素的横坐标和纵坐标，在本实施例中，令m＝16、n＝16；
[0086]
步骤3.1根据公式(1)和公式(2)，分别建立当前宏块的前向弹性运动模型g(x
i
,y
i
；v
f
)和反向弹性运动模型g(x
i
,y
i
；v
b
)；
[0087][0088][0089]
所述x
i
、y
i
分别表示当前宏块中某个像素的横坐标和纵坐标，x
tl
≤x
i
≤x
tl
n
‑
1，y
tl
≤y
i
≤y
tl
m
‑
1，v
f
表示当前宏块的前向弹性运动向量，v
b
表示当前宏块的反向弹性运动向量，p表示运动向量的分量个数，和分别表示v
f
和v
b
的第k个分量，表示弹性运动向量的第k个基函数，其定义由公式(3)给出：
[0090][0091]
所述k＝su v 1且1≤k≤p，u,v＝0,1,
…
,s
‑
1，表示弹性运动基函数在像素(x
i
,y
i
)处的值，在本实施例中，令p＝8；
[0092]
步骤3.2将v
f
的所有分量置0，将v
b
的所有分量置0；
[0093]
步骤3.3利用菱形搜索算法计算当前宏块的平移运动向量(t
x
,t
y
)，并令
[0094]
步骤4.对基于levenberg
‑
marquardt优化的反向迭代参数进行初始化，令反向迭代的更新步长δ
backward
←
0.02；
[0095]
步骤4.1对于当前宏块中的每个像素(x
i
,y
i
)，根据反向弹性运动向量v
b
、公式(2)和公式(3)计算其在参考帧中的匹配像素g(x
i
,y
i
；v
b
)，并利用双线性插值方法计算该匹配像素的值r(g(x
i
,y
i
；v
b
))，r(
·
)表示参考帧中位于坐标“·”处的像素值；
[0096]
步骤4.2计算v
b
产生的初始运动补偿误差并令v
f
产生的初始运动补偿误差为所述i(x
i
,y
i
)表示当前宏块中位于坐标(x
i
,y
i
)处的像素值；
[0097]
步骤4.3计算当前宏块的像素值梯度和参考帧的像素值梯度
[0098]
步骤4.4计算弹性运动模型的雅克比矩阵
[0099]
步骤4.5计算最速下降方向
[0100]
步骤4.6根据公式(4)计算反向迭代的高斯—牛顿海塞矩阵
[0101][0102]
步骤4.7根据公式(5)计算反向迭代的levenberg
‑
marquardt海塞矩阵
[0103][0104]
所述表示当前帧对v
b
的第1个分量的偏导数，表示当前帧对v
b
的第2个分量的偏导数，表示当前帧对v
b
的第p个分量的偏导数；
[0105]
步骤4.8计算的逆矩阵
[0106]
步骤5.令迭代计数器iter
←
1；
[0107]
步骤6.根据公式(6)计算反向迭代的最速下降向量b
b
；
[0108][0109]
步骤7.根据公式(7)计算反向弹性运动向量的增量δv
b
；
[0110][0111]
步骤8.更新反向弹性运动向量v
b
←
v
b
‑
δv
b
；
[0112]
步骤9.将v
b
代入公式(2)和公式(3)，建立当前宏块中的每个像素与参考帧中匹配像素的坐标映射，进而利用双线性插值计算匹配像素的值得到第iter次迭代所产生的运动补偿误差
[0113]
步骤10.如果则对步骤8进行逆操作并令δ
backward
←
10
×
δ
backward
，否则，令δ
backward
←
δ
backward
/10；
[0114]
步骤11.计算最速下降方向
[0115]
步骤12.根据公式(8)计算前向迭代的最速下降向量b
f
；
[0116][0117]
步骤13.根据公式(9)计算前向迭代的高斯—牛顿海塞矩阵
[0118][0119]
步骤14.计算的逆矩阵
[0120]
步骤15.根据公式(10)计算前向弹性运动向量的增量δv
f
；
[0121][0122]
步骤16.更新前向弹性运动向量v
f
←
v
f
δv
f
；
[0123]
步骤17.将v
f
代入公式(1)和公式(3)，建立当前宏块中的每个像素与参考帧中匹配像素的坐标映射，进而利用双线性插值计算匹配像素的值得到第iter次迭代所产生的运动补偿误差
[0124]
步骤18.令iter
←
iter 1，若iter≤th，则转入步骤6，否则转入步骤19，所述th为预设的迭代次数阈值，在实施例中，令th＝7；
[0125]
步骤19.对于当前宏块中的每个像素(x
i
,y
i
)，将前向弹性运动向量v
f
的运动补偿结果与反向弹性运动向量v
b
的运动补偿结果进行线性融合；
[0126]
步骤19.1将v
b
代入公式(2)和公式(3)，建立当前宏块中的每个像素(x
i
,y
i
)与参考帧中匹配像素的坐标映射，从而得到反向弹性运动向量的运动补偿结果
[0127]
步骤19.2将v
f
代入公式(1)和公式(3)，建立当前宏块中的每个像素(x
i
,y
i
)与参考
帧中匹配像素的坐标映射，从而得到正向弹性运动向量的运动补偿结果
[0128]
步骤19.3根据公式(11)将与进行线性融合，得到
[0129][0130]
所述α
f
表示预设的线性加权系数，在本实施例中，令α
f
＝0.75；
[0131]
步骤19.4根据公式(12)计算利用对当前宏块进行运动补偿的误差e
fusion1
；
[0132][0133]
步骤20.计算前向弹性运动向量v
f
与反向弹性运动向量v
b
的自适应融合，令v
mix
表示融合后的双向弹性运动向量；
[0134]
步骤20.1令所述和表示v
mix
的平移分量；
[0135]
步骤20.2根据公式(13)和公式(14)，计算v
f
对每个像素(x
i
,y
i
)的匹配误差e
f
(x
i
,y
i
)及其平均匹配误差
[0136]
e
f
(x
i
，y
i
)＝i(x
i
，y
i
)
‑
r(g(x
i
，y
i
；v
f
))
ꢀꢀ
(13)
[0137][0138]
步骤20.3根据公式(15)和公式(16)，计算v
b
对每个像素(x
i
,y
i
)的匹配误差e
b
(x
i
,y
i
)及其平均匹配误差
[0139]
e
b
(x
i
，y
i
)＝i(x
i
，y
i
)
‑
r(g(x
i
，y
i
；v
b
))
ꢀꢀ
(15)
[0140][0141]
步骤20.4对于v
f
的第k个分量，根据公式(17)计算其基函数与e
f
(x
i
,y
i
)的相关系数product_f；
[0142][0143]
其中，1≤k≤p且k≠1、k≠p/2 1；
[0144]
步骤20.5对于v
b
的第k个分量，根据公式(18)计算其基函数与e
b
(x
i
,y
i
)的相关系数product_b；
[0145][0146]
其中，1≤k≤p且k≠1、k≠p/2 1；
[0147]
步骤20.6对于v
mix
的第k个分量若product_f≤product_b，则令
否则令其中，1≤k≤p且k≠1、k≠p/2 1；
[0148]
步骤20.7根据公式(19)和公式(20)，计算弹性运动向量的自适应融合对当前宏块的运动补偿误差e
fusion2
；
[0149][0150][0151]
步骤21.若e
fusion1
<e
fusion2
，则将当前宏块的运动估计/补偿模式设置为“0”，输出模式位“0”以及当前宏块的前向弹性运动向量v
f
、反向弹性运动向量v
b
、运动补偿误差e
fusion1
，表明当前宏块适合兼顾使用v
f
和v
b
完成运动补偿；否则，将当前宏块的运动估计/补偿模式设置为“1”，输出模式位“1”以及融合后的双向弹性向量v
mix
、运动补偿误差e
fusion2
，表明当前宏块适合使用v
mix
完成运动补偿；
[0152]
步骤22.令l
←
l 1，若l≤l，则返回步骤2，否则，运动估计过程结束。
[0153]
不同视频测试序列采用本发明及不同运动估计方法得到的运动补偿峰值信噪比(peak signal
‑
to
‑
noise ratio,psnr)结果如表1。从表1中可见，与基于块匹配的全搜索方法、基于高斯—牛顿法的传统弹性运动估计、基于levenberg
‑
marquardt法的弹性运动估计相比，本发明的运动补偿峰值信噪比分别提高了1.85db、1.60db、0.54db。
[0154]
表1不同运动估计方法的运动补偿psnr比较
[0155][0156]