用于确定运动向量的置信度的方法和装置与流程

本公开总体上涉及视频编码，并且更具体地，涉及用于确定运动向量的置信度的方法和装置。

背景技术：

1、视频包括静止图像帧数据序列。典型地，视频序列中的相邻帧之间(例如，帧n与相邻帧n+1之间)存在类似性。由此，存在帧n中的对象将也存在于帧n+1中的可能性。例如，对象或对象的部分被包括在帧n+1中的第一图像数据宏块中，该第一宏块是矩形像素块(例如，8×8像素块、16×16像素块、32×32像素块、等等)。块匹配估计被执行以确定帧n中与第一宏块最相似的第二宏块。在第二宏块被估计之后，生成包括从第二宏块到第一宏块的方向和距离的运动向量。因为帧n与帧n+1之间的时间差是已知的，所以计算可以被执行以确定存在于第一宏块和第二宏块中的对象或对象的部分的运动学(例如，速度等)。

技术实现思路

技术特征：

1.一种用于确定运动向量的置信度的装置，包括：

2.如权利要求1所述的装置，其中，所述可编程电路系统包括以下各项中的一项或多项：

3.如权利要求1所述的装置，其中，所述特征数据包括与所述第一像素数据块相关联的第一空间特征数据，并且所述可编程电路系统用于：

4.如权利要求1所述的装置，其中，所述特征数据进一步基于第一替代运动向量，所述第一替代运动向量基于所述第一像素数据块和所述第二视频帧中的第三像素数据块来生成，所述第一替代运动向量具有第一预测误差，所述第一预测误差同所述第一像素数据块与所述第三像素数据块的像素差相对应，所述特征数据与包括所述第一预测误差的所述第一替代运动向量相关联。

5.如权利要求4所述的装置，其中，所述特征数据进一步基于第二替代运动向量，所述第二替代运动向量基于所述第一像素数据块和所述第二视频帧中的第四像素数据块来生成，所述第二替代运动向量具有第二预测误差和成本，所述第二预测误差同所述第一像素数据块与所述第四像素数据块的像素差相对应，所述成本同所述第二替代运动向量与相邻于所述第二替代运动向量的多个其他运动向量的平均向量差相对应，所述特征数据与包括所述第二预测误差和所述成本的所述第二替代运动向量相关联。

6.如权利要求5所述的装置，其中，所述特征数据进一步基于第三替代运动向量，所述第三替代运动向量基于所述第一像素数据块和所述第二视频帧中的第五像素数据块来生成，所述第三替代运动向量具有第三预测误差，所述第三预测误差同所述第一像素数据块与所述第五像素数据块的像素差相对应，所述第五像素数据块的坐标位置等于所述第一像素数据块的坐标位置，所述特征数据与包括所述第三预测误差的所述第三替代运动向量相关联。

7.如权利要求6所述的装置，其中，所述可编程电路系统用于确定所述特征数据的多个组合，所述置信度分数进一步基于所述特征数据的所述多个组合。

8.如权利要求1至7中的任一项所述的装置，其中，所述可编程电路系统用于使用被训练以基于所述置信度分数将所述运动向量分类到类别中的神经网络来执行所述模型。

9.一种非暂态机器可读存储介质，所述非暂态机器可读存储介质包括指令，所述指令用于使可编程电路系统至少进行以下操作：

10.如权利要求9所述的非暂态机器可读存储介质，其中，所述特征数据包括与所述第一像素数据块相关联的第一空间特征数据，并且所述指令用于使可编程电路系统进行以下操作：

11.如权利要求9所述的非暂态机器可读存储介质，其中，所述特征数据进一步基于第一替代运动向量，所述第一替代运动向量基于所述第一像素数据块和所述第二视频帧中的第三像素数据块来生成，所述第一替代运动向量具有第一预测误差，所述第一预测误差同所述第一像素数据块与所述第三像素数据块的像素差相对应，所述特征数据与包括所述第一预测误差的所述第一替代运动向量相关联。

12.如权利要求11所述的非暂态机器可读存储介质，其中，所述特征数据进一步基于第二替代运动向量，所述第二替代运动向量基于所述第一像素数据块和所述第二视频帧中的第四像素数据块来生成，所述第二替代运动向量具有第二预测误差和成本，所述第二预测误差同所述第一像素数据块与所述第四像素数据块的像素差相对应，所述成本同所述第二替代运动向量与相邻于所述第二替代运动向量的多个其他运动向量的平均向量差相对应，所述特征数据与包括所述第二预测误差和所述成本的所述第二替代运动向量相关联。

13.如权利要求12所述的非暂态机器可读存储介质，其中，所述特征数据进一步基于第三替代运动向量，所述第三替代运动向量基于所述第一像素数据块和所述第二视频帧中的第五像素数据块来生成，所述第三替代运动向量具有第三预测误差，所述第三预测误差同所述第一像素数据块与所述第五像素数据块的像素差相对应，所述第五像素数据块的坐标位置等于所述第一像素数据块的坐标位置，所述特征数据与包括所述第三预测误差的所述第三替代运动向量相关联。

14.如权利要求13所述的非暂态机器可读存储介质，其中，所述指令用于使可编程电路系统用于：确定所述特征数据的多个组合，所述置信度分数进一步基于所述特征数据的所述多个组合。

15.如权利要求9至14中的任一项所述的非暂态机器可读存储介质，其中，所述指令用于使可编程电路系统用于：使用被训练以基于所述置信度分数将所述运动向量分类到类别中的神经网络来执行所述模型。

16.一种方法，包括：

17.如权利要求16所述的方法，其中，所述特征数据包括与所述第一像素数据块相关联的第一空间特征数据，并且所述方法进一步包括：

18.如权利要求16所述的方法，其中，所述特征数据进一步基于第一替代运动向量，所述第一替代运动向量基于所述第一像素数据块和所述第二视频帧中的第三像素数据块来生成，所述第一替代运动向量具有第一预测误差，所述第一预测误差同所述第一像素数据块与所述第三像素数据块的像素差相对应，所述特征数据与包括所述第一预测误差的所述第一替代运动向量相关联。

19.如权利要求18所述的方法，其中，所述特征数据进一步基于第二替代运动向量，所述第二替代运动向量基于所述第一像素数据块和所述第二视频帧中的第四像素数据块来生成，所述第二替代运动向量具有第二预测误差和成本，所述第二预测误差同所述第一像素数据块与所述第四像素数据块的像素差相对应，所述成本同所述第二替代运动向量与相邻于所述第二替代运动向量的多个其他运动向量的平均向量差相对应，所述特征数据与包括所述第二预测误差和所述成本的所述第二替代运动向量相关联。

20.如权利要求19所述的方法，其中，所述特征数据进一步基于第三替代运动向量，所述第三替代运动向量基于所述第一像素数据块和所述第二视频帧中的第五像素数据块来生成，所述第三替代运动向量具有第三预测误差，所述第三预测误差同所述第一像素数据块与所述第五像素数据块的像素差相对应，所述第五像素数据块的坐标位置等于所述第一像素数据块的坐标位置，所述特征数据与包括所述第三预测误差的所述第三替代运动向量相关联。

21.如权利要求20所述的方法，进一步包括：确定所述特征数据的多个组合，所述置信度分数进一步基于所述特征数据的所述多个组合。

22.如权利要求16至21中的任一项所述的方法，进一步包括：使用被训练以基于所述置信度分数将所述运动向量分类到类别中的神经网络来执行所述模型。

技术总结公开了用于确定运动向量的置信度的系统、装置、制品和方法。本文中公开的示例用于：生成与运动向量相关联的特征数据，运动向量基于第一视频帧中的第一像素数据块和第二视频帧中的第二像素数据块来生成；基于模型和特征数据来确定运动向量的置信度分数；以及将运动向量和置信度分数串接，以输出运动向量准确的估计可能性。技术研发人员：J·霍兰,M·哈姆丹,T·钟,L·徐,Y·周受保护的技术使用者：英特尔公司技术研发日：技术公布日：2024/10/17