一种视频处理方法和装置与流程

本申请属于视频，尤其涉及一种视频处理方法和装置。

背景技术：

1、空间中的物体运动时，物体在成像平面上对应的像素会对应的发生运动，像素运动时的瞬时速度向量，可以称为像素的光流。根据图像中各像素的光流，可以恢复物体的三维结构信息和运动信息，进而为更高级的视觉任务提供可靠支撑。因此，光流计算技术已经应用于自动驾驶、无人机定位导航、影视特效以及目标跟踪等领域。

2、相关领域中，光流计算一般采用逐点计算的方式，也就是在针对相邻的两帧图像中找出相对应的像素点，然后根据相对应的像素点的位移计算各像素点的光流。这种方式计算量大，计算耗时较长，难以满足一些使用场景下对光流计算的高实时性需求。

技术实现思路

1、为此，本申请公开如下技术方案：

2、本申请第一方面提供一种视频处理方法，包括：

3、获得第一视频帧；

4、响应于第一配置信号，按照第一划分规则，将第一视频帧划分为包括第一像素块，所述第一像素块内包括多个第一像素；

5、以所述第一像素块为单元，对所述第一视频帧进行运动估计，得到所述第一视频帧中第一像素块相对于第二视频帧的运动向量，所述第一视频帧和所述第二视频帧属于同一视频；

6、根据所述第一像素块的运动向量，计算得到所述第一像素块包含的各个第一像素的光流。

7、可选的，所述以所述第一像素块为单元，对所述第一视频帧进行运动估计，得到所述第一视频帧中第一像素块相对于第二视频帧的运动向量，包括：

8、在所述第一视频帧所属的视频中确定出第二视频帧；

9、在所述第二视频帧中搜索得到和所述第一像素块匹配的第二像素块，所述第二像素块为按照第一划分规则对第二视频帧划分得到，所述第二像素块内包括多个第二像素；

10、根据所述第一像素块和所述第二像素块确定所述第一像素块相对于第二视频帧的运动向量。

11、可选的，所述在所述第一视频帧所属的视频中确定出第二视频帧，包括：

12、从所述第一视频帧所属的视频中，获得至少一个前置视频帧和至少一个后置视频帧，所述前置视频帧包括所述视频中位于所述第一视频帧之前的多个视频帧中至少一个，所述后置视频帧包括所述视频中位于所述第一视频帧之后的多个视频帧中至少一个；

13、计算所述第一视频帧和每一所述前置视频帧的相似度，以及所述第一视频帧和每一所述后置视频帧的相似度；

14、将所述前置视频帧和所述后置视频帧中，所述相似度较大的一者确定为第二视频帧。

15、可选的，所述在所述第一视频帧所属的视频中确定出第二视频帧，包括：

16、获得视频帧索引信息；

17、将所述第一视频帧所属的视频中，所述视频帧索引信息指定的视频帧确定为第二视频帧。

18、可选的，所述根据所述第一像素块和所述第二像素块确定所述第一像素块相对于第二视频帧的运动向量，包括：

19、在所述第二像素块内确定目标第二像素；

20、根据所述第一像素块和所述第二像素块的相似度，搜索以所述目标第二像素为中心的目标区域内包含的多个亚像素，得到所述目标区域内的目标亚像素，所述亚像素位于相邻的所述第二像素之间，所述亚像素的坐标和像素值根据相邻的所述第二像素的坐标和像素值确定；

21、根据所述目标亚像素的坐标确定所述第一像素块相对于第二视频帧的运动向量。

22、可选的，所述根据所述第一像素块的运动向量，计算得到所述第一像素块包含的各个第一像素的光流，包括：

23、根据所述运动向量的长度，以及所述第一视频帧和所述第二视频帧的时间间隔，计算得到所述第一像素块内各个第一像素的光流的数值；

24、将所述运动向量的方向，确定为所述第一像素块内各个第一像素的光流的方向。

25、可选的，还包括：

26、识别所述第一视频帧显示的目标对象的特征参数；

27、根据所述目标对象的特征参数确定所述第一划分规则。

28、可选的，还包括：

29、根据所述第一像素块和所述第一像素块的运动向量，编码所述第一视频帧。

30、本申请第二方面提供一种视频处理装置，包括：

31、运动估计单元，用于响应于第一配置信号，按照第一划分规则将第一视频帧划分为包括第一像素块，并以所述第一像素块为单元，对所述第一视频帧进行运动估计，得到所述第一像素块相对于第二视频帧的运动向量，所述第一视频帧和所述第二视频帧属于同一视频，所述第一像素块内包括多个第一像素；

32、光流计算单元，用于根据所述第一像素块的运动向量，计算得到所述第一像素块包含的各个第一像素的光流。

33、可选的，还包括视频编码单元；

34、所述运动估计单元，还用于响应于第二配置信号，以第三划分规则将各个第三视频帧切分为若干第三像素块，并以所述第三像素块为单元，对所述各视频帧进行运动估计，得到所述第三像素块相对于第四视频帧的运动向量，所述第三视频帧和所述第四视频帧属于同一视频，所述第三像素块内包括多个第三像素；

35、视频编码单元，用于根据所述第三像素块和所述第三像素块的运动向量编码所述第三视频帧。

36、本方案的有益效果在于，在计算运动向量时以多个像素点组成的像素块为单位，相对于逐点处理的方式能够减少计算量。并且，本方案能够复用电子设备的视频编码模块的运动估计功能，从而降低电子设备的硬件复杂度。

技术特征：

1.一种视频处理方法，包括：

2.根据权利要求1所述的方法，所述以所述第一像素块为单元，对所述第一视频帧进行运动估计，得到所述第一视频帧中第一像素块相对于第二视频帧的运动向量，包括：

3.根据权利要求2所述的方法，所述在所述第一视频帧所属的视频中确定出第二视频帧，包括：

4.根据权利要求2所述的方法，所述在所述第一视频帧所属的视频中确定出第二视频帧，包括：

5.根据权利要求2所述的方法，所述根据所述第一像素块和所述第二像素块确定所述第一像素块相对于第二视频帧的运动向量，包括：

6.根据权利要求1所述的方法，所述根据所述第一像素块的运动向量，计算得到所述第一像素块包含的各个第一像素的光流，包括：

7.根据权利要求1所述的方法，还包括：

8.根据权利要求1所述的方法，还包括：

9.一种视频处理装置，包括：

10.根据权利要求9所述的装置，还包括视频编码单元；

技术总结本申请公开一种视频处理方法和装置，方法包括，获得第一视频帧；响应于第一配置信号，按照第一划分规则，将第一视频帧划分为包括第一像素块，第一像素块内包括多个第一像素；以第一像素块为单元，对第一视频帧进行运动估计，得到第一视频帧中第一像素块相对于第二视频帧的运动向量，第一视频帧和第二视频帧属于同一视频；根据第一像素块的运动向量，计算得到第一像素块包含的各个第一像素的光流。技术研发人员：曹伟受保护的技术使用者：鼎道智芯（上海）半导体有限公司技术研发日：技术公布日：2024/8/16