视频处理方法、装置、计算机设备和存储介质与流程

本申请实施例涉及视频处理，具体为涉及一种视频处理方法、装置、计算机设备和存储介质。

背景技术：

1、随着视频处理技术的发展，人们越来越热衷于各种特殊的视频处理效果，尤其是对包含有运动对象的图像处理。例如对运动中的人物进行无人机跟拍视角的拍摄，由于无人机的跟拍视角下视野范围较大，容易有多个目标对象出现在视野范围内，因而无法准确的判断拍摄者需要跟拍的目标对象。另外，传统拍摄及后期视频处理中，对无人机跟拍视角特效的创作方式也十分繁琐，需要用户进行复杂的后期制作，对于普通的用户来说难度较大。因此，急需一种拍摄方式简单，且无需用户后期复杂视频处理操作的无人机跟拍视角的特效视频处理方法。

技术实现思路

1、本申请实施例提供了一种视频处理方法、装置、计算机设备和存储介质，要解决的技术问题为，针对现有技术的缺陷，现有的无人机跟拍视角的特效视频处理方法复杂繁琐，需要用户具有较高的视频处理的专业能力。

2、为解决上述技术问题，本申请采用的一个技术方案是：提供一种视频处理方法、装置、计算机设备和存储介质，所述视频处理方法包括：

3、获取待处理的全景视频流；

4、从所述全景视频流的当前全景视频帧获取对应的当前原始相机姿态，对所述当前原始相机姿态进行水平角度校正，得到校正后的水平相机姿态；

5、对校正后的所述水平相机姿态对应的全景视频帧进行等距柱状投影展开，并在展开后的设定展开范围进行目标检测，检测到目标对象，并对所述目标对象进行跟踪；

6、对目标跟踪后的视频帧进行编码，生成关于所述目标对象的平面视频。

7、在一具体实施方式中，所述对所述当前原始相机姿态进行水平角度校正，得到校正后的水平相机姿态，包括：

8、采用卡尔曼滤波器对所述全景视频流的所述当前全景视频帧对应的所述当前原始相机姿态进行跟踪，得到第一相机旋转矩阵rt，根据所述第一相机旋转矩阵rt对所述当前原始相机姿态进行旋转，得到平滑相机姿态；

9、根据相机的惯性传感器数据，计算得到第二相机旋转矩阵rs，所述第二相机旋转矩阵rs为，在理想状态下相机坐标系的z轴与重力向量的方向一致时，所述相机坐标系相对于惯性坐标系的旋转矩阵；

10、根据所述第一相机旋转矩阵rt及所述第二相机旋转矩阵rs，计算得到水平校正矩阵r，根据所述水平校正矩阵r对所述当前原始相机姿态进行水平角度校正，得到校正后的水平相机姿态。

11、在一具体实施方式中，所述根据相机的惯性传感器数据，计算得到第二相机旋转矩阵rs，包括：

12、所述惯性传感器数据包括加速度计数据，所述加速度计数据为所述相机坐标系的三轴相对于所述惯性坐标系的加速度as =[asx, asy, asz]t；

13、在所述理想状态下，所述相机坐标系的三轴相对于所述惯性坐标系的加速度as为a0，a0=[0,0,g]t，其中，g=9.81m/s2；

14、则满足，as=rs*a0；

15、计算得到所述第二相机旋转矩阵rs为：

16、；

17、其中， 为所述相机坐标系相对于所述惯性坐标系的俯仰角， 为所述相机坐标系相对于所述惯性坐标系的横滚角。

18、在一具体实施方式中，所述根据所述第一相机旋转矩阵rt及所述第二相机旋转矩阵rs，计算得到水平校正矩阵r，包括：所述第一相机旋转矩阵rt、所述第二相机旋转矩阵rs，及所述水平校正矩阵r，满足：r= rs-1rt。

19、在一具体实施方式中，所述对校正后的所述水平相机姿态对应的全景视频帧进行等距柱状投影展开，并在展开后的设定展开范围进行目标检测，包括：对校正后的所述水平相机姿态对应的所述全景视频帧进行等距柱状投影展开，展开为平面矩形视频帧，所述平面矩形视频帧具有经纬坐标系，所述经纬坐标系的横坐标u线性映射所述全景视频帧的经度，取值范围为[−π,π]，所述经纬坐标系的纵坐标v线性映射所述全景视频帧的纬度，取值范围为 [−π/2, π/2]；在展开后的所述平面矩形视频帧中的设定纬度区域范围进行目标检测。

20、在一具体实施方式中，所述设定纬度区域范围为[-70°,30°]。

21、在一具体实施方式中，所述目标对象为在所述设定展开范围进行目标检测，所检测到的目标尺寸最大的一个对象。

22、在一具体实施方式中，还包括一种视频处理装置，所述视频处理装置包括：

23、获取模块，所述获取模块用于获取待处理的全景视频流；

24、水平校正模块，所述水平校正模块用于从所述全景视频流的当前全景视频帧获取对应的当前原始相机姿态，对所述当前原始相机姿态进行水平角度校正，得到校正后的水平相机姿态；

25、跟踪模块，所述跟踪模块用于对校正后的所述水平相机姿态对应的全景视频帧进行等距柱状投影展开，并在展开后的设定展开范围进行目标检测，检测到目标对象，并对所述目标对象进行跟踪；

26、生成模块，所述生成模块用于对目标跟踪后的视频帧进行编码，生成关于所述目标对象的平面视频。

27、在一具体实施方式中，还包括一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一具体实施方式所述的视频处理方法的步骤。

28、在一具体实施方式中，还包括一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一具体实施方式所述的视频处理方法的步骤。

29、本申请的有益效果是：区别于现有技术的情况，本申请实施方式提供的一种视频处理方法、装置、计算机设备和存储介质，所述视频处理方法包括：

30、获取待处理的全景视频流；

31、从所述全景视频流的当前全景视频帧获取对应的当前原始相机姿态，对所述当前原始相机姿态进行水平角度校正，得到校正后的水平相机姿态；

32、对校正后的所述水平相机姿态对应的全景视频帧进行等距柱状投影展开，并在展开后的设定展开范围进行目标检测，检测到目标对象，并对所述目标对象进行跟踪；

33、对目标跟踪后的视频帧进行编码，生成关于所述目标对象的平面视频。

34、从以上技术方案可以看出，本申请实施例具有以下优点：通过对全景视频帧进行设定水平校正算法的水平角度校正处理，得到稳定的水平角度的平面视频帧，并对所述水平角度的平面视频帧进行等距柱状投影展开，使得目标对象出现的可能位置得以用纬度范围来表示，从而缩小了目标跟踪算法的搜索范围，提高了目标检测和跟踪的准确率，进而实现自动生成一种无人机跟拍视角的特效平面视频，模拟出了无人机跟拍的拍摄效果。

35、本申请提高了无人机跟拍视角的特效平面视频的制作效率，用户无需复杂的拍摄技巧及复杂的后期视频处理能力，即可通过算法自动生成无人机跟拍视角的特效平面视频，新增了一种全景视频的玩法，提高了用户的可玩性。

技术特征：

1.一种视频处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种视频处理方法，其特征在于，所述对所述当前原始相机姿态进行水平角度校正，得到校正后的水平相机姿态，包括：

3.根据权利要求2所述的一种视频处理方法，其特征在于，所述根据相机的惯性传感器数据，计算得到第二相机旋转矩阵rs，包括：

4.根据权利要求3所述的一种视频处理方法，其特征在于，所述根据所述第一相机旋转矩阵rt及所述第二相机旋转矩阵rs，计算得到水平校正矩阵r，包括：

5.根据权利要求4所述的一种视频处理方法，其特征在于，所述对校正后的所述水平相机姿态对应的全景视频帧进行等距柱状投影展开，并在展开后的设定展开范围进行目标检测，包括：

6.根据权利要求5所述的一种视频处理方法，其特征在于，所述设定纬度区域范围为[-70°,30°]。

7.根据权利要求1或6任一项所述的一种视频处理方法，其特征在于，所述目标对象为在所述设定展开范围进行目标检测，所检测到的目标尺寸最大的一个对象。

8.一种视频处理装置，其特征在于，所述视频处理装置包括：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的视频处理方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的视频处理方法的步骤。

技术总结本申请提供了一种视频处理方法、装置、计算机设备和存储介质，所述方法包括：获取待处理的全景视频流，从当前全景视频帧获取对应的当前原始相机姿态，对当前原始相机姿态进行水平角度校正，得到校正后的水平相机姿态，对校正后的所述水平相机姿态对应的全景视频帧进行等距柱状投影展开，并在展开后的设定展开范围进行目标检测，检测到目标对象，并对目标对象进行跟踪，对目标跟踪后的视频帧进行编码，生成关于目标对象的平面视频。本申请能够无需用户复杂的视频剪辑操作，自动生成无人机跟拍视角的特效平面视频。技术研发人员：沈靖程,吴大为受保护的技术使用者：圆周率科技（常州）有限公司技术研发日：技术公布日：2024/8/20