适用于动态场景的电子稳像方法、系统、设备及介质与流程

本发明属于图像处理，具体涉及一种适用于动态场景的电子稳像方法、系统、设备及介质。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、电子稳像是一种通过软件来抵消摄像设备运动引起的图像抖动的技术。它广泛应用于摄像机、智能手机、无人机等设备中，以提供更加平稳和稳定的图像和视频。

3、传统的电子稳像方法主要基于全局或局部运动补偿的原理，通过对整个图像或局部块进行平移、旋转和缩放变换来稳定图像。然而，在动态场景中，快速运动的物体会导致局部图像模糊以及信息混合，传统的电子稳像方法无法对动态、静态目标进行有效区分，导致运动估计误差，难以准确补偿，进一步导致稳像处理后的图像中出现畸变或不稳定的现象。

技术实现思路

1、为了解决上述问题，本发明提出了一种适用于动态场景的电子稳像方法、系统、设备及介质，本发明进行快速、准确的动静信息区分，实现动态场景下的电子稳像。

2、根据一些实施例，本发明的第一方案提供了一种适用于动态场景的电子稳像方法，采用如下技术方案：

3、适用于动态场景的电子稳像方法，包括：

4、基于视频信息获取视频帧序列；

5、对视频帧序列中的每个视频帧提取特征点，根据特征点数量进行网格划分，以网格为单位进行特征点匹配，对匹配结果的领域一致性进行评价；

6、对视频帧序列中每个视频帧的网格运动矢量进行计算得到网格运动信息，对目标网格邻域的不同方向上进行运动轨迹一致性分析，根据分析结果进行动静态目标划分；

7、根据动静态目标划分结果以及领域一致性评价结果，确定视频帧中没有特征点的空白网格，利用运动传播的方式对空白网格进行运动信息赋予，再对全体网格内的像素进行运动补偿，得到最终的电子稳像图像。

8、进一步地，所述以网格为单位进行特征点匹配，具体为：

9、基于当前视频帧的任意一网格与前一个相邻视频帧中的所有网格进行特征点匹配，特征点匹配成功数量最多的网格为目标网格；

10、对所有网格进行特征点匹配后，得到所有网格的目标网格和所有网格的最大特征点匹配数。

11、进一步地，所述对匹配结果的领域一致性进行评价，具体为：

12、获取匹配结果，即所有网格的目标网格和所有网格的最大特征点匹配数；

13、如果最大特征点匹配数小于约束阈值，则目标网格内的特征匹配关系为真；反之，则网格内的特征匹配关系为假，删除该特征匹配关系。

14、进一步地，所述对视频帧序列中每个视频帧的网格运动矢量进行计算得到网格运动信息，具体为：

15、以视频帧左下方角点为坐标原点，向右为x轴正方向，向上为y轴正方向，单位长度为单个像素，构建直角坐标系xoy；

16、分别计算单个网格在不同轴上的平均运动矢量，具体为：

17、；

18、；

19、其中，为网格内的特征点数量，、分别表示视频帧和视频帧对应网格中的第个特征点的轴坐标， 、分别表示视频帧和视频帧对应网格中的第个特征点的轴坐标；

20、根据单个网格的运动矢量作为视频帧中单个网格的运行信息。

21、进一步地，所述对目标网格邻域的不同方向上进行运动轨迹一致性分析，根据分析结果进行动静态目标划分，具体为：

22、对目标网格邻域的多个方向上进行运动轨迹一致性分析；

23、若单个方向上任意相邻网格间运动信息的角度偏差不超过30°，则判定该方向上轨迹的运动模式一致；

24、若存在一半及一半以上方向上轨迹的运动模式一致，则判定该目标网格为静态目标，否则为动态目标。

25、进一步地，所述利用运动传播的方式对空白网格进行运动信息赋予，具体为：

26、所有动态目标和邻域内已经具备运动信息的网格不变，对所有余下的网格进行随机性遍历，通过运动传播的方式为其赋予运动信息；

27、单次遍历结束后，如果还存在空白网格，则继续下一轮随机性遍历；

28、循环上述过程，直到视频帧内所有的网格均具备运动信息。

29、进一步地，对全体网格内的像素进行运动补偿，得到最终的电子稳像图像，具体为：

30、根据每个网格的运动信息，对当前视频帧中的每个像素进行相应的平移；

31、设视频帧中某个像素点的位置为，则运动补偿后的像素为，其中为该像素点所处网格的运动信息；

32、得到最终的电子稳像图像。

33、根据一些实施例，本发明的第二方案提供了一种适用于动态场景的电子稳像系统，采用如下技术方案：

34、适用于动态场景的电子稳像系统，包括：

35、数据获取模块，被配置为基于视频信息获取视频帧序列；

36、特征点匹配模块，被配置为对视频帧序列中的每个视频帧提取特征点，根据特征点数量进行网格划分，以网格为单位进行特征点匹配，对匹配结果的领域一致性进行评价；

37、动静态划分模块，被配置为对视频帧序列中每个视频帧的网格运动矢量进行计算得到网格运动信息，对目标网格邻域的不同方向上进行运动轨迹一致性分析，根据分析结果进行动静态目标划分；

38、运动估计及补偿模块，被配置为根据动静态目标划分结果以及领域一致性评价结果，确定视频帧中没有特征点的空白网格，利用运动传播的方式对空白网格进行运动信息赋予，再对全体网格内的像素进行运动补偿，得到最终的电子稳像图像。

39、根据一些实施例，本发明的第三方案提供了一种计算机可读存储介质。

40、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的适用于动态场景的电子稳像方法中的步骤。

41、根据一些实施例，本发明的第四方案提供了一种计算机设备。

42、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的适用于动态场景的电子稳像方法中的步骤。

43、与现有技术相比，本发明的有益效果为：

44、本发明首先基于特征点数量对视频帧进行网格划分，通过匹配数量的邻域一致性评价实现复杂环境下的特征点鲁邦匹配。动静态划分阶段，首先进行网格运动矢量计算，再利用矢量信息对目标网格邻域的各个方向上进行运动轨迹一致性分析，区分出动态区域。最终通过运动传播的方式为空白网格赋予运动信息，再基于局部运动补偿的方法对视频帧的每个像素实现稳像纠正。相比传统的电子稳像方法，本发明更加准确、快速的对视频帧中的动静态目标进行区分，大幅度减少动态目标对于运动估计的干扰，对于存在大量动态目标的视频拍摄环境具备良好的适应性，有效避免稳像处理后图像中出现畸变现象。

技术特征：

1.适用于动态场景的电子稳像方法，其特征在于，包括：

2.如权利要求1所述的适用于动态场景的电子稳像方法，其特征在于，所述以网格为单位进行特征点匹配，具体为：

3.如权利要求1所述的适用于动态场景的电子稳像方法，其特征在于，所述对匹配结果的领域一致性进行评价，具体为：

4.如权利要求1所述的适用于动态场景的电子稳像方法，其特征在于，所述对视频帧序列中每个视频帧的网格运动矢量进行计算得到网格运动信息，具体为：

5.如权利要求1所述的适用于动态场景的电子稳像方法，其特征在于，所述对目标网格邻域的不同方向上进行运动轨迹一致性分析，根据分析结果进行动静态目标划分，具体为：

6.如权利要求1所述的适用于动态场景的电子稳像方法，其特征在于，所述利用运动传播的方式对空白网格进行运动信息赋予，具体为：

7.如权利要求1所述的适用于动态场景的电子稳像方法，其特征在于，对全体网格内的像素进行运动补偿，得到最终的电子稳像图像，具体为：

8.适用于动态场景的电子稳像系统，其特征在于，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的适用于动态场景的电子稳像方法中的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的适用于动态场景的电子稳像方法中的步骤。

技术总结本发明属于图像处理领域，提供了一种适用于动态场景的电子稳像方法、系统、设备及介质，包括首先基于特征点数量对视频帧进行网格划分，通过匹配数量的邻域一致性评价实现复杂环境下的特征点鲁邦匹配。动静态划分阶段，首先进行网格运动矢量计算，再利用矢量信息对目标网格邻域的各个方向上进行运动轨迹一致性分析，区分出动态区域。最终通过运动传播的方式为空白网格赋予运动信息，再基于局部运动补偿的方法对视频帧的每个像素实现稳像纠正。本发明更加准确、快速的对视频帧中的动静态目标进行区分，大幅度减少动态目标对于运动估计的干扰，对于存在大量动态目标的视频拍摄环境具备良好的适应性，有效避免稳像处理后图像中出现畸变现象。技术研发人员：逯行政,李奇,潘洁,吴海涛,魏宏伟,朱宏亮,张昊泽,徐鑫,陈俊美,杨杰,张亦卓,董晓晗,亓立壮,李延港,刘承浩,孙明正,刘冲,周英受保护的技术使用者：齐鲁空天信息研究院技术研发日：技术公布日：2024/8/5