基于运动向量聚类双向匹配的视频采样方法及系统

本发明涉及视频采样，特别是涉及基于运动向量聚类双向匹配的视频采样方法及系统。

背景技术：

1、现有的视频数据分析系统主要利用dnn目标检测算法识别视频帧中用户感兴趣的物体。为加快基于深度神经网络(dnn)的视频分析流程，现有策略倾向于运用模型串联或模型瘦身技术来剔除不含目标物体的帧，以此缩减后续dnn推理的帧量。

2、鉴于视频帧间物体内容存在时间上的连贯性，均匀帧采样技术被广泛应用以加速这一过程。该技术通过在视频流中固定间隔选取帧，确保了跨时间片断的数据抽样既具有一致性又遵循规律，有效利用帧间冗余，降低了计算需求，同时保持了对视频动态的合理追踪。

3、然而，研究显示，即便采取上述措施，视频的解码与预处理步骤仍成为整个端到端分析流程中的性能制约环节。尽管模型串联和瘦身能减少dnn推理成本，它们未能绕过全帧解码的需求，因此难以减轻由解码和预处理引入的资源消耗。

4、视频内容的动态特性，包括不定期的静态段落与活跃变化，进一步复杂化了这一挑战。视频中动态与静态场景的无规律交替意味着传统均匀采样法，尽管减少了dnn处理的帧数，其采用不变的采样间隔未能灵活适应视频内在的动态变化，导致信息利用效率不高。

5、因此，探索能够智能识别视频内容变化节奏，动态调整采样策略的方法，对于进一步提升视频分析效率至关重要。这要求新的解决方案不仅要考虑如何减少不必要的计算，还需智能化地利用视频序列的时间相关性和内容多样性，以达到更高层次的效率与准确性平衡。

技术实现思路

1、为了解决现有技术的不足，本发明提供了基于运动向量聚类双向匹配的视频采样方法及系统；

2、一方面，提供了基于运动向量聚类双向匹配的视频采样方法，包括：

3、对待采样视频的每一帧图像提取运动向量；

4、对运动向量进行聚类处理，得到每一帧图像的若干个聚类簇；

5、为当前帧图像的每一个类簇，分别从前一帧图像和后一帧图像中寻找距离小于设定阈值的类簇，如果找到距离小于设定阈值的类簇，则表示当前帧的类簇与相邻帧的类簇匹配成功，否则表示匹配失败；如果前一帧匹配成功，后一帧匹配失败，则认为当前帧的目标物体在后一帧中消失，记录目标物体消失的帧序号；如果前一帧匹配失败，后一帧匹配成功，则认为当前帧中出现目标物体，记录目标物体出现的帧序号；

6、基于目标物体消失的帧序号和目标物体出现的帧序号，将待采样视频分割成若干个视频片段，所述视频片段被分为有目标物体片段和无目标物体片段；将所述有目标物体片段作为采样结果，输入到训练后的目标检测网络中，得到视频内容识别结果。

7、另一方面，提供了基于运动向量聚类双向匹配的视频采样系统，包括：

8、提取模块，其被配置为：对待采样视频的每一帧图像提取运动向量；

9、聚类模块，其被配置为：对运动向量进行聚类处理，得到每一帧图像的若干个聚类簇；

10、匹配模块，其被配置为：为当前帧图像的每一个类簇，分别从前一帧图像和后一帧图像中寻找距离小于设定阈值的类簇，如果找到距离小于设定阈值的类簇，则表示当前帧的类簇与相邻帧的类簇匹配成功，否则表示匹配失败；如果前一帧匹配成功，后一帧匹配失败，则认为当前帧的目标物体在后一帧中消失，记录目标物体消失的帧序号；如果前一帧匹配失败，后一帧匹配成功，则认为当前帧中出现目标物体，记录目标物体出现的帧序号；

11、识别模块，其被配置为：基于目标物体消失的帧序号和目标物体出现的帧序号，将待采样视频分割成若干个视频片段，所述视频片段被分为有目标物体片段和无目标物体片段；将所述有目标物体片段作为采样结果，输入到训练后的目标检测网络中，得到视频内容识别结果。

12、再一方面，还提供了一种电子设备，包括：

13、存储器，用于非暂时性存储计算机可读指令；以及

14、处理器，用于运行所述计算机可读指令，

15、其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。

16、再一方面，还提供了一种存储介质，非暂时性存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。

17、再一方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。

18、上述技术方案具有如下优点或有益效果：

19、本发明的创新性体现在如下方面：针对基于rgb的视频数据分析优化策略面临的解码和预处理性能瓶颈问题，本发明提出了基于压缩视频运动向量的动态视频帧采样方法，此过程无需将视频数据完全解码，降低了端到端视频数据分析的解码成本；本发明基于运动向量聚类的双向匹配动态视频帧采样法，显著减少在端到端视频内容分析中，因视频解码和dnn推理所带来的资源消耗和时间成本。通过智能识别和利用视频帧间运动向量的变化模式，本发明能够在保持分析精度的同时，高效筛选出关键视频帧进行处理，从而在深度学习驱动的视频分析领域实现了成本与效率的双重提升。

技术特征：

1.基于运动向量聚类双向匹配的视频采样方法，其特征是，包括：

2.如权利要求1所述的基于运动向量聚类双向匹配的视频采样方法，其特征是，对待采样视频的每一帧图像提取运动向量，其中，所述待采样视频是基于h.264标准进行压缩的压缩视频，在视频被压缩的过程中，编码器对每一个非关键帧生成运动向量，并将运动向量保存在压缩视频的二进制码流中，在视频的解码过程中，从二进制码流中解析出运动向量。

3.如权利要求1所述的基于运动向量聚类双向匹配的视频采样方法，其特征是，对运动向量进行聚类处理，得到每一帧图像的若干个聚类簇，所述聚类处理，基于密度的聚类算法。

4.如权利要求3所述的基于运动向量聚类双向匹配的视频采样方法，其特征是，对运动向量进行聚类处理，得到每一帧图像的若干个聚类簇，具体聚类处理步骤包括：

5.如权利要求1所述的基于运动向量聚类双向匹配的视频采样方法，其特征是，基于目标物体消失的帧序号和目标物体出现的帧序号，将待采样视频分割成若干个视频片段，所述视频片段被分为有目标物体片段和无目标物体片段；将所述有目标物体片段作为采样结果，输入到训练后的目标检测网络中，得到视频内容识别结果；其中，训练后的目标检测网络，采用已知目标物体标签的视频图像对深度神经网络进行训练得到。

6.如权利要求1所述的基于运动向量聚类双向匹配的视频采样方法，其特征是，为当前帧图像的每一个类簇，分别从前一帧图像和后一帧图像中寻找距离小于设定阈值的类簇，所述距离采用欧式距离；欧式距离的公式为：其中，x1,y1和x2,y2分别为两个运动向量聚类类族中心的横、纵坐标。

7.基于运动向量聚类双向匹配的视频采样系统，其特征是，包括：

8.一种电子设备，其特征是，包括：

9.一种存储介质，其特征是，非暂时性存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行权利要求1-6任一项所述方法的指令。

10.一种计算机程序产品，其特征是，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述权利要求1-6任一项所述的方法。

技术总结本发明公开了基于运动向量聚类双向匹配的视频采样方法及系统，其中方法，包括：对待采样视频的每一帧图像提取运动向量；对运动向量进行聚类处理，得到每一帧图像的若干个聚类簇；为当前帧图像的每一个类簇，分别从前一帧图像和后一帧图像中寻找距离小于设定阈值的类簇，如果找到距离小于设定阈值的类簇，则表示当前帧的类簇与相邻帧的类簇匹配成功，否则表示匹配失败；基于目标物体消失的帧序号和目标物体出现的帧序号，将待采样视频分割成若干个视频片段，所述视频片段被分为有目标物体片段和无目标物体片段；将所述有目标物体片段作为采样结果，输入到训练后的目标检测网络中，得到视频内容识别结果。技术研发人员：赵振华,毕文,殷聪姚慧,郑晓旭,赵梦莹,申兆岩,蔡晓军受保护的技术使用者：山东大学技术研发日：技术公布日：2024/9/9