一种基于大模型的视频特征提取方法及设备与流程

本申请涉及数据处理，尤其涉及一种基于大模型的视频特征提取方法及设备。

背景技术：

1、随着技术的不断发展，视频已经成为主要的媒体形式。随着在线视频平台的快速扩张以及摄像头在监控、娱乐、自动驾驶领域的日益普及，视频内容在深度和吸引力方面都超过了传统文本和图像。因此，对能够有效分析和处理丰富视频内容的技术需求日益增长。

2、与静态图像理解分析不同，视频中的每一帧图像表示了某一时刻下场景的状态，而将这些时序相关的图像依次排列在一起就构成了视频，因此视频中包含了丰富的时序特征。这种时序特征对于理解场景动态变化、跟踪目标运动轨迹等任务至关重要，如何对视频中的空间特征、时序特征进行充分提取，使得基于视频进行后续事件检测、行为识别、异常检测等高层视觉任务成为了待解决的问题。

技术实现思路

1、本申请提供了一种基于大模型的视频特征提取方法及设备，用以解决现有技术中无法准确提取视频中的空间特征、时序特征的问题。

2、第一方面，本申请实施例提供了一种基于大模型的视频特征提取方法，所述方法包括：

3、将目标视频解码为时间连续的每个图像，针对每个图像，将该图像输入到空间特征提取模型中，对该图像进行空间特征提取，确定该图像对应的空间特征图；

4、根据所述每个图像在所述目标视频中的顺序，对所述每个图像对应的空间特征图进行排序，并将排序得到的空间特征图序列输入到时序特征提取模型中，确定所述目标视频对应的目标特征图。

5、第二方面，本申请实施例还提供了一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述基于大模型的视频特征提取方法的步骤。

6、在本申请实施例中，将目标视频解码为时间连续的每个图像，针对每个图像，将该图像输入到空间特征提取模型中，对该图像进行空间特征提取，确定该图像对应的空间特征图；根据每个图像在目标视频中的顺序，对每个图像对应的空间特征图进行排序，并将排序得到的空间特征图序列输入到时序特征提取模型中，确定目标视频对应的目标特征图。在本申请实施例中，通过空间特征提取模型，提取了视频中每个图像的空间特征，在通过时序特征提取模型，对根据每个图像在目标视频中的顺序排序得到的空间特征图序列进行时序特征提取，使得最终得到的目标特征图包含时序特征和空间特征。

技术特征：

1.一种基于大模型的视频特征提取方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对该图像进行空间特征提取，确定该图像对应的空间特征图包括：

3.根据权利要求2所述的方法，其特征在于，若所述每个图像对应至少两个尺寸的空间特征图，所述根据所述每个图像在所述目标视频中的顺序，对所述每个图像对应的空间特征图进行排序包括：

4.根据权利要求3所述的方法，其特征在于，所述采用多尺度特征融合网络对所述每个尺寸的第一候选特征图进行特征融合，确定所述目标视频对应的目标特征图包括：

5.根据权利要求4所述的方法，其特征在于，所述多尺度特征融合网络包括二维卷积层、上采样层和激活层；

6.根据权利要求5所述的方法，其特征在于，所述第一卷积核为3×3的二维卷积核，所述第二卷积核为1×1的卷积核。

7.根据权利要求2所述的方法，其特征在于，若所述每个图像对应一个空间特征图，所述将排序得到的空间特征图序列输入到时序特征提取模型中，确定所述目标视频对应的目标特征图包括：

8.根据权利要求1-7任一项所述的方法，其特征在于，所述空间特征提取模型为基础视觉网络模型。

9.根据权利要求1-7任一项所述的方法，其特征在于，所述时序特征提取模型由至少两个选择状态空间模型组成。

10.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-9任一所述基于大模型的视频特征提取方法的步骤。

技术总结本申请涉及数据处理技术领域，尤其涉及一种基于大模型的视频特征提取方法及设备。在本申请实施例中，首先使用空间特征提取模型提取静态图像中的空间信息，生成空间特征图，然后使用时序特征提取模型提取每个空间特征点位置的时序特征，得到目标特征图，使得可以通过目标特征图进行下游视频理解分析任务。在本申请实施例最大的优势在于能够提取丰富空间特征的同时更有效地提取时序特征，增强对视频的智能化分析理解能力。技术研发人员：张玉溪,刘微,郑维学,钟明林,修平受保护的技术使用者：海信集团控股股份有限公司技术研发日：技术公布日：2024/10/17