一种基于视频动作的视频检测方法与流程

本发明涉及视频处理，尤其涉及一种基于视频动作的视频检测方法。

背景技术：

1、近年来，随着流媒体的不断发展，使得各个网站平台上的视频呈爆炸式增长，相对于传统的图像信息，视频中包含的信息也更为丰富，也得到更多研究者的关注，而视频理解则逐渐成为工业界和学术界的热门研究领域。针对具体的图像或视频数据集，人工规定视频中感兴趣的目标单位，使用各种标注工具对目标单位进行标注，制作训练数据集，利用各种深度学习框架对数据集进行训练，获得最优模型参数，利用训练完成的模型对未知数据进行推理，检测识别与数据集相同或相近的目标单位。

2、目前对于视频检测的方式通常是是利用计算机视觉通过模拟人类的视觉注意机制，检测图像中的显著目标，过滤冗余的背景信息，从而只关注人类视觉感兴趣的图像区域。

3、但是对于视频动作和乐曲合成的视频的检测，严重依赖于数据集的标注，并且数据集的制作一定程度依赖人为主观判断，很难进行大规模的识别；其次，每个乐曲和动作相差很大，很难识别每个动作涵盖的内容，针对乐曲和动作的数据集制作很耗费时间和人力。

技术实现思路

1、本申请实施例通过提供一种基于视频动作的视频检测方法，解决了现有技术中独权能解决的技术问题，实现了技术效果。

2、本申请实施例提供了一种基于视频动作的视频检测方法，包括：

3、获取第一视频片段；

4、针对第一视频片段进行第一处理，获取目标动作；

5、根据目标动作选择输入的乐曲特征，根据输入的乐曲特征生成动作特征曲线；

6、根据动作特征曲线，确定每个视频帧中的动作序列，选取目标动作的情感特征，将目标动作的情感特征与动作序列进行关联，获取连续动作序列中的关键帧；

7、判断目标动作是否是连续性，并判断目标动作是否为同一类型；

8、针对第一视频片段进行第二处理，获取目标乐曲和目标乐曲的乐曲特征；

9、将第一处理和第二处理得到的目标乐曲与目标动作进行比对，确定目标乐曲中与目标动作相对应的关键帧，对各关键帧进行情感性分析，获取第一情感特征与第二情感特征。

10、本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

11、本发明通过对视频动作根据不同动作序列附带的情感特征，与对应乐曲特征进行匹配，从而检测出视频中生成动作与乐曲的一致性，从而提高动作和乐曲的合成效果，生成的动作序列可以作为其他样本来验证不同风格的乐曲，从而提高乐曲与动作的组合效率。

技术特征：

1.一种基于视频动作的视频检测方法，其特征在于，包括：

2.如权利要求1所述的一种基于视频动作的视频检测方法，其特征在于，对于每个目标动作进行分析，确定每个目标动作的连续性，根据目标区域变化，确定每个目标动作的动作特征曲线；

3.如权利要求2所述的一种基于视频动作的视频检测方法，其特征在于，提取每个目标动作的第一情感特征，根据第一情感特征确定第一判断阈值；提取每个目标乐曲的第二情感特征，根据第二情感特征确定第二判断阈值。

4.如权利要求1所述的一种基于视频动作的视频检测方法，其特征在于，对于获取的乐曲特征的上下文进行检测，确定乐曲特征的组合形式；

5.如权利要求4所述的一种基于视频动作的视频检测方法，其特征在于，获取每个子乐段对应的动作序列，提取动作序列中的关节点，获取每个动作序列前后帧之间的动作特征曲线；

6.如权利要求3所述的一种基于视频动作的视频检测方法，其特征在于，根据目标乐曲的乐曲特征，获取与乐曲特征相关的风格化特征，将乐曲特征和风格化特征作为控制条件，获取目标乐曲的概率分布图；

7.如权利要求3所述的一种基于视频动作的视频检测方法，其特征在于，第一判断阈值的选择连续帧内目标动作变化最多的第一情感特征为第一判断阈值；第二判断阈值是选择目标乐曲情感强度最高的片段内第二情感特征的均值。

8.如权利要求1所述的一种基于视频动作的视频检测方法，其特征在于，乐曲特征包括音符所在的节拍序号、节拍长度、音符通道号、音色类别、音调、音符响度、音符起始时间每小节的时间长度、音符所在的音乐片段序号、每个音乐片段的小节数。

9.如权利要求6所述的一种基于视频动作的视频检测方法，其特征在于，根据等间隔的方式选择动作序列中的中间帧，并且选择对风格化特征区分最为明显的中间帧作为计算权重等级的依据；每个动作序列的权重计算基于风格化特征的匹配程度、重复度和中间帧的差异性。

10.如权利要求6所述的一种基于视频动作的视频检测方法，其特征在于，对于每个重复的动作序列，获取动作序列与目标乐曲的风格化特征差值，对每个重复的动作序列中间帧进行差值，输出插值后的动作序列；当不存在重复的动作序列时，选择大于第一判断阈值的中间帧进行插值，输出插值后的动作序列。

技术总结本申请公开了一种基于视频动作的视频检测方法，涉及视频处理技术领域，包括：获取第一视频片段；针对第一视频片段进行第一处理，获取目标动作；根据目标动作选择输入的乐曲特征，根据输入的乐曲特征生成动作特征曲线；根据动作特征曲线，确定每个视频帧中的动作序列，选取目标动作的情感特征，将目标动作的情感特征与动作序列进行关联，获取连续动作序列中的关键帧；判断目标动作是否是连续性，并判断目标动作是否为同一类型；针对第一视频片段进行第二处理，获取目标乐曲和目标乐曲的乐曲特征；能够实现乐曲和动作组合效果，提高对视频中检测乐曲和动作一致性的效率。技术研发人员：王子傑,田越受保护的技术使用者：北京汇畅数宇科技发展有限公司技术研发日：技术公布日：2024/2/1