关键点生成方法及其模型的训练方法、视频生成方法与流程

本公开涉及人工智能，具体涉及提供一种关键点生成方法及其模型的训练方法、视频生成方法。

背景技术：

1、在现有技术中，视频插帧技术在这方面有广泛应用。视频插帧即在两张图片中插入多个关键帧，缩短每帧之间的显示时间，修正人眼视觉暂留形成的错觉，从而产生连续的动作视频。为了对视频进行插帧，需要对于物体运动进行预测，目前较为广泛使用的是基于光流法所得的，光流法计算相邻两帧之间单个像素的位移，得到物体运动流场，从而辅助计算得到物体的中间运动状态。但当相邻两帧的差异较大的情况下，很难预测准确。

技术实现思路

1、本公开要解决的技术问题是为了克服现有技术中两帧画面差异比较大的情况下目标行动作预测不准确的问题，提供一种关键点生成方法及其模型的训练方法、视频生成方法、关键点生成模型的训练装置、电子设备和计算机程序产品。

2、本公开是通过下述技术方案来解决上述技术问题：

3、第一方面提供一种关键点生成模型的训练方法，所述训练方法，包括：

4、获取训练样本；所述训练样本包括分别从第一视频帧、第二视频帧和第三视频帧中提取的关键点样本数据，所述关键点样本数据包括目标对象的多个目标关节点的位置数据，所述关键点数据用于表征目标当前动作，所述第一视频帧、所述第二视频帧和所述第三视频帧分别从目标动作视频中依次截取；

5、将所述训练样本输入关键点生成模型，根据所述关键点生成模型输出所述第一视频帧至所述第三视频帧之间的视频帧的关键点预测数据；

6、根据目标关节点的运动约束条件、所述关键点样本数据和所述关键点预测数据计算损失误差；所述运动约束条件包括所述多个目标关节点中相邻两个目标关节点在各视频帧中的相对位置关系不变；

7、根据所述损失误差调整关键点生成模型的网络参数，直至满足迭代停止条件。

8、可选地，根据目标关节点的运行约束条件、所述关键点样本数据和所述关键点预测数据计算损失误差，包括：

9、对于每一相邻两个目标关节点，根据所述运行约束条件计算相邻两个目标关节点在第一视频帧和第三视频帧中的位置标签，根据所述关键点预测数据计算所述相邻两个目标关节点的预测位置，并计算所述预测位置与所述位置标签的偏差；

10、将各相邻两个目标关节点对应的偏差的加权结果确定为约束误差；

11、根据所述约束误差计算所述损失误差。

12、可选地，所述根据目标关节点的运动约束条件、所述关键点样本数据和所述关键点预测数据计算损失误差包括：

13、设所述第一视频帧提取的一组关节组的关键点数据的坐标为所述第三视频帧提取的一组关节组的关键点数据的坐标为

14、为关键点序列模型输出的第一关键点数据中其中一组关节组的相对坐标，则其中一组关节组的损失误差为其中h为所述训练样本中视频帧画面的高，w为所述训练样本中视频帧画面的宽。

15、可选地，所述根据目标关节点的运动约束条件、所述关键点样本数据和所述关键点预测数据计算损失误差包括：

16、根据目标关节点的运行约束条件、所述关键点样本数据和所述关键点预测数据计算约束误差；

17、根据所述第一视频帧至所述第三视频帧之间的视频帧的关键点预测数据与所述第二视频帧的关键点数据中各个目标关节点之间的平均绝对误差计算平移误差；

18、根据所述平移误差和所述约束误差计算所述损失误差。

19、可选地，将所述训练样本输入关键点生成模型，根据所述关键点生成模型输出所述第一视频帧至所述第三视频帧之间的视频帧的关键点预测数据，包括：

20、根据所述训练样本中视频帧画面的宽和高对所述关键点数据进行归一化处理；

21、将归一化处理后的关键点数据输入所述关键点生成模型，根据所述关键点生成模型输出所述第一视频帧至所述第三视频帧之间的视频帧的关键点预测数据。

22、第二方面，提供一种关键点生成方法，所述关键点生成方法，包括：

23、获取同一目标对象的两张图片，将两张图片输入关键点生成模型，根据所述关键点生成模型输出所述两张图片之间的关键点预测数据，作为关键点序列；

24、所述关键点生成模型由上述所述的关键点生成模型的训练方法训练得到。

25、第三方面，提供一种视频生成方法，所述视频生成方法包括：

26、获取目标图片和关键点序列，

27、将目标图片和关键点序列导入至图片生成视频扩散模型，得到该目标做出与关键点序列相同动作的图片，并合成视频；

28、所述关键点序列由上述关键点生成方法得到。

29、第四方面，提供一种关键点生成模型的训练装置，所述训练装置，包括：

30、获取模块，用于获取训练样本；所述训练样本包括分别从第一视频帧、第二视频帧和第三视频帧中提取的关键点样本数据，所述关键点样本数据包括目标对象的多个目标关节点的位置数据，所述关键点数据用于表征目标当前动作，所述第一视频帧、所述第二视频帧和所述第三视频帧分别从目标动作视频中依次截取；

31、训练模块，用于将所述训练样本输入关键点生成模型，根据所述关键点生成模型输出所述第一视频帧至所述第三视频帧之间的视频帧的关键点预测数据；

32、损失计算模块，用于根据目标关节点的运动约束条件、所述关键点样本数据和所述关键点预测数据计算损失误差；所述运动约束条件包括所述多个目标关节点中相邻两个目标关节点在各视频帧中的相对位置关系不变；

33、优化模块，用于根据所述损失误差调整关键点生成模型的网络参数，直至满足迭代停止条件。

34、第五方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的关键点生成模型的训练方法。

35、第六方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的关键点生成模型的训练方法。

36、在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本公开各较佳实例。

37、本公开的积极进步效果在于：将前后视频帧中人物的关键点数据提取后，通过关键点生成模型预测两帧视频帧中人物动作关键点，并根据目标关节点的运动约束条件、关键点样本数据和关键点预测数据计算损失误差，作为监督定义约束，通过最小化该约束对模型进行训练，优化神经网络模型参数，使训练得到的关键点生成模型预测值与真实值更接近，进而使得目标动作预测更准确。

技术特征：

1.一种关键点生成模型的训练方法，其特征在于，所述训练方法，包括：

2.如权利要求1所述的训练方法，其特征在于，根据目标关节点的运行约束条件、所述关键点样本数据和所述关键点预测数据计算损失误差，包括：

3.如权利要求1所述的训练方法，其特征在于，所述根据目标关节点的运动约束条件、所述关键点样本数据和所述关键点预测数据计算损失误差包括：

4.如权利要求1所述的训练方法，其特征在于，所述根据目标关节点的运动约束条件、所述关键点样本数据和所述关键点预测数据计算损失误差包括：

5.如权利要求1所述的训练方法，其特征在于，将所述训练样本输入关键点生成模型，根据所述关键点生成模型输出所述第一视频帧至所述第三视频帧之间的视频帧的关键点预测数据，包括：

6.一种关键点生成方法，其特征在于，所述关键点生成方法，包括：

7.一种视频生成方法，其特征在于，所述视频生成方法包括：

8.一种关键点生成模型的训练装置，其特征在于，所述训练装置，包括：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的关键点生成模型的训练方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的关键点生成模型的训练方法。

技术总结本公开提供了一种关键点生成方法及其模型的训练方法、视频生成方法。训练方法包括：获取训练样本；将训练样本输入关键点生成模型，根据关键点生成模型输出第一视频帧至第三视频帧之间的视频帧的关键点预测数据；根据目标关节点的运动约束条件、关键点样本数据和关键点预测数据计算损失误差；运动约束条件包括多个目标关节点中相邻两个目标关节点在各视频帧中的相对位置关系不变；根据损失误差调整关键点生成模型的网络参数，直至满足迭代停止条件。本公开通过关键点生成模型预测两帧视频帧中人物动作关键点，并根据目标关节点的运动约束条件、关键点样本数据和关键点预测数据计算损失误差，使关键点生成模型预测值与真实值更接近，预测更准确。技术研发人员：罗粤清,虞钉钉,王晓梅,沈旭立,曹培,周邦健,徐清受保护的技术使用者：华院计算技术（上海）股份有限公司技术研发日：技术公布日：2024/9/17