处理视频数据的方法及装置、训练方法、及电子设备与流程

本公开涉及一种处理视频数据的方法、处理视频数据的装置、训练方法、电子设备、计算机可读存储介质以及计算机程序产品。

背景技术：

1、伴随着视频用户需求的多元化和高标准化，特别是对超高清视频资源的迫切需求，视频数据的高效编解码技术面临着极大的挑战。传输到用户终端的视频数据往往是经压缩后的视频数据。对这样的经压缩的视频数据进行解码后得到的视频数据普遍存在明显的压缩伪影，严重地影响了视频的主观效果。此外，随着显示设备制造业的蓬勃发展，4k、8k等超高清显示终端已走进千家万户。解码后的压缩视频中的伪影和失真在超高清显示设备上会被进一步放大。因此，需要对面向压缩视频的质量增强技术进行进一步改进。

技术实现思路

1、本公开实施例提供了一种处理视频数据的方法及装置、训练方法、电子设备、计算机可读存储介质以及计算机程序产品。

2、本公开实施例提供了一种处理视频数据的方法，包括：一种处理视频数据的方法，所述视频数据包括多个视频帧，所述方法包括：将所述多个视频帧按照时序进行划分，以生成至少一个视频帧组；基于所述至少一个视频帧组中的每个视频帧组内的所有视频帧的信息，确定所述视频帧组中的一个或多个视频帧的参考信息；以及基于所述视频帧组中的一个或多个视频帧的参考信息以及所述一个或多个视频帧的信息，确定针对所述一个或多个视频帧的增强视频帧。

3、本公开实施例提供了一种处理视频数据的装置，所述视频数据包括多个视频帧，所述装置包括划分模块、参考信息生成模块和信息融合模块，其中，划分模块被配置为：将所述多个视频帧按照时序进行划分，以生成至少一个视频帧组；参考信息生成模块被配置为：基于所述至少一个视频帧组中的每个视频帧组内的所有视频帧的信息，确定所述视频帧组的一个或多个视频帧的参考信息；以及信息融合模块被配置为：基于所述视频帧组的一个或多个视频帧的参考信息以及所述一个或多个视频帧视频帧的信息，确定针对所述一个或多个视频帧的增强视频帧。

4、本公开实施例提供了一种训练方法，其用于对根据本公开实施例的装置进行训练，所述训练方法包括：获取样本视频数据中的视频帧的真实值；对所述样本视频数据中的视频帧进行编码和解码，以获取所述样本视频数据中的视频帧对应的重建帧；使用训练中的所述装置预测所述重建帧的增强视频帧；基于所述增强视频帧与所述视频帧的真实值，计算损失函数对应的值；以及并基于所述损失函数对应的值调整所述装置中各个卷积核和各个神经元的参数，以使得所述损失函数对应的值收敛。

5、本公开实施例提供了一种电子设备，包括：处理器；以及存储器，其中，所述存储器中存储有计算机可执行程序，当由所述处理器执行所述计算机可执行程序时，执行上述的方法。

6、本公开实施例提供了一种设备，包括：处理器；存储器，存储器存储有计算机指令，该计算机指令被处理器执行时实现上述方法。

7、本公开实施例提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现上述方法。

8、根据本公开的另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个方面或者上述各个方面的各种可选实现方式中提供的方法。

9、本公开实施例能够在低运算量的情况下显著增强解码后的压缩视频的纹理细节，减少解码后的压缩视频中的伪影和失真，从而显著增强了解码后的压缩视频数据的质量。本公开实施例还能够被轻量化地部署于显示终端中，为超高清显示终端的用户提供更好的使用体验。

技术特征：

1.一种处理视频数据的方法，所述视频数据包括多个视频帧，所述方法包括：

2.如权利要求1所述的方法，其中，所述将所述多个视频帧进行划分以生成至少一个视频组包括：

3.如权利要求1所述的方法，其中，所述基于所述至少一个视频帧组中的每个视频帧组内的所有视频帧的信息，确定所述视频帧组中的一个或多个视频帧的参考信息包括：

4.如权利要求1所述的方法，其中，所述基于所述视频帧组中的一个或多个视频帧的参考信息以及所述一个或多个视频帧的信息，确定针对所述一个或多个视频帧的增强视频帧包括：

5.如权利要求3所述的方法，其中，所述基于所述至少一个视频帧组中的每个视频帧组内的所有视频帧的信息，确定所述视频帧组的每个视频帧的参考信息包括：

6.如权利要求5所述的方法，其中，所述基于所述至少一个视频帧组中的每个视频帧组内的所有视频帧的信息，确定所述视频帧组的每个视频帧的参考信息包括：

7.如权利要求5所述的方法，其中，所述对于所述视频帧组的每个视频帧，基于所述视频帧的预提取特征以及所述视频帧相邻的视频帧的信息，确定所述视频帧的参考特征包括：

8.如权利要求6所述的方法，其中，所述对于所述视频帧组中除第一个视频帧以外的每个视频帧，基于所述视频帧的预提取特征以及与所述视频帧相邻的前序视频帧的第一参考特征，确定所述视频帧的第一参考特征包括：

9.如权利要求6所述的方法，其中，所述基于所述视频帧组的所有视频帧的第一参考特征，确定所述视频帧组的每个视频帧的参考特征包括：

10.如权利要求9所述的方法，其中，所述对于所述视频帧组中除最后一个视频帧以外的每个视频帧，基于所述视频帧的第一参考特征以及与所述视频帧相邻的后序视频帧的第二参考特征，确定所述视频帧的第二参考特征包括：

11.如权利要求5所述的方法，其中，所述基于所述视频帧组的每个视频帧的参考信息以及每个视频帧的信息，确定针对每个视频帧的增强视频帧包括：

12.如权利要求8所述的方法，其中，所述基于所述视频帧的前序关键帧的第一参考特征、所述视频帧的预提取特征以及与所述视频帧相邻的前序视频帧的第一参考特征，确定所述视频帧的第一参考特征包括：

13.如权利要求12所述的方法，其中，所述从所述融合特征中剔除冗余信息，以确定所述视频帧的第一参考特征包括：

14.一种处理视频数据的装置，所述视频数据包括多个视频帧，所述装置包括划分模块、参考信息生成模块和信息融合模块，其中，

15.一种训练方法，用于对权利要求14所述的装置进行训练，所述方法包括：

16.一种电子设备，包括：

17.一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-13或15中的任一项所述的方法。

18.一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如权利要求1-13或15中的任一项所述的方法。

技术总结公开了一种处理视频数据的方法、处理视频数据的装置、训练方法、电子设备、计算机可读存储介质以及计算机程序产品。所述视频数据包括多个视频帧，所述方法包括：将所述多个视频帧按照时序进行划分，以生成至少一个视频帧组；基于所述至少一个视频帧组中的每个视频帧组内的所有视频帧的信息，确定所述视频帧组的每个视频帧的参考信息；以及基于所述视频帧组的每个视频帧的参考信息以及每个视频帧的信息，确定针对每个视频帧的增强视频帧。技术研发人员：孙萱受保护的技术使用者：京东方科技集团股份有限公司技术研发日：技术公布日：2024/7/25