视频数据处理方法及装置、增强网络的训练方法及装置与流程

本公开涉及计算机，尤其涉及一种视频数据处理方法及装置、增强网络的训练方法及装置。

背景技术：

1、随着智能终端的发展和普及，越来越多的人们使用智能终端进行多媒体数据的获取以及浏览，例如：通过智能终端登录第三方平台，进行视频数据的浏览或者分享。

2、但由于视频数据采集时受到环境、采集设备性能不佳等影响、在移动终端上解码时受到解码器解码精度的影响，都会导致视频数据质量不佳，故而需要对视频数据中的图像帧进行增强处理。

3、相关技术中，往往采用将图像帧输入图像增强网络中，对图像帧进行增强处理。由于图像增强网络一般采用的是深度神经网络架构，部署在移动终端上时，该方式将受限于移动终端的性能，例如：深度神经网络往往会占用移动终端较多资源，导致移动终端卡顿问题，并且图像增强效果也并不理想。

技术实现思路

1、本公开提供一种视频数据处理方法及装置、增强网络的训练方法及装置，以至少解决相关技术中视频画面增强过程中移动终端卡顿且增强效果不理想的问题。本公开的技术方案如下：

2、根据本公开实施例的第一方面，提供一种视频数据处理方法，包括：

3、对待处理图像帧进行分块，得到多个像素块，所述待处理图像帧为待处理视频数据中待进行图像增强的图像帧；

4、分别确定各所述像素块的桶索引信息；

5、通过各所述像素块的桶索引信息对应的增强网络，分别对各所述像素块进行增强处理，得到增强后的各所述像素块；

6、根据所述增强后的各所述像素块，构建得到目标图像帧。

7、在一示例性的实施例中，所述分别确定各所述像素块的桶索引信息，包括：

8、针对任一所述像素块，确定所述像素块的角度信息、强度信息及相干性信息；

9、根据各所述像素块的所述角度信息、所述强度信息及所述相干性信息，分别确定各所述像素块的桶索引信息。

10、在一示例性的实施例中，所述方法还包括：

11、接收云端系统发送的视频流数据，所述视频流数据的媒体补充增强信息sei中携带有时域信息，所述时域信息用于指示所述待处理视频数据中的运动模糊图像帧，所述运动模糊图像帧为所述云端系统对初始视频流数据进行运动模糊检测确定的；

12、对所述视频流数据进行解析处理，得到所述待处理视频数据；

13、根据所述时域信息，从所述待处理视频数据中确定所述待处理图像帧。

14、在一示例性的实施例中，所述视频流数据的媒体补充增强信息sei中携带有空域信息，所述空域信息用于指示所述待处理图像帧中待进行图像增强的区域，所述待进行图像增强的区域为所述云端系统对所述初始视频流数据进行显著区域检测确定的，

15、所述对待处理图像帧进行分块，得到多个像素块，包括：

16、根据所述空域信息从所述待处理图像帧中，确定目标待处理区域；

17、对所述目标待处理区域进行分块，得到所述多个像素块。

18、根据本公开实施例的第二方面，提供一种增强网络的训练方法，包括：

19、分别对图像对中的第一图像和第二图像进行像素分块，得到所述第一图像对应的多个第一像素块和所述第二图像对应的多个第二像素块，所述第一图像和所述第二图像的图像内容相同，且所述第一图像的图像质量低于所述第二图像的图像质量；

20、分别确定各所述第一像素块和各所述第二像素块的桶索引信息，根据各所述第一像素块和各所述第二像素块的桶索引信息，分别将各所述第一像素块和各所述第二像素块划分至对应的桶内；

21、针对任一所述桶，根据所述桶内的各所述第一像素块和各所述第二像素块，确定所述桶对应的增强滤波，并根据所述桶对应的增强滤波进行重参数化训练，得到所述桶对应的增强网络。

22、在一示例性的实施例中，所述根据所述桶内的各所述第一像素块和各所述第二像素块，确定所述桶对应的增强滤波，包括：

23、确定所述桶内各所述第一像素块的转置矩阵；

24、根据各所述第一像素块及各所述第一像素块的转置矩阵，得到所述桶的第一内积；

25、根据各所述第二像素块及各所述第一像素块的转置矩阵，得到所述桶的第二内积；

26、通过对所述第一内积和所述第二内积进行最小二乘问题求解，得到所述桶对应的增强滤波。

27、在一示例性的实施例中，所述根据各所述第一像素块及各所述第一像素块的转置矩阵，得到所述桶的第一内积，包括：

28、针对任一所述第一像素块，计算所述第一像素块与所述第一像素块的转置矩阵的乘积；

29、对所述桶内各所述第一像素块对应的乘积进行累加，得到所述桶的第一像素数据。

30、在一示例性的实施例中，所述根据各所述第二像素块及各所述第一像素块的转置矩阵，得到所述桶的第二内积，包括：

31、针对任一所述第二像素块，计算与所述第二像素块对应的所述第一像素块的转置矩阵与所述第二像素块的乘积，与所述第二像素块对应的所述第一像素块在所述第一图像中的位置信息，与所述第二像素块在所述第二图像中的位置信息一致；

32、对各所述第二像素块对应的乘积进行累加，得到所述桶的第二内积。

33、根据本公开实施例的第三方面，提供一种视频数据处理装置，包括：

34、分块单元，被配置为执行对待处理图像帧进行分块，得到多个像素块，所述待处理图像帧为待处理视频数据中待进行图像增强的图像帧；

35、第一确定单元，被配置为执行分别确定各所述像素块的桶索引信息；

36、增强单元，被配置为执行通过各所述像素块的桶索引信息对应的增强网络，分别对各所述像素块进行增强处理，得到增强后的各所述像素块；

37、构建单元，被配置为执行根据所述增强后的各所述像素块，构建得到目标图像帧。

38、在一示例性的实施例中，第一确定单元，还被配置为执行：

39、针对任一所述像素块，确定所述像素块的角度信息、强度信息及相干性信息；

40、根据各所述像素块的所述角度信息、所述强度信息及所述相干性信息，分别确定各所述像素块的桶索引信息。

41、在一示例性的实施例中，所述装置还包括：

42、接收单元，被配置为执行接收云端系统发送的视频流数据，所述视频流数据的媒体补充增强信息sei中携带有时域信息，所述时域信息用于指示所述待处理视频数据中的运动模糊图像帧，所述运动模糊图像帧为所述云端系统对初始视频流数据进行运动模糊检测确定的；

43、解析单元，被配置为执行对所述视频流数据进行解析处理，得到所述待处理视频数据；

44、第二确定单元，被配置为执行根据所述时域信息，从所述待处理视频数据中确定所述待处理图像帧。

45、在一示例性的实施例中，所述视频流数据的媒体补充增强信息sei中携带有空域信息，所述空域信息用于指示所述待处理图像帧中待进行图像增强的区域，所述待进行图像增强的区域为所述云端系统对所述初始视频流数据进行显著区域检测确定的，所述分块单元，还被配置为执行：

46、根据所述空域信息从所述待处理图像帧中，确定目标待处理区域；

47、对所述目标待处理区域进行分块，得到所述多个像素块。

48、根据本公开实施例的第四方面，提供一种增强网络的训练装置，包括：

49、分块单元，被配置为执行分别对图像对中的第一图像和第二图像进行像素分块，得到所述第一图像对应的多个第一像素块和所述第二图像对应的多个第二像素块，所述第一图像和所述第二图像的图像内容相同，且所述第一图像的图像质量低于所述第二图像的图像质量；

50、第一确定单元，被配置为执行分别确定各所述第一像素块和各所述第二像素块的桶索引信息，根据各所述第一像素块和各所述第二像素块的桶索引信息，分别将各所述第一像素块和各所述第二像素块划分至对应的桶内；

51、第二确定单元，被配置为执行针对任一所述桶，根据所述桶内的各所述第一像素块和各所述第二像素块，确定所述桶对应的增强滤波，并根据所述桶对应的增强滤波进行重参数化训练，得到所述桶对应的增强网络。

52、在一示例性的实施例中，所述第二确定单元，还被配置为执行：

53、确定所述桶内各所述第一像素块的转置矩阵；

54、根据各所述第一像素块及各所述第一像素块的转置矩阵，得到所述桶的第一内积；

55、根据各所述第二像素块及各所述第一像素块的转置矩阵，得到所述桶的第二内积；

56、通过对所述第一内积和所述第二内积进行最小二乘问题求解，得到所述桶对应的增强滤波。

57、在一示例性的实施例中，所述第二确定单元，还被配置为执行：

58、针对任一所述第一像素块，计算所述第一像素块与所述第一像素块的转置矩阵的乘积；

59、对所述桶内各所述第一像素块对应的乘积进行累加，得到所述桶的第一像素数据。

60、在一示例性的实施例中，所述第二确定单元，还被配置为执行：

61、针对任一所述第二像素块，计算与所述第二像素块对应的所述第一像素块的转置矩阵与所述第二像素块的乘积，与所述第二像素块对应的所述第一像素块在所述第一图像中的位置信息，与所述第二像素块在所述第二图像中的位置信息一致；

62、对各所述第二像素块对应的乘积进行累加，得到所述桶的第二内积。

63、根据本公开实施例的第五方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现第一方面中提供的任一项视频数据处理方法。

64、根据本公开实施例的第六方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现第二方面中提供的任一项增强网络的训练方法。

65、根据本公开实施例的第七方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行第一方面中提供的任一项视频数据处理方法。

66、根据本公开实施例的第八方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行第二方面中提供的任一项增强网络的训练方法。

67、根据本公开实施例的第九方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行第一方面中提供的任一项视频数据处理方法。

68、根据本公开实施例的第十方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行第一方面中提供的任一项增强网络的训练方法。

69、本公开的实施例提供的技术方案至少带来以下有益效果：

70、本公开实施例提供的视频数据处理方法及装置、增强网络的训练方式及装置、电子设备及存储介质，可以对待处理图像帧进行分块，得到多个像素块，待处理图像帧为待处理视频数据中待进行图像增强的图像帧。分别确定各像素块的桶索引信息，并通过各像素块的桶索引信息对应的增强网络，分别对各像素块进行增强处理，得到增强后的各所述像素块，根据增强后的各像素块，构建得到目标图像帧。采用本公开实施例提供的视频数据处理方法及装置、增强网络的训练方式及装置、电子设备及存储介质，可以对待处理视频数据中的待处理图像帧按照像素块的粒度进行增强，进而采用轻量化的增强网络即可实现图像增强，可以降低对移动终端的性能的要求，适用性更好，且降低对移动终端资源的占用，缓解移动终端卡顿的问题，且由于增强粒度更小，增强效果也更好。

71、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。