一种视频通信方法、装置、系统、电子设备以及存储介质与流程

本技术涉及图像处理，特别是涉及一种视频通信方法、装置、系统、电子设备以及存储介质。

背景技术：

1、随着互联网技术的不断发展，视频通信在各种场景中的应用越来越广泛，例如，视频通信可以应用于视频聊天、视频会议以及直播等场景。又由于人们对画面质量的要求越来越高，而随着画面质量升高，每一视频帧的数据量也越来越大，这样在进行视频通信时，每秒需要传输的数据量越来越高，因此，视频通信对网络带宽的要求也越来越高。

技术实现思路

1、本技术实施例的目的在于提供一种视频通信方法、装置、系统、电子设备以及存储介质，以减少视频通信时所需要的网络带宽。具体技术方案如下：

2、根据本技术实施例的一方面，提供了一种视频通信方法，应用于发送端，所述方法包括：

3、响应于基于虚拟背景的视频通信启动，向接收端发送视频通信中使用的虚拟背景的背景信息；

4、获得视频通信中各视频帧内前景目标的描述数据；

5、向所述接收端发送各视频帧对应的描述数据，以使得所述接收端基于所述背景信息和接收到的描述数据展示视频画面。

6、本技术的一个实施例中，所述获得视频通信中各视频帧内前景目标的描述数据，包括：

7、针对视频通信中的关键帧，获得关键帧内前景目标的前景图像和前景目标在关键帧中的前景位置，得到包括所述前景图像和所述前景位置的描述数据；

8、针对视频通信中的非关键帧，获得非关键帧内前景目标相对于最邻近前向关键帧内前景目标的姿态变化特征，得到包括所述姿态变化特征的描述数据。

9、本技术的一个实施例中，所述关键帧包括以下视频帧中至少一种：

10、视频通信中的首个视频帧；

11、视频通信中的i帧；

12、视频通信中第二前景目标与第一前景目标间变化程度大于预设变化程度阈值的视频帧，其中，所述第一前景目标为：视频通信中的视频帧的最邻近前向关键帧内的前景目标，所述第二前景目标为：视频通信中的视频帧内的前景目标。

13、本技术的一个实施例中，通过以下方式，确定所述第二前景目标与所述第一前景目标间变化程度是否大于预设变化程度阈值：

14、获得所述第二前景目标相对于所述第一前景目标的关键点变化数量，若所述关键点变化数量大于预设数量阈值，则确定所述第二前景目标与所述第一前景目标间变化程度大于预设变化程度阈值；或

15、获得所述第二前景目标相对于视频帧的第二面积占比，若所述第二面积占比与第一面积占比间差异大于预设占比阈值，则确定所述第二前景目标与所述第一前景目标间变化程度大于预设变化程度阈值，其中，所述第一面积占比为：所述第一前景目标相对于最邻近前向关键帧的面积占比。

16、本技术的一个实施例中，所述获得非关键帧内前景目标相对于最邻近前向关键帧内前景目标的姿态变化特征，包括：

17、对非关键帧内前景目标的第一图像进行特征提取，得到第一特征图；

18、对所述第一特征图进行第一数量次级联编码处理，得到每次编码处理输出的第二特征图，其中，所述编码处理包括：下采样子处理以及对下采样子处理结果进行实例归一化子处理；

19、基于所述第一图像和第二图像，获得非关键帧内前景目标相对于最邻近前向关键帧内前景目标的运动特征图，其中，所述第二图像为：非关键帧的最邻近前向关键帧内前景目标的图像；

20、将各第二特征图分别与所述运动特征图进特征融合，得到各第二特征图对应的第三特征图；

21、对最小尺度的第二特征图进行所述第一数量次级联解码处理，得到每次解码处理输出的第四特征图，其中，所述解码处理包括：该解码处理的输入特征图与同尺度的第三特征图融合子处理、对融合子处理结果进行实例归一化子处理和对实例归一化子处理结果进行上采样子处理；

22、基于最后一次解码处理输出的第四特征图，获得非关键帧内前景目标相对于最邻近前向关键帧内前景目标的姿态变化特征。

23、本技术的一个实施例中，所述基于所述第一图像和第二图像，获得非关键帧内前景目标相对于最邻近前向关键帧内前景目标的运动特征图，包括：

24、获得不同尺度的图像对，其中，每一图像对中包括：所述第一图像的第一子图和所述第二图像的第二子图、且第一子图和第二子图尺度相同；

25、针对尺度最小的图像对，生成该图像对中第一子图相对于第二子图的运动特征子图；

26、针对其他尺度的图像对，基于残差特征图，生成该图像对中第一子图相对于第二子图的运动特征子图，其中，所述残差特征图为：生成所述其他尺度的相邻小尺度图像对对应的运动特征子图过程中产生的第一子图与第二子图间残差的特征图；

27、对所生成的各运动特征子图进行融合，得到非关键帧内前景目标相对于最邻近前向关键帧内前景目标的运动特征图。

28、本技术的一个实施例中，所述获得视频通信中各视频帧内前景目标的描述数据，包括：

29、获得视频通信中各视频帧内前景目标的前景图像和前景目标在视频帧中的前景位置，得到各视频帧的包括所述前景图像和所述前景位置的描述数据。

30、根据本技术实施例的另一方面，提供了一种视频通信方法，应用于接收端，所述方法包括：

31、接收发送端发送的视频通信中使用的虚拟背景的背景信息；

32、接收视频通信中所述发送端发送的各视频帧内前景目标的描述数据；

33、基于接收到的描述数据，在所述背景信息对应的虚拟背景上渲染所述前景目标。

34、本技术的一个实施例中，所述基于接收到的描述数据，在所述背景信息对应的虚拟背景上渲染所述前景目标，包括：

35、若接收到的描述数据包括所述前景目标的前景图像和所述前景目标在视频帧中的前景位置，则基于所述前景位置在所述背景信息对应的虚拟背景上叠加所述前景图像。

36、本技术的一个实施例中，所述基于接收到的描述数据，在所述背景信息对应的虚拟背景上渲染所述前景目标，包括：

37、若接收到的描述数据包括姿态变化特征，则基于所述姿态变化特征驱动所述背景信息对应的虚拟背景已渲染的前景目标运动，其中，所述姿态变化特征表征：视频帧内前景目标相对于最邻近前向关键帧内前景目标的姿态变化。

38、根据本技术实施例的再一方面，提供了一种视频通信装置，应用于发送端，所述装置包括：

39、背景信息发送模块，用于响应于基于虚拟背景的视频通信启动，向接收端发送视频通信中使用的虚拟背景的背景信息；

40、描述数据获得模块，用于获得视频通信中各视频帧内前景目标的描述数据；

41、描述数据发送模块，用于向所述接收端发送各视频帧对应的描述数据，以使得所述接收端基于所述背景信息和接收到的描述数据展示视频画面。

42、本技术的一个实施例中，所述描述数据获得模块，具体用于针对视频通信中的关键帧，获得关键帧内前景目标的前景图像和前景目标在关键帧中的前景位置，得到包括所述前景图像和所述前景位置的描述数据；针对视频通信中的非关键帧，获得非关键帧内前景目标相对于最邻近前向关键帧内前景目标的姿态变化特征，得到包括所述姿态变化特征的描述数据。

43、本技术的一个实施例中，所述关键帧包括以下视频帧中至少一种：视频通信中的首个视频帧；视频通信中的i帧；视频通信中第二前景目标与第一前景目标间变化程度大于预设变化程度阈值的视频帧，其中，所述第一前景目标为：视频通信中的视频帧的最邻近前向关键帧内的前景目标，所述第二前景目标为：视频通信中的视频帧内的前景目标。

44、本技术的一个实施例中，通过以下方式，确定所述第二前景目标与所述第一前景目标间变化程度是否大于预设变化程度阈值：获得所述第二前景目标相对于所述第一前景目标的关键点变化数量，若所述关键点变化数量大于预设数量阈值，则确定所述第二前景目标与所述第一前景目标间变化程度大于预设变化程度阈值；或，获得所述第二前景目标相对于视频帧的第二面积占比，若所述第二面积占比与第一面积占比间差异大于预设占比阈值，则确定所述第二前景目标与所述第一前景目标间变化程度大于预设变化程度阈值，其中，所述第一面积占比为：所述第一前景目标相对于最邻近前向关键帧的面积占比。

45、本技术的一个实施例中，所述描述数据获得模块，具体用于对非关键帧内前景目标的第一图像进行特征提取，得到第一特征图；对所述第一特征图进行第一数量次级联编码处理，得到每次编码处理输出的第二特征图，其中，所述编码处理包括：下采样子处理以及对下采样子处理结果进行实例归一化子处理；基于所述第一图像和第二图像，获得非关键帧内前景目标相对于最邻近前向关键帧内前景目标的运动特征图，其中，所述第二图像为：非关键帧的最邻近前向关键帧内前景目标的图像；将各第二特征图分别与所述运动特征图进特征融合，得到各第二特征图对应的第三特征图；对最小尺度的第二特征图进行所述第一数量次级联解码处理，得到每次解码处理输出的第四特征图，其中，所述解码处理包括：该解码处理的输入特征图与同尺度的第三特征图融合子处理、对融合子处理结果进行实例归一化子处理和对实例归一化子处理结果进行上采样子处理；基于最后一次解码处理输出的第四特征图，获得非关键帧内前景目标相对于最邻近前向关键帧内前景目标的姿态变化特征。

46、本技术的一个实施例中，所述描述数据获得模块，具体用于获得不同尺度的图像对，其中，每一图像对中包括：所述第一图像的第一子图和所述第二图像的第二子图、且第一子图和第二子图尺度相同；针对尺度最小的图像对，生成该图像对中第一子图相对于第二子图的运动特征子图；针对其他尺度的图像对，基于残差特征图，生成该图像对中第一子图相对于第二子图的运动特征子图，其中，所述残差特征图为：生成所述其他尺度的相邻小尺度图像对对应的运动特征子图过程中产生的第一子图与第二子图间残差的特征图；对所生成的各运动特征子图进行融合，得到非关键帧内前景目标相对于最邻近前向关键帧内前景目标的运动特征图。

47、本技术的一个实施例中，所述描述数据获得模块，具体用于获得视频通信中各视频帧内前景目标的前景图像和前景目标在视频帧中的前景位置，得到各视频帧的包括所述前景图像和所述前景位置的描述数据。

48、根据本技术实施例的又一方面，提供了一种视频通信装置，应用于接收端，所述装置包括：

49、背景信息接收模块，用于接收发送端发送的视频通信中使用的虚拟背景的背景信息；

50、描述数据接收模块，用于接收视频通信中所述发送端发送的各视频帧内前景目标的描述数据；

51、前景目标渲染模块，用于基于接收到的描述数据，在所述背景信息对应的虚拟背景上渲染所述前景目标。

52、本技术的一个实施例中，所述前景目标渲染模块，具体用于在接收到的描述数据包括所述前景目标的前景图像和所述前景目标在视频帧中的前景位置的情况下，则基于所述前景位置在所述背景信息对应的虚拟背景上叠加所述前景图像。

53、本技术的一个实施例中，所述前景目标渲染模块，具体用于在接收到的描述数据包括姿态变化特征的情况下，则基于所述姿态变化特征驱动所述背景信息对应的虚拟背景已渲染的前景目标运动，其中，所述姿态变化特征表征：视频帧内前景目标相对于最邻近前向关键帧内前景目标的姿态变化。

54、根据本技术实施例的又一方面，提供了一种视频通信系统，所述系统包括：

55、执行上述任一应用于发送端的视频通信方法的发送端和执行上述任一应用于接收端的视频通信方法的接收端。

56、根据本技术实施例的又一方面，提供了一种电子设备，包括：

57、存储器，用于存放计算机程序；

58、处理器，用于执行存储器上所存放的程序时，实现上述任一视频通信方法。

59、根据本技术实施例的又一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一视频通信方法。

60、根据本技术实施例的又一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的视频通信方法。

61、本技术实施例有益效果：

62、由以上可见，本技术实施例提供的方案中，向接收端发送的信息包括虚拟背景的背景信息以及各视频帧内前景目标的描述数据。在不更换虚拟背景的情况下，虚拟背景的背景信息只需发送一次，并且，描述数据是视频帧内前景目标的数据，并非整个视频帧的数据，相对于整个各视频帧的数据量各视频帧的前景目标的描述数据的数据量较小，因此，在进行视频通信时，能够减少需要向接收端发送的数据量，减少视频通信时所需要的网络带宽。

63、当然，实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。