一种协同渲染方法、系统、装置、电子设备以及存储介质与流程

本技术涉及画面渲染，尤其涉及一种协同渲染方法、系统、装置、电子设备以及存储介质。

背景技术：

1、云游戏(cloud gaming)是以云计算为基础的游戏方式。在云游戏的运行模式下，游戏在云端服务器运行，云端服务器接收用户终端设备的操作信息和设备信息，在云端服务器完成游戏画面的渲染，然后将渲染得到的游戏画面进行编码压缩，通过网络传输到用户终端设备。用户终端设备不需要任何的高端处理器和显卡，仅需要对传输过来的游戏画面进行解码显示功能即可实现游戏过程。

2、云游戏的渲染流程区别于传统的单机游戏，不再依赖本地硬件，例如中央处理器(central processing unit，cpu)和图形处理器(graphics processing unit，gpu)等。同时云游戏无需本地安装，游戏玩家可以实现开启即玩，游戏开发者因此也不需要太过担心用户侧硬件性能，从而能够推动更高质量游戏的制作，用户能够体验更多跨平台高质量的游戏产品。

3、目前，云游戏仍然存在较多的不足之处，例如现有的云游戏普遍存在时延较高，带宽需求大的问题，在网络环境一般的情况下，游戏画面质量较差，用户体验较差。同时由于高分辨率高质量的游戏画面对带宽和渲染的要求更高，因此现有的云游戏很难支持高分辨率高质量状态下的游戏游玩。现有的云游戏也无法保证离线状态下游戏的游玩。

技术实现思路

1、本技术的一些实施方式提供了一种协同渲染方法、系统、装置、电子设备以及存储介质，以下从多个方面介绍本技术，以下多个方面的实施方式和有益效果可互相参考。

2、第一方面，本技术实施方式提供了一种协同渲染方法，应用于协同渲染系统，所述系统包括终端设备和云端服务器，所述方法包括：

3、所述云端服务器采用第一分辨率对待渲染的当前帧画面进行渲染，得到第一分辨率的第一渲染图和第一辅助渲染信息；

4、所述云端服务器利用所述第一辅助渲染信息对所述第一渲染图进行分解，得到对应的第一分辨率的第一非纹理化渲染图，所述第一非纹理化渲染图为去除所述第一渲染图中的高频信息后得到的渲染图；

5、所述云端服务器将所述第一非纹理化渲染图发送至所述终端设备；

6、所述终端设备在接收到所述第一非纹理化渲染图后，基于所述第一非纹理化渲染图和第二辅助渲染信息进行超采样，得到所述当前帧画面对应的第二分辨率的第二渲染图；

7、其中，所述第二辅助渲染信息由所述终端设备采用第二分辨率对所述当前帧画面进行渲染得到，并且所述第二分辨率高于所述第一分辨率。

8、根据本技术实施方式，充分利用端侧渲染资源进行端云协同渲染，即云侧生成低分辨率高质量的渲染图发送至端侧，端侧生成对应低成本高分辨率的辅助渲染信息，并借助生成的辅助渲染信息，对云侧传输的低分辨率渲染图进行高质量的超采样，得到最终的渲染图，能够提高端侧计算资源利用率，降低云侧计算压力。并且由于辅助渲染信息通过端侧直接生成，没有进行传输压缩，因此具有无损的特点，在超采样过程中可以借助该部分信息重构得到高分辨率高质量的渲染结果。

9、同时，云侧通过降低渲染分辨率能够提升渲染质量和渲染效率，通过对渲染得到的低分辨率高质量的渲染图进行分解，得到低分辨的非材质图层进行传输，能够提升编解码以及网络传输的效率，保证传输过程渲染信息的高保真性，减少传输过程中高频信息的损失，同时显著降低带宽需求，减轻带宽压力，实现更低的时延。

10、在一些实施方式中，所述终端设备基于所述第一非纹理化渲染图和第二辅助渲染信息进行超采样，得到所述当前帧画面对应的第二分辨率的第二渲染图，包括：

11、所述终端设备对所述第一非纹理化渲染图进行上采样，得到第二分辨率的第二非纹理化渲染图；

12、所述终端设备将所述第二非纹理化渲染图与所述第二辅助渲染信息进行融合，得到第二分辨率的第二渲染图。

13、根据本技术实施方式，端侧通过对低分辨率的非纹理化渲染图进行上采样，并将上采样得到的结果与无损高分辨率的辅助渲染信息相融合，得到高分辨率的渲染图，能够在超采样过程中有效减少高频信息的损失，提升渲染质量。

14、在一些实施方式中，所述终端设备基于所述第一非纹理化渲染图和第二辅助渲染信息进行超采样，得到所述当前帧画面对应的第二分辨率的第二渲染图，还包括：

15、所述终端设备获取第二历史渲染图，所述第二历史渲染图为所述当前帧画面的前一帧画面对应的渲染图；

16、所述终端设备基于所述第二辅助渲染信息以及所述第二历史渲染图对所述第二渲染图进行时空协同超采样，得到最终的第二渲染图。

17、在一些实施方式中，所述终端设备基于所述第一非纹理化渲染图和第二辅助渲染信息进行超采样，得到所述当前帧画面对应的第二分辨率的第二渲染图，还包括：

18、所述终端设备获取第二历史渲染图，所述第二历史渲染图为所述当前帧画面的前一帧画面对应的渲染图；

19、所述终端设备基于所述第二辅助渲染信息以及所述第二历史渲染图对所述第二非纹理化渲染图进行时空协同超采样，得到最终的第二非纹理化渲染图；

20、其中，所述终端设备将所述第二非纹理化渲染图与所述第二辅助渲染信息进行融合，得到第二分辨率的第二渲染图，包括：

21、所述终端设备将所述最终的第二非纹理化渲染图与所述第二辅助渲染信息进行融合，得到第二分辨率的第二渲染图。

22、根据本技术实施方式，端侧在云侧传输的低分辨率渲染图的基础上，通过借助时域信息，利用高分辨率历史帧信息和辅助渲染信息等，能够实现高质量快速的时空协同超采样，以得到最终高分辨率的渲染结果，能够进一步提高端侧渲染画面质量，实现整体渲染效率的提升。

23、在一些实施方式中，所述云端服务器将所述第一非纹理化渲染图发送至所述终端设备，包括：

24、所述云端服务器对所述第一非纹理化渲染图进行编码处理，得到编码后的第一非纹理化渲染图；

25、所述云端服务器将编码后的第一非纹理化渲染图发送至所述终端设备；

26、相应地，所述终端设备在接收到所述编码后的第一非纹理化渲染图后，对所述编码后的第一非纹理化渲染图进行解码处理，得到所述第一非纹理化渲染图。

27、根据本技术实施方式，云端服务器通过对低分辨率的非纹理化渲染图进行编码传输，能够减少网络传输量，提高传输速度，从而进一步减轻带宽压力，实现更低的时延。

28、在一些实施方式中，所述方法进一步包括：

29、所述云端服务器根据所述第一渲染图、所述第一辅助渲染信息和第一历史渲染图生成视觉误差估计图；其中，所述第一历史渲染图为所述当前帧画面的前一帧画面对应的第一分辨率的渲染图；

30、所述云端服务器将所述视觉误差估计图与所述第一非纹理化渲染图一起发送至所述终端设备；

31、所述终端设备在接收到所述第一非纹理化渲染图和所述视觉误差估计图后，基于所述第一非纹理化渲染图、所述视觉误差估计图和所述第二辅助渲染信息进行超采样，得到所述当前帧画面对应的第二分辨率的第二渲染图。

32、在一些实施方式中，所述终端设备基于所述第一非纹理化渲染图、所述视觉误差估计图和所述第二辅助渲染信息进行超采样，得到所述当前帧画面对应的第二分辨率的第二渲染图，包括：

33、所述终端设备对所述第一非纹理化渲染图进行上采样，得到第二分辨率的第二非纹理化渲染图；

34、所述终端设备将所述第二非纹理化渲染图与所述第二辅助渲染信息进行融合，得到第二分辨率的第二渲染图；

35、所述终端设备基于所述视觉误差估计图以及所述第二辅助渲染信息对所述第二渲染图进行时空协同超采样，得到最终的第二渲染图。

36、在一些实施方式中，所述终端设备基于所述第一非纹理化渲染图、所述视觉误差估计图和所述第二辅助渲染信息进行超采样，得到所述当前帧画面对应的第二分辨率的第二渲染图，包括：

37、所述终端设备对所述第一非纹理化渲染图进行上采样，得到第二分辨率的第二非纹理化渲染图；

38、所述终端设备基于所述视觉误差估计图以及所述第二辅助渲染信息对所述第二非纹理化渲染图进行时空协同超采样，得到最终的第二非纹理化渲染图；

39、所述终端设备将所述最终的第二非纹理化渲染图与所述第二辅助渲染信息进行融合，得到第二分辨率的第二渲染图。

40、根据本技术实施方式，云侧结合渲染得到的低分辨率的渲染图和辅助渲染信息，以及低分辨率的历史渲染图，通过视觉误差指标生成对应的视觉误差估计图，以辅助端侧的高质量超采样，使得端侧能够在渲染图中误差分布更加明显的地方给予更多的关注，从而能够提升该部分的重构效果，从而提高最终超采样结果质量。

41、相应地，端侧在云侧传输的低分辨率渲染图基础上，利用视觉误差估计图和辅助渲染信息等，基于超采样来获得最终高分辨率的渲染结果，能够进一步提高超采样效果，从而进一步提高端侧渲染画面质量，以及实现整体渲染效率的提升。

42、在一些实施方式中，所述方法进一步包括：

43、所述终端设备确定当前的网络状态是否稳定；

44、在确定当前的网络状态稳定的情况下，所述终端设备基于所述第一非纹理化渲染图和第二辅助渲染信息进行超采样，得到所述当前帧画面对应的第二分辨率的第二渲染图。

45、根据本技术实施方式，终端设备能够根据端侧网络的实时状态，适应性的切换渲染方案，在网络状态满足要求的情况下，才使用本技术实施方式提供的端云协同渲染方法，能够保证端侧渲染结果的稳定性。

46、第二方面，本技术实施方式提供了一种渲染方法，包括：

47、采用第一分辨率对待渲染的当前帧画面进行渲染，得到第一分辨率的第一渲染图和第一辅助渲染信息；

48、利用所述第一辅助渲染信息对所述第一渲染图进行分解，得到对应的第一分辨率的第一非纹理化渲染图，所述第一非纹理化渲染图为去除所述第一渲染图中的高频信息后得到的渲染图；

49、输出所述第一非纹理化渲染图。

50、根据本技术实施方式，通过对渲染得到的渲染图进行分解，得到非材质图层进行传输，能够减少传输数据量，显著降低带宽需求，减轻带宽压力，提升网络传输的效率，同时能够保证传输过程渲染信息的高保真性，减少传输过程中高频信息的损失，以为后续处理带来更好的渲染效果。

51、在一些实施方式中，所述输出所述第一非纹理化渲染图，包括：

52、对所述第一非纹理化渲染图进行编码处理，得到编码后的第一非纹理化渲染图；

53、输出编码后的第一非纹理化渲染图。

54、在一些实施方式中，所述方法进一步包括：

55、根据所述第一渲染图、所述第一辅助渲染信息和第一历史渲染图生成视觉误差估计图；其中，所述第一历史渲染图为所述当前帧画面的前一帧画面对应的第一分辨率的渲染图；

56、将所述视觉误差估计图与所述第一非纹理化渲染图一起输出。

57、第二方面能达到的有益效果可参考本技术第一方面任一实施方式的有益效果，此处不再赘述。

58、第三方面，本技术实施方式提供了一种渲染方法，包括：

59、获取第一分辨率的第一非纹理化渲染图，所述第一非纹理化渲染图为去除第一分辨率的第一渲染图中的高频信息后得到的渲染图；

60、采用第二分辨率对待渲染的当前帧画面进行渲染，得到第二分辨率的第二辅助渲染信息，所述第二分辨率高于所述第一分辨率；

61、基于所述第一非纹理化渲染图和所述第二辅助渲染信息进行超采样，得到所述当前帧画面对应的第二分辨率的第二渲染图。

62、根据本技术实施方式，通过借助生成的低成本高分辨率的辅助渲染信息，对低分辨率的非纹理化渲染图进行高质量的超采样，得到最终的高质量的渲染图，能够降低渲染复杂度以及自身计算压力，提升渲染效率。

63、在一些实施方式中，所述基于所述第一非纹理化渲染图和所述第二辅助渲染信息进行超采样，得到所述当前帧画面对应的第二分辨率的第二渲染图，包括：

64、对所述第一非纹理化渲染图进行上采样，得到第二分辨率的第二非纹理化渲染图；

65、将所述第二非纹理化渲染图与所述第二辅助渲染信息进行融合，得到第二分辨率的第二渲染图。

66、在一些实施方式中，所述基于所述第一非纹理化渲染图和所述第二辅助渲染信息进行超采样，得到所述当前帧画面对应的第二分辨率的第二渲染图，还包括：

67、获取第二历史渲染图，所述第二历史渲染图为所述当前帧画面的前一帧画面对应的渲染图；

68、基于所述第二辅助渲染信息以及所述第二历史渲染图对所述第二渲染图进行时空协同超采样，得到最终的第二渲染图。

69、在一些实施方式中，所述基于所述第一非纹理化渲染图和所述第二辅助渲染信息进行超采样，得到所述当前帧画面对应的第二分辨率的第二渲染图，还包括：

70、获取第二历史渲染图，所述第二历史渲染图为所述当前帧画面的前一帧画面对应的渲染图；

71、基于所述第二辅助渲染信息以及所述第二历史渲染图对所述第二非纹理化渲染图进行时空协同超采样，得到最终的第二非纹理化渲染图；

72、其中，所述将所述第二非纹理化渲染图与所述第二辅助渲染信息进行融合，得到第二分辨率的第二渲染图，包括：

73、将所述最终的第二非纹理化渲染图与所述第二辅助渲染信息进行融合，得到第二分辨率的第二渲染图。

74、在一些实施方式中，所述采用第二分辨率对所述当前帧画面进行渲染，得到第二分辨率的第二辅助渲染信息，包括：

75、确定当前的网络状态是否稳定；

76、在确定当前的网络状态稳定的情况下，采用第二分辨率对所述当前帧画面进行渲染，得到第二分辨率的第二辅助渲染信息。

77、在一些实施方式中，所述方法进一步包括：

78、获取视觉误差估计图，所述视觉误差估计图根据所述第一渲染图、第一辅助渲染信息和第一历史渲染图生成；其中，所述第一辅助渲染信息通过采用第一分辨率对所述当前帧画面进行渲染得到，所述第一历史渲染图为所述当前帧画面的前一帧画面对应的第一分辨率的渲染图；

79、基于所述第一非纹理化渲染图、所述视觉误差估计图以及所述第二辅助渲染信息进行超采样，得到所述当前帧画面对应的第二分辨率的第二渲染图。

80、在一些实施方式中，所述基于所述第一非纹理化渲染图、所述视觉误差估计图以及所述第二辅助渲染信息进行超采样，得到所述当前帧画面对应的第二分辨率的第二渲染图，包括：

81、对所述第一非纹理化渲染图进行上采样，得到第二分辨率的第二非纹理化渲染图；

82、将所述第二非纹理化渲染图与所述第二辅助渲染信息进行融合，得到第二分辨率的第二渲染图；

83、基于所述视觉误差估计图以及所述第二辅助渲染信息对所述第二渲染图进行时空协同超采样，得到最终的第二渲染图。

84、在一些实施方式中，所述基于所述第一非纹理化渲染图、所述视觉误差估计图以及所述第二辅助渲染信息进行超采样，得到所述当前帧画面对应的第二分辨率的第二渲染图，包括：

85、对所述第一非纹理化渲染图进行上采样，得到第二分辨率的第二非纹理化渲染图；

86、基于所述视觉误差估计图以及所述第二辅助渲染信息对所述第二非纹理化渲染图进行时空协同超采样，得到最终的第二非纹理化渲染图；

87、将所述最终的第二非纹理化渲染图与所述第二辅助渲染信息进行融合，得到第二分辨率的第二渲染图。

88、第三方面能达到的有益效果可参考本技术第一方面任一实施方式的有益效果，此处不再赘述。

89、第四方面，本技术实施方式提供了一种协同渲染系统，包括终端设备和云端服务器，所述云端服务器用于执行本技术第一方面任一实施方式提供的方法中云端服务器执行的各个步骤，所述终端设备用于执行本技术第一方面任一实施方式提供的方法中终端设备执行的各个步骤。第四方面能达到的有益效果可参考本技术第一方面任一实施方式的有益效果，此处不再赘述。

90、第五方面，本技术实施方式提供了一种渲染装置，包括：

91、第一渲染模块，用于采用第一分辨率对待渲染的当前帧画面进行渲染，得到第一分辨率的第一渲染图和第一辅助渲染信息；

92、第一生成模块，用于利用所述第一辅助渲染信息对所述第一渲染图进行分解，得到对应的第一分辨率的第一非纹理化渲染图，所述第一非纹理化渲染图为去除所述第一渲染图中的高频信息后得到的渲染图；

93、输出模块，用于输出所述第一非纹理化渲染图。

94、第五方面能达到的有益效果可参考本技术第一方面任一实施方式的有益效果，此处不再赘述。

95、第六方面，本技术实施方式提供了一种渲染装置，包括：

96、获取模块，用于获取第一分辨率的第一非纹理化渲染图，所述第一非纹理化渲染图为去除第一分辨率的第一渲染图中的高频信息后得到的渲染图；

97、第二渲染模块，用于采用第二分辨率对待渲染的当前帧画面进行渲染，得到第二分辨率的第二辅助渲染信息，所述第二分辨率高于所述第一分辨率；

98、第二生成模块，用于基于所述第一非纹理化渲染图和所述第二辅助渲染信息进行超采样，得到所述当前帧画面对应的第二分辨率的第二渲染图。

99、第六方面能达到的有益效果可参考本技术第一方面任一实施方式的有益效果，此处不再赘述。

100、第七方面，本技术实施方式提供了一种电子设备，包括：存储器，用于存储由电子设备的一个或多个处理器执行的指令；处理器，当处理器执行存储器中的指令时，可使得电子设备执行本技术第一方面任一实施方式提供的方法中云端服务器执行的各个步骤或者终端设备执行的各个步骤。第七方面能达到的有益效果可参考本技术第一方面任一实施方式的有益效果，此处不再赘述。

101、第八方面，本技术实施方式提供了一种计算机可读存储介质，计算机可读存储介质上存储有指令，该指令在计算机上执行时使得计算机执行本技术第一方面任一实施方式提供的方法中云端服务器执行的各个步骤或者终端设备执行的各个步骤。第八方面能达到的有益效果可参考本技术第一方面任一实施方式的有益效果，此处不再赘述。