游戏数据传输及处理方法、服务器和终端设备与流程

本技术实施例涉及数据处理领域，尤其涉及一种游戏数据传输及处理方法、服务器和终端设备。

背景技术：

1、目前，很多场景(例如云游戏)都使用了云渲染，即将渲染操作部署在云侧，由云侧渲染出画面和音频，并将画面和音频编码成音视频流后再传输给端侧；端侧接收到云侧发送的音视频流后，解码出画面和音频播放即可。这样，能够提高画面质量，从而提高用户体验。

2、对于音频而言，由于音频流占用了不小的带宽，因此在网络情况较差时，音频流会出现堵塞、丢包等问题，进而造成端侧音频播放卡顿、爆音、电流音等。此外，云侧为了保证端侧音频的流畅性，会对音频进行压缩来降低音频流的码率，但这样就会降低音频质量。

技术实现思路

1、为了解决上述技术问题，本技术提供一种游戏数据传输及处理方法、服务器和终端设备。该方法能够降低传输带宽、提高端侧音频质量，且能够降低端侧音频发生卡顿、爆音、电流音等问题的概率。

2、第一方面，本技术实施例提供一种应用于服务器的游戏数据传输方法，该方法包括：对三维游戏场景进行图像渲染，以得到游戏视频数据；接着，向终端设备发送游戏视频数据、音频渲染参数和音画同步信息，以使得终端设备同步播放游戏视频数据和游戏音频数据；其中，音频渲染参数用于终端设备对源音频数据进行音频渲染以得到游戏音频数据，音画同步信息用于控制游戏视频数据和游戏音频数据的同步播放。

3、由于音频渲染参数的数据量远小于游戏音频数据的数据量，因此本技术能够显著降低传输带宽。且本技术是由终端设备进行音频渲染的，音频未被压缩，因此本技术终端设备播放的游戏音频数据的质量也不会被降低。此外，本技术传输的音频渲染参数发生丢包、阻塞的概率也会大幅度降低，进而能够大大降低音频播放卡顿、爆音、电流音等问题的概率。

4、示例性的，服务器可以是指游戏服务器，游戏服务器可以是单个服务器，也可以是服务器集群；本技术对此不作限制。

5、示例性的，本技术可以应用于各种需要进行云渲染场景(其中，这些云渲染场景中，云端(即服务器)存储有音频文件(也就是待渲染的源音频数据))，例如，云游戏等。本技术以云游戏为例进行说明。

6、示例性的，图像渲染可以是指通过对三维场景中的三维物体模型进行几何变换，投影变换，透视变换和窗口剪裁，再通过获取的材质与光影信息，生成图像的过程。

7、示例性的，游戏数据可以包括与游戏相关的多种数据，例如，游戏视频数据、音频渲染参数和音画同步信息等，本技术对此不作限制。

8、示例性的，游戏音频数据与游戏视频数据对应。可选地，服务器还可以执行生成与源音频数据相关的音频渲染参数，以及生成游戏音频数据和游戏视频数据之间的音画同步信息的步骤。

9、根据第一方面，向终端设备发送游戏视频数据、音频渲染参数和音画同步信息，包括：根据预设视频译码标准对游戏视频数据进行编码，以得到第一视频流；向终端设备发送第一视频流、音频渲染参数和音画同步信息。这样，将游戏视频数据编码后再发送至终端设备，能够压缩游戏视频数据的数据量，进而降低传输游戏视频数据占用的带宽。需要说明的是，音频渲染参数和音画同步信息的数据量较小，即使不压缩音频渲染参数和音画同步信息，而是直接发送音频渲染参数和音画同步信息，所占用的带宽也比较小；且还能够减少用于编码的计算量。

10、应该理解的是，本技术对预设视频译码标准不作限制，例如，可以包括但不限于：h.264/avc(advanced video coding，高级视频编码)，h.265/hevc(high efficiencyvideo coding，高效率视频编码)，h.266/vvc(versatile video coding，多功能视频编码)，av1(aomedia video 1，“aomedia”指的是开放媒体视频联盟开发的一种视频编码)等，这些视频译码标准的扩展标准；以及随着视频编解码技术的发展所产生的新的视频译码标准及扩展标准。

11、根据第一方面，或者以上第一方面的任意一种实现方式，向终端设备发送游戏视频数据、音频渲染参数和音画同步信息，包括：根据预设视频译码标准对游戏视频数据进行编码，以得到视频编码数据；根据预设视频译码标准对应的格式封装音频渲染参数和视频编码数据，以得到第二视频流；向终端设备发送第二视频流和音画同步信息。这样，服务器只需要传输两路数据流，可以降低服务器数据传输的复杂度，且还能够提高音频渲染参数传输的可靠性。

12、示例性的，可以根据预设视频译码标准对应的格式，将视频编码数据封装至nalu(network abstraction layer unit，网络提取层单元)中。示例性的，nalu可以包括naluheader(数据头)和nalu主体，封装模块可以将视频编码数据封装至nalu主体中，以生成第一视频流。示例性的，nalu header包含了对与之对应的数据体(即nalu主体)的详细描述，例如，nalu的类型信息(如包括但不限于：vps(video parameter set，视频参数集)、sps(sequence parameter set，序列参数集)、pps(picture paramater set，图像参数集)、sei(supplemental enhancement information，补充增强信息)、i帧和p帧等)。

13、示例性的，当预设视频译码标准为h.264/h.265/h.266时，可以根据预设视频译码标准对应的格式，将视频编码数据封装至i帧/p帧类型的nalu的nalu主体中；以及将音频渲染参数封装至sei类型的nalu的nalu主体中。

14、示例性的，当预设视频译码标准为av1时，可以根据预设视频译码标准对应的格式，将视频编码数据封装至i帧/p帧类型的nalu的nalu主体中，以及将音频渲染参数封装至元信息开放码流单元(metadata open bitstream unit)。

15、根据第一方面，或者以上第一方面的任意一种实现方式，向终端设备发送游戏视频数据、音频渲染参数和音画同步信息，包括：根据预设视频译码标准对游戏视频数据进行编码，以得到视频编码数据；根据预设视频译码标准对应的格式封装视频编码数据、音频渲染参数和音画同步信息，以得到第三视频流；向终端设备发送第三视频流。这样，服务器只需向终端设备传输一路数据流，进而可以降低服务器数据传输的复杂度，从而提高音频渲染参数和音画同步信息传输的可靠性。

16、示例性的，可以根据预设视频译码标准对应的格式，将视频编码数据封装至i帧/p帧类型nalu的nalu主体中。

17、示例性的，可以根据预设视频译码标准对应的格式，将音频渲染参数和音画同步信息封装至sei类型的nalu的nalu主体/元信息开放码流单元的数据体中。应该理解的是，可以将音频渲染参数和音画同步信息，封装在同一个nalu主体/元信息开放码流单元的数据体中，也可以将音频渲染参数和音画同步信息，封装在不同nalu主体/元信息开放码流单元的数据体中，本技术对此不作限制。此外，可以将音频渲染参数封装在一个或多个nalu主体/元信息开放码流单元的数据体中，以及可以将音画同步信息封装在一个或多个nalu主体/元信息开放码流单元的数据体中，具体可以根据音频渲染参数的数据量、音画同步信息的数据量和nalu主体/元信息开放码流单元的数据体可承载的数据量确定。

18、根据第一方面，或者以上第一方面的任意一种实现方式，向终端设备发送游戏视频数据、音频渲染参数和音画同步信息，包括：根据预设视频译码标准对游戏视频数据进行编码，以得到视频编码数据；根据预设视频译码标准对应的格式封装视频编码数据和音画同步信息，以得到第四视频流；向终端设备发送第四视频流和音频渲染参数。这样，服务器只需要传输两路数据流，能够降低服务器数据传输的复杂度，从而提高音画同步信息传输的可靠性。

19、根据第一方面，或者以上第一方面的任意一种实现方式，音频渲染参数包括源音频数据的标识信息。

20、示例性的，标识信息可以是源音频数据对应的音频文件的名称。

21、示例性的，标识信息可以是源音频数据对应的音频文件的编号。

22、应该理解的是，本技术对标识信息不作限定。

23、根据第一方面，或者以上第一方面的任意一种实现方式，音频渲染参数还包括以下至少一种：播放起始时间、播放时长、声源空间位置、声源运动信息或声音强度。

24、示例性的，播放起始时间，用于指示从源音频数据中哪个时间点开始播放，也就是指示从源音频数据中哪个时间点开始进行音频渲染以得到游戏音频数据。

25、示例性的，播放时长，用于指示源音频数据的播放时长，也就是游戏音频数据的播放时长。

26、示例性的，声源空间位置，是指游戏音频数据中声源在游戏场景(即一个3d空间)所在的位置。

27、示例性的，声源运动信息，是指游戏音频数据中声源的运动速度、运动方向以及运动加速度等信息。

28、示例性的，声音强度，用于指示游戏音频数据的播放音量的大小。

29、应该理解的是，音频渲染参数还可以包括与音频渲染相关的其他参数，本技术对此不作限制。

30、根据第一方面，或者以上第一方面的任意一种实现方式，音画同步信息包括：时间戳和/或帧编号。其中，时间戳可以是指游戏视频数据中，与源音频数据的第一帧音频对应的图像的时间戳；帧编号可以是指游戏视频数据中，与源音频数据的第一帧音频对应的图像的帧编号。

31、第二方面，本技术实施例提供一种应用于终端设备的游戏数据处理方法，该方法包括：获取游戏视频数据、音频渲染参数和音画同步信息，其中，游戏视频数据包括一帧或多帧渲染后的图像；之后，终端设备基于音频渲染参数，对源音频数据进行音频渲染，以得到游戏音频数据；终端设备基于音画同步信息，同步播放游戏音频数据和游戏视频数据。

32、由于音频渲染参数的数据量远小于游戏音频数据的数据量，因此本技术能够显著降低传输带宽。且本技术是由终端设备进行音频渲染的，音频未被压缩，因此本技术终端设备播放的游戏音频数据的质量也不会被降低。此外，本技术传输的音频渲染参数发生丢包、阻塞的概率也会大幅度降低，进而能够大大降低音频播放卡顿、爆音、电流音等问题的概率。

33、示例性的，终端设备可以包括但不限于：个人计算机、可穿戴设备如(vr(virtualreality，虚拟现实)头盔、智能手表等)、计算机工作站、智能手机、平板电脑、机顶盒、游戏机等；本技术对此不作限制。

34、示例性的，音频渲染可以是指基于各种脉冲响应等信息，对源音频数据进行音频处理，将源音频数据转换为多声道、且具有空间音频效果(如空间感、距离感等)的游戏音频数据的过程。

35、示例性的，源音频数据可以是终端设备预先获取之后存储在本地的。

36、根据第二方面，或者以上第二方面的任意一种实现方式，获取游戏视频数据、音频渲染参数和音画同步信息，包括：接收服务器发送的第一视频流、音频渲染数据和音画同步信息；根据预设视频译码标准对第一视频流进行解码，以得到游戏视频数据。

37、根据第二方面，或者以上第二方面的任意一种实现方式，获取游戏视频数据、音频渲染参数和音画同步信息，包括：接收服务器发送的第二视频流和音画同步信息，第二视频流包括视频编码数据和音频渲染参数；解封装第二视频流，以得到视频编码数据和音频渲染参数；根据预设视频译码标准对视频编码数据进行解码，以得到游戏视频数据。

38、根据第二方面，或者以上第二方面的任意一种实现方式，获取游戏视频数据、音频渲染参数和音画同步信息，包括：接收服务器发送的第三视频流，第三视频流包括视频编码数据、音频渲染数据和音画同步信息；解封装第三视频流，以得到视频编码数据、音频渲染参数和音画同步信息；根据预设视频译码标准对视频编码数据进行解码，以得到游戏视频数据。

39、根据第二方面，或者以上第二方面的任意一种实现方式，获取游戏视频数据、音频渲染参数和音画同步信息，包括：接收服务器发送的第四视频流和音频渲染参数，第四视频流包括视频编码数据和音画同步信息；解封装第四视频流，以得到视频编码数据和音画同步信息；根据预设视频译码标准对视频编码数据进行解码，以得到游戏视频数据。

40、根据第二方面，或者以上第二方面的任意一种实现方式，音频渲染参数包括源音频数据的标识信息；基于音频渲染参数，对本地存储的源音频数据进行音频渲染，以得到游戏音频数据，包括：基于标识信息，从本地存储的预设音频数据中查找源音频数据；接着，对源音频数据进行音频渲染，以得到游戏音频数据。

41、根据第二方面，或者以上第二方面的任意一种实现方式，音频渲染参数还包括以下至少一种信息：播放起始时间、播放时长、声源空间位置、声源运动信息或声音强度；对源音频数据进行音频渲染，以得到游戏音频数据，包括：基于以下至少一种信息：播放起始时间、播放时长、声源空间位置、声源运动信息或声音强度，对源音频数据进行音频渲染，以得到游戏音频数据。

42、根据第二方面，或者以上第二方面的任意一种实现方式，音画同步信息包括时间戳，时间戳为游戏视频数据包含的图像中，与源音频数据的第一帧音频对应的图像的时间戳；基于音画同步信息，同步播放游戏音频数据和游戏视频数据，包括：在播放游戏视频数据中与时间戳对应的图像时，播放游戏音频数据。

43、根据第二方面，或者以上第二方面的任意一种实现方式，音画同步信息包括帧编号，帧编号为游戏视频数据包含的图像中，与源音频数据的第一帧音频对应的图像的帧编号；基于音画同步信息，同步播放游戏音频数据和游戏视频数据，包括：在播放游戏视频数据中与帧编号对应的图像时，播放游戏音频数据。

44、根据第二方面，或者以上第二方面的任意一种实现方式，该方法还包括：当终端设备本地存储的预设音频数据中，不存在源音频数据时，向服务器发送音频请求信息；其中，音频请求信息包括标识信息，音频请求信息用于向服务器请求源音频数据；接收服务器发送的源音频数据。

45、第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

46、应该理解的是，第二方面以及第二方面的任意一种实现方式，可以是以软件形式实现，比如手机等移动电子设备里的app(application，应用程序)，电脑等电子设备里的客户端软件等；本技术对此不作限制。

47、第三方面，本技术还提供一种游戏数据处理系统，该游戏数据处理系统包括服务器和终端设备，其中：服务器，用于对三维游戏场景进行图像渲染，以得到游戏视频数据；向终端设备发送游戏视频数据、音频渲染参数和音画同步信息；终端设备，用于基于音频渲染参数，对源音频数据进行音频渲染，以得到游戏音频数据；基于音画同步信息，同步播放游戏音频数据和游戏视频数据。

48、第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

49、第三方面以及第三方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果，此处不再赘述。

50、第四方面，本技术还提供一种游戏数据传输装置，应用于服务器，该游戏数据传输装置包括：

51、渲染模块，用于对三维游戏场景进行图像渲染，以得到游戏视频数据；

52、通信模块，用于向终端设备发送游戏视频数据、音频渲染参数和音画同步信息，以使得终端设备同步播放游戏视频数据和游戏音频数据；其中，音频渲染参数用于终端设备对源音频数据进行音频渲染以得到游戏音频数据，音画同步信息用于控制游戏视频数据和游戏音频数据的同步播放。

53、示例性的，第四方面的游戏数据传输装置还可以包括视频编码模块，用于对游戏视频数据、音频渲染参数和音画同步信息进行编码，以得到视频流；接着，可以将视频流输出至通信模块，由通信模块将视频流发送至终端设备。

54、应该理解的是，第四方面的游戏数据传输装置可以实施第一方面以及第一方面的任意一种实现方式的方法。

55、第五方面，本技术还提供一种游戏数据处理装置，应用于终端设备，该游戏数据处理装置包括：

56、获取模块，用于获取游戏视频数据、音频渲染参数和音画同步信息，其中，游戏视频数据包括一帧或多帧渲染后的图像；

57、音频渲染模块，用于基于音频渲染参数，对源音频数据进行音频渲染，以得到游戏音频数据；

58、播放模块，用于基于音画同步信息，同步播放游戏音频数据和游戏视频数据。

59、示例性的，第五方面的游戏数据处理装置的获取模块可以包括通信模块和视频解码模块，其中，通信模块用于接收视频流，解码模块用于对视频流进行解码，以得到游戏视频数据、音频渲染参数和音画同步信息。

60、应该理解的是，第五方面的游戏数据处理装置可以实施第二方面以及第二方面的任意一种实现方式的方法。

61、第六方面，本技术实施例提供一种服务器，包括：存储器和处理器，存储器与处理器耦合；存储器存储有程序指令，当程序指令由处理器执行时，使得服务器执行第一方面或第一方面的任意可能的实现方式中的游戏数据传输方法。

62、第六方面以及第六方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第六方面以及第六方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

63、第七方面，本技术实施例提供一种终端设备，包括：存储器和处理器，存储器与处理器耦合；存储器存储有程序指令，当程序指令由处理器执行时，使得终端设备执行第二方面或第二方面的任意可能的实现方式中的游戏数据处理方法。

64、第七方面以及第七方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第七方面以及第七方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果，此处不再赘述。

65、第八方面，本技术实施例提供一种芯片，包括一个或多个接口电路和一个或多个处理器；接口电路用于从服务器的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令；当处理器执行计算机指令时，使得服务器执行第一方面或第一方面的任意可能的实现方式中的游戏数据传输方法。

66、第八方面以及第八方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第八方面以及第八方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

67、第九方面，本技术实施例提供一种芯片，包括一个或多个接口电路和一个或多个处理器；接口电路用于从终端设备的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令；当处理器执行计算机指令时，使得终端设备执行第二方面或第二方面的任意可能的实现方式中的游戏数据处理方法。

68、第九方面以及第九方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第九方面以及第九方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果，此处不再赘述。

69、第十方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，当计算机程序运行在计算机或处理器上时，使得计算机或处理器执行第一方面或第一方面的任意可能的实现方式中的游戏数据处传输方法。

70、第十方面以及第十方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第十方面以及第十方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

71、第十一方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，当计算机程序运行在计算机或处理器上时，使得计算机或处理器执行第二方面或第二方面的任意可能的实现方式中的游戏数据处理方法。

72、第十一方面以及第十一方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第十一方面以及第十一方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果，此处不再赘述。

73、第十二方面，本技术实施例提供一种计算机程序产品，计算机程序产品包括计算机指令，当计算机指令被计算机或处理器执行时，使得计算机或处理器执行第一方面或第一方面的任意可能的实现方式中的游戏数据传输方法。

74、第十二方面以及第十二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第十二方面以及第十二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

75、第十三方面，本技术实施例提供一种计算机程序产品，计算机程序产品包括计算机指令，当计算机指令被计算机或处理器执行时，使得计算机或处理器执行第二方面或第二方面的任意可能的实现方式中的游戏数据处理方法。

76、第十三方面以及第十三方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第十三方面以及第十三方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果，此处不再赘述。

77、第十四方面，本技术实施例提供一种码流，该码流包括第一方面任意一种实现方式生成的第一视频流或第二视频流或第三视频流或第四视频流。

78、第十五方面，本技术实施例提供一种存储码流的装置，该装置包括：接收器和至少一个存储介质，接收器用于接收码流；至少一个存储介质用于存储码流；码流包括根据第一方面的任意一种实现方式生成的视频流。

79、第十五方面以及第十五方面的任意一种实现方式分别与第一方面的任意一种实现方式相对应。第十五方面以及第十五方面的任意一种实现方式所对应的技术效果可参见上述第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

80、第十六方面，本技术实施例提供一种传输码流的装置，该装置包括：发送器和至少一个存储介质，至少一个存储介质用于存储码流，码流包括根据第一方面的任意一种实现方式生成的视频流；发送器用于从存储介质中获取码流并将码流通过传输介质发送给端侧设备。可选的，该传输码流的装置还包括接收器和处理器，接收器用于接收用户请求，处理器用于响应于用户请求，以从存储介质中选择目标码流，并指示发送器发送目标码流。

81、第十六方面以及第十六方面的任意一种实现方式分别与第一方面的任意一种实现方式相对应。第十六方面以及第十六方面的任意一种实现方式所对应的技术效果可参见上述第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

82、第十七方面，本技术实施例提供一种分发码流的系统，该系统包括：至少一个存储介质，用于存储至少一个码流，至少一个码流包括根据第一方面的任意一种实现方式生成的视频流，流媒体设备，用于从至少一个存储介质中获取目标码流，并将目标码流发送给端侧设备，其中，流媒体设备包括内容服务器或内容分发服务器。

83、第十七方面以及第十七方面的任意一种实现方式分别与第一方面的任意一种实现方式相对应。第十七方面以及第十七方面的任意一种实现方式所对应的技术效果可参见上述第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

84、第十八方面，本技术实施例提供一种流媒体系统，该系统包括：通信接口，用于接收用户获取目标码流的请求；处理器，用于响应于用户请求，确定目标码流的存储位置；通信接口还用于将目标码流的存储位置发送给用户，以使得用户从目标码流的存储位置获取目标码流，其中，目标码流包括根据第一方面的任意一种实现方式生成的视频流。

85、第十八方面以及第十八方面的任意一种实现方式分别与第一方面的任意一种实现方式相对应。第十八方面以及第十八方面的任意一种实现方式所对应的技术效果可参见上述第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。