音频信息的处理方法、介质、服务器、客户端及系统与流程
- 国知局
- 2024-06-21 10:40:12
本技术涉及虚拟现实,尤其涉及一种音频信息的处理方法、介质、服务器、客户端及系统。
背景技术:
1、随着虚拟现实技术、计算机网络以及vr等技术的发展,多人连线的虚拟场景成为发展的热点,人们可以在虚拟空间中进行社交、会议、工作、游戏、娱乐等活动。
2、声音作为人们交流沟通的重要形式,在虚拟场景的建立中起着至关重要的作用。当某用户利用虚拟场景进行交互时,该用户的客户端可以收集用户发出的声音并将声音发送至服务器,服务器可以将该用户发出的声音发送至虚拟场景中其他用户所对应的客户端,以使其他用户能够听到该用户发出的声音。或者,服务器也可以将该虚拟场景所对应的场景声音发送至各用户所对应的客户端,例如鸟鸣声、溪水声等,以使用户有身临其境之感。但是,现有的虚拟场景中对声音的处理比较简单,只能让虚拟场景的用户听到场景声音和/或用户发出的声音,并不能带给用户贴近现实世界的沉浸感和真实感。
3、因此,需要一种能够在虚拟场景中带给用户沉浸感和真实感的音频信息的处理方案。
技术实现思路
1、本技术提供一种音频信息的处理方法、介质、服务器、客户端及系统,用以解决现有的虚拟场景不能带给用户贴近现实世界的沉浸感和真实感的技术问题。
2、第一方面,本技术提供一种音频信息的处理方法,所述方法包括:
3、获取虚拟环境中的声源的特征参数、环境特征参数和接收者的特征参数;
4、根据所述声源的特征参数、环境特征参数和接收者的特征参数,建立声场模型;
5、根据所述声场模型,分别选取与所述虚拟环境中每个接收者匹配的音频信息,并将所述音频信息发送给与所述接收者对应的客户端,以供所述客户端根据所述音频信息中的元数据,对所述音频信息中音频信号进行空间渲染处理,以获取并播放对应的输出数据;或者,并对每个接收者匹配的音频信息,根据所述音频信息中的元数据,对所述音频信息中音频信号进行空间渲染处理,以获取所述音频信息对应的空间音频信号,将每个音频信息对应的空间音频信号进行混音处理后得到的输出数据发送给客户端进行播放。
6、本技术实施例提供的方法,可以获取虚拟环境中的声源的特征参数、环境特征参数和接收者的特征参数;根据声源的特征参数、环境特征参数和接收者的特征参数,建立声场模型;根据声场模型,分别选取与虚拟环境中每个接收者匹配的音频信息,并将音频信息发送给与接收者对应的客户端,以供客户端根据音频信息中的元数据,对音频信息中音频信号进行环境渲染和空间渲染处理,以获取并播放对应的输出数据。本技术的方法,首先根据声源的特征参数、环境特征参数和接收者的特征参数建立声场模型,使得声场模型能够包含声源、传播环境以及接收者的全部信息,便于之后音频信息的筛选和匹配。进一步,建立声场模型之后,可以针对不同的接收者在虚拟环境中的位置和偏好等信息,确定与其匹配的音频信息,使得音频信息与真实环境中接收者所能听到的声音信息相适配,提高接收者在虚拟环境中的沉浸感和真实感。进一步,在确定音频信息之后,接收者对应的客户端还会根据音频信息中的元数据,对音频信息中音频信号进行环境渲染和空间渲染处理,使得最终的输出数据能够充分考虑到传播环境对声音传递的影响,并且具备空间特性,即具备方向感和距离感,还能够根据虚拟场景的特点产生适合的混响效果。通过这样的渲染处理,使得接收者能够感知到声音的方向和距离,接收者即使处于虚拟环境也能够体验到与真实空间相适配的声音特点,进一步提高了接收者在虚拟环境中的沉浸感和真实感。
7、在一种可能的实施方式中,所述根据所述声源的特征参数、环境特征参数和接收者的特征参数,建立声场模型,包括:
8、根据所述声源的特征参数,建立声源子声场;
9、根据所述环境特征参数,建立传播环境子声场;
10、根据所述接收者的特征参数,建立接收者子声场;
11、根据所述声源子声场、传播环境子声场和接收者子声场,建立声场模型。
12、在一种可能的实施方式中,还包括:
13、获取客户端发送的编辑信息;
14、则所述根据所述接收者的特征参数,建立接收者子声场,包括:
15、根据所述接收者的特征参数以及所述编辑信息,建立接收者子声场。
16、在一种可能的实施方式中,所述根据所述声源子声场、传播环境子声场和接收者子声场,建立声场模型,包括:
17、根据所述声源子声场、传播环境子声场,和所述接收者子声场,将所述声源子声场转换至所述接收者子声场,以获取所述声场模型,使得所述声场模型中每个接收者根据所述接收者对应的环境的特征参数和所述接收者的特征参数与所述声源子声场中的部分声源建立匹配关系;或者使得所述声场模型中每个接收者根据所述接收者对应的环境的特征参数、所述接收者的特征参数和编辑信息,与所述声源子声场中的部分声源建立匹配关系。
18、在一种可能的实施方式中,所述根据所述声场模型,分别选取与所述虚拟环境中每个接收者匹配的音频信息,包括:
19、根据所述声场模型,分别选取与所述虚拟环境中每个接收者匹配的声音数据,以及所述声音数据对应的第一渲染参数;并分别根据每个接收者对应的声音数据和第一渲染参数,获取所述每个接收者对应的音频信息;其中,所述音频信息中包括与所述声音数据对应的音频信号,以及分别与所述第一渲染参数对应的元数据。
20、在一种可能的实施方式中,所述声场模型,分别选取与所述虚拟环境中每个接收者匹配的音频信息,包括:
21、根据所述声场模型,分别选取与所述虚拟环境中每个接收者匹配的声音数据,以及所述声音数据对应的第一渲染参数和第二渲染参数;并分别根据每个接收者对应的声音数据、第一渲染参数和第二渲染参数,获取所述每个接收者对应的音频信息;其中,所述音频信息中包括与所述声音数据对应的音频信号,以及分别与所述第一渲染参数和第二渲染参数对应的元数据。
22、在一种可能的实施方式中,所述第一渲染参数包括如下一种或者几种组合:声源位置、声源指向性、接收者位置、接收者朝向、虚拟源位置、虚拟环境空间大小,虚拟环境墙壁反射系数、吸声系数、声屏障、隔音系数、空气吸收系数、环境温度、环境湿度、频响曲线、相位曲线、灵敏度曲线、扬声器阵列的布局方式和扬声器个数。
23、在一种可能的实施方式中,所述编辑信息包括如下一种或者几种组合:增益调整、均衡调整、滤波、语音强化、声源重定位、背景化和变调;
24、则所述第二渲染参数包括如下一种或者几种组合:
25、声源增益调整、声源均衡调整、声源滤波调整、声源频域强化调整、声源重定位调整、声源频域背景化调整和声源变调调整。
26、在一种可能的实施方式中,所述声源的特征参数包括:声音数据、声源位置、声源形状、声源指向性、声源运动速度、声场传播范围、时频特性和声源内容。
27、在一种可能的实施方式中,所述根据所述环境特征参数,建立传播环境子声场,包括:
28、确定所述虚拟环境的三维环境信息和所述虚拟环境中物体的组成材质信息;
29、根据所述虚拟环境中物体的组成材质信息,确定所述虚拟环境中物体对声音传播的第一影响的参数;其中,所述第一影响的参数包括反射率、散射率和/或吸收率;
30、根据所述虚拟环境的三维环境信息、以及所述虚拟环境中物体的组成材质信息对应的第一影响的参数,建立所述传播环境子声场。
31、在一种可能的实施方式中,还包括:根据所述虚拟环境中环境湿度和/或环境温度,获取所述虚拟环境中的传播介质对声音传播的第二影响的参数;其中,所述第二影响的参数包括阻尼和衰减;
32、则所述根据所述虚拟环境的三维环境信息、以及所述虚拟环境中物体的组成材质信息对应的第一影响的参数,建立所述传播环境子声场,包括:
33、根据所述虚拟环境的三维环境信息、所述虚拟环境中物体的组成材质信息对应的第一影响的参数,以及所述传播介质对应第二影响的参数,建立所述传播环境子声场。
34、在一种可能的实施方式中,所述根据所述接收者的特征参数,建立接收者子声场,包括:
35、根据获取的所述虚拟环境中每个接收者的三维信息的特征参数,或者每个接收者的三维信息的特征参数和设备特征参数,建立所述接收者子声场;
36、其中,所述三维信息的特征参数包括如下一种或者几种的组合:接收者位置和接收者声音接收范围,所述设备特征参数包括如下一种或者几种的组合:频响曲线、相位曲线、灵敏度曲线、扬声器阵列的布局方式和扬声器个数。
37、在一种可能的实施方式中,还包括:获取所述虚拟环境中每个接收者对声音偏好的特征参数;
38、则所述根据获取的所述虚拟环境中每个接收者的三维信息的特征参数,或者每个接收者的三维信息的特征参数和设备特征参数,建立所述接收者子声场,包括:
39、根据获取的所述虚拟环境中每个接收者的三维信息的特征参数以及每个接收者对声音偏好的特征参数,或者每个接收者的三维信息的特征参数和设备特征参数,以及每个接收者对声音偏好的特征参数,建立所述接收者子声场;
40、其中,所述声音偏好的特征参数包括如下一种或者几种的组合:接收者心理声学偏好、接收者声源偏好和接收者内容偏好。
41、第二方面,本技术提供另一种音频信息的处理方法,包括:
42、接收服务器下发的与客户端对应的接收者的音频信息;所述音频信息包括音频信号,以及所述音频信号对应的元数据;
43、对于每个音频信息,根据所述音频信息中的元数据,对所述音频信息中音频信号进行空间渲染处理,以获取所述音频信息对应的空间音频信号;
44、将每个音频信息对应的空间音频信号进行混音处理,以获取并播放对应的输出数据;
45、其中,所述音频信息是所述服务器根据声场模型,与所述虚拟环境中每个接收者进行匹配得到的,所述声场模型是根据所述虚拟环境中的声源的特征参数、环境特征参数和接收者的特征参数建立的。
46、本技术实施例提供的方法,可以接收服务器下发的与客户端对应的接收者的音频信息;音频信息包括音频信号,以及音频信号对应的元数据;其中,音频信息是服务器根据声场模型,与虚拟环境中每个接收者进行匹配得到的,声场模型是根据虚拟环境中的声源的特征参数、环境特征参数和接收者的特征参数建立的;对于每个音频信息,根据音频信息中的元数据,对音频信息中音频信号进行环境渲染和空间渲染处理,以获取音频信息对应的具有环境声学效果的空间音频信号;并将每个音频信息对应的处理后的音频信号进行混音处理,以获取并播放对应的输出数据。通过这样的设置,根据音频信息中的元数据,对音频信息中音频信号进行环境渲染和空间渲染处理之后,可以使处理后的音频信号充分考虑到传播环境对声音传递的影响,并且具备空间特性,即具备方向感和距离感。接收者听到渲染后的音频信号后即可感受到声音的来源方位和大致距离,即使处于虚拟环境也能够体验到与真实空间相适配的声音特点,提高了接收者在虚拟环境中的沉浸感和真实感。进一步的,考虑到对于每个接收者而言,一般需要同时接收多个声源传递的声音,因此,通过将每个音频信息对应的处理后的音频信号进行混音处理,可以使混音处理后的输出数据能够根据虚拟场景的特点产生适合的混响效果,与真实空间中声音的传递特点和接收者听感相适配,进一步提高了接收者在虚拟环境中的沉浸感和真实感。
47、在一种可能的实施方式中,所述根据所述音频信息中的元数据,对所述音频信息中音频信号进行空间渲染处理,以获取所述音频信息对应的空间音频信号,包括:
48、获取所述音频信息的元数据中与第二标签对应的元数据,并根据所述第二标签对应的元数据,对所述音频信号进行处理,以获取所述音频信息对应的空间音频信号;
49、其中,所述第二标签对应的元数据表示对空间渲染的元数据。
50、在一种可能的实施方式中,所述根据所述音频信息中的元数据,对所述音频信息中音频信号进行空间渲染处理,以获取所述音频信息对应的空间音频信号,包括:
51、根据所述音频信息中元数据,对所述音频信息中音频信号进行环境渲染和空间渲染处理,以获取所述音频信息对应的具有环境声学效果的空间音频信号。
52、在一种可能的实施方式中,所述根据所述音频信息中的元数据,对所述音频信息中音频信号进行环境渲染和空间渲染处理,以获取所述音频信息对应的具有环境声学效果的空间音频信号,包括:
53、获取所述音频信息的元数据中与第一标签对应的元数据,并根据所述第一标签对应的元数据对所述音频信号进行处理,获取一级音频信号和对应的元数据;
54、获取所述音频信息的元数据中与第二标签对应的元数据,并根据所述第二标签对应的元数据,以及所述一级音频信号对应的元数据,对所述一级音频信号进行处理,获取具有环境声学效果的空间音频信号;
55、其中,所述第一标签对应的元数据表示对环境渲染的元数据;所述第二标签对应的元数据表示对空间渲染的元数据。
56、在一种可能的实施方式中,还包括:
57、向所述服务器发送编辑信息,或者接收客户端对应的接收者输入的编辑信息;
58、则所述根据所述音频信息中的元数据,对所述音频信息中音频信号进行环境渲染和空间渲染处理,以获取所述音频信息对应的具有环境声学效果的空间音频信号,包括:
59、对于每个音频信息,根据所述音频信息中的元数据,对所述音频信息中音频信号进行音频编辑、环境渲染和空间渲染处理,或者进行环境渲染、音频编辑和空间渲染处理,以获取所述音频信息对应的具有环境声学效果的空间音频信号。
60、在一种可能的实施方式中,所述根据所述音频信息中的元数据,对所述音频信息中音频信号进行音频编辑、环境渲染和空间渲染处理,或者进行环境渲染、音频编辑和空间渲染处理,以获取所述音频信息对应的具有环境声学效果的空间音频信号,包括:
61、获取所述音频信息的元数据中与第三标签对应的元数据,并根据所述第三标签对应的元数据对所述音频信号进行处理,获取一级音频信号和对应的元数据;
62、获取所述音频信息的元数据中与第一标签对应的元数据,并根据所述第一标签对应的元数据对所述一级音频信号进行处理,获取二级音频信号和对应的元数据;
63、获取所述音频信息的元数据中与第二标签对应的元数据,并根据所述第二标签对应的元数据,以及所述二级音频信号对应的元数据,对所述二级音频信号进行处理,获取具有环境声学效果的空间音频信号;
64、其中,所述第一标签对应的元数据表示对环境渲染的元数据;所述第二标签对应的元数据表示对空间渲染的元数据;所述第三标签对应的元数据表示对音频编辑的元数据。
65、在一种可能的实施方式中,所述根据所述音频信息中的元数据,对所述音频信息中音频信号进行音频编辑、环境渲染和空间渲染处理,或者进行环境渲染、音频编辑和空间渲染处理,以获取所述音频信息对应的具有环境声学效果的空间音频信号,包括:
66、获取所述音频信息的元数据中与第一标签对应的元数据,并根据所述第一标签对应的元数据对所述音频信号进行处理,获取一级音频信号和对应的元数据;
67、获取所述音频信息的元数据中与第三标签对应的元数据,并根据所述第三标签对应的元数据对所述一级音频信号进行处理,获取二级音频信号和对应的元数据;
68、获取所述音频信息的元数据中与第二标签对应的元数据,并根据所述第二标签对应的元数据,以及所述二级音频信号对应的元数据,对所述二级音频信号进行处理,获取具有环境声学效果的空间音频信号;
69、其中,所述第一标签对应的元数据表示对环境渲染的元数据;所述第二标签对应的元数据表示对空间渲染的元数据;所述第三标签对应的元数据表示对音频编辑的元数据。
70、在一种可能的实施方式中,根据所述第一标签对应的元数据对所述音频信号或者一级音频信号进行处理,获取一级音频信号和对应的元数据,或者获取二级音频信号和对应的元数据,包括:
71、根据所述第一标签对应的元数据,获取所述音频信号或者一级音频信号中的直达声信号和所述直达声信号对应的元数据,所述音频信号或者一级音频信号中的前期反射声信号和所述前期反射声信号对应的元数据,所述音频信号或者一级音频信号中的后期反射声和所述后期反射声信号对应的元数据;
72、根据所述直达声信号、前期反射声信号和后期反射声信号确定一级音频信号或者二级音频信号;
73、根据所述直达声信号对应的元数据、所述前期反射声信号对应的元数据和所述后期反射声信号对应的元数据,确定所述一级音频信号对应的元数据或者二级音频信号对应的元数据。
74、在一种可能的实施方式中,还包括:
75、获取所述客户端对应的接收者的特征参数,并将所述特征参数上报给所述服务器;
76、其中,所述接收者的特征参数包括:接收者的三维信息的特征参数和接收者的设备特征参数,或者所述接收者的三维信息的特征参数、接收者的设备特征参数和接收者对声音偏好的特征参数。
77、在一种可能的实施方式中,所述第三标签对应的元数据表示对音频自身编辑的元数据,包括如下一种或者几种组合:声源增益调整、声源均衡调整、声源滤波调整、声源频域强化调整、声源重定位调整、声源频域背景化调整和声源变调调整。
78、在一种可能的实施方式中,所述第一标签对应的元数据表示对环境渲染的元数据,包括如下一种或者几种组合:声源位置、声源指向性、虚拟源位置、虚拟环境空间大小,虚拟环境墙壁反射系数、吸声系数、声屏障、隔音系数、空气吸收系数、环境温度和环境湿度。
79、在一种可能的实施方式中,所述第二标签对应的元数据表示对空间渲染的元数据,包括如下一种或者几种组合:声源位置、声源指向性、接收者位置和接收者朝向。
80、在一种可能的实施方式中,所述空间渲染的元数据还包括:设备的声学特性参数元数据和设备的布局信息元数据,其中;
81、所述设备的声学特性参数元数据包括如下一种或者几种:频响曲线、相位曲线、灵敏度曲线;
82、所述设备的布局信息元数据包括如下一种或者几种:扬声器阵列的布局方式和扬声器个数。
83、在一种可能的实施方式中,所述获取所述音频信息的元数据中与第二标签对应的元数据,并根据所述第二标签对应的元数据,以及所述一级音频信号对应的元数据或者所述二级音频信号对应的元数据,对所述一级音频信号或者所述二级音频信号进行处理,获取具有环境声学效果的空间音频信号,包括:
84、获取所述音频信息的元数据中与第二标签对应的元数据,并根据所述第二标签对应的元数据,以及所述一级音频信号对应的元数据或者所述二级音频信号对应的元数据,对所述一级音频信号或者所述二级音频信号进行基于头相关传输函数进行的虚拟渲染处理,或者对所述一级音频信号或者所述二级音频信号进行pan和基于头相关传输函数进行的虚拟渲染处理,以获取具有环境声学效果的双耳空间音频信号;
85、或者,
86、获取所述音频信息的元数据中与第二标签对应的元数据,并根据所述第二标签对应的元数据,以及所述一级音频信号对应的元数据或者所述二级音频信号对应的元数据,对所述一级音频信号或者所述二级音频信号进行如下一种或者几种方式的组合方式进行处理:pan,波场合成技术、高阶ambisonics技术和波束成形技术,以获取具有环境声学效果的扬声器阵列的空间音频信号。
87、第三方面,本技术提供一种服务器,包括:
88、第一收发模块,用于获取虚拟环境中的声源的特征参数、环境特征参数和接收者的特征参数;根据所述声源的特征参数、环境特征参数和接收者的特征参数,建立声场模型;
89、第一处理模块,用于根据所述声场模型,分别选取与所述虚拟环境中每个接收者匹配的音频信息,并将所述音频信息发送给与所述接收者对应的客户端,以供所述客户端根据所述音频信息中的元数据,对所述音频信息中音频信号进行空间渲染处理,以获取并播放对应的输出数据;或者,并对每个接收者匹配的音频信息,根据所述音频信息中的元数据,对所述音频信息中音频信号进行空间渲染处理,以获取所述音频信息对应的空间音频信号,将每个音频信息对应的空间音频信号进行混音处理后得到的输出数据发送给客户端进行播放。
90、在一种可能的实施方式中,所述第一收发模块还用于:
91、根据所述声源的特征参数,建立声源子声场;
92、根据所述环境特征参数,建立传播环境子声场;
93、根据所述接收者的特征参数,建立接收者子声场;
94、根据所述声源子声场、传播环境子声场和接收者子声场,建立声场模型。
95、在一种可能的实施方式中,所述第一收发模块还用于:
96、获取客户端发送的编辑信息;
97、则所述根据所述接收者的特征参数,建立接收者子声场,包括:
98、根据所述接收者的特征参数以及所述编辑信息,建立接收者子声场。
99、在一种可能的实施方式中,所述第一处理模块还用于:
100、根据所述声源子声场、传播环境子声场,和所述接收者子声场,将所述声源子声场转换至所述接收者子声场,以获取所述声场模型,使得所述声场模型中每个接收者根据所述接收者对应的环境的特征参数和所述接收者的特征参数与所述声源子声场中的部分声源建立匹配关系;或者使得所述声场模型中每个接收者根据所述接收者对应的环境的特征参数、所述接收者的特征参数和编辑信息,与所述声源子声场中的部分声源建立匹配关系。
101、在一种可能的实施方式中,所述第一处理模块还用于:
102、根据所述声场模型,分别选取与所述虚拟环境中每个接收者匹配的声音数据,以及所述声音数据对应的第一渲染参数;并分别根据每个接收者对应的声音数据和第一渲染参数,获取所述每个接收者对应的音频信息;其中,所述音频信息中包括与所述声音数据对应的音频信号,以及与所述第一渲染参数对应的元数据。
103、在一种可能的实施方式中,所述第一处理模块还用于:
104、根据所述声场模型,分别选取与所述虚拟环境中每个接收者匹配的声音数据,以及所述声音数据对应的第一渲染参数和第二渲染参数;并分别根据每个接收者对应的声音数据、第一渲染参数和第二渲染参数,获取所述每个接收者对应的音频信息;其中,所述音频信息中包括与所述声音数据对应的音频信号,以及分别与所述第一渲染参数和第二渲染参数对应的元数据。
105、在一种可能的实施方式中,所述第一收发模块还用于:
106、确定所述虚拟环境的三维环境信息和所述虚拟环境中物体的组成材质信息;
107、根据所述虚拟环境中物体的组成材质信息,确定所述虚拟环境中物体对声音传播的第一影响的参数;其中,所述第一影响的参数包括反射率、散射率和/或吸收率;
108、根据所述虚拟环境的三维环境信息、以及所述虚拟环境中物体的组成材质信息对应的第一影响的参数,建立所述传播环境子声场。
109、在一种可能的实施方式中,所述第一收发模块还用于:根据所述虚拟环境中环境湿度和/或环境温度,获取所述虚拟环境中的传播介质对声音传播的第二影响的参数;其中,所述第二影响的参数包括阻尼和衰减;
110、则所述根据所述虚拟环境的三维环境信息、以及所述虚拟环境中物体的组成材质信息对应的第一影响的参数,建立所述传播环境子声场,包括:
111、根据所述虚拟环境的三维环境信息、所述虚拟环境中物体的组成材质信息对应的第一影响的参数,以及所述传播介质对应第二影响的参数,建立所述传播环境子声场。
112、在一种可能的实施方式中,所述第一收发模块还用于:
113、根据获取的所述虚拟环境中每个接收者的三维信息的特征参数,或者每个接收者的三维信息的特征参数和设备特征参数,建立所述接收者子声场;
114、其中,所述三维信息的特征参数包括如下一种或者几种的组合:接收者位置和接收者声音接收范围,所述设备特征参数包括如下一种或者几种的组合:频响曲线、相位曲线、灵敏度曲线、扬声器阵列的布局方式和扬声器个数。
115、在一种可能的实施方式中,所述第一收发模块还用于:
116、获取所述虚拟环境中每个接收者对声音偏好的特征参数;
117、则所述根据获取的所述虚拟环境中每个接收者的三维信息的特征参数,或者每个接收者的三维信息的特征参数和设备特征参数,建立所述接收者子声场,包括:
118、根据获取的所述虚拟环境中每个接收者的三维信息的特征参数以及每个接收者对声音偏好的特征参数,或者每个接收者的三维信息的特征参数和设备特征参数,以及每个接收者对声音偏好的特征参数,建立所述接收者子声场;
119、其中,所述声音偏好的特征参数包括如下一种或者几种的组合:接收者心理声学偏好、接收者声源偏好和接收者内容偏好。
120、第四方面,本技术提供一种客户端,包括:
121、第二收发模块,用于接收服务器下发的与客户端对应的接收者的音频信息;所述音频信息包括音频信号,以及所述音频信号对应的元数据;其中,所述音频信息是所述服务器根据声场模型,与所述虚拟环境中每个接收者进行匹配得到的,所述声场模型是根据所述虚拟环境中的声源的特征参数、环境特征参数和接收者的特征参数建立的;
122、第二处理模块,用于对于每个音频信息,根据所述音频信息中的元数据,对所述音频信息中音频信号进行空间渲染处理,以获取所述音频信息对应的空间音频信号;将每个音频信息对应的空间音频信号进行混音处理,以获取并播放对应的输出数据。
123、在一种可能的实施方式中,所述第二处理模块还用于:
124、获取所述音频信息的元数据中与第二标签对应的元数据,并根据所述第二标签对应的元数据,对所述音频信号进行处理,以获取所述音频信息对应的空间音频信号;
125、其中,所述第二标签对应的元数据表示对空间渲染的元数据。
126、在一种可能的实施方式中,所述第二处理模块还用于:
127、根据所述音频信息中元数据,对所述音频信息中音频信号进行环境渲染和空间渲染处理,以获取所述音频信息对应的具有环境声学效果的空间音频信号。
128、在一种可能的实施方式中,所述第二处理模块还用于:
129、获取所述音频信息的元数据中与第一标签对应的元数据,并根据所述第一标签对应的元数据对所述音频信号进行处理,获取一级音频信号和对应的元数据;
130、获取所述音频信息的元数据中与第二标签对应的元数据,并根据所述第二标签对应的元数据,以及所述一级音频信号对应的元数据,对所述一级音频信号进行处理,获取具有环境声学效果的空间音频信号;
131、其中,所述第一标签对应的元数据表示对环境渲染的元数据;所述第二标签对应的元数据表示对空间渲染的元数据。
132、在一种可能的实施方式中,所述第二收发模块还用于:
133、向所述服务器发送编辑信息,或者接收客户端对应的接收者输入的编辑信息;
134、则所述第二处理模块还用于:
135、对于每个音频信息,根据所述音频信息中的元数据,对所述音频信息中音频信号进行音频编辑、环境渲染和空间渲染处理,或者进行环境渲染、音频编辑和空间渲染处理,以获取所述音频信息对应的具有环境声学效果的空间音频信号。
136、在一种可能的实施方式中,所述第二处理模块还用于:
137、获取所述音频信息的元数据中与第三标签对应的元数据,并根据所述第三标签对应的元数据对所述音频信号进行处理,获取一级音频信号和对应的元数据;
138、获取所述音频信息的元数据中与第一标签对应的元数据,并根据所述第一标签对应的元数据对所述一级音频信号进行处理,获取二级音频信号和对应的元数据;
139、获取所述音频信息的元数据中与第二标签对应的元数据,并根据所述第二标签对应的元数据,以及所述二级音频信号对应的元数据,对所述二级音频信号进行处理,获取具有环境声学效果的空间音频信号;
140、其中,所述第一标签对应的元数据表示对环境渲染的元数据;所述第二标签对应的元数据表示对空间渲染的元数据;所述第三标签对应的元数据表示对音频编辑的元数据。
141、在一种可能的实施方式中,所述第二处理模块还用于:
142、获取所述音频信息的元数据中与第一标签对应的元数据,并根据所述第一标签对应的元数据对所述音频信号进行处理,获取一级音频信号和对应的元数据;
143、获取所述音频信息的元数据中与第三标签对应的元数据,并根据所述第三标签对应的元数据对所述一级音频信号进行处理,获取二级音频信号和对应的元数据;
144、获取所述音频信息的元数据中与第二标签对应的元数据,并根据所述第二标签对应的元数据,以及所述二级音频信号对应的元数据,对所述二级音频信号进行处理,获取具有环境声学效果的空间音频信号;
145、其中,所述第一标签对应的元数据表示对环境渲染的元数据;所述第二标签对应的元数据表示对空间渲染的元数据;所述第三标签对应的元数据表示对音频编辑的元数据。
146、在一种可能的实施方式中,所述第二处理模块还用于:
147、根据所述第一标签对应的元数据,获取所述音频信号或者一级音频信号中的直达声信号和所述直达声信号对应的元数据,所述音频信号或者一级音频信号中的前期反射声信号和所述前期反射声信号对应的元数据,所述音频信号或者一级音频信号中的后期反射声和所述后期反射声信号对应的元数据;
148、根据所述直达声信号、前期反射声信号和后期反射声信号确定一级音频信号或者二级音频信号;
149、根据所述直达声信号对应的元数据、所述前期反射声信号对应的元数据和所述后期反射声信号对应的元数据,确定所述一级音频信号对应的元数据或者二级音频信号对应的元数据。
150、在一种可能的实施方式中,所述第二收发模块还用于:
151、获取所述客户端对应的接收者的特征参数,并将所述特征参数上报给所述服务器;
152、其中,所述接收者的特征参数包括:所述接收者的三维信息的特征参数,或者所述接收者的三维信息的特征参数和接收者对声音偏好的特征参数,或者所述接收者的三维信息的特征参数和接收者的设备特征参数,或者所述接收者的三维信息的特征参数、接收者的设备特征参数和接收者对声音偏好的特征参数。
153、在一种可能的实施方式中,所述第二处理模块还用于:
154、获取所述音频信息的元数据中与第二标签对应的元数据,并根据所述第二标签对应的元数据,以及所述一级音频信号对应的元数据或者所述二级音频信号对应的元数据,对所述一级音频信号或者所述二级音频信号进行基于头相关传输函数进行的虚拟渲染处理,或者对所述一级音频信号或者所述二级音频信号进行pan和基于头相关传输函数进行的虚拟渲染处理,以获取具有环境声学效果的双耳空间音频信号;
155、或者,
156、获取所述音频信息的元数据中与第二标签对应的元数据,并根据所述第二标签对应的元数据,以及所述一级音频信号对应的元数据或者所述二级音频信号对应的元数据,对所述一级音频信号或者所述二级音频信号进行如下一种或者几种方式的组合方式进行处理:pan,波场合成技术、高阶ambisonics技术和波束成形技术,以获取具有环境声学效果的扬声器阵列的空间音频信号。
157、第五方面,本技术提供一种分布式音视频制作系统,包括:服务器和客户端,所述服务器执行时用于实现如第一方面中任一项所述的方法;所述客户端执行时用于实现如第二方面中任一项所述的方法。
158、第六方面,本技术提供一种服务器,包括:处理器,以及与所述处理器通信连接的存储器;
159、所述存储器存储计算机执行指令;
160、所述处理器执行所述存储器存储的计算机执行指令,以实现上述第一方面中任一项所述的方法。
161、第七方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现上述第一方面中任一项所述的方法。
162、第八方面,本技术提供一种客户端,包括:处理器,以及与所述处理器通信连接的存储器;
163、所述存储器存储计算机执行指令;
164、所述处理器执行所述存储器存储的计算机执行指令,以实现上述第二方面中任一项所述的方法。
165、第九方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现上述第二方面中任一项所述的方法。
本文地址:https://www.jishuxx.com/zhuanli/20240618/21070.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。
下一篇
返回列表