一种处理多声道音频信号的方法、装置和系统与流程
- 国知局
- 2024-06-21 10:38:21
本发明涉及音频编解码,特别涉及一种处理多声道音频信号的方法、装置和系统。
背景技术:
1、在音频通信中,为了增加通信系统的容量,通常在发送端对被传输的原始的每帧音频信号先编码再进行传输,通过编码实现了对音频信号的压缩,当接收端接收到信号后,对接收到的信号解码,然后恢复出原始音频信号。其中,为了实现对音频信号的最大化压缩,针对不同类型的音频信号,采用不同类型的编码方式。现有技术中,当音频信号为语音信号时,通常采用连续编码的方式,即分别对每帧语音信号编码,当音频信号为噪声信号时,通常采用非连续编码的方式对噪声信号编码,即每隔若干帧的噪声信号对一帧噪声信号编码,例如每隔六帧对噪声信号编码,对第一帧噪声信号编码后,则不再对第二帧至第七帧噪声信号编码,然后对第八帧噪声信号编码,在该第二帧到第七帧分别为六个no_data帧。具体的,上述音频信号指的是单声道的音频信号。
2、随着音频通信技术的发展,在音频通信系统中还有一种特别的通信方式:立体声通信,以立体声通信为双声道通信为例,其中双声道包括第一声道和第二声道,发送端根据第一声道的第n帧语音信号和第二声道中的第n帧语音信号,得到用于将第一声道的第n帧语音信号和第二声道中的第n帧语音信号混合为一帧下混信号的立体声参数后,其中,下混信号为单通道信号,然后,发送端将双声道中的第n帧语音信号混合为一帧下混信号,n为大于零的正整数,再对该帧下混信号编码,最后将编码后的下混信号和立体声参数发送到接收端,接收端在接收到编码后的下混信号和立体声参数后,对编码后的下混信号解码,然后根据立体声参数将下混信号还原为双声道信号,这种传输方式与分别对双声道中的每帧语音信号都编码相比,大大降低了传输的比特数,从而达到了压缩的目的。
3、但是,当在立体声通信中,传输的是噪声信号时,采用的还是与语音信号相同的编码方式,若直接将单声道中非连续编码的方式应用在在立体声通信中,则在接收端不能将噪声信号还原,导致接收端的用户主观体验变差。
技术实现思路
1、本发明提供一种处理多声道音频信号的方法、装置和系统,用以解决现有技术中多声道音频通信系统不能非连续传输音频信号的问题。
2、第一方面,提供了一种处理多声道音频信号的方法,包括:编码器检测第n帧下混信号中是否包含语音信号,在检测到第n帧下混信号中包含语音信号时,对第n帧下混信号编码;在检测到第n帧下混信号中不包含语音信号时:若确定第n帧下混信号满足预设的音频帧编码条件,则对第n帧下混信号编码;若确定第n帧下混信号不满足预设的音频帧编码条件,则不对第n帧下混信号编码;其中,第n帧下混信号是由多声道中两个声道的第n帧音频信号基于预定第一算法混合后得到的,n为大于零的正整数。
3、由于编码器只有在下混信号中包含语音信号或者下混信号满足预设的音频帧编码条件时,才对下混信号编码,否则不对下混信号编码,从而使得编码器实现了对下混信号的非连续编码,提高了对下混信号的压缩效率。
4、需要说明的是,在本发明实施例中,预设的音频帧编码条件中包括第一帧下混信号,也就是说,在第一帧下混信号中不包含语音信号时,第一帧下混信号满足预设的音频帧编码条件,对第一帧下混信号编码。
5、在第一方面的基础上,为更大程度实现对下混信号的压缩效率,可选的,编码器在检测到第n帧下混信号中包含语音信号时,根据预设的语音帧编码速率对第n帧下混信号编码;在检测到第n帧下混信号中不包含语音信号时:若确定第n帧下混信号满足预设的语音帧编码条件,则根据预设的语音帧编码速率对第n帧下混信号编码;若确定第n帧下混信号不满足预设的语音帧编码条件、但满足预设的sid编码条件,则根据预设的sid编码速率对第n帧下混信号编码;其中,sid编码速率小于语音帧编码速率。
6、应理解,在具体实现时,若确定第n帧下混信号不满足预设的语音帧编码条件、但满足预设的sid编码条件,则预设的sid编码速率对第n帧下混信号进行sid编码,与语音信号编码相比,进一步提高了下混信号的压缩效率。此外,需要说明的是,在第一方面以及上述技术方案中,为了避免解码器无法将下混信号还原,还需将立体声参数集合编码。
7、在第一方面的基础上,为了再进一步提高多声道通信系统的压缩效率,可选的,编码器对立体声参数集合进行非连续编码,具体的,编码器根据第n帧音频信号,得到第n帧立体声参数集合,在检测到第n帧下混信号中包含语音信号时,则对第n帧立体声参数集合编码;在检测到第n帧下混信号中不包含语音信号时:若确定第n帧立体声参数集合满足预设的立体声参数编码条件,则对第n帧立体声参数集合中的至少一个立体声参数编码;若确定第n帧立体声参数集合不满足预设的立体声参数编码条件,则不对立体声参数集合编码;其中,第n帧立体声参数集合中包括z个立体声参数,z个立体声参数包括编码器基于预定算法对第n帧音频信号混合时所用到的参数,z为大于零的正整数。
8、在第一方面的基础上,可选的,为了更进一步提高多声道通信系统的压缩效率,编码器在对第n帧立体声参数集合中的至少一个立体声参数编码前,根据第n帧立体声参数集合中的z个立体声参数,按照预设的立体声参数降维规则,得到x个目标立体声参数,然后再对x个目标立体声参数编码,其中,x为大于零且小于等于z的正整数。
9、其中,预设的立体声参数降维规则可以为预设的立体声参数类型,即从第n帧立体声参数集合中选出符合预设的立体声参数类型的x个立体声参数,或者,预设的立体声参数降维规则为预设的立体声参数个数,即从第n帧立体声参数集合中选出x个立体声参数,或者,预设的立体声参数降维规则为针对第n帧立体声参数集合中至少一个立体声参数降低在时域或频域的分辨率,即按照降低后的至少一个立体声参数在时域或频域的分辨率,基于z个立体声参数确定出x个目标立体声参数。
10、在第一方面的基础上,可选的,还可通过下述方法,提高多声道通信系统的压缩效率:
11、编码器在检测到第n帧音频信号包含语音信号时:根据第n帧音频信号,基于第一立体声参数集合生成方式,得到第n帧立体声参数集合,并对第n帧立体声参数集合编码;在检测到第n帧音频信号不包含语音信号时:若确定第n帧音频信号满足预设的语音帧编码条件,则根据第n帧音频信号,基于第一立体声参数集合生成方式,得到第n帧立体声参数集合,并对第n帧立体声参数集合编码;若确定第n帧音频信号不满足预设的语音帧编码条件,则根据第n帧音频信号,基于第二立体声参数集合生成方式,得到第n帧立体声参数集合,并在确定第n帧立体声参数集合满足预设的立体声参数编码条件时,对第n帧立体声参数集合中的至少一个立体声参数编码;在确定第n帧立体声参数集合不满足预设的立体声参数编码条件时,不对立体声参数集合编码;
12、其中,第一立体声参数集合生成方式和第二立体声参数集合生成方式满足下列至少一个条件:
13、第一立体声参数集合生成方式规定的立体声参数集合中包括的立体声参数类型的个数不少于第二立体声参数集合生成方式规定的立体声参数集合中包括的立体声参数类型的个数,第一立体声参数集合生成方式规定的立体声参数集合中包括的立体声参数的个数不少于第二立体声参数集合生成方式规定的立体声参数集合中包括的立体声参数的个数,第一立体声参数集合生成方式规定的立体声参数在时域的分辨率不低于第二立体声参数集合生成方式规定的对应的立体声参数在时域的分辨率,第一立体声参数集合生成方式规定的立体声参数在频域的分辨率不低于第二立体声参数集合生成方式规定的对应的立体声参数在频域的分辨率。
14、在第一方面的基础上,可选的,编码器在第n帧下混信号中包含语音信号时,根据第一编码方式对第n帧立体声参数集合编码;在第n帧下混信号满足语音帧编码条件时,根据第一编码方式对第n帧立体声参数集合中的至少一个立体声参数编码;在第n帧下混信号不满足语音帧编码条件时,根据第二编码方式对第n帧立体声参数集合中的至少一个立体声参数编码;
15、其中,第一编码方式规定的编码速率不小于第二编码方式规定的编码速率;和/或,针对所述第n帧立体声参数集合中的任一立体声参数,第一编码方式规定的量化精度不低于第二编码方式规定的量化精度。
16、例如,第n帧立体声参数集合中包括ipd和itd,第一编码方式中规定的ipd的量化精度不低于第二编码方式中规定的ipd的量化精度,第一编码方式中规定的itd的量化精度不低于第二编码方式中规定的itd的量化精度。
17、在第一方面的基础上,可选的,通常情况下,若第n帧立体声参数集合中的至少一个立体声参数包括:声道间电平差ild;预设立体声参数编码条件中包括:dl≥d0;
18、其中,dl表示ild与第一标准的偏离程度,第一标准是根据第n帧立体声参数集合之前的t帧立体声参数集合,基于预定第二算法确定的,t为大于0的正整数;
19、若第n帧立体声参数集合中的至少一个立体声参数包括:声道间时间差itd;预设立体声参数编码条件中包括:dt≥d1;
20、其中,dt表示itd与第二标准的偏离程度,第二标准是根据第n帧立体声参数集合之前的t帧立体声参数集合,基于预定第三算法确定的,t为大于0的正整数;
21、若第n帧立体声参数集合中的至少一个立体声参数包括:声道间相位差ipd;预设立体声参数编码条件中包括:dp≥d2;
22、其中,dp表示ipd与第三标准的偏离程度,第三标准是根据第n帧立体声参数集合之前的t帧立体声参数集合,基于预定第四算法确定的,t为大于0的正整数。
23、其中,第二算法、第三算法以及第四算法是根据实际情况需要预先设置的。
24、可选的,dl、dt、dp分别满足下列表达式:
25、
26、
27、
28、其中,ild(m)为两声道分别在第m个子频带传输第n帧音频信号时的电平差值,m为传输第n帧音频信号所占用的子频带的总个数,为在第n帧之前的t帧立体声参数集合中在第m个子频带的ild的平均值,t为大于0的正整数,ild[-t](m)为两声道分别在第m个子频带传输第n帧音频信号之前的第t帧音频信号时的电平差值,itd为两声道分别传输第n帧音频信号时的时间差值,为在第n帧之前的t帧立体声参数集合中的itd的平均值,itd[-t]为两声道分别传输第n帧音频信号之前的第t帧音频信号时的时间差值,ipd(m)为两声道分别在第m个子频带传输第n帧音频信号中的部分音频信号时的相位差值,为在第n帧之前的t帧立体声参数集合中在第m个子频带的ipd的平均值,ipd[-t](m)为两声道分别在第m个子频带传输第n帧音频信号之前的第t帧音频信号时的相位差值。
29、第二方面,提供了一种处理多声道音频信号的方法,包括:解码器接收到码流,码流包括至少两个帧,至少两个帧中存在至少一个第一类型帧和至少一个第二类型帧,第一类型帧中包含下混信号,第二类型帧中不包含下混信号;针对第n帧码流,n为大于1的正整数:解码器若确定第n帧码流为第一类型帧,则对第n帧码流解码,得到第n帧下混信号;解码器若确定第n帧码流为第二类型帧,则根据预设第一规则,从第n帧下混信号之前的至少一帧下混信号中,确定m帧下混信号,并根据m帧下混信号,基于预定第一算法,得到第n帧下混信号,m为大于零的正整数;其中,第n帧下混信号是编码器由多声道中两个声道的第n帧音频信号基于预定第二算法混合后得到的。
30、由于解码器接收到的码流中包括第一类型帧和第二类型帧,其中第一类型帧中包括下混信号,第二类型帧中不包括下混信号,也就是说,在编码器并非对每帧下混信号都进行了编码,从而实现了下混信号的非连续传输,提高了多声道音频通信系统下混信号的压缩效率。
31、需要说明的是,在本发明实施例中,第一帧码流为第一类型帧,具体的,为了在解码第一帧码流后,将得到的下混信号还原为两声道中的音频信号,在第一帧码流中还需要包括立体声参数集合。具体的,由于第一类型帧中包含下混信号,第二类型帧中不包含下混信号,因此,第一类型帧的大小大于第二类型帧的大小,解码器可以通过根据第n帧码流的大小来判断第n帧码流为第一类型帧还是第二类型帧,此外,还可以在第n帧码流中封装标识位,解码器在对第n帧码流部分解码后得到标识位,若标识位指示第n帧码流为第一类型帧,则解码器对第n帧码流解码得到第n帧下混信号;若标识位指示第n帧码流为第二类型帧,则解码器根据预定第一算法得到第n帧下混信号。
32、在第二方面的基础上,为了将下混信号还原为两声道中的音频信号,保证音频信号的通信质量,可选的,第一类型帧中包含下混信号和立体声参数集合,第二类型帧中包含立体声参数集合且不包含下混信号:解码器若确定第n帧码流为第一类型帧,则对第n帧码流解码之后,在得到第n帧下混信号的同时,还得到第n帧立体声参数集合,并根据第n帧立体声参数集合中的至少一个立体声参数,基于预定第三算法,将第n帧下混信号还原为第n帧音频信号;解码器若确定第n帧码流为第二类型帧,则对第n帧码流解码,得到第n帧立体声参数集合,以及基于预定第一算法,得到第n帧下混信号,然后解码器根据第n帧立体声参数集合中的至少一个立体声参数,基于预定第三算法,将第n帧下混信号还原为第n帧音频信号。
33、在第二方面的基础上,为了将下混信号还原为两声道中的音频信号,保证音频信号的通信质量,可选的,第一类型帧中包含下混信号和立体声参数集合,第二类型帧中不包含下混信号且不包含立体声参数集合;解码器若确定第n帧码流为第一类型帧,则对第n帧码流解码,在得到第n帧下混信号的同时,还得到第n帧立体声参数集合;然后,根据第n帧立体声参数集合中的至少一个立体声参数,基于第三算法,将第n帧下混信号还原为第n帧音频信号;解码器若确定第n帧码流为第二类型帧,则基于预定第一算法得到第n帧下混信号,以及根据预设第二规则,从第n帧立体声参数集合之前的至少一帧立体声参数集合中,确定k帧立体声参数集合,并根据k帧立体声参数集合,基于预定第四算法,得到第n帧立体声参数集合,然后,根据第n帧立体声参数集合中的至少一个立体声参数,基于第三算法,将第n帧下混信号还原为第n帧音频信号,k为大于零的正整数。
34、在第二方面的基础上,为了将下混信号还原为两声道中的音频信号,保证音频信号的通信质量,可选的,第一类型帧中包含下混信号和立体声参数集合,第三类型帧中包含立体声参数集合且不包含下混信号,第四类型帧中不包含下混信号且不包含立体声参数集合,第三类型帧和第四类型帧分别为第二类型帧的一种情况:
35、解码器若确定第n帧码流为第一类型帧,则对第n帧码流解码,在得到第n帧下混信号的同时,还得到第n帧立体声参数集合,并根据第n帧立体声参数集合中的至少一个立体声参数,基于第三算法,将第n帧下混信号还原为第n帧音频信号。
36、解码器若确定第n帧码流为第二类型帧,包括两种情况:
37、当第n帧码流为第三类型帧时,则对第n帧码流解码,得到第n帧立体声参数集合,以及基于预定第一算法得到第n帧下混信号,并根据第n帧立体声参数集合中的至少一个立体声参数,基于第三算法,将第n帧下混信号还原为第n帧音频信号;
38、当第n帧码流为第四类型帧时,则根据预设第二规则,从第n帧立体声参数集合之前的至少一帧立体声参数集合中,确定k帧立体声参数集合,并根据k帧立体声参数集合,基于预定第四算法,得到第n帧立体声参数集合,k为大于零的正整数,以及基于预定第一算法得到第n帧下混信号,并根据第n帧立体声参数集合中的至少一个立体声参数,基于第三算法,将第n帧下混信号还原为第n帧音频信号。
39、在第二方面的基础上,为了将下混信号还原为两声道中的音频信号,保证音频信号的通信质量,可选的,第五类型帧中包含下混信号和立体声参数集合,第六类型帧中包含下混信号且不包含立体声参数集合,第五类型帧和第六类型帧分别为第一类型帧的一种情况,第二类型帧中不包含下混信号且不包含立体声参数集合:
40、解码器若确定第n帧码流为第一类型帧,包括两种情况:
41、当第n帧码流为第五类型帧时,则对第n帧码流解码,在得到第n帧下混信号的同时,还得到第n帧立体声参数集合,并根据第n帧立体声参数集合中的至少一个立体声参数,基于第三算法,将第n帧下混信号还原为第n帧音频信号;
42、当第n帧码流为第六类型帧时,则对第n帧码流解码,得到第n帧下混信号,以及根据预设第二规则,从第n帧立体声参数集合之前的至少一帧立体声参数集合中,确定k帧立体声参数集合,并根据k帧立体声参数集合,基于预定第四算法,得到第n帧立体声参数集合,并根据第n帧立体声参数集合中的至少一个立体声参数,基于第三算法,将第n帧下混信号还原为第n帧音频信号;
43、解码器若确定第n帧码流为第二类型帧,则基于预定第一算法得到第n帧下混信号,以及根据预设第二规则,从第n帧立体声参数集合之前的至少一帧立体声参数集合中,确定k帧立体声参数集合,并根据k帧立体声参数集合,基于预定第四算法,得到第n帧立体声参数集合,并根据第n帧立体声参数集合中的至少一个立体声参数,基于第三算法,将第n帧下混信号还原为第n帧音频信号。
44、在第二方面的基础上,为了将下混信号还原为两声道中的音频信号,保证音频信号的通信质量,可选的,第五类型帧中包含下混信号和立体声参数集合,第六类型帧中包含下混信号且不包含立体声参数集合,第五类型帧和第六类型帧分别为第一类型帧的一种情况,第三类型帧中包含立体声参数集合且不包含下混信号,第四类型帧中不包含下混信号且不包含立体声参数集合,第三类型帧和第四类型帧分别为第二类型帧的一种情况:
45、解码器若确定第n帧码流为第一类型帧,包括两种情况:
46、当第n帧码流为第五类型帧时,则对第n帧码流解码之后,得到第n帧下混信号的同时,还得到第n帧立体声参数集合,并根据第n帧立体声参数集合中的至少一个立体声参数,基于第三算法,将第n帧下混信号还原为第n帧音频信号;
47、当第n帧码流为第六类型帧时,则对第n帧码流解码之后,得到第n帧下混信号,以及根据预设第二规则,从第n帧立体声参数集合之前的至少一帧立体声参数集合中,确定k帧立体声参数集合,并根据k帧立体声参数集合,基于预定第四算法,得到第n帧立体声参数集合,并根据第n帧立体声参数集合中的至少一个立体声参数,基于第三算法,将第n帧下混信号还原为第n帧音频信号;
48、解码器若确定第n帧码流为第二类型帧,包括两种情况:
49、当第n帧码流为第三类型帧时,则对第n帧码流解码,得到第n帧立体声参数集合,以及基于预定第一算法得到第n帧下混信号,并根据第n帧立体声参数集合中的至少一个立体声参数,基于第三算法,将第n帧下混信号还原为第n帧音频信号;
50、当第n帧码流为第四类型帧时,则根据预设第二规则,从第n帧立体声参数集合之前的至少一帧立体声参数集合中,确定k帧立体声参数集合,并根据k帧立体声参数集合,基于预定第四算法,得到第n帧立体声参数集合,k为大于零的正整数,以及基于预定第一算法得到第n帧下混信号,并根据第n帧立体声参数集合中的至少一个立体声参数,基于第三算法,将第n帧下混信号还原为第n帧音频信号。
51、第三方面,提供了一种编码器,包括:信号检测单元和信号编码单元,其中,信号检测单元用于检测第n帧下混信号中是否包含语音信号,第n帧下混信号是由多声道中两个声道的第n帧音频信号基于预定第一算法混合后得到的,n为大于零的正整数;信号编码单元用于在信号检测单元检测到第n帧下混信号中包含语音信号时,对第n帧下混信号编码,以及在信号检测单元检测到第n帧下混信号中不包含语音信号时:若信号检测单元确定第n帧下混信号满足预设的音频帧编码条件,则对第n帧下混信号编码;若信号检测单元确定第n帧下混信号不满足预设的音频帧编码条件,则不对第n帧下混信号编码。
52、在第三方面的基础上,可选的,信号编码单元包括第一信号编码单元和第二信号编码单元,在信号检测单元检测到第n帧下混信号中包含语音信号时,信号检测单元通知第一信号编码单元对第n帧下混信号编码;若信号检测单元确定第n帧下混信号满足预设的语音帧编码条件,则通知第一信号编码单元对第n帧下混信号编码,具体的,第一信号编码单元根据预设的语音帧编码速率对第n帧下混信号编码;若信号检测单元确定第n帧下混信号不满足预设的语音帧编码条件、但满足预设的静音插入帧sid编码条件,则通知第二信号编码单元对第n帧下混信号编码,具体的,第二信号编码单元根据预设的sid编码速率对第n帧下混信号编码;其中,sid编码速率不大于语音帧编码速率。
53、在第三方面的基础上,可选的,还包括参数生成单元、参数编码单元和参数检测单元,其中,参数生成单元用于根据第n帧音频信号,得到第n帧立体声参数集合,第n帧立体声参数集合中包括z个立体声参数,z个立体声参数包括编码器基于预定第一算法对第n帧音频信号混合时所用到的参数,z为大于零的正整数;参数编码单元用于在信号检测单元检测到第n帧下混信号中包含语音信号时,则对第n帧立体声参数集合编码,以及在信号检测单元检测到第n帧下混信号中不包含语音信号时:若参数检测单元确定第n帧立体声参数集合满足预设的立体声参数编码条件,则对第n帧立体声参数集合中的至少一个立体声参数编码;若参数检测单元确定第n帧立体声参数集合不满足预设的立体声参数编码条件,则不对立体声参数集合编码。
54、在第三方面的基础上,可选的,参数编码单元用于根据第n帧立体声参数集合中的z个立体声参数,按照预设的立体声参数降维规则,得到x个目标立体声参数,并对x个目标立体声参数编码,其中,x为大于零且小于等于z的正整数。
55、在第三方面的基础上,可选的,参数生成单元包括第一参数生成单元和第二参数生成单元;
56、信号检测单元检测到第n帧音频信号包含语音信号时或者信号检测单元检测到第n帧音频信号不包含语音信号、且第n帧音频信号满足预设的语音帧编码条件,通知第一参数生成单元生成第n帧立体声参数集合,具体的,第一参数生成单元根据第n帧音频信号,基于第一立体声参数集合生成方式,得到第n帧立体声参数集合,并通过参数编码单元对第n帧立体声参数集合编码,具体的,当参数编码单元包括第一参数编码单元和第二参数编码单元时,通过第一参数编码单元对第n帧立体声参数集合编码;其中,第一参数编码单元规定的编码方式为第一编码方式,第二参数编码单元规定的编码方式为第二编码方式,具体的,第一编码方式规定的编码速率不小于第二编码方式规定的编码速率;和/或,针对第n帧立体声参数集合中的任一立体声参数,第一编码方式规定的量化精度不低于第二编码方式规定的量化精度;
57、以及在信号检测单元检测到第n帧音频信号不包含语音信号时:第二参数生成单元根据第n帧音频信号,基于第二立体声参数集合生成方式,得到第n帧立体声参数集合,并在参数检测单元确定第n帧立体声参数集合满足预设的立体声参数编码条件时,通过参数编码单元对第n帧立体声参数集合中的至少一个立体声参数编码;具体的,当参数编码单元包括第一参数编码单元和第二参数编码单元时,通过第二参数编码单元对第n帧立体声参数集合中的至少一个立体声参数编码;
58、在参数检测单元确定第n帧立体声参数集合不满足预设的立体声参数编码条件时,不对立体声参数集合编码;
59、其中,第一立体声参数集合生成方式和第二立体声参数集合生成方式满足下列至少一个条件:
60、第一立体声参数集合生成方式规定的立体声参数集合中包括的立体声参数类型的个数不少于第二立体声参数集合生成方式规定的立体声参数集合中包括的立体声参数类型的个数,第一立体声参数集合生成方式规定的立体声参数集合中包括的立体声参数的个数不少于第二立体声参数集合生成方式规定的立体声参数集合中包括的立体声参数的个数,第一立体声参数集合生成方式规定的立体声参数在时域的分辨率不低于第二立体声参数集合生成方式规定的对应的立体声参数在时域的分辨率,第一立体声参数集合生成方式规定的立体声参数在频域的分辨率不低于第二立体声参数集合生成方式规定的对应的立体声参数在频域的分辨率。
61、在第三方面的基础上,可选的,参数编码单元包括第一参数编码单元和第二参数编码单元,具体的,第一参数编码单元用于在第n帧下混信号中包含语音信号以及在第n帧下混信号中不包含语音信号但满足语音帧编码条件时,根据第一编码方式对第n帧立体声参数集合编码;第二参数编码单元用于在第n帧下混信号不满足语音帧编码条件时,根据第二编码方式对第n帧立体声参数集合中的至少一个立体声参数编码;
62、其中,第一编码方式规定的编码速率不小于第二编码方式规定的编码速率;和/或,针对第n帧立体声参数集合中的任一立体声参数,第一编码方式规定的量化精度不低于第二编码方式规定的量化精度。
63、在第三方面的基础上,可选的,若第n帧立体声参数集合中的至少一个立体声参数包括:声道间电平差ild;预设立体声参数编码条件中包括:dl≥d0;
64、其中,dl表示ild与第一标准的偏离程度,第一标准是根据第n帧立体声参数集合之前的t帧立体声参数集合,基于预定第二算法确定的,t为大于0的正整数;
65、若第n帧立体声参数集合中的至少一个立体声参数包括:声道间时间差itd;预设立体声参数编码条件中包括:dt≥d1;
66、其中,dt表示itd与第二标准的偏离程度,第二标准是根据第n帧立体声参数集合之前的t帧立体声参数集合,基于预定第三算法确定的,t为大于0的正整数;
67、若第n帧立体声参数集合中的至少一个立体声参数包括:声道间相位差ipd;预设立体声参数编码条件中包括:dp≥d2;
68、其中,dp表示ipd与第三标准的偏离程度,第三标准是根据第n帧立体声参数集合之前的t帧立体声参数集合,基于预定第四算法确定的,t为大于0的正整数。
69、在第三方面的基础上,可选的,dl、dt、dp分别满足下列表达式:
70、
71、
72、
73、其中,ild(m)为两声道分别在第m个子频带传输第n帧音频信号时的电平差值,m为传输第n帧音频信号所占用的子频带的总个数,为在第n帧之前的t帧立体声参数集合中在第m个子频带的ild的平均值,t为大于0的正整数,ild[-t](m)为两声道分别在第m个子频带传输第n帧音频信号之前的第t帧音频信号时的电平差值,itd为两声道分别传输第n帧音频信号时的时间差值,为在第n帧之前的t帧立体声参数集合中的itd的平均值,itd[-t]为两声道分别传输第n帧音频信号之前的第t帧音频信号时的时间差值,ipd(m)为两声道分别在第m个子频带传输第n帧音频信号中的部分音频信号时的相位差值,为在第n帧之前的t帧立体声参数集合中在第m个子频带的ipd的平均值,ipd[-t](m)为两声道分别在第m个子频带传输第n帧音频信号之前的第t帧音频信号时的相位差值。
74、第四方面,提供了一种解码器,包括:接收单元和解码单元,其中,接收单元用于接收到码流,码流包括至少两个帧,至少两个帧中存在至少一个第一类型帧和至少一个第二类型帧,第一类型帧中包含下混信号,第二类型帧中不包含下混信号;针对第n帧码流,n为大于1的正整数,解码单元,用于:若确定第n帧码流为第一类型帧,则对第n帧码流解码,得到第n帧下混信号;若确定第n帧码流为第二类型帧,则根据预设第一规则,从第n帧下混信号之前的至少一帧下混信号中,确定m帧下混信号,并根据m帧下混信号,基于预定第一算法,得到第n帧下混信号,m为大于零的正整数;
75、其中,第n帧下混信号是编码器由多声道中两个声道的第n帧音频信号基于预定第二算法混合后得到的。
76、在第四方面的基础上,可选的,第一类型帧中包含下混信号和立体声参数集合,第二类型帧中包含立体声参数集合且不包含下混信号:
77、解码单元还用于若确定第n帧码流为第一类型帧,则对第n帧码流解码,在得到第n帧下混信号的同时,还得到第n帧立体声参数集合;若确定第n帧码流为第二类型帧,则对第n帧码流解码,得到第n帧立体声参数集合,第n帧立体声参数集合中的至少一个立体声参数用于解码器基于预定第三算法将第n帧下混信号还原为第n帧音频信号;
78、信号还原单元,用于根据第n帧立体声参数集合中的至少一个立体声参数,基于第三算法,将第n帧下混信号还原为第n帧音频信号。
79、在第四方面的基础上,可选的,第一类型帧中包含下混信号和立体声参数集合,第二类型帧中不包含下混信号且不包含立体声参数集合;
80、解码单元还用于若确定第n帧码流为第一类型帧,则对第n帧码流解码,在得到第n帧下混信号的同时,还得到第n帧立体声参数集合;若确定第n帧码流为第二类型帧,则根据预设第二规则,从第n帧立体声参数集合之前的至少一帧立体声参数集合中,确定k帧立体声参数集合,并根据k帧立体声参数集合,基于预定第四算法,得到第n帧立体声参数集合,k为大于零的正整数;
81、其中,第n帧立体声参数集合中的至少一个立体声参数用于解码器基于预定第三算法将第n帧下混信号还原为第n帧音频信号;
82、信号还原单元,用于根据第n帧立体声参数集合中的至少一个立体声参数,基于第三算法,将第n帧下混信号还原为第n帧音频信号。
83、在第四方面的基础上,可选的,第一类型帧中包含下混信号和立体声参数集合,第三类型帧中包含立体声参数集合且不包含下混信号,第四类型帧中不包含下混信号且不包含立体声参数集合,第三类型帧和第四类型帧分别为第二类型帧的一种情况:
84、解码单元还用于若确定第n帧码流为第一类型帧,则对第n帧码流解码,在得到第n帧下混信号的同时,还得到第n帧立体声参数集合;若确定第n帧码流为第二类型帧:当第n帧码流为第三类型帧时,则对第n帧码流解码,得到第n帧立体声参数集合;当第n帧码流为第四类型帧时,则根据预设第二规则,从第n帧立体声参数集合之前的至少一帧立体声参数集合中,确定k帧立体声参数集合,并根据k帧立体声参数集合,基于预定第四算法,得到第n帧立体声参数集合,k为大于零的正整数;
85、其中,第n帧立体声参数集合中的至少一个立体声参数用于解码器基于预定第三算法将第n帧下混信号还原为第n帧音频信号;
86、信号还原单元,用于根据第n帧立体声参数集合中的至少一个立体声参数,基于第三算法,将第n帧下混信号还原为第n帧音频信号。
87、在第四方面的基础上,可选的,第五类型帧中包含下混信号和立体声参数集合,第六类型帧中包含下混信号且不包含立体声参数集合,第五类型帧和第六类型帧分别为第一类型帧的一种情况,第二类型帧中不包含下混信号且不包含立体声参数集合:
88、解码单元还用于若确定第n帧码流为第一类型帧:当第n帧码流为第五类型帧时,对第n帧码流解码,在得到第n帧下混信号的同时,还得到第n帧立体声参数集合;当第n帧码流为第六类型帧时,则根据预设第二规则,从第n帧立体声参数集合之前的至少一帧立体声参数集合中,确定k帧立体声参数集合,并根据k帧立体声参数集合,基于预定第四算法,得到第n帧立体声参数集合;若确定第n帧码流为第二类型帧,则根据预设第二规则,从第n帧立体声参数集合之前的至少一帧立体声参数集合中,确定k帧立体声参数集合,并根据k帧立体声参数集合,基于预定第四算法,得到第n帧立体声参数集合;
89、其中,第n帧立体声参数集合中的至少一个立体声参数用于解码器基于预定第三算法将第n帧下混信号还原为第n帧音频信号,k为大于零的正整数;
90、信号还原单元,用于根据第n帧立体声参数集合中的至少一个立体声参数,基于第三算法,将第n帧下混信号还原为第n帧音频信号。
91、在第四方面的基础上,可选的,第五类型帧中包含下混信号和立体声参数集合,第六类型帧中包含下混信号且不包含立体声参数集合,第五类型帧和第六类型帧分别为第一类型帧的一种情况,第三类型帧中包含立体声参数集合且不包含下混信号,第四类型帧中不包含下混信号且不包含立体声参数集合,第三类型帧和第四类型帧分别为第二类型帧的一种情况:
92、解码单元还用于若确定第n帧码流为第一类型帧:当第n帧码流为第五类型帧时,对第n帧码流解码,在得到第n帧下混信号的同时,还得到第n帧立体声参数集合;当第n帧码流为第六类型帧时,则根据预设第二规则,从第n帧立体声参数集合之前的至少一帧立体声参数集合中,确定k帧立体声参数集合,并根据k帧立体声参数集合,基于预定第四算法,得到第n帧立体声参数集合。
93、解码单元还用于若确定第n帧码流为第二类型帧:当第n帧码流为第三类型帧时,对第n帧码流解码,得到第n帧立体声参数集合;当第n帧码流为第四类型帧时,则根据预设第二规则,从第n帧立体声参数集合之前的至少一帧立体声参数集合中,确定k帧立体声参数集合,并根据k帧立体声参数集合,基于预定第四算法,得到第n帧立体声参数集合;
94、其中,第n帧立体声参数集合中的至少一个立体声参数用于解码器基于预定第三算法将第n帧下混信号还原为第n帧音频信号,k为大于零的正整数;
95、解码器还包括,信号还原单元;
96、信号还原单元,用于根据第n帧立体声参数集合中的至少一个立体声参数,基于第三算法,将第n帧下混信号还原为第n帧音频信号。
97、第五方面,提供了一种编解码系统,包括第三方面提供的任一的编码器,和第四方面提供的任一的解码器。
98、第六方面,本发明实施例还提供一种终端设备,该终端设备包括处理器和存储器,所述存储器用于存储软件程序,所述处理器用于读取所述存储器中存储的软件程序并实现第一方面或上述第一方面的任意一种实现方式提供的方法。
99、第七方面,本发明实施例中还提供一种计算机存储介质,该存储介质可以是非易失性的,即断电后内容不丢失。该存储介质中存储软件程序,该软件程序在被一个或多个处理器读取并执行时可实现第一方面或上述第一方面的任意一种实现方式提供的方法。
本文地址:https://www.jishuxx.com/zhuanli/20240618/20849.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。
下一篇
返回列表