一种录音系统及计算机可读存储介质的制作方法

本发明涉及录音领域，尤其涉及一种录音系统及计算机可读存储介质。

背景技术：

1、银行、保险等行业的双录业务要求指出，录下来的音频应清晰、不丢内容、无卡顿、减少噪音。然而，由于环境、形式和录制终端的多样性，要确保极大程度的满足要求，还是存在一些困难。比如，远程双录基于rtc系统构建，难免由于网络问题及回声消除等信号处理算法不完善问题导致讲话内容丢失、卡顿、音视频不同步等。又如，本地播报双录，可能由于某些麦克风处理了环境噪音或录制了本地播报的回声，对输入信号做了处理，导致录制声音断续、失真等问题。

2、双录系统现有的音频录制，有多种途径输入，包括录制来自于远端rtc的音频、本端麦克风采集的音频及本端系统播放的loopback回采播放音频。录制写入文件的时候，不同的输入源内容可能都需要记录，但同时也要去除冗余的部分，否则听起来会有回声、混响的问题。冗余的信号主要是麦克风采集导致的，因为通常麦克风（除了定向麦克风）会采集所有在附近环境的声音，所以其声音可能包含扬声器播放的远端rtc音频、系统播放的本地音频。这些冗余信号一般通过回声消除算法消除。

3、现有录音方案，很难适应多变的环境和硬件，从而可能导致音频内容丢失、失真或回声等问题。例如，当回声消除处理近端和远端同时双讲时，dsp（数字信号处理）处理不当可能导致有用信号丢失。回声消除的作用就是通过参考信号将麦克风输入的信号分离出周围的声音，当扬声器声音信号能量过大且和参考信号差异过大时，可能出现扬声器声音信号的残留或对周围的声音有过多损伤。

4、又如，当终端通过其它软件播报本端音频时，双录系统由于缺少参考信号的输入，导致回声消除无法工作。然而，在硬件系统（或操作系统）层面，也可能存在一个硬件回声消除对麦克风采集的音频做类似的回声消除处理，此时双录系统的回声消除模块是否基于参考信号进行回声消除运算，就不那么重要了。在这个场景中，由于有些硬件设备的成本或质量原因，硬件系统回声消除的处理效果并不理想，导致回声消除不干净，亦或有用信号被误消除掉；由于信号被破坏，此时双录系统也很难进一步提升音频录制质量，最好的做法是换掉这个硬件设备。

5、而当采用操作系统 loopback回采播放（或类似）接口获取播放音频的数据进行录制时，有些时候效果很好，但有很多时候效果不好，甚至无法正常录制。采用loopback回采播放确保正常效果，需要有以下几个条件：系统loopback回采播放可用，某些版本的系统是没有这个接口，或有接口功能不正常；或者硬件回声消除工作正常，回声消除干净，若回声消除不干净，则可能和loopback回采播放音频叠加产生噪音；或者硬件回声消除完全不工作，且麦克风录音和loopback回采播放音频内容同步，如果不同步，则会听到混响。由此可见，依赖loopback录音并不是一个非常可靠的办法。

技术实现思路

1、本发明所要解决的第一个技术问题是针对上述现有技术现状而提供一种能提高录音信息完整性和保真性的录音系统。

2、本发明所要解决的第二个技术问题是提供一种能执行上述录音系统的计算机可读存储介质。

3、本发明解决上述第一个技术问题所采用的技术方案为：一种录音系统，包括音频信号处理模块和回声消除模块，其中音频信号处理模块的输出端与回声消除模块的输入端连接，本地麦克风采集并输出的音频数据与音频信号处理模块的输入端连接，其特征在于：所述录音系统还包括音频信号合成模块，所述录音系统对本地播放音频数据p的录音处理机制包括如下步骤：

4、步骤1、判断本地播放音频数据p是否使用外部播放器进行播放，若否，通过第一录制方式得到录制的目标音频数据流d；如是，进入步骤2；

5、步骤2、检测录音系统外部硬件回声消除效果hwaec，录音系统外部硬件回声消除效果hwaec的检测结果分为三种：hwaec的值为yes时，表示很好消除；hwaec的值为half时，表示能消除，但消除不干净；hwaec的值为no时，表示无法消除；如果hwaec的值为no，则通过第二录制方式得到录制的目标音频数据流d；如果hwaec的值为yes或half，则进入步骤3；

6、步骤3、检测录音系统是否支持loopback回采播放，如是，则通过第一录制方式得到录制的目标音频数据流d；如否，通知当前设备无法录音；

7、其中第一录制方式为：将本地麦克风采集并输出的音频数据先经过音频信号处理模块进行音频信号处理，再经过回声消除模块进行回声消除，再将回声消除模块输出的音频数据p’输送给音频信号合成模块，同时将本地播放音频数据p作为参考信号也输送给音频信号合成模块，在音频信号合成模块将数据p’与本地播放音频数据p作同步合成处理，得到目标音频数据流d；

8、第二录制方式为：将本地麦克风采集并输出的音频数据先经过音频信号处理模块进行音频信号处理，再经过回声消除模块进行回声消除，再将回声消除模块输出的音频数据p’输送给音频信号合成模块进行透传，得到录制的目标音频数据流d，音频信号合成模块在透传过程中，不对音频数据p’的内容进行改动，直接将音频数据p’的内容作为录制的目标音频数据流d。

9、为了能检测录音系统外部硬件回声消除效果，所述步骤2中检测录音系统外部硬件回声消除效果hwaec的方法为：在安静环境下打开扬声器和麦克风，仅播放近端模拟音频数据p1，近端模拟音频数据p1依次经过音频信号处理模块和回声消除模块进行处理，且近端模拟音频数据p1不作为回声消除模块的参考信号，检查该近端模拟音频数据p1是否被完整录制，若被完整录制，则说明hwaec的值为no；若完全不能被录制，则说明hwaec的值为yes；若只有部分被录制，则说明hwaec的值为half。

10、进一步，检查近端模拟音频数据p1是否被完整录制的方法为：使用客观语音质量评估算法，将近端模拟音频数据p1作为参考源，将近端模拟音频数据p1依次经过音频信号处理模块和回声消除模块进行处理后得到的录制音频数据p1'作为评估信号，输出质量评分，并将质量评分映射到标准mos分进行判断，所述标准mos分取值范围为1~5，若质量评分映射的标准mos分大于等于3.5分，则说明录制正常，确认hwaec值为no；若质量评分映射的标准mos分小于等于1.5分，则说明录制不正常，确认hwaec值为yes；若质量评分映射的标准mos分在1.5分到3.5分之间，则说明录制效果差，确认hwaec值为half。

11、为了能检测录音系统是否支持loopback回采播放，所述步骤3中设定检测录音系统是否支持loopback回采播放的指标值为local-input，判定local-input指标结果的方法为：使用录音系统的loopback回采播放接口采集播放的近端模拟音频数据p1，使用客观语音质量评估算法，将近端模拟音频数据p1作为参考源，然后在安静环境下打开扬声器和麦克风，仅播放近端模拟音频数据p1，将近端模拟音频数据p1依次经过音频信号处理模块和回声消除模块进行处理后得到的录制音频数据p1'作为评估信号，输出质量评分，并将评分映射到标准mos分进行判断，若质量评分映射的标准mos分大于等于3.5分，则说明录制正常，确认local-input值为yes；若质量评分映射的标准mos分小于3.5分，则说明录制不正常，确认local-input值为no。

12、优选地，还包括作为手动备选的第三录制方式，第三录制方式为：将本地麦克风采集并输出的音频数据先经过音频信号处理模块进行音频信号处理并将得到的数据输送给回声消除模块，同时将本地播放音频数据p作为参考信号也输送给回声消除模块进行回声消除，再将回声消除模块输出的音频数据p’输送给音频信号合成模块进行透传，得到录制的目标音频数据流d，音频信号合成模块在透传过程中，不对音频数据p’的内容进行改动，直接将音频数据p’的内容作为录制的目标音频数据流d。

13、优选地，所述录音系统的输入来源包括本地麦克风采集并输出的音频数据、远端rtc终端传入的音频数据f及本地播放音频数据p；所述录音系统的输出包括：

14、rtp数据：本地麦克风采集并输出的音频数据依次经过音频信号处理模块及回声消除模块处理后与本地播放音频数据p在音频信号合成模块中作同步合成处理并编码打包发送到网络的数据流；

15、rec数据：本地麦克风采集并输出的音频数据依次经过音频信号处理模块及回声消除模块处理后与本地播放音频数据p及远端rtc终端传入的音频数据f在音频信号合成模块中作同步合成处理并编码打包成的文件；

16、rec raw数据：备份存储的各路输入原始音频数据。

17、若存在远端rtc终端传入的音频数据f，所述第二录制方式中远端rtc终端传入的音频数据f作为回声消除模块的参考信号。

18、优选地，所述音频信号合成模块中采用的同步合成方法为gcc-phat算法。

19、本发明解决上述第二个技术问题所采用的技术方案为：一种计算机可读存储介质，其特征在于：所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上所述的录音系统进行录制。

20、与现有技术相比，本发明的优点在于：该录音系统通过判断本地播放音频数据是否使用外部播放器进行播放、检测录音系统外部硬件回声消除效果及检测录音系统是否支持loopback回采播放来确定采用哪种录制方式，如此，将录音多个信号源进行合理的整合处理，保留有用信号，抑制噪音信号，在复杂多变的软硬件环境中确保录音质量，能够适应对回声问题进行不同处理策略的录制硬件，适应范围广；能够通过信号处理的办法，消除由于录制设备可能带来的“混响”问题；该方法整体可靠且质量高，相较于传统录音系统，大大提升了可录音信息的完整性和保真性。