一种基于P2P的分布麦克风会议装置的制作方法

本发明会议，具体为一种基于p2p的分布麦克风会议装置。

背景技术：

1、在现代企业中,会议作为一种重要的沟通和决策机制,被广泛运用，而为了更好的促进会议更好的进行，所以现有技术陆续出现配合会议使用的装置，现有技术中的大多通过会议终端机与麦克风的组合来实现对会议更好完成的促进，且现有会议终端机普遍使用远场阵列麦克风会议室的多人识音,阵列麦克风的波束形成技术实现远端声音，但同时也降低了音质。如果在会议室中使用手机加入会议，变成近场识音，提升识音的质量，但会议终端机产生的回音在手机无消除，所以提出一种基于p2p的分布麦克风会议装置是十分必要的。

技术实现思路

1、本发明的目的在于提供基于p2p的分布麦克风会议装置，使得在有通过手机加入会议的时候，能够更好的保证整个会议的音频质量，以解决现有的技术缺陷和不能达到的技术要求。

2、为实现上述目的，本发明提供如下技术方案：一种基于p2p的分布麦克风会议装置，其特征在于，包括：

3、手机麦克风模块:用于采集高质量的近场声音（需要说明的是，此处的近场声音包括与会人的高质量声音，以及会议终端杨声器模块所播放的远端声音），并将近场声音转换成手机声源pcm分片数据，再将手机声源pcm分片数据发送给手机主控模块；

4、手机主控模块:用于接收手机麦克风模块发来的手机声源pcm分片数据，并通过wifi5g网络与会议终端互联模块连接，并把接收到的手机声源pcm分片数据实时发送给会议终端互联模块；

5、会议终端互联模块:用于接收手机主控模块发送来的手机声源pcm分片数据，提供wifi5g热点，并通过wifi5g网络与手机主控模块连接，最后将接收到的手机声源pcm分片数据发送给会议终端声音对齐选择模块；

6、会议终端声音对齐选择模块:用于接收会议终端麦克风阵列模块发送过来的所有声源（需要说明的是，此处的所有声源是麦克风阵列声源）的pcm分片数据和会议终端互联模块发送过来的手机声源pcm分片数据，并将接收到的所有声源pcm分片数据转换为声源频率分片数据，再将手机声源频率分片数据分别与麦克风阵列声源频率分片数据进行相似度比较，将具有同一声源的手机声源pcm分片数据和麦克风阵列声源pcm分片数据进行延时修正，计算出手机声源与阵列声源之间的声源时延，再将各个声源频率分片数据（指的是手机声源频率分片数据和麦克风阵列声源频率分片数据的总和）与声源时延发送给会议终端融合回音消除模块；

7、会议终端融合回音消除模块:用于接收会议终端主控模块的远端pcm分片数据作为消除参考，同时接收会议终端声音对齐选择模块发送过来的各个声源频率分片数据与声源时延，并对每个声源（此处每个声源包括手机声源频率数据和麦克风阵列声源频率数据）进行回音消除处理，再把经过回音消除后的所有声源频率分片数据转化成声源pcm分片数据，再将声源pcm分片数据进一步处理得到一个最终近端音频pcm分片数据，最后将近端音频pcm分片数据发送给会议终端主控模块；

8、会议终端主控模块:用于从网络上接收远端异地与会者的远端音频数据流，并将其音频解码为远端音频pcm分片数据，再将远端音频pcm分片数据发送给会议终端杨声器模块和议终端融合回音消除模块，同时接收会议终端融合回音消除模块发送来的近端音频pcm分片数据，并将其进行音频解码，通过网络发送到远端异地会议设备中；

9、会议终端麦克风阵列模块：用于接收阵列设置的麦克风所收集到的声音（包括使用麦克风的人的声音以及使用手机的人的声音），并将此声音转换为阵列声源pcm分片数据，再将阵列声源pcm分片数据发送到会议终端声音对齐选择模块，同时接收会议终端杨声器模块所播放的远端声音；

10、会议终端杨声器模块：用于接收会议终端主控模块发送来的远端音频pcm分片数据，并将远端音频pcm数据进行声音播放。

11、一种基于p2p的分布麦克风会议方法：包括以下步骤：

12、1）、手机麦克风模块采集高质量的近场声音数据，并将采集到的声音数据进行切片得到手机声源pcm分片数据，并将手机声源pcm分片数据发送给手机主控模块；

13、2）、手机主控模块通过wifi5g网络与会议终端互联模块连接，并将从手机麦克风模块接收过来的手机声源pcm分片数据发送给会议终端互联模块；

14、3）、会议终端互联模块为手机主控模块提供wifi5g热点，并将从手机主控模块接收过来的手机声源pcm分片数据发送给会议终端声音对齐选择模块；

15、4）、会议终端声音对齐选择模块生成频率分片数据和声音时延：

16、4.1）、会议终端声音对齐选择模块接收从会议终端互联模块发送过来的手机声源pcm分片数据和从会议终端麦克风阵列模块发送过来的所有声源的pcm分片数据；

17、4.2）、会议终端声音对齐选择模块通过傅立叶变换将接收到手机声源pcm分片数据和所有声源的pcm分片数据转换成对应的手机声源频率分片数据和麦克风阵列声源频率分片数据；

18、4.3）、会议终端声音对齐选择模块将手机声源频率分片数据分别与麦克风阵列声源频率分片数据进行相似度比较，确定同为一个声源的手机声源频率分片数据和麦克风阵列声源频率分片数据；

19、4.4）、会议终端声音对齐选择模块再将同为一个声源的手机声源频率分片数据和麦克风阵列声源频率分片数据进行时延修正，生成声音时延；

20、4.5）、会议终端声音对齐选择模块将步骤4.2）中两种声源频率分片数据和步骤4.4）中的声音时延发送给会议终端融合回音消除模块；

21、5）、会议终端融合回音消除模块对接受的数据进行回音消除，并生成近端音频pcm分片数据；

22、5.1）、会议终端融合回音消除模块接收会议终端主控模块的远端pcm分片数据，同时接收会议终端声音对齐选择模块发送过来的各个声源频率分片数据与声源时延；

23、5.2）、会议终端融合回音消除模块以远端pcm分片数据为回音消除参考，将每个声源进行回音消除；

24、5.3）、会议终端融合回音消除模块再将回音消除后的声源频率分片数据进行傅里叶逆变换成声源pcm分片数据；

25、5.4）、会议终端融合回音消除模块将近端声源pcm分片数据累加计算得到近端音频pcm分片数据；

26、5.5）、最后再将近端音频pcm分片数据发送给会议终端主控模块；

27、6）、会议终端主控模块从网络上接收远端异地与会人的远端音频数据流，同时接收会议终端融合回音消除模块发送来的近端音频pcm分片数据；

28、6.1）、会议终端主控模块将远端音频数据流音频解码成远端音频pcm分片数据，发送给会议终端杨声器模块；

29、6.2）、将近端音频pcm分片数据进行音频解码，并将其发送到网络上的远端异地会议设备中；

30、7）、会议终端麦克风阵列模块接收阵列设置的麦克风所收集到的声音数据，并将此声音数据进行分片，得到阵列声源分片数据，再将阵列声源分片数据发送给会议终端声音对齐选择模块，同时接收会议终端杨声器模块所播放的远端声音；

31、8）、议终端杨声器模块接收会议终端主控模块发送来的远端音频pcm分片数据，并将远端声音播放。

32、优选的，所述步骤4.2）中将所有声源pcm分片数据转化为声源频率分片数据的具体方式为：所述声音对齐选择模块将所有pcm分片数据进行128点快速傅立叶变换得到64点声源频率分片数据。

33、优选的，所述步骤4.3）中相似度比较的具体方式为：

34、4.3.1）、声音对齐选择模块按照64频率点进行逐点乘积，得到一个新的序列；

35、4.3.2）、将步骤4.3.1）中新序列的每个元素相加，得到手机声源的分片数据和一个麦克风阵列声源的分片数据的一个声源互相关系数；

36、4.3.3）、取手机声源频率分片数据和麦克风阵列声源频率分片数据得互相关系数得峰值，且该峰值大于预设阀值（此预设阀值是基于测试数据的统计分析，得出的经验参数）时，则认为此手机声源频率分片数据和对应得麦克风阵列声源频率分片数据为同一声源。

37、优选的，所述步骤4.4）中）将同为一个声源的手机声源频率分片数据和麦克风阵列声源频率分片数据进行时延修正，并生成声音时延的具体方式为：

38、4.4.1）、声源的pcm分片数据把手机频率分片数据和麦克风阵列一个声源历史的频率分片数据（指的是一个麦克风阵列声源的之前几个频率分片数据）按照64频率点进行逐点乘积，再得到一个新的序列；

39、4.4.2）、将步骤4.4.1）中新序列中得每个元素相加，得到手机与麦克风阵列一个声源历史分片互相关系数；

40、4.4.3）、取步骤4.4.2）中手机与麦克风阵列该声源历史分片互相关系数的峰值对应手机声源与阵列声源于之间的最佳匹配时间位置，根据峰值得位置，计算出手机声源与阵列声源之间的声源时延。

41、优选的，所述步骤4.4.3）中，作为会议终端声音对齐选择模块向外输出的最终生源时延为：

42、会议终端声音对齐选择模块将手机与麦克风阵列匹配声源的所有频率分片数据取绝对值进行累加得到分片能量值；

43、当手机声源频率分片数据为对应阵列声源的声源频率分片数据的分片能量值的两倍，会议终端声音对齐选择模块把手机声源频率分片数据替换对应阵列声源的声源频率分片数据,并把此手机声源频率分片数据携带上时延，这样使用质量较差远场声音替换上高质量近场声音；

44、当麦克风阵列声源频率分片数据没有被手机声源频率分片数据替换时，则声源时延为0。

45、优选的，所述步骤5.2）中将每个声源进行回音消除处理的具体步骤为：

46、5.2.1）、会议终端融合回音消除模块对远端声音pcm分片进行128点快速傅立叶变换得到64点远端频率分片数据，并保留最近10个远端频率分片数据作为历史远端频率分片数据；

47、5.2.2）、会议终端融合回音消除模块选择一个声源频率（手机音源与麦克风阵列音源）分片数据与历史远端声源频率分片数据进行按照64频率点进行逐点乘积，得到一个新的序列，把这个新序列中的每个元素相加，得到近端一个声源与远端声音的历史分片互相关系数；

48、5.2.3）、取步骤近端一个声源与远端声音的历史分片互相关系数的峰值，根据峰值的位置计算回音消除基准时延；

49、5.2.4）、会议终端融合回音消除模块根据步骤5.2.3）中的回音消除基准时延计算近端各个声源频率分片数据的回音消除时延；

50、5.2.5）、会议终端融合回音消除模块根据步骤5.2.4）中的回音消除时延进一步计算得到一个声源的本身线性回音时延。

51、优选的，所述步骤5.2.3）中，计算回音消除基准时延的具体方式为：

52、会议终端融合回音消除模块根据峰值的位置，计算出近端一个声源的声音与远端声音之间的回音消除时延，再减去近端一个声源的声源时延得到回音消除基准时延。

53、优选的，所述步骤5.2.4）中，计算近端其他各个声源频率分片数据的回音消除时延的具体方式为：

54、会议终端融合回音消除模块将回音消除基准时延累加声源时延作为近端声源频率分片数据的回音消除时延。

55、优选的，所述步骤5.2.5）中，计算线性回音时延的具体方式为：

56、会议终端融合回音消除模块按照回音消除时延，对近端声源频率分片数据减去远端声音频率分片数据来计算，得到线性回音消除。

57、优选的，所述步骤7）中，会议终端麦克风阵列模块使用声源定位算法确定每个声源的位置，使用波束成形技术来获得阵列式麦克风收集到的声音数据。

58、本技术中，会议终端麦克风阵列模块采用多个麦克风方案，会议终端麦克风阵列模块使用声源定位算法如协方差矩阵估计法确定每个声源的位置，使用波束成形beamforming）技术，它可以根据声源方向加强来自特定方向的声音，并抑制来自其他方向的声音，实现不同声源的声音信号分离出来，会议终端麦克风阵列模块把分离不同声源的pcm数据流，进行分片得到各个声源的pcm分片数据，发送给会议终端声音对齐选择模块。

59、与现有技术相比，本发明的有益效果是：

60、1、本技术通过手机麦克风模块获取高质量近场声音，通过会议终端声音对齐选择模块替换会议终端麦克风阵列模块获取较差远场声音，会议终端融合回音消除模块将会议终端麦克风阵列模块的回音消除参数做参考对所有声音进行回音消除，最终会议终端机部分较差声音替换上手机高质量近场声音，从而提升整个会议的音频质量。