含窄带噪声追踪抵消的实时骨气融合通讯眼镜及方法

本发明含窄带噪声追踪抵消的实时骨气融合通讯眼镜及方法属于骨气导语音通讯。

背景技术：

1、随着科技的发展，电子产品的普及，孩子在出生不久之后就会接触到电子产品，尤其是手机，随之也带来了一个较为普遍的问题——戴眼镜的人群越来越小龄化，人群也越来越多了，而且工农业生产加工环境中充满着强噪声等污染，影响着工人们的正常交流，因此极需要一种可以实现通信且能消除噪声对通信质量的影响的智能眼镜。目前现有产品都是眼镜腿内置骨导麦克或者气导麦来实现语音通讯，然而骨导麦克与头部紧贴，使用人群在交流时如果有所动作，头部和眼镜之间很难不发生摩擦，一但发生摩擦就会产生噪声，从而影响通信质量，而且每个人的腔调不同，尤其是中国每个地区都有一个独特的方言，这些都会对语音信号的提取产生麻烦。

2、我们设计的智能眼镜是采用骨气融合的算法。目前骨气融合算法都是在理想状态下实现的，因此在实际应用当中，实际结果比预想结果差了许多。在实际应用中，骨导信号与气导信号存在着同源噪声，以往的骨气融合算法都没有到这一点，也就造成了很多算法在极端情况下失去了应有的功能。语音在通过人体组织传播时会衰减，其高频成分会丢失，导致语音清晰度降低；此外，骨传导麦克风是一种皮肤紧密传感器，在佩戴时会产生摩擦和振动噪声，这意味着骨导语音不可避免地包含自生噪声。这些固有的局限性给其实际应用带来了巨大挑战。因此，许多研究致力于从几个角度改善骨导语音质量，例如通过优化测量位置补偿高频分量，以及升级传感器材料。骨气融合技术可提升骨导语音的可懂度，然而，气导信号在信噪比极低的环境下有用信息也较少，利用价值不大。

3、已有的技术以及产品大致分为以下几个方面：

4、骨导语音高频分量的补偿及融合；

5、骨导语音高频分量的补偿；

6、高频补偿技术主要包含骨气融合以及大数据、深度训练神经网络等。

7、气导语音是通过传统的语音麦克风对于语音信号进行采集，气导语音的低频部分容易受到强噪声环境的干扰被淹没；骨导语音则是通过骨导传感器对于语音信号进行采集，而骨导语音受自身性质的钳制，高频部分丢失严重，从这两点出发，考虑将二者通过一系列的算法，进行有效结合来提高语音的可懂度，使传输能力增强，这就是所谓的骨气融合。

8、融合骨导语音和气导语音来提高语音质量是目前最有吸引力的方法之一，主要有离线训练和在线实时增强两种方法。前一个方向的研究基于神经网络模型和深度学习方法进行研究。thang vu tat等人使用线性预测分析语音信号，以线谱频率作为合适的预测参数，设计了基于帧的均衡滤波器，通过训练递归神经网络将骨导语音的线谱频率映射到气导语音的线谱频率。phung等人使用高斯混合模型来增强气导语音的线谱频率预测。szuwei fu提出了一种基于全卷积神经网络的端到端应用架构，用于语音增强。这些方法中的大多数使用骨导语音作为辅助或主要信号源来改善噪声环境中的语音质量。另一个方向是使用自适应噪声消除器的实时在线语音增强。这些方法中的大多数采用骨导语音作为参考信号气导语音用作期望信号。yu等人提出使用fir滤波器，这导致语音信号的低频分量的良好恢复，但高频分量几乎不存在。xiao等人开始考虑volterra滤波器，与基于fir滤波器的线性系统相比，基于volterra滤波器的非线性系统具有良好的收敛性和计算效率。总的来说，基于自适应噪声抵消的骨-气导语音融合方法都具有较好的实时性，满足通信要求。但是骨气融合都是在假设骨导语音纯净不含噪音的情况下进行的，由于所处的环境低频窄带周期噪声十分强烈，通过大量的实验可以得知，骨导语音在采集的过程中，骨导传感器可以采集到窄带周期噪声，而且该噪声与污染了的气导语音呈强相关态势，因此单纯的骨气融合以及引入的非线性算法在补偿骨导语音高频分量时无法剔除噪声，骨气融合的方法在该噪声背景下失效。

9、在广泛的实验中，我们发现，低频周期性噪声，例如工厂中的切割机或锻造机产生的噪声，可能会穿透骨导传感器，导致骨导语音中出现轻微的窄带噪声。由于骨导信号和气导信号是相关的，这导致在自适应过程期间不期望的噪声增强，这严重影响输出信号的质量。仿真表明，传统的系统失败，即使骨导语音噪声能量是低至0.1％，相对于气导噪声。为了有效地解决这个问题，必须采取措施来减少或消除骨导语音中的噪声。

10、二、智能通讯眼镜

11、目前市场上的产品都是单独使用骨传导技术或者气导，在对语音信号的提取有着不少的干扰因素，例如每个人的发音都独特的，中国每个地区的方言以及传感器与人体摩擦产生的噪声，这些都对语音的识别产生了干扰。

12、如果能将骨导和气导技术加以融合，并将其能够应用于智能眼镜当中，则能够解决上述问题，目前这个想法还没有人提出。

技术实现思路

1、针对现有技术的不足，本发明提供了一种含窄带噪声追踪抵消的实时骨气融合通讯眼镜及方法，该眼镜包括与主控制器连接的左骨导麦、右骨导麦、参考噪骨麦和气导麦；该方法引入了参考骨导噪声通道，并重构了传统系统的误差反馈环节；通过骨振动噪声追踪提取模块实时捕获穿透噪声，线性预测滤波器连接的并行结构优化输出信号，并重新生成误差信号以监督在线骨-气融合部分的控制器更新，从而降低骨-气相关噪声的影响，提高语音增强质量，通过信号能量估计对实时骨融合训练系统施加参数约束，提高系统在强窄带噪声环境下的鲁棒性；该系统不依赖于骨导语音和气导语音数据库，可广泛应用于方言和少数民族语言等多种语言环境。

2、本发明的目的是这样实现的：

3、含窄带噪声追踪抵消的实时骨气融合通讯眼镜，包括左骨导麦、右骨导麦、参考噪骨麦、气导麦和主控制器；所述左骨导麦、右骨导麦、参考噪骨麦和气导麦均与主控制器连接；

4、所述左骨导麦设置在眼镜体鼻翼位置硅胶贴合面左侧，用于从使用者鼻翼接收骨语音信号；

5、所述右骨导麦设置在眼镜体鼻翼位置硅胶贴合面右侧，用于从使用者鼻翼接收骨语音信号；

6、所述参考噪骨麦设置在眼镜体腿部外侧面不直接贴合人体颅骨的位置，用于采集污染骨导麦的环境噪音；

7、所述气导麦设置在眼镜体眼镜框最底部在佩戴时位于鼻尖上区转折且不接触人体的位置，用于采集气导语音信号；

8、所述主控制器设置在眼镜体腿部夹层中，用于骨气导语音信号处理程序运行及计算。

9、在上述含窄带噪声追踪抵消的实时骨气融合通讯眼镜上实现的含窄带噪声追踪抵消的实时骨气融合方法，包括以下步骤：

10、步骤a、参考噪骨麦采集参考骨导环境噪声xref(n)，左骨导麦采集鼻翼骨导语音xl(n)，右骨导麦采集鼻翼骨导语音xr(n)，气导麦采集气导语音信号d(n)；

11、步骤b、将参考骨导环境噪声xref(n)进行自适应线性预测滤波，增强参考窄带噪声的特征值，输出噪声估计具体为：

12、

13、其中，l是自适应线性预测滤波器的长度，hm1(n)是自适应线性预测滤波系统函数，d是自适应线性预测滤波器的延迟因子；

14、步骤c、将噪声估计进行自适应深度降噪，既降低气导语音信号d(n)中的噪声，得到估计气导语音e(n)，又降低融合部分输出信号yvol(n)中的噪声，得到恢复语音信号y(n)，使骨-气融合部分的误差信号得以重构，输出误差信号eb(n)；

15、步骤d、基于二阶volterra滤波器，将鼻翼骨导语音xl(n)、鼻翼骨导语音xr(n)和误差信号eb(n)进行在线骨-气传导语音融合，更新二阶volterra滤波器的输出yvol(n)。

16、上述的含窄带噪声追踪抵消的实时骨气融合方法，步骤c具体为：

17、步骤c1、降低气导语音信号d(n)中的噪声，得到估计气导语音e(n)

18、估计气导语音e(n)由下式给出：

19、e(n)＝d(n)-y1(n)

20、其中，y1(n)是交流语音中的窄带噪声估计值，计算公式为：

21、

22、其中，lm是第一自适应深度降噪滤波器的长度，hm2(n)是第一自适应深度降噪滤波系统函数；

23、所述hm2(n)的更新规律为：

24、

25、其中，μ1是第一自适应深度降噪滤波器的正步长。

26、步骤c2、降低融合部分输出信号yvol中的噪声，得到恢复语音信号y(n)

27、恢复语音信号y(n)由下式给出：

28、y(n)＝yvol(n)-y2(n)

29、其中，y2(n)是骨气融合过程中错误恢复的窄带分量的估计，计算公式为：

30、

31、其中，lk是第二自适应深度降噪滤波器的长度，hm3(n)是第二自适应深度降噪滤波系统函数；

32、所述hm3(n)的更新规律为：

33、

34、其中，μ2是第二自适应深度降噪滤波器的正步长；

35、步骤c3、输出误差信号eb(n)，计算公式为：

36、eb(n)＝e(n)-y(n)。

37、上述的含窄带噪声追踪抵消的实时骨气融合方法，步骤d具体为：

38、对鼻翼骨导语音xl(n)和鼻翼骨导语音xl(n)取均值，得到：

39、

40、以xb作为二阶volterra滤波器的实时输入，所述二阶volterra滤波器的输出yvol(n)为：

41、

42、其中，ll是二阶volterra滤波器的第一阶滤波长度，ln是二阶volterra滤波器的第二阶滤波长度，h1,i(n+1)是线性训练系数，h2,i,j(n+1)是非线性训练系数；

43、所述线性训练系数h1,i(n+1)和非线性训练系数h2,i,j(n+1)的更新规律为：

44、

45、其中，μh1和μh2均是二阶volterra滤波器收敛速率的步长，误差信号eb(n)用于更新二阶volterra滤波器的系数。

46、为了防止噪声能量过高而影响系统的鲁棒性，引入可变限幅参数rb来调节所述二阶volterra滤波器的步长μh1和μh2，并且有：

47、

48、

49、

50、其中，tp是时间平均窗口的长度，且0≤tp≤50，pe(n)是误差信号的能量，px(n)是骨导信号的能量，λ为常数；

51、如果：

52、rb>1，μh1和μh2不更改；

53、rb≤1，μh1和μh2将分别被μh1′和μh2′代替；

54、其中，μh1′＝rb·μh1，μh2′＝rb·μh2。

55、λ＝0.999。

56、同现有技术相比，本发明含窄带噪声追踪抵消的实时骨气融合通讯眼镜及方法的有益效果在于：

57、第一、骨振动噪声追踪提取通过一个不与人体接触的振动传感器实时捕获穿透噪声，线性预测滤波器连接的并行结构优化输出信号yvol(n)和气导语音；并重新生成误差信号eb(n)以监督在线骨-气融合部分的控制器更新，从而降低骨-气相关噪声的影响，提高语音增强质量。

58、第二、通过信号能量估计对实时骨融合训练系统施加参数约束，提高系统在强窄带噪声环境下的鲁棒性。

59、第三、由于整个方法不依赖于骨导和气导语音数据库，因此能够广泛应用于方言和少数民族语言等多种语言环境。