基于毫米波感知的声信号高质量拾取与重构方法和系统

本发明涉及毫米波雷达，具体地，涉及一种基于毫米波感知的声信号高质量拾取与重构方法和系统。

背景技术：

1、高质量声信号的拾取对于降噪、语音增强、故障定位等都具有十分重要的意义，例如车载语音系统、智能家居、智能机器人等。但现有技术大多都是基于麦克风进行的声信号拾取，但其在强噪、混响、多声源环境下具有明显的局限性。根据麦克风的数量可以将其分为单麦克风拾音设备和麦克风阵列拾音设备。麦克风阵列拾音设备根据其不同的阵列方式可进一步将其分为线型阵列麦克风、平面型阵列麦克风和球型阵列麦克风。另外，随着毫米波雷达在振动测量领域的发展，基于毫米波雷达的声音拾取技术也取得了一定的进展。

2、针对单麦克风拾音设备，由于硬件本身无法进行声源定位，因此拾取到的信号为各个声源混叠在一起的音频信号，虽然在算法方面有基于听觉场景分析的方法可以在一定程度上实现声音信号的分离，但是这种方法难以适应复杂的声学环境，且分离效果较差。

3、针对麦克风阵列拾音设备，线型阵列麦克风的结构和算法都较为成熟和简单，但是定位范围较窄。平面型阵列麦克风可以实现大范围的声源定位，但是缺少z轴方向的基元。球型阵列麦克风可以获取360度范围内声源的方位信息，但是其结构也较为复杂，计算复杂度较高。

4、专利文献cn112254802a(申请号：cn202011093050.0)公开了一种基于毫米波雷达相位测距的语音重构方法，包括以下步骤：s1使用离散傅里叶变换方法获取声源目标的高分辨一维距离像序列；s2基于单元平均恒虚警检测器的一维距离像序列峰值点检测；s3峰值点相位信息提取与声源音频信息重构。

5、针对毫米波雷达拾音技术，虽然可以实现目标声源的定向拾取，但由于发声物体振动的高频信号相对应的振动幅度非常小，可能为亚微米级，导致在真实场景中很难通过毫米波雷达拾取信号的高频部分。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种基于毫米波感知的声信号高质量拾取与重构方法和系统。

2、根据本发明提供的基于毫米波感知的声信号高质量拾取与重构方法，包括：

3、步骤1：使用毫米波雷达进行目标声源的振动信号测量；

4、步骤2：根据振动信号恢复目标声源的声学信息；

5、步骤3：通过神经网路对目标声源的声学信息进行高频重构，获取宽频带声音信号。

6、优选的，所述步骤1包括：

7、使用毫米波雷达对准待测物体，雷达的收发器通过发射并接收微波信号得到基带信号，通过提取经过目标振动调制后的相位信息来提取目标的振动信号x(t)，其公式如下：

8、

9、其中，t为时间；是基带信号的干涉演变相位信息；为其在时间上的均值；λ为毫米波信号的波长。

10、优选的，所述步骤2包括：

11、步骤2.1：使用高通滤波器对振动信号进行处理，消除目标声源自身抖动对实验结果的影响；

12、步骤2.2：对经过高通滤波器的信号进行降噪处理，消除毫米波雷达硬件本身所产生的背景噪声对实验结果的影响。

13、优选的，所述步骤3包括：

14、步骤3.1：将音频信号通过低通滤波器，并加上雷达的背景噪声，生成雷达仿真信号；

15、步骤3.2：对雷达仿真信号进行预处理，得到数据集；

16、步骤3.3：搭建神经网络模型，使用经过预处理后的数据集对模型进行训练，最终实现目标声音信号的高频重构。

17、优选的，雷达仿真信号进行预处理为短时傅里叶变换，得到其时频图，公式为：

18、

19、式中，h(τ-t)为分析的窗函数；t为时间；f表示频率；τ表示时间窗的宽度；j为单位虚数。

20、根据本发明提供的基于毫米波感知的声信号高质量拾取与重构系统，包括：

21、模块m1：使用毫米波雷达进行目标声源的振动信号测量；

22、模块m2：根据振动信号恢复目标声源的声学信息；

23、模块m3：通过神经网路对目标声源的声学信息进行高频重构，获取宽频带声音信号。

24、优选的，所述模块m1包括：

25、使用毫米波雷达对准待测物体，雷达的收发器通过发射并接收微波信号得到基带信号，通过提取经过目标振动调制后的相位信息来提取目标的振动信号x(t)，其公式如下：

26、

27、其中，t为时间；是基带信号的干涉演变相位信息；为其在时间上的均值；λ为毫米波信号的波长。

28、优选的，所述模块m2包括：

29、模块m2.1：使用高通滤波器对振动信号进行处理，消除目标声源自身抖动对实验结果的影响；

30、模块m2.2：对经过高通滤波器的信号进行降噪处理，消除毫米波雷达硬件本身所产生的背景噪声对实验结果的影响。

31、优选的，所述模块m3包括：

32、模块m3.1：将音频信号通过低通滤波器，并加上雷达的背景噪声，生成雷达仿真信号；

33、模块m3.2：对雷达仿真信号进行预处理，得到数据集；

34、模块m3.3：搭建神经网络模型，使用经过预处理后的数据集对模型进行训练，最终实现目标声音信号的高频重构。

35、优选的，雷达仿真信号进行预处理为短时傅里叶变换，得到其时频图，公式为：

36、

37、式中，h(τ-t)为分析的窗函数；t为时间；f表示频率；τ表示时间窗的宽度；j表示单位虚数。

38、与现有技术相比，本发明具有如下的有益效果：

39、(1)本发明基于毫米波振动测量技术，通过毫米波雷达对声源目标振动位移的感知重构了声源音频信号，设计神经网络后处理方法以及雷达仿真信号生成方法解决了毫米波声音拾取只能重构中低频分量的局限性，达到高质量语音拾音的技术效果；

40、(2)本发明解决了现有基于麦克风技术的声音拾取方法在非理想环境下拾音质量较差以及信号处理复杂的缺点，达到在强噪、混响、多声源环境下对语音进行高质量拾取的技术效果。

技术特征：

1.一种基于毫米波感知的声信号高质量拾取与重构方法，其特征在于，包括：

2.根据权利要求1所述的基于毫米波感知的声信号高质量拾取与重构方法，其特征在于，所述步骤1包括：

3.根据权利要求1所述的基于毫米波感知的声信号高质量拾取与重构方法，其特征在于，所述步骤2包括：

4.根据权利要求1所述的基于毫米波感知的声信号高质量拾取与重构方法，其特征在于，所述步骤3包括：

5.根据权利要求4所述的基于毫米波感知的声信号高质量拾取与重构方法，其特征在于，雷达仿真信号进行预处理为短时傅里叶变换，得到其时频图，公式为：

6.一种基于毫米波感知的声信号高质量拾取与重构系统，其特征在于，包括：

7.根据权利要求6所述的基于毫米波感知的声信号高质量拾取与重构系统，其特征在于，所述模块m1包括：

8.根据权利要求6所述的基于毫米波感知的声信号高质量拾取与重构系统，其特征在于，所述模块m2包括：

9.根据权利要求6所述的基于毫米波感知的声信号高质量拾取与重构系统，其特征在于，所述模块m3包括：

10.根据权利要求9所述的基于毫米波感知的声信号高质量拾取与重构系统，其特征在于，雷达仿真信号进行预处理为短时傅里叶变换，得到其时频图，公式为：

技术总结本发明提供了一种基于毫米波感知的声信号高质量拾取与重构方法和系统，包括：步骤1：使用毫米波雷达进行目标声源的振动信号测量；步骤2：根据振动信号恢复目标声源的声学信息；步骤3：通过神经网路对目标声源的声学信息进行高频重构，获取宽频带声音信号。本发明解决了现有基于麦克风技术的声音拾取方法在强噪、混响、多声源环境下拾音质量较差的缺点；通过神经网络后处理方法解决了毫米波声音拾取只能重构中低频分量的局限性。技术研发人员：熊玉勇,彭志科,申祥天受保护的技术使用者：上海交通大学技术研发日：技术公布日：2024/3/5