一种语音信号基频提取方法、装置及设备

本公开属于数字语音信号处理，具体涉及一种语音信号基频提取方法、装置及设备。

背景技术：

1、语音基频是语音信号中一项至关重要的参数，它通常对应于说话者声音的音调或音高，是构建语音表达和感知的关键要素之一。

2、目前，基频检测的方法主要基于麦克风采集的语音信号进行。麦克风的工作原理是声波的振动使得麦克风中的振膜产生相应的振动，麦克风的被动感知方式导致当环境中有多人说话或者环境噪声比较大时，所有人声和噪声都会被麦克风采集并混叠在一起，从而对对特定个体的基频变化的检测带来困难。同时，人声发出清音时声带不发生振动，因此并不具有明显的基频特征，但基于麦克风的基频检测方法往往也给清音赋予一个基频。

技术实现思路

1、本公开实施例提出了一种语音信号基频提取方案，以解决现有基于麦克风的语音信号基频提取方案在执行对特定个体的基频检测时易受他人声音和环境噪声干扰以及容易发生清浊音误判的问题。

2、本公开实施例的第一方面提供了一种语音信号基频提取方法，包括：

3、控制毫米波雷达雷达波束覆盖目标用户喉咙处以采集目标用户声带振动信息，生成所述毫米波雷达的中频信号；

4、基于所述中频信号生成每一啁啾信号的距离热图，在所述距离热图中确定所述声带对应的距离单元，基于所述距离单元提取所述振动信息的相位信息，基于所述相位信息确定所述振动信息的振动信号；

5、对所述振动信号进行分帧，得到每一帧的所述振动信号对应的频谱序列，结合人声基频范围以及帧数据中的频域能量大小关系，在能量符合基频特征的所述频谱序列的频谱数据中，提取出能量峰值点对应的基频数据，在所述基频数据中，选取最低频对应的频率作为当前帧对应的基频值。

6、在一些实施例中，所述生成所述毫米波雷达的中频信号包括：

7、对所述毫米波雷达的发射信号和接收信号进行混频操作，生成所述毫米波雷达的中频信号。

8、在一些实施例中，所述基于所述中频信号生成每一啁啾信号的距离热图包括：

9、对所述中频信号沿着快时间轴进行傅里叶变换以生成每一啁啾信号的距离热图，其中，所述快时间轴对应所述毫米波雷达单个啁啾信号内采样点对应的时间维度。

10、在一些实施例中，所述在所述距离热图中确定所述声带对应的距离单元包括：

11、计算所述距离热图上每一距离单元对应的平均功率；

12、将平均功率最强的距离单元作为所述声带对应的距离单元。

13、在一些实施例中，所述基于所述距离单元提取所述振动信息的相位信息包括：

14、对所述距离单元的慢时间轴数据使用反正切函数提取所述振动信息的相位信息，其中，所述慢时间轴是所述毫米波雷达多个啁啾信号之间对应的时间维度。

15、在一些实施例中，所述基于所述相位信息确定所述振动信息的振动信号包括：

16、使用一阶差分从所述相位信息中提取所述振动信号；

17、使用滑动平均滤波器对所述振动信号进行平滑操作。

18、在一些实施例中，所述得到每一帧的所述振动信号对应的频谱序列包括：

19、使用短时傅里叶变换将每一帧的所述振动信号从时域转化到频域，得到所述振动信号对应的频谱序列。

20、在一些实施例中，所述结合人声基频范围以及所述帧数据中的频域能量大小关系，在能量符合基频特征的所述频谱序列的频谱数据中，提取出能量峰值点对应的基频数据包括：

21、在每一帧所述频谱序列中去除电磁干扰和频谱泄露导致的频谱噪声；

22、在去除所述频谱噪声后的所述频谱序列中，结合人声基频范围以及帧数据中的频域能量大小关系，筛选出能量符合基频特征的基频数据；

23、在所述能量符合基频特征的基频数据中，提取出能量峰值点对应的基频数据。

24、本公开实施例的第二方面提供了一种语音信号基频提取装置，包括：

25、采集模块，用于控制毫米波雷达雷达波束覆盖目标用户喉咙处以采集目标用户声带振动信息，生成所述毫米波雷达的中频信号；

26、确定模块，用于基于所述中频信号生成每一啁啾信号的距离热图，在所述距离热图中确定所述声带对应的距离单元，基于所述距离单元提取所述振动信息的相位信息，基于所述相位信息确定所述振动信息的振动信号；

27、提取模块，用于对所述振动信号进行分帧，得到每一帧的所述振动信号对应的频谱序列，结合人声基频范围以及帧数据中的频域能量大小关系，在能量符合基频特征的所述频谱序列的频谱数据中，提取出能量峰值点对应的基频数据，在所述基频数据中，选取最低频对应的频率作为当前帧对应的基频值。

28、本公开实施例的第三方面提供了一种语音信号基频提取设备，包括存储器和处理器：

29、所述存储器，用于存储计算机程序；

30、所述处理器，用于当执行所述计算机程序时，实现根据本公开第一方面所述的方法。

31、综上所述，本公开各实施例提供的语音信号基频提取方法、装置及设备，通过采用毫米波雷达直接提取声带振动信号，不依赖声音在空气中传播的振动，因此不受他人声音和环境噪声干扰；并且当目标用户发出清音时，声带不发生振动，因而也不会发生清浊音误判。

技术特征：

1.一种语音信号基频提取方法，其特征在于，包括：

2.根据权利要求1所述方法，其特征在于，所述生成所述毫米波雷达的中频信号包括：

3.根据权利要求1所述方法，其特征在于，所述基于所述中频信号生成每一啁啾信号的距离热图包括：

4.根据权利要求1所述方法，其特征在于，所述在所述距离热图中确定所述声带对应的距离单元包括：

5.根据权利要求1所述方法，其特征在于，所述基于所述距离单元提取所述振动信息的相位信息包括：

6.根据权利要求1所述方法，其特征在于，所述基于所述相位信息确定所述振动信息的振动信号包括：

7.根据权利要求1所述方法，其特征在于，所述得到每一帧的所述振动信号对应的频谱序列包括：

8.根据权利要求1所述方法，其特征在于，所述结合人声基频范围以及所述帧数据中的频域能量大小关系，在能量符合基频特征的所述频谱序列的频谱数据中，提取出能量峰值点对应的基频数据包括：

9.一种语音信号基频提取装置，其特征在于，包括：

10.一种语音信号基频提取设备，其特征在于，包括存储器和处理器：

技术总结本公开属于数字语音信号处理技术领域，具体涉及一种语音信号基频提取方法、装置及设备。其中所述方法包括：控制毫米波雷达雷达波束覆盖目标用户喉咙处以采集目标用户声带振动信息，生成所述毫米波雷达的中频信号；基于所述中频信号生成每一啁啾信号的距离热图，在所述距离热图中确定所述声带对应的距离单元，基于所述距离单元提取所述振动信息的相位信息，基于所述相位信息确定所述振动信息的振动信号；对所述振动信号进行分帧，得到每一帧的所述振动信号对应的频谱序列，在能量符合基频特征的所述频谱序列的频谱数据中，提取出能量峰值点对应的基频数据，在所述基频数据中，选取最低频对应的频率作为当前帧对应的基频值。技术研发人员：王凯,王凌宇,孟成真,何晨铭,王德全,张燕咏受保护的技术使用者：中国科学技术大学技术研发日：技术公布日：2024/6/5