一种自学习本地语音识别方法与流程

本发明涉及智能语音识别，特别涉及一种自学习本地语音识别方法。

背景技术：

1、机器学习是人工智能的重要分支，通过使用大量数据训练神经网络，使得系统具备学习新事物的能力，能够理解相关新情况并做出有效的决策。

2、大多数机器学习和模型推理都发生在强大的云端服务器上，但是随着嵌入式系统内部微控制器处理能力的不断增强，人们开始尝试通过压缩模型的方式将机器学习模型部署在微控制器内部，由此tiny ml(微型机器学习)逐渐开始了应用，目的为了实现机器学习模型和深度学习算法在硬件资源不足、价格便宜的微控制器上部署。直接在微处理器中嵌入人工智能，逐渐成为消费和工业物联网场景的关键，这种方法并不依赖于外部程序，也不依赖边缘和云端，能够提供最佳的实时响应，同时也能为人们的隐私提供极大保护。

3、随着人工智能浪潮的兴起，智能家居逐渐走入千家万户，这其中语音识别发挥了极大作用。在实际应用中，语音识别的结果有着众多不确定性，如外界环境、发音方式、方言习惯、语音质量等都对语音识别的准确率提出了挑战。

4、基于上述情况，本发明提出了一种自学习本地语音识别方法。

技术实现思路

1、本发明为了弥补现有技术的缺陷，提供了一种简单高效的自学习本地语音识别方法。

2、本发明是通过如下技术方案实现的：

3、一种自学习本地语音识别方法，其特征在于：在智能家居的微控制器中运行特征词语音识别机器学习模型，通过对语音关键词的采集和推理进行语音识别，实现对智能家居终端设备的控制功能；

4、具体步骤如下：

5、步骤s1、收集大量的关键词语料数据，对语音关键词数据集进行时频域转化，通过短时傅里叶变换提取特征值图谱，构建频谱图数据集，在云服务器端对特征词语音识别机器学习模型进行训练；

6、步骤s2、对训练好的特征词语音识别机器学习模型进行压缩和优化，生成能够在微控制器中部署和推理的模型，并采用远程升级的方式在终端设备中进行模型部署；

7、步骤s3、本地终端设备采集关键词，通过压缩和优化后的特征词语音识别机器学习模型对语音进行推理识别；

8、步骤s4、对识别结果进行验证，根据验证结果，通过云服务器对部署在本地终端设备的机特征词语音识别机器学习模型优化和更新，实现本地语音识别系统的自学习功能。

9、所述步骤s1中，根据需要的关键词对语料集文件进行筛选，采用结构化的方式对筛选出来的关键词语音数据进行处理，包括通过对音频文件进行短时傅里叶变换，提取频谱特征，生成频谱图，包括训练集、验证集和测试集频谱图，进行特征词语音识别机器学习模型训练。

10、所述步骤s1中，采用tensorflow框架和频谱图数据集，对特征词语音识别机器学习模型进行训练、验证、测试和优化，得到训练好的特征词语音识别机器学习模型。

11、所述步骤s2中，对训练好的特征词语音识别机器学习模型进行结构化剪枝，压缩模型体积，并对压缩后的特征词语音识别机器学习模型的识别精度进行验证和评估，将特征词语音识别机器学习模型转换为能够部署在微处理器中的c语言模型文件。

12、所述步骤s2中，经过tensor flow lite转换器对特征词语音识别机器学习模型进行剪枝和量化，实现特征词语音识别机器学习模型的压缩，通过网络按照模型传输协议将特征词语音识别机器学习模型的c语言模型文件传输到终端设备中进行部署。

13、所述步骤s3中，利用微控制器端麦克风传感器实现语音命令的采集，经模数转换以及短时傅里叶变换之后送入部署在本地终端设备的特征词语音识别机器学习模型进行推理计算，实现语音识别功能，本地终端设备根据识别结果进行相应的控制操作。

14、所述步骤s3中，利用微控制器端麦克风传感器采集包含关键词的实时语音信号，首先对语音的模拟信号进行采样、量化和编码操作，将模拟信号转化为数字信号；从量化之后的数字编码中提取关键词语音特征，包括声学特征与时间特征。

15、所述步骤s4中，本地终端设备通过用户重复的次数判断语音识别精度，对于重复出现关键词识别错误的语音数据，将原始语音文件发送至云服务器进行语音处理，并作为原始语料数据参与训练，对特征词语音识别机器学习模型进行优化，实现本地语音识别系统的自学习功能。

16、一种自学习本地语音识别设备，其特征在于：包括存储器和处理器；所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现如上所述的方法步骤。

17、一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法步骤。

18、本发明的有益效果是：该自学习本地语音识别方法，不仅能够在低内存、低价格、低功耗的微控制器上运行，还能持续性的优化更新，不依赖于外部程序以及边缘设备，提供实时响应，极大地保护了用户的隐私。

技术特征：

1.一种自学习本地语音识别方法，其特征在于：在智能家居的微控制器中运行特征词语音识别机器学习模型，通过对语音关键词的采集和推理进行语音识别，实现对智能家居终端设备的控制功能；

2.根据权利要求1所述的自学习本地语音识别方法，其特征在于：所述步骤s1中，根据需要的关键词对语料集文件进行筛选，采用结构化的方式对筛选出来的关键词语音数据进行处理，包括通过对音频文件进行短时傅里叶变换，提取频谱特征，生成频谱图，包括训练集、验证集和测试集频谱图，进行特征词语音识别机器学习模型训练。

3.根据权利要求2所述的自学习本地语音识别方法，其特征在于：所述步骤s1中，采用tensorflow框架和频谱图数据集，对特征词语音识别机器学习模型进行训练、验证、测试和优化，得到训练好的特征词语音识别机器学习模型。

4.根据权利要求1所述的自学习本地语音识别方法，其特征在于：所述步骤s2中，对训练好的特征词语音识别机器学习模型进行结构化剪枝，压缩模型体积，并对压缩后的特征词语音识别机器学习模型的识别精度进行验证和评估，将特征词语音识别机器学习模型转换为能够部署在微处理器中的c语言模型文件。

5.根据权利要求4所述的自学习本地语音识别方法，其特征在于：所述步骤s2中，经过tensor flow lite转换器对特征词语音识别机器学习模型进行剪枝和量化，实现特征词语音识别机器学习模型的压缩，通过网络按照模型传输协议将特征词语音识别机器学习模型的c语言模型文件传输到终端设备中进行部署。

6.根据权利要求1所述的自学习本地语音识别方法，其特征在于：所述步骤s3中，利用微控制器端麦克风传感器实现语音命令的采集，经模数转换以及短时傅里叶变换之后送入部署在本地终端设备的特征词语音识别机器学习模型进行推理计算，实现语音识别功能，本地终端设备根据识别结果进行相应的控制操作。

7.根据权利要求6所述的自学习本地语音识别方法，其特征在于：所述步骤s3中，利用微控制器端麦克风传感器采集包含关键词的实时语音信号，首先对语音的模拟信号进行采样、量化和编码操作，将模拟信号转化为数字信号；从量化之后的数字编码中提取关键词语音特征，包括声学特征与时间特征。

8.根据权利要求1所述的自学习本地语音识别方法，其特征在于：所述步骤s4中，本地终端设备通过用户重复的次数判断语音识别精度，对于重复出现关键词识别错误的语音数据，将原始语音文件发送至云服务器进行语音处理，并作为原始语料数据参与训练，对特征词语音识别机器学习模型进行优化，实现本地语音识别系统的自学习功能。

9.一种自学习本地语音识别设备，其特征在于：包括存储器和处理器；所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现如权利要求1至8任意一项所述的方法。

10.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任意一项所述的方法。

技术总结本发明特别涉及一种自学习本地语音识别方法。该自学习本地语音识别方法，在智能家居的微控制器中运行特征词语音识别机器学习模型，通过对语音关键词的采集和推理进行语音识别，实现对智能家居终端设备的控制功能。该自学习本地语音识别方法，不仅能够在低内存、低价格、低功耗的微控制器上运行，还能持续性的优化更新，不依赖于外部程序以及边缘设备，提供实时响应，极大地保护了用户的隐私。技术研发人员：王明圣,朱翔宇,胡佳,金长新,李锐,魏子重受保护的技术使用者：山东浪潮科学研究院有限公司技术研发日：技术公布日：2024/6/11