一种基于FPGA实现的养老服务机器人语音识别方法

本发明属于语音识别、fpga并行计算领域，尤其涉及一种基于fpga实现的养老服务机器人语音识别方法。

背景技术：

1、随着互联网的发展，通过在电脑或手机等智能设备上进行一些简单的操作就可以帮助人们做许多的事情，然而这些简单的操作对于老年人来讲却是一个难题，而当今社会大多数老人子女不在身边，如果老人能够通过养老服务机器人进行语音交互，通过养老服务机器人帮助老人完成这些操作，那么养老服务机器人能够给老年人提供极大地便利，有效减轻年轻人的负担。

2、fpga作为一种现场可编程半集成电路，在信号处理等方面得到了广泛的应用，fpga拥有大量的逻辑单元使得其灵活性更好，目前语音识别领域有着很成熟的深度学习算法模型，但是这些神经网络模型的层数较多且权重参数众多，结构复杂，对硬件要求较高，且实时性较差，大模型消耗过多的计算量和存储量，将硬件参数和硬件结构作为优化函数的一部分写入到网络压缩算法中，这样压缩出来的网络就能够直接适配到专门的硬件上，fpga的并行计算能力和可编程性就很适合用来加速深度学习算法模型以及部署压缩后的算法模型，其高效和功耗低的优点可以提高深度学习算法模型的实时性。

3、因此，针对现有技术本发明提出了一种基于fpga实现的养老服务机器人语音识别方法。

技术实现思路

1、本发明提供了一种基于fpga实现的养老服务机器人语音识别方法，以解决老年人生活上的一些不方便。

2、本发明一种基于fpga实现的养老服务机器人语音识别方法，总共包含四个模块，分别是：语音信号预处理模块，神经网络模块，模型压缩与部署模块，硬件推理模块。

3、所述语音信号预处理模块，用来实现语音信号的噪声抑制和消除、回声消除、信号增强、带通滤波、预加重、分帧加窗、特征提取等操作以得到干净、清晰且特征丰富的音频信号特征，以便语音识别系统可以更准确的处理和识别语音。

4、所述神经网络模块，采用cnn-lstm混合神经网络模型，结合了cnn的空间特征提取能力和lstm的时序数据处理能力，神经网络的设计包含了cnn层的设计和lstm层的设计，设计卷积层来提取语音信号的频谱特征，包含了两个卷积层和池化层，在cnn层后面加入lstm层，用于处理时序信息，lstm能够捕捉到语音信号中的时间依赖性。

5、所述模型压缩与部署模块，采用定点量化和top-k剪枝这两种方法对神经网络模型进行压缩，定点量化将模型的权重和激活值从浮点数转化为定点数，top-k剪枝将模型中重要性最低的连接和神经元移除，将压缩后的模型部署在fpga上。

6、所述硬件推理模块，硬件平台为集成了nios ii软核处理器的alrera de2-115fpga卡板，语音识别配置信息存储在nois ii处理器的片上存储区域，从nois ii处理器的内部存储区域读取语音识别模型的配置信息通过采用avalon总线发送到fpga的参数缓存模块dma，将cnn-lstm网络模型的权重参数通过avalon总线从外部存储器sd卡中传输至部署在fpga的pe处理阵列进行前向推理，所述pe处理阵列包括多个并行处理的pe处理单元，每个pe处理单元分别负责卷积运算、矩阵乘向量运算、非线性运算（sigmiod函数和tanh函数）以及softmax运算，采用五级流水方式和分时复用的计算方法得到阵列的计算结果，将推理计算得到的语音识别结果通过avalon总线传输至sd卡中，用于得到语音识别结果。

技术特征：

1.一种基于fpga实现的养老服务机器人的语音识别方法，其特征在于，所述流程包括，语音信号预处理、语音识别模型的训练、语音识别模型压缩以及部署、在硬件平台上进行模型的推理；

2.根据权利要求书1所述的一种基于fpga实现的养老服务机器人语音识别方法，其特征在于，所述语音识别处理过程具体包括：

技术总结本发明基于涉及了一种基于FPGA实现的养老服务机器人语音识别方法，所述方法包括：获取语音数据集，在GPU端训练语音识别模型，将模型经过压缩之后部署在FPGA中，在FPGA中进行语音识别，将语音识别结果返回到养老服务机器人中，养老服务机器人进行相应的操作，所述语音识别模型为CNN‑LSTM模型，压缩方法为定点量化和TOP‑K剪枝，本发明通过以FPGA作为硬件平台，鉴于FPGA在深度神经网络加速方面得可行性，设计了一个持稀疏LSTM推理网络的硬件加速架构，实现了在FPGA上进行特定场景的语音识别，减少了计算量和存储量。技术研发人员：胡黄水,邓媛媛,王宏志,唐志振受保护的技术使用者：长春工业大学技术研发日：技术公布日：2024/2/29