掘进设备的语音控制方法、装置、系统及掘进设备与流程

本发明涉及掘进设备控制，尤其涉及一种掘进设备的语音控制方法、装置、系统及掘进设备。

背景技术：

1、在煤炭行业中，掘进机是非常关键的生产设备，与此同时，运输皮带机和锚护机等配套掘进设备在生产中也起着重要作用。

2、处在井下不同位置的掘进设备在各自的工序当中，运作、启动和停止要符合一定的顺序，且需要矿工之间有效的通知和确认，然而，井下环境缺少矿工之间的通讯工具，更多的是隔空喊话，或是利用相距很远的拨号电话沟通，甚至移步到另一位设备操作手处进行交流，通知开启或关闭设备。

3、这种通讯方式存在着沟通效率低的问题，且随着巷道掘进深度，需定位安装有线电话，影响掘进场景智能化水平。

4、因此，解决现有技术中掘进设备语音控制存在语音识别效率低下且识别准确率不高的问题，显得十分必要。

技术实现思路

1、本发明提供一种掘进设备的语音控制方法、装置、系统及掘进设备，用以解决现有技术中掘进设备语音控制存在语音识别效率低下且识别准确率不高的缺陷，能够进一步提升语音识别准确度和语音识别效率，以及掘进设备的智能化水平。

2、一方面，本发明提供一种掘进设备的语音控制方法，所述掘进设备设有边缘计算单元，所述边缘计算单元部署有声纹识别模型和语音识别模型；所述语音控制方法包括：接收用户终端发送的语音信息；基于预先训练的所述声纹识别模型，对所述用户终端的语音信息进行声纹识别，得到声纹识别结果；在所述声纹识别结果符合预设条件的情况下，基于预先训练的所述语音识别模型，对所述用户终端的语音信息进行文本识别，得到语音识别结果；根据所述语音识别结果，确定对所述掘进设备的控制指令，并按照所述控制指令控制所述掘进设备。

3、进一步地，所述基于预先训练的所述语音识别模型，对所述用户终端的语音信息进行文本识别，之前包括：采用汉明窗函数对所述语音信息加窗，并对加窗后的语音信息进行时域信号截断，得到有限长度的时域信号；对所述有限长度的时域信号进行快速傅里叶变换，得到所述语音信息对应的语谱图。

4、进一步地，所述基于预先训练的所述语音识别模型，对所述用户终端的语音信息进行文本识别，包括：将所述语音信息对应的语谱图依次经过所述语音识别模型的卷积层、注意力机制层、全连接层以及激活函数层，得到所述语音信息对应的特征向量；根据所述特征向量，以及预存的拼音列表，预测得到所述语音识别结果。

5、进一步地，训练所述声纹识别模块与所述语音识别模型，具体包括：构建第一训练样本数据集和第二训练样本数据集，所述第一训练样本数据集包括不同人员的语音片段，所述第二训练样本数据集包括多种不同口音的指令集词汇语音信息；利用所述第一训练样本数据集对所述声纹识别模型进行训练优化，以及，利用所述第二训练样本数据集对所述语音识别模型进行训练优化。

6、进一步地，所述用户终端包括防爆手机，所述防爆手机内部装有应用软件，所述应用软件具有语音录制功能和语音发送功能。

7、进一步地，所述接收用户终端发送的语音信息，之前包括：在录制所述语音信息时，采用声音增强算法对所述语音信息进行预处理；其中，所述声音增强算法包括降噪算法、回声消除算法、音频增益算法以及音频均衡算法中的一项或多项组合。

8、进一步地，在录制语音信息之前包括：根据所述掘进设备的设备使用信息，限定所述用户终端发送的语音信息所属的功能控制范围。

9、第二方面，本发明还提供一种掘进设备的语音控制装置，所述掘进设备设有边缘计算单元，所述边缘计算单元部署有声纹识别模型和语音识别模型；所述语音控制装置包括：语音信息接收模块，用于接收用户终端发送的语音信息；声纹识别模块，用于基于预先训练的所述声纹识别模型，对所述用户终端的语音信息进行声纹识别，得到声纹识别结果；语音识别模块，用于在所述声纹识别结果符合预设条件的情况下，基于预先训练的所述语音识别模型，对所述用户终端的语音信息进行文本识别，得到语音识别结果；掘进设备控制模块，用于根据所述语音识别结果，确定对所述掘进设备的控制指令，并按照所述控制指令控制所述掘进设备。

10、第三方面，本发明还提供一种掘进设备的语音控制系统，包括：防爆手机，包括具有语音录制功能和语音发送功能的应用软件，用于录制语音信息，并转发所述语音信息；掘进设备，与所述防爆手机连接，所述掘进设备的防爆箱内安装有边缘计算单元，所述边缘计算单元部署有声纹识别模型和语音识别模型，用于执行如上述任一项所述的掘进设备的语音控制方法。

11、第四方面，本发明还提供一种掘进设备，运行时执行如上述任一项一项所述的掘进设备的语音控制方法，或者，包括如上述所述的掘进设备的语音控制装置。

12、第五方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的掘进设备的语音控制方法的步骤。

13、第六方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的掘进设备的语音控制方法的步骤。

14、本发明提供的掘进设备的语音控制方法，通过接收用户终端发送的语音信息，并基于预先训练的声纹识别模型，对用户终端的语音信息进行声纹识别，得到声纹识别结果，在声纹识别结果符合预设条件的情况下，基于预先训练的语音识别模型，对用户终端的语音信息进行文本识别，得到语音识别结果，从而根据语音识别结果，确定对掘进设备的控制指令，并按照控制指令控制掘进设备。该方法通过在掘进设备的边缘计算单元中部署训练好的声纹识别模型和语音识别模型，能够快速、准确地对用户终端的身份信息及其发送的语音信息内容进行推理预测，使得掘进设备能够快速响应动作，实现了语音上的人机交互，有效提高了掘进设备的工作效率。

技术特征：

1.一种掘进设备的语音控制方法，其特征在于，所述掘进设备设有边缘计算单元，所述边缘计算单元部署有声纹识别模型和语音识别模型；

2.根据权利要求1所述的掘进设备的语音控制方法，其特征在于，所述基于预先训练的所述语音识别模型，对所述用户终端的语音信息进行文本识别，之前包括：

3.根据权利要求2所述的掘进设备的语音控制方法，其特征在于，所述基于预先训练的所述语音识别模型，对所述用户终端的语音信息进行文本识别，包括：

4.根据权利要求1所述的掘进设备的语音控制方法，其特征在于，训练所述声纹识别模块与所述语音识别模型，具体包括：

5.根据权利要求1所述的掘进设备的语音控制方法，其特征在于，所述用户终端包括防爆手机，所述防爆手机内部装有应用软件，所述应用软件具有语音录制功能和语音发送功能。

6.根据权利要求1-5中任一项所述的掘进设备的语音控制方法，其特征在于，所述接收用户终端发送的语音信息，之前包括：

7.根据权利要求6所述的掘进设备的语音控制方法，其特征在于，在录制语音信息之前包括：

8.一种掘进设备的语音控制装置，其特征在于，所述掘进设备设有边缘计算单元，所述边缘计算单元部署有声纹识别模型和语音识别模型；

9.一种掘进设备的语音控制系统，其特征在于，包括：

10.一种掘进设备，其特征在于，运行时执行如权利要求1-7中任一项所述的掘进设备的语音控制方法，或者，包括如权利要求8所述的掘进设备的语音控制装置。

11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的掘进设备的语音控制方法的步骤。

12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的掘进设备的语音控制方法的步骤。

技术总结本发明涉及掘进设备控制领域，提供一种掘进设备的语音控制方法、装置、系统及掘进设备，其中的方法包括：接收用户终端发送的语音信息；基于预先训练的声纹识别模型对语音信息进行声纹识别，得到声纹识别结果；在声纹识别结果符合预设条件的情况下，基于预先训练的语音识别模型对语音信息进行文本识别，得到语音识别结果；根据语音识别结果确定对掘进设备的控制指令，并按照控制指令控制掘进设备。该方法通过在掘进设备的边缘计算单元中部署训练好的声纹识别模型和语音识别模型，能够快速、准确地对用户终端的身份信息及其发送的语音信息内容进行推理预测，使掘进设备能够快速响应动作，实现了语音上的人机交互，有效提高了掘进设备的工作效率。技术研发人员：岳志强,蔡春蒙,刘洋,黄明阳,李阳受保护的技术使用者：三一重型装备有限公司技术研发日：技术公布日：2024/3/31