一种三维虚拟仿真的智能化语音控制方法及系统与流程

本发明涉及工厂虚拟仿真控制，尤其涉及一种三维虚拟仿真的智能化语音控制方法、系统、设备及介质。

背景技术：

1、工厂虚拟仿真控制技术是一个重要的领域，它可以通过模拟真实的生产环境来进行生产控制和优化，帮助工厂提高生产效率和降低成本。目前，已经存在一些虚拟仿真系统，但在现有的虚拟仿真仿真在实时应急响应和车间巡检方面仍存在一些挑战，普遍只能监视生产环境的实时数据，对于发生异常情况时依然需要人工手动进行相应的虚拟仿真调整，在工作效率上无法提高。再加上传统的语音识别技术在噪音环境下的准确性和实时性也有待改进，因此现有的生产环节中普遍缺少基于语音识别的虚拟仿真方法。

技术实现思路

1、本发明实施例提供一种三维虚拟仿真的智能化语音控制方法、系统、设备及介质，以解决相关技术存在的问题，技术方案如下：

2、第一方面，本发明实施例提供了一种三维虚拟仿真的智能化语音控制方法，包括：

3、获取车间巡检环境中的声音信号，对声音信号进行主音量分析，根据主音量的能量值消除环境噪声，得到目标音频段；

4、基于预先构建的声学模型以及与应急场景相关联的语音库模型对声音信号进行语音识别，得到文字结果；

5、基于预先构建的transformer语言模型对文字结果进行自然语言理解处理，得到符合预定义的应急响应规则的应急响应消息；

6、根据应急响应消息生成对应的控制指令，控制指令用于控制虚拟仿真对应自动化设备执行响应。

7、在一种实施方式中，还包括：

8、对声音信号进行信号增强处理，得到增强后的语音时域信号；

9、对每一帧的语音时域信号进行傅里叶变换得到频谱图；

10、基于mel滤波器对频谱图进行特征提取，得到对应的语音特征；语音特征用于进行主音量分析。

11、在一种实施方式中，主音量分析的方法包括：

12、计算每个语音特征对应的音帧能量值；

13、在音帧能量值超过预设阈值的情况下，判定为该语音特征对应的音频段为活跃音频段；

14、对活跃音频段以外的音频段标记为非活跃音频段，并对非活跃音频段进行消除，保留目标音频段。

15、在一种实施方式中，声学模型的语音识别方法为：

16、基于lstm-ctc模型对语音特征转换为音素序列，对音素序列进行编码转化为固定向量，再对固定向量进行解码，得到解码后的输出序列；

17、根据解码后的输出序列以及若干假设词序列计算声学模型分数和语言模型分数，将总体输出分数最高的序列作为文字结果进行输出。

18、在一种实施方式中，语音库模型的构建方法为：

19、获取应急场景的语音文件形成测试集，测试集包括音频wav文件和标注txt文本；

20、选取对应的基础模型对测试集进行迭代训练，获得语音库模型。

21、在一种实施方式中，应急响应规则的设定方法为：

22、基于transformer语言模型定义应急响应规则，应急响应规则包括设定的预警响应条件以及指令映射表；指令映射表用于关联满足预警响应条件的应急响应消息以及控制指令。

23、在一种实施方式中，还包括：

24、transformer语言模型是基于语音交互的生成式预训练语言模型，通过输入的文本内容生成与文本内容相关的交互反馈和操作指令。

25、第二方面，本发明实施例提供了一种三维虚拟仿真的智能化语音控制系统，执行如上述的三维虚拟仿真的智能化语音控制方法。

26、第三方面，本发明实施例提供了一种电子设备，该装置包括：存储器和处理器。其中，该存储器和该处理器通过内部连接通路互相通信，该存储器用于存储指令，该处理器用于执行该存储器存储的指令，并且当该处理器执行该存储器存储的指令时，使得该处理器执行上述各方面任一种实施方式中的方法。

27、第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储计算机程序，当计算机程序在计算机上运行时，上述各方面任一种实施方式中的方法被执行。

28、上述技术方案中的优点或有益效果至少包括：

29、使用lstm-ctc声学模型实现语音识别，能够准确地将语音指令转化为文本指令，提高了语音控制的准确性和可靠性；

30、利用transformer语言模型实现自然语言理解，能够将文本指令转化为机器可理解的指令，实现了语音指令与虚拟仿真系统的无缝对接；

31、结合车间巡检实时应急响应，能够在发生异常情况时，通过语音指令快速响应并进行相应的虚拟仿真调整，提高了工厂的应急处理能力。

32、上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。

技术特征：

1.一种三维虚拟仿真的智能化语音控制方法，其特征在于，包括：

2.根据权利要求1所述的三维虚拟仿真的智能化语音控制方法，其特征在于，还包括：

3.根据权利要求1所述的三维虚拟仿真的智能化语音控制方法，其特征在于，所述主音量分析的方法包括：

4.根据权利要求1所述的三维虚拟仿真的智能化语音控制方法，其特征在于，所述声学模型的语音识别方法为：

5.根据权利要求1所述的三维虚拟仿真的智能化语音控制方法，其特征在于，所述语音库模型的构建方法为：

6.根据权利要求1所述的三维虚拟仿真的智能化语音控制方法，其特征在于，所述应急响应规则的设定方法为：

7.根据权利要求1所述的三维虚拟仿真的智能化语音控制方法，其特征在于，还包括：

8.一种三维虚拟仿真的智能化语音控制系统，其特征在于，执行如权利要求1～7任一所述的三维虚拟仿真的智能化语音控制方法。

9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器中存储指令，所述指令由处理器加载并执行，以实现如权利要求1～7任一所述的三维虚拟仿真的智能化语音控制方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～7任一所述的三维虚拟仿真的智能化语音控制方法。

技术总结本发明提出一种三维虚拟仿真的智能化语音控制方法及系统，其方法包括：获取车间巡检环境中的声音信号，对声音信号进行主音量分析，根据主音量的能量值消除环境噪声，得到目标音频段；基于预先构建的声学模型以及与应急场景相关联的语音库模型对声音信号进行语音识别，得到文字结果；基于预先构建的Transformer语言模型对文字结果进行自然语言理解处理，得到符合预定义的应急响应规则的应急响应消息；根据应急响应消息生成对应的控制指令，控制指令用于执行控制虚拟仿真对应自动化设备执行响应。本发明通过语音指令快速响应并进行相应的虚拟仿真调整，提高了工厂的应急处理能力。技术研发人员：陈友艺,吴拥军,肖奇伟,李文贤,覃广范,刘洪安受保护的技术使用者：广东赛意信息科技有限公司技术研发日：技术公布日：2024/4/29