一种基于声音和语言模型的远程巡视系统控制方法及系统与流程

本发明涉及变电站智能巡视领域，更具体地说，它涉及一种基于声音和语言模型的远程巡视系统控制方法及系统。

背景技术：

1、变电站远程巡视系统，是国家电网规划的以机器人、无人机、声纹设备、摄像机等为感知层设备，将采集数据通过算法主机进行智能分析后生成巡视结果的系统。系统主要以人为启动巡视、设定周期巡视任务或主辅系统告警信号触发等方式执行变电站设备的巡视任务。系统围绕巡视点位开展巡视任务，巡视点位是指业务上的检查点，一个设备一般存在多个巡视点位。通常由一个或多个摄像机、无人机或机器人预置位构造最小业务监视点，用于观察各巡视点位的部件是否存在缺陷。系统设计有基于点位属性的检索模块，用于查询巡视点位后进行设备监控查看、巡视任务启动、巡视设备设置等操作。

2、然而，由于巡视点位的业务属性繁多，如变电站区域、变电站间隔、设备名称、部件名称、相位名称、点位名称、点位编码、巡视类型、重要等级、识别算法、感知层设备等，人为检索时查询准确率不高导致操作繁琐，应急情况发生时无法第一时间查看设备的相关情况，尤其是针对未建设主辅系统的变电站或主辅系统未涵盖的巡视点位。另一方面，由于涉及多个巡视点位，导致巡视过程持续时间长，巡视结果生成后可能无法第一时间被现场工作人员观察到。

技术实现思路

1、本技术的目的是提供一种基于声音和语言模型的远程巡视系统控制方法及系统，解决现有的远程巡视系统操作繁琐、查询易出错、结果通知不及时的问题；拓展现有的变电站远程巡视系统，通过声音和语言大模型实现远程巡视系统控制，工作人员通过语音输入与远程巡视系统实现人机交流，指导远程巡视系统快速完成巡视相关工作，并得到巡视任务结果的语音反馈，简化远程巡视系统的操作流程、降低操作难度、便于工作人员及时获知任务结果。

2、本技术首先提供一种基于声音和语言模型的远程巡视系统控制方法，包括：获取语音数据，根据微调的语音识别模型将所述语音数据转化为文本数据；根据远程巡视专家模型从所述文本数据中解析意图数据，所述意图数据包括：需调用服务的api接口和接口参数，所述远程巡视专家模型为sota大语言模型通过训练得到；解析所述意图数据中的接口参数，并对所述接口参数进行增强，得到增强意图数据；根据所述增强意图数据生成服务调用请求，通过所述服务调用请求调用远程巡视系统执行服务得到服务结果；将所述服务结果输入远程巡视专家模型，生成答复文本数据；将所述答复文本数据转换为答复语音数据输出。

3、采用上述技术方案，通过获取工作人员的语音数据，即可调用远程巡视系统的服务接口，控制远程巡视系统执行服务，将结果通过语音的方式展现，通过语音即可控制远程巡视系统执行服务，服务结果同样通过语音形式返回，简化工作人员的操作流程。另外，通过对接口参数进行意图增强实现精准调用，降低对工作人员的要求。

4、在一种可能的实施方式中，所述微调的语音识别模型，通过如下方式得到：获取语音识别sota模型，根据电力领域专有语音文本数据对所述语音识别sota模型进行微调，得到微调的语音识别模型。

5、在一种可能的实施方式中，所述远程巡视专家模型，通过如下方式得到：获取远程巡视系统的api接口和注释，组成意图实现种子库；对所述意图实现种子库中的每个api接口补充远程巡视系统信息的上下文和占位符，生成占位意图表达；将所述占位意图表达输入通用大语言模型进行拓展，组成占位意图表达数据集；对所述占位意图表达数据集进行人工审查，筛除错误的占位意图表达；将占位意图表达数据集中的占位符替换为远程巡视系统中的电力设备信息、点位信息、感知层设备信息，得到意图表达数据集；基于所述意图表达数据集对大语言模型进行训练，得到远程巡视专家模型。

6、在一种可能的实施方式中，所述增强意图数据，通过如下方式得到：对远程巡视系统中的关系型数据和实体数据进行同步，生成文档数据库，通过词嵌入模型对远程巡视系统中的实体数据进行向量化表达，生成向量数据库；分别在所述文档数据库和所述向量数据库中检索所述接口参数，并对检索结果做交集运算，得到增强后的接口参数；将增强后的接口参数和需调用服务的api接口组合成为增强意图数据。

7、在一种可能的实施方式中，还包括：获取远程巡视系统的告警文本，将所述告警文本转化为语音输出。

8、本技术还提供一种基于声音和语言模型的远程巡视系统控制系统，包括：语音识别模块，用于获取语音数据，根据微调的语音识别模型将所述语音数据转化为文本数据；大语言模型模块，用于根据远程巡视专家模型从所述文本数据中解析意图数据，所述意图数据包括：需调用服务的api接口和接口参数，所述远程巡视专家模型为sota大语言模型通过训练得到；检索增强模块，用于解析所述意图数据中的接口参数，并对所述接口参数进行增强，得到增强意图数据；意图调用模块，用于根据所述增强意图数据生成服务调用请求，通过所述服务调用请求调用远程巡视系统执行服务得到服务结果；大语言模型模块，还用于将所述服务结果输入远程巡视专家模型，生成答复文本数据；语音生成模块，用于将所述答复文本数据转换为答复语音数据输出。

9、在一种可能的实施方式中，所述语音识别模块，还用于获取语音识别sota模型，根据电力领域专有语音文本数据对所述语音识别sota模型进行微调，得到微调的语音识别模型。

10、在一种可能的实施方式中，所述大语言模型模块，还用于：获取远程巡视系统的api接口和注释，组成意图实现种子库；对所述意图实现种子库中的每个api接口补充远程巡视系统信息的上下文和占位符，生成占位意图表达；将所述占位意图表达输入通用大语言模型进行拓展，组成占位意图表达数据集；对所述占位意图表达数据集进行人工审查，筛除错误的占位意图表达；将占位意图表达数据集中的占位符替换为远程巡视系统中的电力设备信息、点位信息、感知层设备信息，得到意图表达数据集；基于所述意图表达数据集对大语言模型进行训练，得到远程巡视专家模型。

11、在一种可能的实施方式中，所述检索增强模块，还用于：对远程巡视系统中的关系型数据和实体数据进行同步，生成文档数据库，通过词嵌入模型对远程巡视系统中的实体数据进行向量化表达，生成向量数据库；分别在所述文档数据库和所述向量数据库中检索所述接口参数，并对检索结果做交集运算，得到增强后的接口参数；将增强后的接口参数和需调用服务的api接口组合成为增强意图数据。

12、在一种可能的实施方式中，所述语音生成模块，还用于获取远程巡视系统的告警文本，将所述告警文本转化为语音输出。

13、与现有技术相比，本技术具有以下有益效果：本技术采集工作人员的语音数据，通过语音识别模型将语音数据转化为文本数据，通过远程巡视专家模型解析意图数据，进而通过意图数据调用远程巡视系统的对应服务，并且通过远程巡视专家模型将结构化的服务结果转化为语义通顺的文本，最终通过语音输出；工作人员通过语音即可控制远程巡视系统执行任务，最终返回语音形式的任务结果，简化远程巡视系统的操作流程，便于及时获悉任务结果；

14、本技术对意图数据中的接口参数进行增强，结合文档数据库和向量数据库检索与接口参数最为接近的表达，确保精准控制，避免因工作人员表达不规范造成的控制错误，提高容错率，降低对工作人员的操作要求；

15、本技术通过api接口和注释组成意图实现种子库，通过补充远程巡视系统信息的上下文和占位符生成占位意图表达，通过通用大语言模型拓展训练语料，通过实体替换占位符得到意图表达数据集，通过意图表达数据集训练远程巡视专家模型，输入一段文本数据即可解析需调用服务的api接口和接口参数，进而控制远程巡视系统执行任务。