语音控制方法、触控屏及计算机可读存储介质与流程

本技术涉及语音控制，具体涉及一种用于触控屏的语音控制方法、触控屏及计算机可读存储介质。

背景技术：

1、在教学、会议等场景中，为了提高触控屏交互的效率和多样性，很多触控屏提供了语音控制的方式，即通过语音控制软件对触控屏上的应用程序实现语音控制。现有技术中的实现方式基本上都需要语音控制软件与应用程序进行深度融合，即应用程序方事先和语音控制软件方制定协议，应用程序提供大量操作接口给语音控制软件，即一个应用程序的各界面的各控件均需要向语音控制软件提供一个接口，语音控制软件指定相关指令和对应的接口对接，即指令与应用程序的借口是一一对应的，语音软件识别到语音指令后，调用该应用接口完成控制命令。

2、现有的这种方式，一个系统内，如果有多个应用程序都要使用语音控制，需要每个应用程序都预先和语音控制程序制定协议，将协议指令和该应用程序的接口对应，造成对应的协议太多，前期需要投入的工作量太大，且需要应用程序方与语音控制程序方相互配合才能够实现，若一方需要增加或者修改指令或者接口，另一方也需要进行相应的增加或者修改，且每增加一个应用程序，就需要语音控制软件与其重新配合调整，可见这种方式的灵活性较低；更为不利的是，这种方式由于应用程序需要向另一个应用程序(即语音控制程序)开放接口，因此，私密性较差，会有被其他应用程序恶意调用的风险，安全性较低。

技术实现思路

1、基于上述现状，本技术的主要目的在于提供一种用于触控屏的语音控制方法、触控屏及计算机可读存储介质，能够降低语音控制程序前期投入的工作量，且对于与应用程序的控制灵活性高，尤其是能够增加应用该程序的安全性。

2、为实现上述目的，本技术采用的技术方案如下：

3、本技术的第一方面提供了一种用于触控屏的语音控制方法，所述触控屏包括相互连接的系统主板和触控模组，所述系统主板包括触控响应模块和语音控制模块；所述语音控制方法包括：

4、触控请求生成步骤：语音控制模块当接收到输入的语音信息时，识别所述语音信息中包含的识别词，并将其作为命令词，在关系库中查找与所述命令词对应的控件坐标，将其作为当前坐标，之后向触控模组发送所述当前坐标的触控请求；

5、其中，所述关系库中存储有多组命令词与控件坐标的对应关系，同一组对应关系中，控件坐标为待语音控制的应用程序中的控件在触控操作时的触控坐标，命令词为该控件通过语音控制时待识别的识别词；

6、上报步骤：触控模组当接收到所述触控请求时，解析并提取所述当前坐标，生成所述当前坐标对应的触控命令，之后发送给触控响应模块；

7、响应步骤：触控响应模块当接收到所述触控命令时生成触控事件，并控制所述命令词对应的应用程序的对应控件响应所述触控事件。

8、优选地，所述关系库采用下述方式获取：

9、所述语音控制模块获取待语音控制的应用程序的各显示界面上各控件在触控屏上的位置坐标；

10、所述语音控制模块将每一所述控件的所述位置坐标作为所述控件坐标，并将其与该控件的命令词的对应关系存储于所述关系库。

11、优选地，所述方法还包括关系库更新步骤：

12、输入语音步骤：所述语音控制模块进入语音校准更新模式，当接收到语音信息时，识别所述语音信息中的识别词，并提示点击待校准控件或者待增加控件；

13、校准更新步骤：所述语音控制模块获取所述待校准控件或者待增加控件的触控坐标，将所述待校准控件或者待增加控件对应的所述触控坐标作为控件坐标、识别词作为命令词，并将二者作为一组对应关系存储于所述关系库中。

14、优选地，所述校准更新步骤包括：

15、所述语音控制模块获取所述待校准控件或者待增加控件的触控坐标；

16、所述语音控制模块判断所述关系库中是否存在所述识别词，若所述关系库中不存在所识别词，则将所述待校准控件或者待增加控件对应的触控坐标作为控件坐标、识别词作为命令词，并将二者作为一组对应关系存储于关系库中；若所述关系库中存在所述识别词，则使用所述触控坐标更新关系库中该识别词对应的控件坐标。

17、优选地，所述关系库中存储有多个应用程序的多个控件的控件坐标与命令词的对应关系，对应于同一个应用程序的多组命令词与控件坐标的对应关系形成一个作用域；所述触控请求生成步骤中，

18、所述语音控制模块当接收到输入的语音信息时，先识别所述语音信息控制的作用域，之后识别所述语音信息中包含的识别词，并将其作为命令词在关系库中对应的所述作用域查找与所述命令词对应的控件坐标。

19、优选地，所述触控请求生成步骤中，所述触控请求包括触控按下和触控抬起事件、仅触控按下事件、仅触控抬起事件；

20、所述触控模组接收到所述触控请求时若解析得到包括触控按下和触控抬起事件，则分别生成所述当前坐标对应的触控按下命令和触控抬起命令，并依次发送给系统。

21、优选地，所述响应步骤包括：当接收到所述触控命令时先模拟触控点击动作点击对应的应用程序的对应控件，之后显示对所述控件操作后的界面。

22、本技术的第二方面提供了一种触控屏，包括相互连接的系统主板和触控模组，所述系统主板包括触控响应模块和上述所述的语音控制模块，

23、所述语音控制模块用于当接收到输入的语音信息时，识别所述语音信息中包含的识别词，并将其作为命令词，在关系库中查找与所述命令词对应的控件坐标，将其作为当前坐标，之后向触控模组发送所述当前坐标的触控请求；

24、其中，所述关系库中存储有多组命令词与控件坐标的对应关系，同一组对应关系中，控件坐标为待语音控制的应用程序中的控件在触控操作时的触控坐标，命令词为该控件通过语音控制时待识别的识别词；

25、所述触控响应模块用于当系统接收到所述触控命令时生成触控事件，并控制所述命令词对应的应用程序的对应控件响应所述触控事件；

26、所述触控模组用于当接收到所述触控请求时，解析并提取所述当前坐标，生成所述当前坐标对应的触控命令，之后发送给系统。

27、优选地，所述语音控制模块具有语音控制模式和语音校准模式，

28、在语音控制模式，语音控制模块当接收到输入的语音信息时，识别所述语音信息中包含的识别词，并将其作为命令词，在关系库中查找与所述命令词对应的控件坐标，将其作为当前坐标，之后向触控模组发送所述当前坐标的触控请求，以请求触控触控模组向系统发送当前坐标的触控命令，进而使系统控制所述命令词对应的应用程序的对应控件响应根据所述触控命令生成的触控事件；

29、在语音校准模式，语音控制模块当接收到待语音控制的控件的语音信息时，识别所述语音信息中的识别词，并提示点击待校准控件或者待增加控件；获取所述待校准控件或者待增加控件的触控坐标，将该控件对应的所述触控坐标作为控件坐标、识别词作为命令词，并将二者作为一组对应关系存储于所述关系库中。

30、本技术的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上任一项所述的语音控制方法。

31、本技术的语音控制方法，直接通过触控模组对系统中的应用程序实现语音控制，该语音控制方法，能够直接利用触控模组对系统中各应用程序进行的触控操作和系统对触控操作的响应，因此，只需要告知触控模组待触控的控件的控件坐标即可，触控模组按照与系统的已有协议向系统上报触控事件即可。由于本技术的语音控制方法均通过触控模组向系统上报控制信息，只需要与触控模组之间建立传输协议，之后可以采用现有技术中的触控模组、系统、应用程序的控制方式实现触控响应，因此，系统上的各应用程序不需要任何改变，因此，前期工作量小；且与触控模组之间的传输协议确定之后，即使需要修改识别词或者系统增加了新的应用程序，也只需要修改语音控制程序，而触控模组和系统中的应用程序均不需要进行修改，因此，本技术的这种语音控制方法更为灵活；更为有利的是，本技术的这种方式，由于系统上的各应用程序不需要向其他应用程序开放接口，因此，对各应用程序来说，私密性更好，安全性更高，能够尽可能降低被其他应用程序恶意调用的风险。

32、本技术的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。