应用程序的无障碍访问方法、装置和系统与流程

本发明涉及应用程序的无障碍访问，具体涉及一种应用程序的无障碍访问方法、装置和系统。

背景技术：

1、随着软件应用服务的增多，用户数据信息和软件应用中的各种操作信息也随之不断增多，这些信息都需要操作指引，对于老人小孩来说不是很方便，当然对于非专业人员，学习成本过高，学习曲线陡峭，也成了显著问题，交互过程不够自然方便、详尽，教学成本也高。

技术实现思路

1、本发明要解决的技术问题在于克服现有技术中用于人机交互的应用程序交互和教学不够详尽、自动化程度低、学习成本高的问题，从而提供一种应用程序的无障碍访问方法、装置和系统。

2、为解决上述技术问题，本发明公开实施例至少提供一种应用程序的无障碍访问方法、装置和系统。

3、第一方面，本发明公开实施例提供了一种应用程序的无障碍访问方法，所述方法包括：

4、检测当前人机交互界面中的交互要素，所述交互要素包括组件元素、图文元素和业务配置；

5、向云服务器发送所述交互要素，以便所述云服务器根据所述交互要素确定当前人机交互界面对应的操作指南，所述操作指南中记录所述当前人机交互界面的播报内容；

6、接收所述云服务器发送的所述操作指南；

7、按照第一指定规则语音播报所述操作指南中的播报内容；

8、接收用户的语音指令；

9、向所述云服务器发送所述语音指令，以便所述云服务器确定所述语音指令对应的操作信息，所述操作信息包括第一操作内容和第一操作规则；

10、接收所述云服务器发送的所述操作信息；

11、按照所述操作信息执行所述语音指令；

12、向用户展示所述语音指令的执行结果。

13、可选地，还包括：向所述云服务器转发用户触发的视频播报请求，以便所述云服务器获取所述操作指南对应的播报视频；接收所述云服务器发送的所述播报视频；按照第二指定规则播放所述播报视频。

14、可选地，通过操作系统的无障碍访问服务检测当前人机交互界面中的交互要素，所述组件元素包括组件从互联网获取的实时内容。

15、可选地，在所述检测当前人机交互界面中的交互要素之前，所述方法还包括：若检测到用户手动执行所述语音指令对应的所述第一操作内容，则记录执行过程，并生成操作脚本，所述操作脚本包括所述操作信息；建立所述操作脚本和所述语音指令的对应关系；向所述云服务器发送所述操作脚本和所述语音指令的对应关系。

16、可选地，所述操作信息还包括关联任务信息，所述关联任务信息是与所述语音指令相关联的任务的第二操作内容和第二操作规则，所述方法还包括：按照所述第二操作规则语音播报所述第二操作内容；在用户触发相关操作后，执行相关操作内容。

17、第二方面，本发明公开实施例提供了一种应用程序的无障碍访问方法，包括：

18、接收用户终端发送的交互要素；

19、根据所述交互要素确定当前人机交互界面对应的操作指南，所述操作指南中记录所述当前人机交互界面的播报内容；

20、向所述用户终端发送所述操作指南，以便所述用户终端按照第一指定规则语音播报所述操作指南中的播报内容；

21、接收所述用户终端发送的语音指令；

22、确定所述语音指令对应的操作信息，所述操作信息包括第一操作内容和第一操作规则；

23、向所述用户终端发送所述操作信息，以便所述用户终端按照所述操作信息执行所述语音指令，并向用户展示所述语音指令的执行结果。

24、第三方面，本发明公开实施例提供了一种应用程序的无障碍访问装置，包括：

25、界面检测模块，用于检测当前人机交互界面中的交互要素，所述交互要素包括组件元素、图文元素和业务配置；

26、界面要素发送模块，用于向云服务器发送所述交互要素，以便所述云服务器根据所述交互要素确定当前人机交互界面对应的操作指南，所述操作指南中记录所述当前人机交互界面的播报内容；

27、操作指南接收模块，用于接收所述云服务器发送的所述操作指南；

28、语音播报模块，用于按照第一指定规则语音播报所述操作指南中的播报内容；

29、第一语音指令接收模块，用于接收用户的语音指令；

30、语音指令发送模块，用于向所述云服务器发送所述语音指令，以便所述云服务器确定所述语音指令对应的操作信息，所述操作信息包括第一操作内容和第一操作规则；

31、操作信息接收模块，用于接收所述云服务器发送的所述操作信息；

32、语音指令执行模块，用于按照所述操作信息执行所述语音指令；

33、执行结果播报模块，用于向用户展示所述语音指令的执行结果。

34、第四方面，本发明公开实施例提供了一种应用程序的无障碍访问装置，包括：

35、界面要素接收模块，用于接收用户终端发送的交互要素；

36、操作指南确定模块，用于根据所述交互要素确定当前人机交互界面对应的操作指南，所述操作指南中记录所述当前人机交互界面的播报内容；

37、操作指南发送模块，用于向所述用户终端发送所述操作指南，以便所述用户终端按照第一指定规则语音播报所述操作指南中的播报内容；

38、第二语音指令接收模块，用于接收所述用户终端发送的语音指令；

39、操作信息确定模块，用于确定所述语音指令对应的操作信息，所述操作信息包括第一操作内容和第一操作规则；

40、操作信息发送模块，用于向所述用户终端发送所述操作信息，以便所述用户终端按照所述操作信息执行所述语音指令，并向用户展示所述语音指令的执行结果。

41、第五方面，本发明公开实施例提供了一种应用程序的无障碍访问系统，包括：

42、用户终端，检测当前人机交互界面中的交互要素，所述交互要素包括组件元素、图文元素和业务配置；向云服务器发送所述交互要素；接收所述云服务器发送的所述操作指南；按照第一指定规则语音播报所述操作指南中的播报内容；接收用户的语音指令；向所述云服务器发送所述语音指令，接收所述云服务器发送的所述操作信息；按照所述操作信息执行所述语音指令；向用户展示所述语音指令的执行结果；

43、云服务器，接收用户终端发送的交互要素；根据所述交互要素确定当前人机交互界面对应的操作指南，所述操作指南中记录所述当前人机交互界面的播报内容；向所述用户终端发送所述操作指南，接收所述用户终端发送的语音指令；确定所述语音指令对应的操作信息，所述操作信息包括第一操作内容和第一操作规则；向所述用户终端发送所述操作信息，以便所述用户终端按照所述操作信息执行所述语音指令，并向用户展示所述语音指令的执行结果。

44、第六方面，本发明公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

45、本发明的实施例提供的技术方案可以具有以下有益效果：

46、利用多模态图文识别，检测人机交互界面中的组件元素、图文元素、当前界面所正在进行的业务配置与用户的实际意图和操作需求进行讲解，并通过向用户提问和回答，按照用户指令进行操作任一组件，将应用程序的图形界面操作手册和语言介绍，跟应用程序运行时的实际内容播报结合，更符合适老化需要，方便视障人士的应用，增强无障碍访问。