一种人机交互方法、系统、电子设备以及存储介质与流程

本发明涉及人机交互，尤其涉及一种人机交互方法、系统、电子设备以及存储介质。

背景技术：

1、通过语音指令控制电子设备已逐渐成为用户传达意图以及控制电子设备的一种常用手段。而可见即可说(vui)是一种通过语音与电子设备进行交互的用户界面技术，通过可见即可说为用户提供更便捷、智能和自然的交互方式。

2、目前，在可见即可说的实现过程中，通常通过电子设备中操作系统所提供的无障碍模式从用户界面中确定需要控制的控件，并根据用户的语音输入对需要控制的控件进行控制。由于无障碍模式是根据控件的属性信息来确定需要控制的控件的，所以在某些控件的属性信息缺失的情况下，无法锁定唯一的控件，也就无法正确响应用户的语音输入，不能实现电子设备的有效控制。

3、另外，虽然也可以在控件的属性信息缺失的情况下，通过控件对应的应用端添加相关描述来补充控件的属性信息，但是这需要应用端的第三方进行适配，同时需要耗费大量人力以及精力。

技术实现思路

1、本发明提供了一种人机交互方法、系统、电子设备以及存储介质，旨在有效解决上述技术问题。

2、根据本发明的第一方面，本发明提供一种人机交互方法，所述方法应用于电子设备，所述方法包括：

3、在所述电子设备中的人机交互应用运行的过程中，获取当前界面上的至少一个第一控件，并获取所述至少一个第一控件对应的标识信息以及与所述标识信息对应的泛化信息，所述标识信息基于第一标识或第二标识生成，所述第一标识根据第一控件的属性信息确定，所述第二标识根据第一控件的视图布局信息确定；

4、获取用户的语音指令；

5、根据所述语音指令从所述泛化信息中匹配得到目标泛化信息，基于所述目标泛化信息所对应的标识信息确定目标控件；

6、响应于所述语音指令，执行对所述目标控件的控制。

7、进一步地，所述第二标识根据所述第一控件的资源id以及所述第一控件在所述视图布局信息中的根元素信息、子元素信息和位置索引信息所确定。

8、进一步地，所述第一标识包括控件的标题信息、描述信息或资源id中的一种或多种属性信息。

9、进一步地，所述标识信息通过如下方式生成：

10、获取应用程序在不同状态下的运行界面以及所述运行界面上的多个第一控件；

11、在所述多个第一控件的第一标识存在重复或者缺失的情况下，将所述第二标识作为标识信息；

12、在所述多个第一控件的第一标识不存在重复且缺失的情况下，将所述第一标识作为标识信息；

13、将所述标识信息与所述第一控件对应存储。

14、进一步地，所述第一标识存在重复是指所有所述属性信息均重复；

15、所述在所述多个第一控件的第一标识不存在重复且缺失的情况下，将所述第一标识作为标识信息的步骤，包括：

16、根据所述属性信息的优先级依次判断所述属性信息是否重复，并在当前属性信息不重复的情况下，将所述当前属性信息作为标识信息。

17、进一步地，在获取应用程序在不同状态下的运行界面以及所述运行界面上的多个第一控件之后，所述方法还包括：

18、为所述第一控件配置泛化信息，并将配置后的泛化信息与所述第一控件的标识信息对应存储。

19、进一步地，所述为所述第一控件配置泛化信息的步骤，包括：

20、按照第一控件的类型为所述第一控件配置泛化信息，其中，所述第一控件的类型包括按钮类型、文本类型、开关类型、选项卡类型、进度条类型以及滚动类型。

21、进一步地，在所述按照第一控件的类型为所述第一控件配置泛化信息的步骤之后，方法还包括：

22、按照所述第一控件的类型为所述第一控件配置反馈信息以及对应的交互信息；

23、在所述响应于所述语音指令，执行对所述目标控件的控制的步骤之后，方法还包括：

24、获取目标控件的反馈信息以及对应的交互信息，并以对应的交互信息响应所述语音指令。

25、进一步地，在所述目标控件的类型为滚动类型时，所述执行对所述目标控件的控制的步骤，包括：

26、根据所述目标控件的显示高度与预设的滑动百分比之间的乘积确定目标控件的第一滑动距离，并根据所述第一滑动距离控制所述目标控件滑动。

27、进一步地，在所述目标控件的类型为进度条类型时，所述执行对所述目标控件的控制的步骤，包括：

28、根据所述目标控件的最大进度、最小进度以及预设的滑动百分比计算获得第二滑动距离，并根据所述第二滑动距离控制所述目标控件滑动。

29、进一步地，所述获取当前界面上的至少一个第一控件的步骤，包括：

30、通过焦点窗口扫描当前界面，获取所述当前界面的全量控件信息；

31、在所述目标控件执行操作后，通过焦点窗口扫描当前界面获取目标控件对应的增量控件信息。

32、进一步地，所述响应于所述语音指令，执行对所述目标控件的控制的步骤，包括：

33、在所述目标控件监听点击事件时，响应于所述语音指令，通过点击事件方式点击所述目标控件；

34、在所述目标控件未监听点击事件时，通过触摸事件方式触摸所述目标控件。

35、进一步地，所述方法还包括：

36、在第一电子设备或第二电子设备中的人机交互应用运行的过程中，所述人机交互应用获取所述第一电子设备中当前界面上的至少一个第一控件、对应的标识信息以及泛化信息，并获取第二电子设备中当前界面上的至少一个第一控件、对应的标识信息以及泛化信息，所述第一电子设备与所述第二电子设备通信连接；

37、所述根据所述语音指令从所述泛化信息中匹配得到目标泛化信息，基于所述目标泛化信息所对应的标识信息确定目标控件的步骤，包括：

38、所述人机交互应用根据所述语音指令从第一电子设备的泛化信息与第二电子设备的泛化信息中确定目标泛化信息，基于所述目标泛化信息所对应的标识信息确定目标电子设备以及目标控件；

39、所述响应于所述语音指令，执行对所述目标控件的控制的步骤，包括：

40、响应于所述语音指令，在所述目标电子设备上执行对所述目标控件的控制。

41、进一步地，方法还包括：

42、通过预设的软件开发工具包获取当前界面上的至少一个第二控件、第二控件对应的身份信息以及泛化信息；

43、所述根据所述语音指令从所述泛化信息中匹配得到目标泛化信息，基于所述目标泛化信息所对应的标识信息确定目标控件的步骤，包括：

44、根据所述语音指令从所述第一控件对应的泛化信息与所述第二控件对应的泛化信息中匹配得到目标泛化信息，并基于所述目标泛化信息、身份信息与标识信息确定目标控件。

45、进一步地，所述通过焦点窗口扫描当前界面的步骤，包括：

46、从电子设备的多个应用程序中确定焦点窗口，并获取焦点窗口上的第一控件的控件信息。

47、第二方面，本发明还提供一种人机交互系统，电子设备包括所述人机交互系统，所述系统包括：

48、控件信息获取模块，用于在所述电子设备中的人机交互应用运行的过程中，获取当前界面上的至少一个第一控件，并获取所述至少一个第一控件对应的标识信息以及与所述标识信息对应的泛化信息，所述标识信息基于第一标识或第二标识生成，所述第一标识根据第一控件的属性信息确定，所述第二标识根据第一控件的视图布局信息确定；

49、语音指令获取模块，用于获取用户的语音指令；

50、控件匹配模块，用于根据所述语音指令从所述泛化信息中匹配得到目标泛化信息，基于所述目标泛化信息所对应的标识信息确定目标控件；

51、控制执行模块，用于响应于所述语音指令，执行对所述目标控件的控制。

52、第三方面，本发明还提供一种电子设备，包括：

53、一个或多个处理器；

54、一个或多个存储器；

55、安装有多个应用程序的模块；

56、所述存储器存储有一个或多个应用程序，当所述一个或者多个应用程序被所述处理器执行时，使得所述电子设备执行以如上述的人机交互方法的步骤。

57、第四方面，本发明还提供一种存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行如上述人机交互方法的步骤。

58、通过本发明中的上述实施例中的一个实施例或多个实施例，至少可以实现如下技术效果：根据所述语音指令从所述泛化信息中匹配得到目标泛化信息，基于所述目标泛化信息所对应的标识信息确定目标控件，其中，每一第一控件均具有唯一的标识信息，即使第一控件的属性信息缺失或者重复，也可以利用标识信息匹配得到目标控件，提升控件匹配的准确性以及交互体验。另外，由于标识信息基于第一控件原本的属性信息或视图布局信息生成，并不需要第三方进行适配，从而能保证所有原生控件均能够被正确匹配得到的同时，还能节省第三方的适配过程。