使用多模式界面以利于口头命令的发现的制作方法

本公开的实施例涉及语音界面，更具体地涉及使用多模式界面生成和呈现口头命令建议。

背景技术：

1、对于基于语音界面的用户而言，适当的口头命令的可发现性(意识和理解)代表了长期挑战。事实上，就可发现性而言，指的是用户不知道哪些口头命令可用(意识)和/或如何用措辞表达命令以便这些命令将被支持界面的系统理解(理解)，当其成为基于语音界面的用户所面临的障碍时，是仅次于语音识别准确性的问题。用户通常最终猜测他们认为支持系统可能会识别和/或使用他们习惯于使用的、但系统可能无法理解的惯用语或白话的口头命令，两者通常都会导致执行错误和挫折。

2、解决这些可发现性挑战的一种方法是，系统为用户提供示例性命令的列表作为入门(onboarding)体验的一部分，因为这是让用户接触由基于语音的系统支持的操作和命令的自然时机。然而，当用户未参与任何特定任务或动作时在入门期间呈现的此类列表通常在被透彻地、完全地回顾之前已被用户关闭。即使用户透彻的回顾了示例性命令列表，所呈现的命令通常在用户参与动作或任务时尝试采用命令时也被忘记。

3、为了使用户意识到新支持的和/或不经常使用的命令，一些解决方案向用户发送通知，以提醒他们可用命令或新命令何时可用。类似地，一些解决方案向用户每周发送电子邮件，其包括可用命令提醒和更新。然而，仅周期性地呈现示例性命令建议是不够的，因为用户倾向于在他们参与利用基于语音系统执行动作和/或任务时忘记这些命令。

技术实现思路

1、本公开的实施例尤其涉及用于生成和呈现口头命令的示例以利于由支持多模式界面的系统理解的相关口头命令的可发现性的框架。本文所述的框架还允许用户逐步探索可用口头命令。当非口头(例如直接操纵)输入被使用时，所描述的框架通过提供示例性口头命令建议来实现命令可发现性。与经由多模式用户界面从用户接收的直接操纵输入(例如，触摸输入、键盘输入或鼠标输入)相关联的目标被确定，并且与目标相关的一个或多个示例性口头命令建议被生成。所生成的口头命令建议的至少一部分被提供，以用于利用三个界面变体之一与多模式用户界面相关联的呈现。这些变体包括使用基于列表的方法呈现口头命令建议的界面、使用上下文覆盖层窗口呈现口头命令建议的界面以及呈现嵌入在gui内的口头命令建议的界面(“图形用户界面”)。所提出的每个界面变体利于用户意识到支持多模式界面的系统能够执行的口头命令，并且同时教导用户可用口头命令可以如何被调用(例如，适当的措辞变体和多模式交互)。

2、提供本技术实现要素：以简化形式介绍一些概念，这些概念将在下面的详细描述中进一步描述。本发明内容既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

技术特征：

1.一种计算系统，包括：

2.根据权利要求1所述的计算系统，其中所述计算机可用指令在由所述一个或多个处理器使用时使所述一个或多个处理器通过以下操作来选择与所确定的所述目标相关的所述操作：

3.根据权利要求2所述的计算系统，其中所述计算机可用指令在由所述一个或多个处理器使用时使所述一个或多个处理器：基于以下中的至少一项来对包括所述多个操作的所述操作相对于彼此进行排名，以生成所述建议排名：与所确定的所述目标相关联的类型、与用户所参与的工作流程的相关性、操作已发出计数、以及操作显示计数。

4.根据权利要求1所述的计算系统，其中所述计算机可用指令在由所述一个或多个处理器使用时还使所述一个或多个处理器：利用参数值来填充所述措辞模板的至少一个可修改参数，以生成所述口头命令建议。

5.根据权利要求4所述的计算系统，其中所述计算机可用指令在由所述一个或多个处理器使用时使所述一个或多个处理器：基于所述目标的活动状态和与用户所参与的工作流程的相关性中的至少一项，利用所述参数值来填充所述至少一个可修改参数。

6.根据权利要求1所述的计算系统，其中所接收的所述直接操纵输入是触摸输入、键盘输入、眼睛跟踪输入、姿势输入、或鼠标输入中的一项。

7.根据权利要求1所述的计算系统，其中所述口头命令建议是自然语言命令建议。

8.根据权利要求1所述的计算系统，其中选择所述措辞模板基于所接收的所述直接操纵输入的类型和所述措辞模板的复杂性中的至少一者。

9.一种计算机实现的方法，包括：

10.根据权利要求9所述的计算机实现的方法，其中与所述操作子集和所确定的所述目标相关的所述口头命令建议通过以下步骤被生成：

11.根据权利要求10所述的计算机实现的方法，其中与所述操作子集相关的所述措辞模板集合基于以下中的至少一项而被选择：所接收的所述直接操纵输入的类型、被包括在所述措辞模板集合中的每个措辞模板的复杂性、模板已发出计数、以及模板所示出计数。

12.根据权利要求10所述的计算机实现的方法，其中所述措辞模板集合中的至少一个措辞模板包括可修改参数，并且其中所述方法还包括：利用参数值来填充所述可修改参数，以生成所述口头命令建议。

13.根据权利要求12所述的计算机实现的方法，其中所述可修改参数基于所述目标的活动状态利用所述参数值而被填充。

14.根据权利要求9所述的计算机实现的方法，其中所接收的所述直接操纵输入是触摸输入、键盘输入、眼睛跟踪输入、姿势输入、或鼠标输入中的一项。

15.根据权利要求9所述的计算机实现的方法，其中所述口头命令建议是自然语言命令建议。

16.一种计算系统，包括：

17.根据权利要求16所述的计算系统，还包括：用于选择与所述直接操纵输入的所述目标相关的操作集合的装置，其中用于生成所述一个或多个口头命令建议的所述装置包括：用于生成与所述操作集合和所述直接操纵输入的所述目标相关的所述一个或多个口头命令建议的装置。

18.根据权利要求17所述的计算系统，还包括：用于基于以下中的至少一项来对所述操作集合中的操作进行排序的装置：与所述直接操纵输入的所述目标相关联的类型、与所述用户所参与的工作流的相关性、操作已发出计数、以及操作所示出计数。

19.根据权利要求16所述的计算系统，其中用于生成所述一个或多个口头命令建议的所述装置包括：用于利用所述措辞模板来生成所述一个或多个口头命令建议的装置。

20.根据权利要求16所述的计算系统，其中生成所述一个或多个口头命令建议包括：利用参数值来填充所述措辞模板中的所述可修改参数。

技术总结本公开的实施例涉及使用多模式界面以利于口头命令的发现。一种用于生成和呈现口头命令建议以利于能够被理解的命令的可发现性并支持用户探索可用命令的框架。与直接操纵输入相关联的目标经由多模式用户界面从用户处被接收。与目标相关的操作集合被选择，并且与所选的操作集合和所确定目标相关的口头命令建议被生成。已生成的口头命令建议的至少一部分被提供，以便在三种界面变体之一中与多模式用户界面相关联的呈现：一个变体将命令建议呈现为列表；一个变体使用上下文覆盖窗口来呈现命令建议；以及一个变体呈现嵌入在界面内的命令建议。所提出的每个界面变体利于用户意识到能够被执行的口头命令，并教导用户可用口头命令可以如何被调用。技术研发人员：L·唐特彻瓦,A·斯里尼瓦桑,S·J·沃克,E·亚达受保护的技术使用者：奥多比公司技术研发日：技术公布日：2024/9/26