用于响应于来自用户的请求而使用来自其它源的应用数据生成应用输入内容的自动化助理的制作方法

背景技术：

1、人类可以利用交互式软件应用参与人机对话，上述交互式软件应用在本文被称作“自动化助理”(也称作“数字代理”、“聊天机器人”、“交互式个人助理”、“智能个人助理”、“助理应用”、“对话代理”等)。例如，人类(当他们与自动化助理交互时也可以被称作“用户”)可以使用口述自然语言输入(即，话语)和/或通过提供文本(例如，打字的)自然语言输入来提供命令和/或请求，上述自然语言输入在一些情况下可以被转换为文本并且随后被处理。

2、在许多实例中，用户可以调用自动化助理以初始化诸如音乐流传输应用的应用，以便节约原本可能由于经前景中的应用转移而被浪费的计算资源。然而，这样的交互可能被限制为从用户经由自动化助理到应用的单向通信。通过以该方式限制这些交互，用户可能发现他们自己为了向不同应用传递相似信息而重复对自动化助理的输入。由于许多自动化助理输入是经由口述话语所提供的，所以这可能导致自动化助理反复且不必要地处理相似的口述话语——考虑重复的口述话语可能已经被处理过的实例。这可能消耗处理器资源，以及在这样的口述话语是在远程服务器设备被处理时消耗网络带宽。

技术实现思路

1、本文所阐述的一些实施方式涉及到能够履行命令的客户端设备的自动化助理，上述命令针对在该客户端设备处安装的特定应用，但是能够由该自动化助理使用来自在该客户端设备处安装的一个或多个其它应用的应用程序所履行。作为示例，用户可以在该用户与诸如恒温器应用的特定应用交互的同时向自动化助理提供查询。该用户可以与该恒温器应用交互以便安排恒温器在该用户在接下来的月份外出度假时的操作。在与该恒温器应用交互的同时，该用户可以到达请求该用户提供该用户将离家的具体日期和/或时间的图形用户界面。该恒温器应用可以使用该日期和/或时间作为控制数据的部分以便在用户离开时限制该用户家中的hvac系统或者另一加热和/或制冷系统的输出。

2、为了快速提供该日期和时间，用户可以调用自动化助理以便该自动化助理可以从一个或多个源获取到该数据。例如，在用户与该恒温器应用交互之前，该用户可能已向其它应用提供了日期和/或时间以用于预定其假期。例如，该用户可能已经使用其它应用来预定其假期的各个方面，并且作为结果，该其它应用可能已经拥有了与该日期和/或时间相关的本地可访问数据(例如，本地存储的所预定方面的确认或概要)，该数据例如存储在该恒温器应用安装于其上的设备的存储器中。该其它应用可以包括用户从那里预定其航班的航班应用，以及该用户从那里预定其往来于机场的行程的行程共享应用。虽然用户可以具有安装在他们各自的计算设备上的各种不同的应用，但是该自动化助理可以接收来自该用户的获取与其假期相关联的日期和时间的请求，并且基于来自其它应用的应用数据而生成响应数据。例如，当用户正在访问请求用于控制恒温器的具体日期和时间的图形用户界面时，该用户可以提供诸如“assistant,use my san francisco vacation dates and times(助理，使用我的旧金山假期的日期和时间)”的口述话语。

3、响应于接收到该口述话语，自动化助理可以经由各种不同应用访问应用数据，并且特别地获取与来自用户的该口述话语的内容相关联的数据。该自动化助理可以在应用数据中搜索诸如“san francisco(旧金山)”和“vacation(假期)”之类的特定项，以便识别与该项相关的数据。在一些实施方式中，该自动化助理可以提供向安装在该计算设备处的一个或多个应用中的每个应用提供请求，以便使得该一个或多个应用响应于相应命令而生成相关内容。例如，来自自动化助理的请求可以包括诸如“assistant_request{terms(‘sanfrancisco’,‘vacation’)；type(‘date’)}”的内容。响应于特定应用接收到该命令，该特定应用可以识别格式为“date(日期)”并且与项“san francisco(旧金山)”和“vacation(假期)”相关联的数据。当该特定应用识别出响应于该请求的内容时，该特定应用可以向该自动化助理提供表征该特定应用所识别内容的数据。

4、在一些实施方式中，该应用数据可以包括与项“vacation(假期)”对应的各种数据，诸如各种应用所提供的图像文件夹和其它内容。为了对这样的应用数据进行过滤，自动化助理可以使用用户与之交互的特定应用(例如，恒温器应用)所提供的内容作为进一步过滤该应用数据的基础。例如，包括用于具体日期和时间的字段的图形用户界面可以包括表征恒温器应用趋向于如何使用该日期和时间的自然语言内容。例如，该图形用户界面可以将用于日期和时间的字段标示为该用户将要离家的“即将到来的”日期和时间。因此，基于在该图形用户界面处提供的一个或多个时间修饰语(例如，“即将到来的”)，该自动化助理可以进一步过滤应用数据以识别出与未来(即，即将到来的)日期和时间相关联的某些内容。

5、当该自动化助理已经完成过滤应用数据并且已经从中识别出适当数据以便渲染响应内容时，该自动化助理可以生成基于经过滤的应用数据的响应数据。该响应数据可以包括来自诸如航班应用和行程共享应用的多个不同应用的应用数据。该响应数据可以识别用户将使用该行程共享应用往返于机场的日期和时间，以及该用户将乘坐其航班离开和返回的日期和时间。在一些实施方式中，在自动化助理将响应数据输入到图形用户界面的适当字段中之前，该用户可以被提示以确认该响应数据。附加地或可选地，在自动化助理将响应数据输入到该字段中之前，该用户可以被提供以编辑该响应数据的选项。在一些实施方式中，自动化助理可以响应于用户提供口述话语而将响应数据输入到图形用户界面的字段中。该用户随后可以对自动化助理输入到图形用户界面的字段中的任何内容进行编辑。

6、当自动化助理已经将响应数据输入到字段中时该用户和/或自动化助理可以使得该应用提交该响应数据来促进该应用执行一个或多个动作。例如，使用自动化助理所提供的日期和时间，该应用可以存储供hvac系统(或其它加热/制冷系统)进行操作的操作安排，以便在用户外出度假时降低功耗。以这种方式，用户可以精简与应用的交互以便完成这样的效率，而不必在各种不同应用之间切换。换句话说，响应于口述话语，自动化助理可以从各种应用(直接地和/或经由客户端设备的操作系统)请求被确定为与该口述话语相关的应用数据，并且在履行该口述话语的意图时利用所返回的应用数据。与用户必须另外开启各种应用中的每个并且手工导航至那些应用中的相关应用数据的情况相比，这可以利用更少的屏幕时间和/或利用较少的处理资源而更快地被实行。该履行的更快执行可以缩短在履行该意图时用户-客户端交互的总体时长。此外，通过在用户和机载自动化助理之间实施这些交互，作为计算设备和单独服务器设备之间更少的(或者甚至没有)通信的结果，可以节约网络带宽。

7、在一些实施方式中，自动化助理可以向多个不同应用查询响应数据以便向已经提供了针对某些数据的特定请求的用户提供内容。例如，用户可以提供诸如“assistant,showme statuses of my current home devices(助理，向我显示我的当前家用设备的状态)”的请求。响应于在包括自动化助理的计算设备处接收到该请求，该计算设备可以生成要被提供至安装在该计算设备处的多个不同应用的一个或多个请求。在一些实施方式中，该自动化助理可以基于口述话语的内容或者来自用户的针对自动化助理的其它输入而生成一个或多个请求。例如，计算设备处的自然语言理解引擎可以被用来处理来自用户的口述话语(例如，机载话音辩别引擎所生成的其转译)，并且生成相对应的自然语言理解数据。基于该自然语言理解数据，计算设备可以生成能够被传送至应用子集的请求，上述应用子集是安装在该计算设备处的应用的群组的子集。

8、在一些实施方式中，该请求可以识别在该计算设备处安装的应用的群组中的应用子群组的类型。例如，响应于上述口述话语，该自动化助理可以生成请求，诸如

9、assistant_query(application_type{home_control}；

10、data_type{status})。该请求可以识别出：应当从自动化助理接收该请求的应用的类型，以及接收该请求的应用所应当提供的特定类型的数据。在一些实施方式中，该自动化助理可以访问应用的列表，其可以包括针对每个应用的指定以及针对应用的相对应类型。例如，该应用列表中的一些应用可以与社交媒体类型的应用相关，并且该应用列表中的其它应用可以与健康和健身类型的应用相关。因此，如该示例中所提供的，自动化助理可以识别该应用列表中与“家居控制”相关的应用类型。这些类型的应用可以包括能够与连接至用户家中网络的iot设备进行通信的应用。

11、一旦自动化助理已经识别了在计算设备处安装的应用的群组中的应用子群组，该自动化助理可以使得该请求被传送至该应用子群组中的每个应用(而该请求并不被传输至不在该子群组中的任何应用)。例如，该应用子群组中的每个家居控制类型的应用都可以被提供以上述请求，其寻求从每个家居控制类型的应用获取到状态数据。每个家居控制类型的应用可以经由应用编程接口(api)与自动化助理进行通信。该通信可选地可以经由客户端设备的操作系统，其可以例如利用各自的验证秘钥来验证来自自动化助理的请求和/或验证该应用。因此，当每个家居控制类型的应用接收到它们各自的请求时，每个家居控制类型的应用就能够准确地提供响应数据。例如，响应于恒温器应用接收到来自自动化助理的请求，该恒温器应用可以生成表征位于用户家中的恒温器的当前状态的响应数据。在一些实施方式中，响应数据的内容可以与所接收到的请求相关。例如，该响应数据可以包括诸如“assistant_response(status{“heat on at 72degrees.”}”的内容。在一些实施方式中，当应用接收到该应用无法作出响应的请求时，该应用可以提供知识响应于接收到该请求而发生了一个或多个错误的错误数据。此外，在一些实施方式中，当应用接收到针对响应数据的请求但是却没有适当响应数据提供时，该应用可以提供该应用没有相对应数据要响应于该请求提供的指示。

12、响应于从该应用子群组中的多个不同应用接收到响应数据，自动化助理可以将所有响应数据组织为能够向用户呈现的格式。例如，响应于用户提供了口述话语“assistant,show me statuses of my home devices(助理，向我显示我的当前家用设备的状态)”，自动化助理可以渲染整合了该应用子群组中的每个应用所提供的响应数据的至少一部分的图形内容。例如，自动化助理可以使得计算设备的显示面板渲染表征来自不同应用的响应数据的内容列表的自然语言内容。该内容列表例如可以是“恒温器：加热到72度；除湿机：低功率模式；警报系统：外出防护”。以这种方式，用户能够看到来自不同应用的数据的各种组合，而并不要求各个应用持续和/或定期地向计算设备的操作系统自行报告信息，由此浪费计算设备处的存储器和/或其它存储资源。相反地，每个应用可以对来自自动化助理的结构化请求作出响应，以便以最低的资源利用向用户提供最新信息。因此，在各个实施方式中，可以按需地从对应应用请求口述话语的相关数据，这使得对应应用能够利用来自它们自己在机载存储的数据(以及可选地通过与相对应的远程服务器通信)而作出响应，上述数据可以被限制为仅能够被对应应用所访问。与实际上重复了已有数据的维持对来自多个应用的数据先行整理的单独本地存储相比，这可能是更加有效、存储有益和/或处理器要求有益的。本文所公开技术提供的这样的存储和/或处理器效率对于实施该技术的客户端设备可能是有利的，因为这样的客户端设备经常具有相对有限的存储和/或处理器能力。

13、以上描述作为本公开的一些实施方式的概述而被提供。下文更详细地描述对那些实施方式以及其它实施方式的进一步描述。

14、其它实施方式可以包括存储指令的非瞬态计算机可读存储介质，所述指令能够被一个或多个处理器(例如，中央处理器(cpu)、图形处理单元(gpu)和/或张量处理单元(tpu))所执行以执行诸如上文和/或本文其它地方所描述的一个或多个方法的方法。再其它的实施方式可以包括一种一个或多个计算机的系统，所述计算机包括一个或多个处理器，其能够执行所存储的指令以执行诸如上文和/或本文其它地方所描述的一种或多种方法的方法。

15、应当意识到的是，上述概念以及本文更详细描述的附加概念的所有组合都被预期作为本文所公开主题的一部分。例如，出现在本公开结尾处的所请求保护主题的所有组合都被预期作为本文所公开主题的一部分。