用于助理动作的使用来自共享环境中的其他装置的数据的用户认证的制作方法

背景技术：

1、人类可与在本文称为“自动化助理”(也称为“数字智能体(agent)”、“聊天机器人”、“交互式个人助理”、“智能个人助理”、“助理应用”、“对话智能体”等)的交互式软件应用进行人机对话。例如，人类(在他们与自动化助理交互时可称为“用户”)可使用口头自然语言输入(即，话语)和/或通过提供文本(例如，键入的)自然语言输入来向自动化助理提供命令和/或请求，在一些情况下，所述口头自然语言输入可被转换为文本且然后进行处理。

2、对于至少一些请求，一些自动化助理可需要经由一个或多个模态和/或经由一个或多个认证因素(例如，话音、面部、指纹、安全密码等)的用户认证。

3、作为一个示例，自动化助理可需要针对控制(例如，锁定和/或解锁)智能门锁的请求的多因素认证。例如，如果用户提供请求解锁智能门锁的口头话语，则自动化助理可在解锁智能门锁之前需要基于口头话语的话音认证(例如，文本相关(text-dependent)或文本无关(text-independent)认证)，并且还可需要密码认证。可经由针对密码进行提示并处理响应输入以验证响应输入中的密码符合用户的安全密码来执行密码认证。虽然此类多因素认证可改善智能门锁的安全性，但它可延长自动化助理与用户之间的交互的持续时间和/或需要自动化助理执行大量处理。例如，针对密码进行提示和处理响应输入可需要大量处理，并可延长交互的持续时间，并且因此延长智能门锁的解锁。另外，例如，在许多情况中，由于存在过多的背景噪音、口头话语不够长和/或发音上不够多样化、和/或口头话语缺少文本相关术语(在使用文本相关认证的情况中)，对口头话语的话音认证可能是不成功的。在此类情况下，自动化助理可提示用户重复口头话语，以对重复的口头话语进行话音认证，或者替代地，可提示又一认证因素。这同样可需要大量处理并可延长交互的持续时间。

4、作为另一示例，自动化助理可仅在执行某些口头话语的动作之前需要话音认证。然而，在许多情况下，由于存在过多的背景噪音、口头话语不够长和/或发音上不够多样化、和/或口头话语缺少文本相关术语(在使用文本相关认证的情况下)，基于口头话语的话音认证可能是不成功的。在此类情况下，自动化助理可提示用户重复口头话语，以对重复的口头话语进行话音认证，或者替代地，可提示又一认证因素。这同样可需要大量处理并可延长交互的持续时间。

技术实现思路

1、本文阐述的实现方式涉及一种自动化助理，该自动化助理可索求其他装置，以辅助简化一个或多个用户认证过程。一个或多个认证过程可包括单因素认证、双因素认证和/或任何其他多因素认证。当自动化助理从用户接收到可能在履行之前需要用户认证的请求时，自动化助理可向一个或多个装置索求补充数据。来自相应装置的补充数据可指示相应装置预测用户在经由请求调用自动化助理的环境中存在或不存在的程度。自动化助理可利用此数据来确定是否认证用户并履行用户提交的请求。以这些方式和其他方式，可减少自动化助理认证用户所需要的处理和/或可缩短用户与自动化助理之间的交互的持续时间。例如，可避免提示附加认证和由此产生的响应输入的处理，和/或可避免提示用户重复口头话语(例如，当对初始口头话语的初始话音认证不成功时)。

2、在一些实现方式中，可抢先地执行自动化助理对数据的索求，以准备用户与自动化助理之间的预测的、即将到来的交互，这可能需要认证。以这些方式和其他方式，因为数据索求是抢先地执行的，减轻响应于索求而置配数据的时延，所以可缩短用户与自动化助理之间的交互的持续时间。

3、在一些实现方式中，由其他装置提供的数据可：专门用于认证用户、除了自动化助理的认证过程之外被利用、和/或与特定助理认证过程组合地被利用。例如，自动化助理可利用来自一个或多个其他装置的装置数据来认证用户，而不使用到自动化助理的输入来认证用户。替代地或另外，装置数据可用于根据第一认证过程(例如，存在的认证)来认证用户，并且自动化助理可根据第二认证过程(例如，话音验证)来认证用户。替代地或另外，来自一个或多个不同装置的装置数据可与助理认证过程组合地被利用，以提高助理认证的准确性。

4、作为本文公开的一些实现方式的一个示例，用户可通过提供口头话语诸如“assistant, show me the security camera footage from last night(助理，给我看昨晚的安全相机镜头)”来调用自动化助理。此口头话语可体现对自动化助理渲染前一晚期间由室外安全相机捕获的视频的请求。然而，因为请求涉及访问安全镜头，所以自动化助理可在履行请求之前需要用户的双因素认证。例如，认证的双因素可是诸如话音签名的第一因素和可从各种不同的因素中选择和/或使用一个或多个数据源来验证的第二因素。在一些实现方式中，自动化助理可通过索求位于正在访问自动化助理的环境中的一个或多个装置来验证第二因素。

5、例如，响应于确定来自用户的请求涉及双因素认证，自动化助理可向智能门铃索求数据，所述数据可指示特定用户是否是提供了请求的用户。在一些实现方式中，自动化助理可从智能门铃索求数据，所述智能门铃可配备背向用户家前门入口的安全相机。智能门铃可是由相对于提供自动化助理的实体的第三方提供的计算装置。智能门铃的计算装置可处理由安全相机捕获的图像，以验证与智能门铃账户相关联的用户何时进入家和/或离开家。当自动化助理向智能门铃索求关于有关一个或多个用户是否在家的预测的数据时，智能门铃可以不使用任何生物特征数据诸如捕获用户的面部特征的图像进行响应(取决于一个或多个用户的偏好)。相反，智能门铃可使用指示表征特定用户被预测为在家或不在家的程度的值的数据进行响应。在此类示例中，智能门铃进行响应所用的数据可基于生物特征数据(例如，基于处理图像)，但本身缺少任何生物特征数据。自动化助理可使用此数据和/或由一个或多个其他装置提供的任何其他数据来确定是否验证认证因素以履行请求。

6、继续该示例，由来自智能门铃的数据指示的值可指示智能门铃预测特定用户在家下的置信度。例如，智能门铃可根据智能门铃确定用户进入和/或离开家有多近来生成值。例如，如果智能门铃确定用户在最后一分钟内进入家，并且之后尚未被确定为已经离开家，则智能门铃可生成值1.0 (反映最高置信度和/或最近事件涉及用户进入家)。另外，例如，智能门铃此后可每两分钟(或其他时间段)将值减少0.05(或其他量)，直到达到阈值(例如，0.0)。另外，例如，如果智能门铃确定用户在最后一分钟内离开家并且此后尚未被确定为已经进入家，则智能门铃可生成值0.0 (反映最低置信度和/或最近事件涉及用户离开家)，并且此后可每两分钟(或其他时间段)将值增加0.05(或其他量)，直到达到阈值(例如，0.3)。无论用于生成值的技术如何，在一些实现方式中，自动化助理可将此值与权重值组合使用，以建立关于特定用户是否是提供口头话语的用户的预测。可使用一个或多个启发式过程和/或一个或多个经训练的机器学习模型来随着时间的推移而生成权重值，以反映自动化助理对来自智能门铃的数据的置信度。换句话说，根据特定装置在历史上是否已经准确地预测特定用户是否在家和/或特定装置最近(相对于其他装置)是否已经检测到用户，自动化助理可对来自某些装置的数据赋予比来自其他装置的其他数据更重的权重。在一些实现方式中，对于不同的装置、作为预测的对象的不同用户、经受认证的不同请求和/或可与权重值相关联的任何其他特征，权重值可是不同的。

7、当自动化助理从一个或多个装置接收到所索求的数据时，自动化助理可利用所索求的数据来做出关于特定用户是否存在和/或是否提供了请求的确定。在一些实现方式中，自动化助理可利用所索求的数据来确定，在通常在房屋中的所有人(例如，两个配偶)之中的特定用户更有可能存在，并且任选地，其他用户不那么可能存在。基于此确定，可将特定用户识别为提供了关于查看安全镜头(例如，由面向家后院的安全相机装置捕获的镜头)的口头话语的用户。以此方式，自动化助理可根据用户的话音并且还根据来自一个或多个其他装置的数据来认证用户。这可减少在其他情况下当自动化助理在单个装置处进行多因素认证(例如话音验证和密码验证)时可能引入的时延。此外，这可减少在家环境内的不同装置处执行的冗余过程(例如，各种用户认证过程)的数量，从而允许家环境更有效率地操作。

8、在一些实现方式中，当抢先加载对预测用户随后提供的请求可以有用的数据时，可利用经由与启用助理的装置分开的装置来认证用户的过程。例如，从用户起居室的长沙发起身走到其厨房中的用户可以沿途经过智能恒温器。恒温器可注册到用户，并且可以包括运动传感器，用于在用户接近恒温器时激活恒温器的显示接口。用户可将恒温器调整到他们的优选设置(例如，70 f)，从而在不利用生物特征数据的情况下让恒温器注意到有人存在，并且由于此人如何修改恒温器的温度设置，因此此人有可能是该用户。当用户到达厨房时，用户可向独立显示接口提供口头话语以调用自动化助理并删除第二天早上的闹钟(例如，“assistant, cancel my alarm for tomorrow(助理，取消我明天的闹钟)”)。然而，在用户提供口头话语之前，自动化助理可在来自用户的事先许可的情况下经由独立显示装置的相机来认证用户，并且还根据另一因素(例如，存在认证)向其他装置索求可辅助认证用户的数据。

9、在一些实例中，当自动化助理不能搜集足够的数据以认证用户时(例如，厨房是黑暗的，并且因此可以禁止视觉认证)，自动化助理可向另一装置索求附加数据。在此类情形下，自动化助理可以利用附加数据来提高由自动化助理执行的任何用户认证的准确性。在一些实例中，自动化助理可与智能恒温器进行通信，以从智能恒温器获得关于智能恒温器是否预测用户是走到厨房中的那个人的数据。此数据可被视为自动化助理为认证用户而抢先处理的任何数据的补充。

10、例如，响应于接收到对附加数据的请求，智能恒温器可生成特定用户存在和/或特定用户向自动化助理提供了输入的预测值。替代地或另外，智能恒温器可生成多个值，并且每个值可与相应用户存在或不存在和/或相应用户提供了或没有提供助理输入的预测相对应。在一些实现方式中，智能恒温器和/或自动化助理索求的任何其他装置可基于可有助于预测存在的一个或多个因素和/或在有或没有用户的生物特征数据的情况下生成每个值。例如，针对在从自动化助理接收到索求的一分钟内修改智能恒温器的用户，智能恒温器可生成值1.0 (例如，指示存在预测的高置信度)。替代地或另外，智能恒温器可随着某些持续时间流逝而针对某些人生成较低的值。例如，针对在接收到助理索求的一分钟内调整智能恒温器的用户，可提供值1.0，并且针对在接收到助理索求之前超过30分钟调整智能恒温器的另一用户，可提供值0.3。

11、在一些实现方式中，当检测到不同的用户时，可调整指示针对特定用户的存在预测的置信度的值。例如，与恒温器交互并且然后在走过门铃装置之后离开他们的家的用户可被指派存在预测的低值。当门铃装置检测到另一用户已经进入家时，可进一步减小此存在预测。存在预测的置信度值的这种减小可减轻误报和/或不正确识别的实例。例如，在第一用户的置信度值满足用于履行用户请求的阈值之后，当检测到第二用户时，可快速减小第一用户的置信度值(例如，使其反映较低的置信度)。这可提高可以频繁向各种用户提供访问权的自动化助理的安全性。

12、在一些实现方式中，由另一装置提供的值可用于修改自动化助理正在执行的用户认证过程。例如，自动化助理可通过从由启用助理的装置捕获的音频数据生成嵌入来经由话音签名认证用户。可将嵌入映射到潜在空间，并且可测量经映射的嵌入与对应于各种用户的预先存在的嵌入之间的距离。可基于响应于助理索求而从一个或多个其他装置传送的装置数据，针对特定用户调整根据此映射生成的距离和/或其他度量。例如，针对特定用户，当智能恒温器使用值1.0进行响应时，基于嵌入映射生成的置信度度量可朝向特定用户是提供了助理输入的用户调整10%(即，将置信度从10中的8.0增加到8.8)。然而，针对特定用户，当智能恒温器提供值0.9时，基于嵌入映射生成的置信度度量可远离特定用户是提供了助理输入的用户调整-10%(即，将置信度从10中的8.0减小到7.2)。

13、当自动化助理根据这些数据实例认为用户经过认证时，自动化助理可抢先高速缓存数据(例如，助理数据和/或其他应用数据)，以促进履行预测用户提供的请求。否则，自动化助理可以向用户和/或一个或多个其他装置索求可辅助认证用户的数据。

14、提供上述描述作为对本公开的一些实现方式的概述。下面将更详细地描述那些实现方式以及其他实现方式的进一步描述。

15、其他实现方式可包括存储指令的非暂时性计算机可读存储介质，所述指令可由一个或多个处理器(例如，中央处理单元(cpu)、图形处理单元(gpu)和/或张量处理单元(tpu))执行，以执行诸如上文和/或本文其他地方描述的方法中的一种或多种的方法。又一些实现方式可包括一种一个或多个计算机的系统，所述计算机包括可操作以执行所存储的指令来执行诸如上文和/或本文其他地方描述的方法中的一种或多种的方法的一个或多个处理器。

16、应当理解，前述概念和本文更详细描述的附加概念的所有组合均被视为本文所公开的主题的一部分。例如，出现在本公开末尾的所要求保护的主题的所有组合均被视为本文所公开的主题的一部分。