根据动态用户队列和/或多模式存在检测为自动化助理指配优先级的制作方法

背景技术：

1、人类可以参与与这里称为“自动化助理” (也称为“数字代理”、“聊天机器人”、“交互式个人助理”、“智能个人助理”、“会话代理”等)的交互式软件应用的人机对话。例如，人类(当他们与自动化助理交互时，可以被称为“用户”)可以使用口头自然语言输入(即，话语)和/或通过提供文本(例如，键入的)自然语言输入来提供命令和/或请求，其中所述口头自然语言输入在一些情况下可以被转换成文本并且然后被处理。

2、在一些情况下，自动化助理可以根据用户的声音签名是否对应于在声音验证后方能访问的受限账户来响应特定用户。然而，随着自动化助理设备附近的用户的数目增加，背景噪声和其他声音可以被自动化助理检测到，从而导致自动化助理失去对特定用户是否仍然存在的跟踪。当特定用户已经经由声音验证而被认证但随后离开自动化助理设备的附近时，这可能尤其成问题。结果，自动化助理设备的显示面板可以继续渲染特定经认证用户正在访问的受限数据，尽管用户已不在场。此外，当自动化助理继续为已经离开自动化助理设备附近的初始用户渲染数据时，这样的渲染可能浪费计算资源。此外，当另一用户进入自动化助理设备的附近时，自动化助理设备可以表现出浪费的延迟，但自动化助理设备继续预期初始用户仍然存在而渲染数据。

技术实现思路

1、本文阐述的实现方式涉及控制计算硬件渲染特定输出。特定输出可以由计算硬件为特定认证用户渲染并且可以包括访问受限数据。下面在计算设备的上下文中讨论的计算硬件用于通过例如控制相机捕获设备周围的环境的各方面来确定在计算设备处活动的用户。建立活动用户队列，该活动用户队列用于根据例如检测到在特定计算设备附近的一个或多个用户的存在来动态地调整设备处的访问许可。最初，当没有用户被认为是活动的时，可以响应于用户进入计算设备的相机的视场来建立活动用户队列。可以处理经由相机捕获的多个图像帧以确定初始用户是否在查看窗口内和/或任何其他用户是否已经进入查看窗口。只要在查看窗口中只检测到初始用户，就可以认为初始用户是活动的。然而，如果其他用户进入查看窗口，则当满足一个或多个条件时，可以向其他用户指配对设备的访问优先级。通过以此方式指配访问优先级，与特定用户相关联的访问受限数据可以被保护以免受在初始用户离开相机的视场之后可能访问计算设备的用户的影响。在一些实现方式中，这可以确保，一旦特定用户在设备处不再活动或不再以其他方式控制设备，则系统（诸如机器或其他安全敏感装置）不能被未授权用户接管和控制，其中该系统能够用对于设备的特定用户渲染的访问受限数据来控制。此外，可以减轻以其他方式经由认证过程引入的延迟，从而保留在延迟时段期间可能浪费的计算资源。此外，在各种实现方式中，响应于给定用户进入设备的用户队列，但是在给定用户在设备的用户队列中具有优先级之前，可以(例如，从远程服务器)预取和/或预编译(例如，准备用于在设备上渲染)针对该给定用户的个人化的或以其他方式访问受限内容。响应于给定用户随后在设备的用户队列中具有优先级，预取和/或预编译的个人化内容或以其他方式访问受限数据可以被快速地渲染给给定用户。这减少了向给定用户渲染个人化内容或以其他方式访问受限数据的延迟。

2、在一些实现方式中，第一用户和第二用户可以存在于包括提供对自动化助理的访问的计算设备的家庭(或例如制造环境等其它环境)中。第一用户可以例如通过进入包括计算设备的房间(诸如厨房)来进入计算设备的附近，以便查看经由第一用户的账户可访问的访问受限数据。访问受限数据可以例如与环境中的特定自动化装置相关联。访问受限数据的示例是经由第一用户的账户可访问的排程，诸如要由自动化装置执行的操作的可编辑排程。在该上下文中，自动化装置可以是安全性或安全性敏感的装置（例如清洁机器人、3d打印机、智能电器或例如自动化制造装置），到这些安全性或安全性敏感的装置的访问控制可能被限制(例如被限制为不能由未成年人或未经训练的人员访问)。当第一用户进入计算设备的相机的视场时，计算设备可以处理一个或多个图像帧以便验证第一用户已经进入视场。当第一用户已经被计算设备验证时，自动化助理可以使计算设备渲染与第一用户的账户相关联的访问受限内容。例如，在第一用户进入计算设备的附近之前，计算设备的显示面板可以渲染未受限内容和/或非个人化内容，诸如经由计算设备可访问的自动化装置的操作排程的不可编辑版本，或例如公开可用的图像和/或其他信息。响应于计算设备验证第一用户存在于视场内，计算设备可以渲染针对用户个人化的至少一定量的内容，诸如访问受限内容。一个示例是用于自动化装置的操作的访问受限的可编辑排程和/或用于更改/修改排程的编辑界面。可选地，并且如本文所述，渲染针对用户个人化的内容可以进一步响应于确定存在指示用户正关注计算设备(其可以是客户端设备)的一个或多个条件，诸如基于来自计算设备的视觉组件的视觉数据确定用户的注视指向计算设备(例如，持续至少阈值持续时间)、用户在计算设备的阈值距离内、用户的头部姿势和/或身体姿势指向计算设备、和/或其他条件存在。除了上文提到的访问受限内容之外，或者作为其替代，计算设备还可以渲染其他访问受限内容(例如，用户的排程的一部分)和/或可公开访问但被确定为与用户相关的内容。

3、在一些实现方式中，响应于验证第一用户的存在，自动化助理可以使得生成队列数据以用于将优先级指配给在设备处的第一用户以及定义用户将在设备处被指配优先级的时间量。时间量可以是n分、秒和/或毫秒，和/或可以指配给定时器的任何时间值。随着定时器倒计时，第一用户被指配优先级的时间量最终会期满，这会导致在设备处没有用户具有优先级，从而导致计算设备不再渲染任何访问受限内容。然而，在具有来自第一用户和/或第二用户的先前许可的情况下，可以处理使用计算设备的相机生成的图像数据以确定第一用户是否保持存在于相机的视场中。当自动化助理确定第一用户仍然在相机的视场中时，自动化助理可以使定时器被重置(例如，重置回到初始时间量“n”)，以便延长用户在设备处被指配优先级的时间量。

4、当第一用户被指配优先级并且定时器尚未期满时，第二用户可以通过进入设备的附近(例如，厨房区域)来进入相机的视场。可以处理表征第二用户的一个或多个图像帧，以便验证第二用户的存在，并且基于该验证，可以在设备处为第二用户指配高于第一用户的优先级。在一些实现方式中，优先级改变的指示可以由计算设备使用显示界面处的一个或多个图形元素来指示，例如，在彼此之上显示的化身，指示特定用户具有高于设备处的另一用户的优先级。当优先级的指配发生改变时，计算设备可停止渲染与第一用户的第一账户相关联的个人化内容，并且，改为渲染与第二用户的第二账户相关联的个性化内容。例如，当第二用户被指配优先级时，计算设备可以为第二用户渲染访问受限内容。第二用户的这种访问受限内容的示例是与针对第一用户在上面描述的内容类似的内容，其可以允许第二用户控制第二用户被授权的一个或多个自动化装置的操作方面。附加地或替代地，计算设备可以渲染其他图形内容，诸如表征在由第二用户创建的存储的日历上识别的一个或多个事件的内容。

5、在一些实现方式中，当第二用户被验证和/或在设备处被指配高于第一用户的优先级时，可以初始化针对第二用户的另一定时器。此外，每当确定第二用户保持在相机的视场中时，可以重置另一定时器。然而，当确定第二用户不再处于相机的视场中时，另一定时器可以可选地设置为减少的时间(例如，另一定时器可以从另一定时器扣除m分钟、秒和/或毫秒，其中“m”是任何数值)。当另一定时器由于第二用户没有保持在相机的视场中而期满时，计算设备可以停止渲染与第二用户的第二账户相关联的访问受限内容。因此，当相应用户在用户队列中具有优先级时，个人化内容可以至少选择性地渲染给该相应用户。此外，倒计时定时器的使用防止由于当前优先级用户仅仅暂时离开计算设备的视觉组件的视场和/或当前优先级用户仅仅暂时由于转动他/她的脸、被遮挡和/或其他状况而未在图像帧中检测到(尽管存在于视场中)而过早地将替代用户指配为在用户队列中具有优先级。以这些和其他方式，仅响应于当前优先级用户的倒计时定时器期满并且替代用户变为新优先级用户，才渲染替代用户的个人化内容。这防止例如在渲染不同个人化内容之间过于频繁的切换，这种切换可能不必要地消耗计算设备的资源和/或使得所渲染的内容更难以理解。

6、在一些实现方式中，当第一用户和第二用户被确定为在相机的视场内时，可以向计算设备的触摸显示器提供触摸输入。为了确定如何响应触摸输入，计算设备可以将第一用户和相机之间的距离与接近度阈值进行比较。此外，计算设备还可以将第二用户与相机之间的另一距离与接近度阈值进行比较。当确定第一用户的距离满足接近度阈值并且确定第二用户的另一距离也满足接近度阈值时，自动化助理可以通过提供基于第二用户的第二账户的另外内容来响应触摸输入。这可以基于第二用户由于他们接近相机而默许触摸输入的假设。替代地，当第一用户的距离被确定为满足接近度阈值，但第二用户的另一距离被确定为不满足接近度阈值时，自动化助理可以通过提供不基于第二用户的第二账户的其它内容(例如，通过不渲染与第二用户的第二账户相关联的访问受限内容)来作出响应。该操作可以基于第二用户不默许触摸输入的另一假设，因为他们不位于相机的特定距离内。此外，当第一用户或第二用户都不位于满足接近度阈值的特定距离处时，自动化助理可以假设触摸输入是由位于相机的视场之外的某人提供的。因此，响应于此类触摸输入，自动化助理可以通过提供不基于用户的第二账户的其他内容(和/或例如通过提供不基于第一用户的第一账户的内容)来作出响应。当确定用户的距离时，可以(例如，在计算设备处)利用各种技术来确定距离。例如，可以基于图像中的用户的眼睛之间的距离、图像中的用户的相对头部大小和/或图像中的用户的其他属性来估计距离。

7、在一些实现方式中，计算设备处的优先级可以根据确定哪个用户正关注计算设备而改变。例如，当第一用户在没有任何其他人的情况下在计算设备附近(例如，设备所位于的厨房区域)并且被计算设备确定为正在查看计算设备时，第一用户可以在计算设备处被指配优先级。此外，此时还可以初始化针对第一用户的优先级的定时器。此后，只要定时器尚未期满，自动化助理就可以渲染与第一用户的第一账户相关联的访问受限内容。然而，在此时间期间，第一用户可能转身远离计算设备以便关注环境中的其他事物(例如，关闭炉子)。可以处理经由相机捕获的一个或多个图像帧以确定第一用户已经转身，并且作为响应，可以将定时器上剩余的时间量减少m分钟、秒、毫秒和/或任何其他时间值，其中“m”是任何数值。

8、在一些实现方式中，当第一用户或第二用户在计算设备处被指配优先级和/或被确定为关注计算设备时，自动化助理可以使“动作项”由计算设备渲染。动作项可以对应于计算设备、自动化助理和/或任何其他应用正请求用户执行和/或响应的动作。例如，动作项可以对应于需要在安装软件更新之前由用户确认的软件更新。另外或替代地，动作项可以对应于自动化助理、计算设备和/或任何其他应用正请求用户确认的通知。例如，当第一用户被指配优先级并且还被确定为关注计算设备和/或自动化助理时，自动化助理可以使消息通知在计算设备的触摸显示面板处被渲染。消息通知可以作为“动作项”操作，因为通过渲染消息通知，自动化助理请求第一用户执行确认消息通知的“动作”，例如通过在触摸显示面板的其中渲染消息通知的区域上轻敲。当确定第一用户不再关注计算设备和/或“动作项”时，可以减少定时器上用于指配给第一用户的优先级的时间量。此外，响应于确定第一用户不再关注计算设备和/或动作项，自动化助理可以使“动作项”不再被渲染在计算设备的触摸显示器处。

9、如本文所使用的，给定用户的“访问受限内容”是存储在与给定用户的账户相关联的计算机存储器中并且该用户对其具有访问控制的非可公开访问的内容。除了上述那些之外，一些非限制性示例包括来自用户的私人日历的内容、来自用户的电子邮件账户的内容、以及来自用户的私人账户的提醒。在各种实现方式中，给定用户可以提供许可以使得访问受限内容的全部或部分(例如，其片段或摘要)能够经由共享计算设备至少选择性地渲染。例如，通常给定用户可以提供许可从而能够在给定客户端设备处渲染访问受限内容的至少部分，或者仅当给定用户被给定客户端设备使用面部识别和/或声音识别识别出时，才能够在给定客户端设备处渲染访问受限内容的至少部分。然而，在这些实现方式中的一些中，仅可以响应于验证给定用户是请求访问附加部分和/或请求编辑访问受限内容的用户，才提供对访问受限内容的附加部分的访问和/或编辑访问受限内容的能力。

10、例如，声音识别可以用于确认请求访问附加部分的口头话语是由给定用户提供的。此外，例如，面部识别可以用于确认请求访问附加部分和/或编辑的在客户端设备处的触摸事件(例如，给定用户的用户受限内容的摘要的触摸选择)是实际上来自给定用户。例如，如本文所述，可以组合地利用面部识别和距离估计来确定给定用户在触摸事件时在客户端设备的阈值距离内，并且可选地确定任何其他用户不在该阈值距离(或另一阈值距离)内。作为一个特定示例，访问受限内容的摘要可以是仅包括“upcoming appointmenttomorrow @ 12:00 （明天12:00即将到来的约会）”的图形元素。如果接收到针对图形元素的触摸事件，则仅在确定给定用户在触摸事件时在客户端设备的阈值距离内并且可选地任何其他用户不在该阈值距离(或另一阈值距离)内的情况下，才将会响应地渲染约会的附加细节(例如，约会的地点、约会的标题等)。以这些和其它方式，维持了访问受限内容的安全性。另外，在各种条件下，在得到给定用户许可的情况下，在允许渲染访问受限内容的各方面的同时，维持了安全性。因此，通过从客户端设备的多个账户(可选地同时)渲染访问受限内容的方面，可以改进共享客户端设备的效用，从而向对应用户提供访问受限内容的高效概览。此外，可以通过触摸输入(例如，单个触摸输入)以及利用本文公开的面部识别和用户距离技术来实现对访问受限内容的更详细访问。这样的单个触摸输入可以比口头话语更快地提供，从而使得用户-助理交互更高效并且减少用户-助理交互的总体持续时间。这种单个触摸输入在说话者识别可能失败的噪声条件下也是有效的，和/或也使得有语音困难的用户能够有效地访问受限内容。

11、如本文所使用的，给定用户的“个人化内容”包括访问受限内容，而且也包括可公开访问但基于确定内容与给定用户相关而渲染给给定用户的内容。公共内容可以基于内容的属性与给定用户的属性的比较而被确定为与给定用户相关，所述比较可以基于给定用户的指示对那些属性感兴趣的历史交互。例如，给定用户可能先前已经查看了与运动队a相关的多篇文章，从而被提供了个人化内容，即新的可公开访问的文章，这是基于该新的可公开访问的文章是关于运动队a的。如同访问受限内容一样，在各种实现方式中，给定用户可以提供许可以使得个人化内容(一般地，或也不是访问受限内容的个人化内容)的全部或部分能够经由共享计算设备至少选择性地渲染。例如，给定用户可以提供许可从而能够在给定客户端设备处渲染个人化内容的至少部分，或者仅当给定用户被给定客户端设备使用面部识别和/或声音识别识别出时，才能够在给定客户端设备处渲染个人化内容的至少部分。

12、以上描述是作为本公开的一些实现方式的概览来提供的。下面更详细地描述这些实现方式的进一步描述和其它实现方式。

13、其他实现方式可以包括存储指令的非暂时性计算机可读存储介质，所述指令能够由一个或多个处理器(例如，中央处理单元（cpu）、图形处理单元(gpu)和/或张量处理单元（tpu））执行以执行诸如以上和/或本文其他地方描述的方法中的一个或多个的方法。

14、应当理解，前述概念和本文更详细描述的附加概念的所有组合被预期为本文公开的主题的一部分。例如，在本公开所附的所要求保护的主题的所有组合被认为是本文公开的主题的一部分。