基于置信度的应用特定的用户交互的制作方法

本技术总体上涉及电子设备，包括但不限于显示助理设备，该显示助理设备提供与在显示助理设备上执行的应用相关联的非接触用户体验操作。

背景技术：

1、与相机和麦克风集成在一起的电子设备非常流行。这些设备也称为智能家庭设备或智能助理设备。它们被广泛用于捕获和保存不断扩展的诸如数码照片的媒体文件的收集。它们还用于收集用户的语音输入，并根据语音输入实现不同的语音激活功能。例如，许多现有技术的移动设备都包括语音助理系统(例如，google assistant)，其被配置成使用语音输入来发起电话呼叫、进行餐馆搜索、在地图上开始选择路线、创建日历事件、将帖子添加到社交网络、辨识歌曲并完成许多其他任务。这些电子设备还用于执行诸如语音呼叫和视频会议的功能。

2、尽管用于基于助理的消费用途的电子设备的普遍，但是这些电子设备很少关注其物理场境，而是依靠语音或触摸输入以在适当的时间发起发起其功能。然而，语音或触摸输入可能破坏用户的正常活动并损害电子设备的用户体验。使电子设备智能、场境化和令人愉悦是有益的，例如，前摄地实时预测其用户需求并向用户友好的界面提供更多相关信息。

技术实现思路

1、本公开通过提供一种电子设备(例如，显示助理设备)来解决在以上识别的缺陷，该电子设备控制与在其上执行的一个或多个应用相关联的场境化和非接触用户体验(ux)操作。电子设备被配置成根据存在的接近度来发起非接触ux操作(例如，使能够显示用户界面)，在正确的距离处示出正确的信息量和/或触摸控制选项。例如，基于用户的通常意图在远景中提供最有用的信息，并且当用户足够靠近电子设备时，在近景中提供附加信息和控件。非接触ux操作在存在的接近度变化时平稳转变。基于涉及与确定存在的接近度相关联的置信度级别的发起条件来发起每个非接触ux操作。

2、根据本技术的一个方面，一种用于控制用户体验(ux)操作的方法在具有一个或多个处理器和存储器的电子设备上实现。该方法包括：识别在电子设备上执行的第一应用和识别与第一应用相关联的第一非接触ux操作。第一ux操作具有发起条件，该发起条件至少包括以所需置信度级别的对在所需接近度范围内的存在和手势的检测。可选地，从多个预确定置信度级别中选择所需置信度级别。该方法进一步包括：识别第一传感器信号，该第一传感器信号可以被用于针对发起条件确定相对于电子设备存在的接近度；以及从第一传感器信号中确定相对于电子设备的存在的接近度。该方法还包括确定所确定的接近度是否在所需接近度范围内。该方法还包括根据所确定的接近度处于所需接近度范围内的确定，识别可用于捕获在所需接近度范围内的存在的手势的第二传感器信号，从第二传感器信号中确定与存在的接近度相关联的手势以及手势确定的相关联的置信度级别，并确定所确定的手势和相关联的置信度级别是否满足发起条件。该方法还包括，根据已经满足发起条件的确定，发起与第一应用相关联的第一ux操作。

3、根据本技术的另一方面，在具有一个或多个处理器和存储器的电子设备上实现一种用于控制用户体验(ux)操作的方法。该方法包括：识别在电子设备上执行的第一应用和识别与第一应用相关联的第一非接触ux操作。第一ux操作具有发起条件，该发起条件至少包括以所需置信度级别检测所需接近度范围中的存在。可选地，从多个预确定的置信度级别中选择所需置信度级别。该方法进一步包括：识别第一传感器信号，该第一传感器信号可用于针对所述发起条件来确定相对于电子设备的存在的接近度；从第一传感器信号，确定相对于电子设备的存在的接近度以及相关联的确定的置信度级别，和确定所确定的接近度和相关联的置信度级别是否满足发起条件。该方法还包括根据确定已经满足发起条件，发起与第一应用相关联的第一ux操作。

4、在一些实施方式中，发起条件包括第一发起条件。该方法进一步包括：识别在电子设备上执行的第二应用和识别与第二应用相关联的第二非接触ux操作。第二ux操作具有第二发起条件，该第二发起条件至少包括以第二所需置信度级别检测所需接近度范围中的存在。识别第一传感器信号以确定针对第一和第二ux操作两者相对于电子设备的存在的接近度。根据第一非接触ux操作的第一所需置信度级别和第二非接触ux操作的第二所需置信度级别中较高的置信度级别来识别第一传感器信号。此外，在一些实施方式中，第二所需置信度级别低于第一所需置信度级别。

5、在一些实施方式中，发起条件还包括以所需置信度级别检测在所需接近度范围内的所需手势。该方法还包括根据所确定的接近度和相关联的置信度级别满足发起条件的确定，识别第二传感器信号，该第二传感器信号可以用于捕获所需接近度范围内的存在的手势；从第二传感器信号确定与存在的接近度相关联的手势；以及基于手势的确定来更新相关联的置信度级别。该方法还包括确定所确定的手势和更新的置信度级别是否满足发起条件。根据对于存在的接近度和手势已经满足发起条件的确定来发起与第一应用相关联的第一ux操作。

6、在一些实施方式中，发起条件包括第一发起条件，该第一发起条件至少包括以第一所需置信度级别检测第一所需接近度范围中的存在。该方法还包括识别与第一应用相关联的第三非接触ux操作。第三ux操作具有第三发起条件，该第三发起条件至少包括以第三所需置信度级别检测第三接近度范围中的存在。第三所需接近度范围不同于第一所需接近度范围。该方法还包括根据已经满足第三发起条件的确定，终止第一ux操作并且发起与第一应用相关联的第三ux操作。在一些情况下，第一所需接近度范围内的每个位置具有大于阈值距离的距电子设备的第一距离，而第三所需接近度范围内的每个位置具有不大于阈值距离的距电子设备的第二距离。在一些实施方式中，第一ux操作被配置成在电子设备上显示第一用户界面，并且第三ux操作被配置成在电子设备上显示第二用户界面。第二用户界面被配置成显示比第一用户界面更多的信息，并且可选地包括至少一个可作用(actionable)项。

7、在另一方面，电子设备被配置成执行本文描述的任何方法。

8、在另一方面，一种非暂时性计算机可读存储介质存储一个或多个程序。一个或多个程序包括指令，所述指令在由电子设备执行时使计算机系统执行本文所述的任何方法。

9、在一些实施方式中，为在电子设备上可执行的一个或者多个应用提供可用的非接触ux操作到相应发起条件的映射(例如，查找表)，每个发起条件要求以从多个置信度级别中选择的所需置信度级别检测在所需接近度范围中的存在和手势。

10、该应用可以是主屏幕应用、安全应用、聊天或其他通信应用、媒体播放应用、安全应用、互联网浏览器等。

11、电子设备包括多个传感器，所述多个传感器能够以不同准确度检测存在和/或手势。传感器包括ir/运动、超声波、雷达、相机视频/静止图像、蓝牙无线电、wifi无线电等。不同的传感器具有不同的固有分辨率能力，其至少部分地确定来自该传感器的信号可以通过其被用于以所需置信度级别检测存在和/或确定特定手势是否在所需接近度内发生的置信度。

12、在一些实施方式中，同一电子设备上的不同传感器可能能够以所需置信度级别检测存在和/或确定特定手势是否在所需接近度内发生，但是来自那些传感器的处理信号可能采取不同的时间量和需要不同的处理技术。例如，处理超声信号(可以使用设备上的dsp技术完成)可能比处理来自相机的视频(可能需要使用在电子设备和/或云中执行的机器学习处理)要快。使用什么样的信号和/或处理技术取决于与应用相关联的所需响应时间和/或针对相关联的ux操作的发起条件。

13、在一些实施方式中，电子设备使用不太准确的传感器信号(例如，来自pir运动传感器的信号)执行初始快速确定，以识别存在，该识别可能不够准确从而无法确定是否已经为特定的手势触发特定的发起条件，并且然后，如果识别到存在(例如，在合适的所需范围内)，则将收集更准确的传感器信号并且然后进行处理(在更慢、更计算密集的过程中，诸如基于ml的过程)以确定特定手势是否在所需接近度内发生。

14、在一些实施方式中，基于置信度的ux发起处理使传感器的性能适应特定的发起条件的要求。例如，如果仅视频处理可用于以所需置信度级别识别媒体控制或安全控制手势，则基于置信度的确定处理可能会在使用不太准确的传感器信号识别存在之后控制电子设备以接通其屏幕到最大化亮度或接通其红外照明器，以更好地捕获面部或手势细节，以便于能够以所需置信度级别识别特定的非接触ux手势。

15、类似地，基于置信度的ux发起处理可以基于环境条件来增加信号强度，因此传感器和相关联的传感器处理可以以高信噪比进行操作，以便以所需置信度级别识别存在和/或手势。

16、例如，当播放音乐并且使用超声感测来识别手势时，可以增加超声信号量以提供改善的snr，并且可以使用高精度的机器学习技术代替基于dsp的技术来处理所得的接收信号。

17、类似地，当存在背光或房间黑暗时，这可能会对于精确的面部检测提供太低的snr，可以增加设备屏幕的亮度，以便为存在的面部和/或手势特征的视觉处理提供更高的snr。

18、类似地，当环境安静和/或存在具有敏感听力的宠物时，可能不会使用超声感应来识别存在，或者可能会降低超声幅度，以避免使宠物感到不适。

19、在一些实施方式中，当多个应用在电子设备上同时执行，并且每个应用与一个或多个具有基于接近度的发起条件的非接触ux操作相关联时，电子设备采用适合于发起多个ux操作的最高相关联的所需置信度级别的用于接近度和/或手势识别的传感器和/或处理技术。

20、在一些实施方式中，当一个应用正在电子设备上执行并且该应用与具有基于接近度的发起条件的多个非接触ux操作相关联时，电子设备采用适合于针对发起多个ux操作的相关联的所需置信度级别的用于接近度和/或手势识别的传感器和/或处理技术。

21、ml技术可以在设备上和/或在云中执行。dsp技术可以在设备上和/或在云中执行，但是倾向于在设备上执行，因为它们可以在非常短的时间内提供结果。

22、在一些实施方式中，在可行的情况下采用对传感器输入的设备上处理，以减少从家庭和工作环境收集的信息到云的传输，这有益于用户隐私。