使用手部跟踪通过虚拟按钮扩展游戏控制器的功能的制作方法

本公开涉及识别由手持控制器上的手指手势提供的输入，并且更具体地涉及使用从与手持控制器相关联的多个传感器和部件收集的多模态数据来验证经由手指手势提供的输入。

背景技术：

1、随着不同装置上可供用户使用的交互式应用程序和视频游戏的数量不断增加，准确检测经由不同装置提供的输入变得尤为重要。例如，必须适当识别和正确解释用户使用手持控制器提供的视频游戏的输入，以便准确影响视频游戏的游戏状态。仅依赖单一数据模式(例如，跟踪手指手势的图像)可能会导致视频游戏中的错误结果。

2、正是在此背景下提出了本公开的实施方案。

技术实现思路

1、本公开的实现方式涉及用于提供多模态手指跟踪以检测和验证输入装置(诸如手持控制器)上提供的手指手势的系统和方法。多模态手指跟踪和验证确保适当识别和正确解释手指手势，从而减少仅依赖单一跟踪模式而导致的错误。使用与手持控制器(以下简称为“控制器”)相关联的多个传感器和部件捕获的多种数据模态来生成和训练自定义手指跟踪模型(例如，组合模型(ensemble model))，以提高检测和解释手指手势的准确性。

2、检测输入的传统方式依赖于单一数据源模型。例如，传统方式依赖于通用相机(即，单一数据源)来检测和跟踪控制器上用户的手指。使用单一源的跟踪准确性不太可靠且易于出错，从而导致交互式应用程序处的结果不尽如人意。为了克服传统方式的缺点，从与控制器相关联的多个传感器和部件收集多模态数据，所述多个传感器和部件用于提供输入并用于验证控制器处的手指手势检测。所收集的多模态数据用于生成和训练多模态数据模型，所述多模态数据模型然后用于正确解释手指手势。由于使用多种数据模式来生成和训练模型，因此多模态数据模型在本文中也称为“组合模型”。根据针对不同手指手势定义的训练规则，使用随着时间推移收集的额外多模态数据，对组合模型进行不断训练。从组合模型中选择一个输出并使用该输出来确认/验证在控制器处检测到的手指手势。手指手势可以对应于按下真实按钮或按下控制器上定义的虚拟按钮或控制器上设置的触摸屏界面上提供的输入，并且输出被识别为与手指手势的正确解释相对应。虚拟按钮可以在没有真实按钮的控制器的任何表面上识别，并且虚拟按钮上的手指手势可以定义为单击或双击或按压或在特定方向上滑动等。

3、该模型通过以下方式并入了多模态手指跟踪技术：在生成和训练组合模型时，考虑了数个模型部件，如使用来自图像捕获装置的图像馈送进行手指跟踪、来自设置在控制器中的imu传感器的惯性测量单元(imu)数据、来自设置在用户所在环境中的无线装置的无线信号、来自各种传感器(诸如距离/接近传感器、压力传感器等)的数据。组合模型通过使用来自多于一种模式的数据跟踪和验证手指手势，来帮助准确检测在控制器处提供的手指手势。

4、在一个实现方式中，公开了一种用于验证在控制器处提供的输入的方法。所述方法包括检测由用户在控制器的表面上提供的手指手势。所述手指手势用于定义由用户选择用于交互的交互式应用程序的输入。通过使用与控制器相关联的多个传感器和部件跟踪控制器上的手指手势来收集多模态数据。使用从多个传感器和部件接收的多模态数据生成组合模型。使用随着时间推移收集的额外多模态数据对组合模型进行不断训练以生成不同的输出，其中训练是根据针对不同手指手势定义的训练规则。使用机器学习算法来生成并训练组合模型以定义不同的输出。针对手指手势识别来自组合模型的输出。从组合模型识别的输出被解释为定义交互式应用程序的输入。

5、在替代的实现方式中，公开了一种用于定义交互式应用程序的输入的方法。所述方法包括接收由用户在控制器的表面上提供的手指手势。所述手指手势用于定义由用户选择用于交互的交互式应用程序的输入。从与控制器相关联的多个传感器和部件接收捕获控制器上的手指手势的属性的多模态数据。向与由多个传感器和部件捕获的多模态数据中所包括的每个模式相对应的模态数据分配权重。为每个模式分配的权重指示使用每个模式的模态数据准确预测手指手势。基于分配给每个模式的权重来处理手指手势和多模态数据，以识别与在控制器处检测到的手指手势相对应的交互式应用程序的输入。

6、通过以下结合附图进行的以举例方式说明本公开原理的详细描述，本公开的其他方面和优点将变得显而易见。

技术特征：

1.一种用于验证在控制器处提供的输入的方法，其包括：

2.如权利要求1所述的方法，其中识别所述输出包括：

3.如权利要求2所述的方法，其中分配给由所述多个传感器和部件中的每个传感器捕获的所述模态数据的所述权重大于分配给由所述多个传感器和部件中的每个部件捕获的所述模态数据的所述权重，并且

4.如权利要求2所述的方法，其中针对所述多模态数据中所包括的不同模式捕获的所述模态数据被分配相同的权重。

5.如权利要求2所述的方法，其中针对所述多模态数据中所包括的每个模式捕获的所述模态数据被分配不同的权重。

6.如权利要求1所述的方法，其中根据针对所述不同手指手势定义的训练规则来训练所述组合模型，其中所述训练规则是基于手指解剖结构、手指相对于所述控制器上的输入控件的位置以及所述用户的控制器握持风格定义的。

7.如权利要求1所述的方法，其中所述多模态数据包括从所述多个传感器和部件收集的视频数据、音频数据、图像数据、传感器数据和无线信号，并且

8.如权利要求1所述的方法，其中所述多个传感器包括惯性测量单元(imu)传感器、或压力传感器、或接近传感器、或距离传感器、或电容传感器中的任一者或其组合，并且

9.如权利要求1所述的方法，其中所述多模态数据包括wifi信号，所述wifi信号包括由所述一个或多个无线通信装置捕获的前向信号和反射信号，所述前向信号和所述反射信号被解释为定义所述用户的身体部位的快照，当所述用户提供所述手指手势时，所述身体部位的快照用于重建所述用户的一个或多个手指的移动。

10.如权利要求1所述的方法，其中所述多个传感器和部件包括图像捕获装置，

11.如权利要求10所述的方法，其中所述图像捕获装置是集成在移动计算装置中的相机，或网络相机，或游戏控制台的图像捕获装置，或计算装置的图像捕获装置或头戴式显示器的相机，其中所述图像捕获装置通信地耦合到所述控制器。

12.如权利要求11所述的方法，其中当所述图像捕获装置是所述移动计算装置的所述相机时，所述移动计算装置被布置在耦合到所述控制器的保持结构上，所述保持结构包括电机，所述电机被配置为接收和保持所述移动计算装置并动态地调整所述相机的角度以与校准的角度对齐，从而使得能够在所述用户执行手指手势时捕获由所述用户的所述手指握住的不同位置的图像，并且

13.如权利要求1所述的方法，其中所述多个传感器和部件包括一个或多个惯性测量单元传感器(imu)，所述imu被配置为检测所述用户在所述控制器的所述表面上的手指手势并生成imu信号，并且

14.如权利要求1所述的方法，其中所述多个传感器和部件包括嵌入在所述控制器内或耦合到所述控制器的传声器阵列，

15.一种用于定义交互式应用程序的输入的方法，其包括：

16.如权利要求15所述的方法，其中处理所述手指手势和所述多模态数据包括：

17.如权利要求16所述的方法，其中所述训练规则是基于手指解剖结构、手指相对于所述控制器上的输入控件的位置以及所述用户的控制器握持风格来定义的。

18.如权利要求15所述的方法，其中所述处理所述手指手势包括使用分配给所述多模态数据中所包括的每个模式的所述模态数据的所述权重来计算所述多模态数据的累积权重，所述累积权重用于识别所述交互式应用程序的所述输入。

19.如权利要求15所述的方法，其中所述多个传感器包括惯性测量单元(imu)传感器、或距离传感器、或压力传感器、或接近传感器、或电容传感器中的任一者或其组合，

20.如权利要求15所述的方法，其中所述多模态数据包括由所述多个传感器捕获的第一组所述模态数据和由所述多个部件捕获的第二组所述模态数据，并且

技术总结提供了用于验证在控制器处提供的输入的方法和系统，包括检测所述控制器的表面上的手指手势。响应于检测到手指手势，从跟踪手指手势的多个传感器和部件收集多模态数据。多模态数据用于使用机器学习算法生成组合模型。根据针对不同手指手势定义的训练规则来训练组合模型。针对手指手势识别来自组合模型的输出。输出被解释为定义被选择用于交互的交互式应用程序的输入。技术研发人员：J·A·帕拉西奥斯,C·R·桑达拉姆,M·安东尼,M·哈迪斯蒂,S·班萨尔受保护的技术使用者：索尼互动娱乐股份有限公司技术研发日：技术公布日：2025/1/6