用于触觉反馈效果的系统和方法与流程

本技术涉及触觉反馈。更具体地说，本技术涉及用于致动媒体设备的一个或多个触觉反馈致动器以根据基于到媒体设备的输入和/或来自媒体设备的输出的触觉反馈模式来提供触觉反馈的系统和方法。

背景技术：

1、媒体系统可以包括诸如蜂窝电话、膝上型计算机、平板电脑和可穿戴设备之类的设备。媒体系统可以使用各种各样的输出设备来输出媒体。例如，媒体系统可以包括媒体系统用来显示图像、视频、演示等的显示器。媒体系统可以包括可以播放声音、音乐等的一个或多个音频输出设备，诸如扬声器和耳机。媒体系统可以包括触觉反馈马达，其可以通过使媒体系统振动来提供触觉反馈。具有触觉反馈能力的传统媒体系统仅包括单个触觉反馈马达。因此，具有触觉反馈能力的传统媒体系统出于许多目的通常使用相同类型的触觉反馈，这可能导致与触觉反馈的实例的含义混淆。

技术实现思路

1、在一些示例中，描述了用于处理媒体数据的系统和技术。媒体系统接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置输出的媒体内容。在一些示例中，媒体内容包括视觉媒体内容和/或音频媒体内容。在一些示例中，媒体内容与至少部分地由软件应用(诸如视频游戏和/或扩展现实(xr)应用)生成的环境相关联。输出设备被配置为在一段时间内的不同时间输出媒体内容的不同部分。在一些示例中，媒体内容被配置为在一段时间内改变，例如包括视频、演示、视频游戏和/或音频剪辑。在一些示例中，媒体内容被配置为根据媒体输出设置输出。在一些示例中，媒体系统从用户界面接收输入。在一些示例中，输入可以指示对在媒体内容中描绘和/或表示的环境的一个或多个效果，诸如由环境内的一个或多个实体(例如，玩家化身)采取的一个或多个动作。在一些示例中，输入指示对媒体输出设置的改变。

2、媒体系统在一段时间内在第一时间处检测与媒体内容相关联的条件。在一些示例中，条件是基于媒体内容中的环境、媒体内容和/或输入的。在一些示例中，条件是基于对媒体内容的视觉媒体内容中的一个或多个对象、感兴趣区域和/或图像属性的改变的检测的。在一些示例中，条件是基于对媒体内容的音频媒体内容内的特定声音的检测的。媒体系统根据对应于条件的触觉反馈模式致动至少一个触觉反馈致动器。在一些示例中，媒体系统基于条件来生成触觉反馈模式。在一些示例中，触觉反馈模式指示至少一个触觉反馈致动器将被致动以提供局部触觉反馈效果。在说明性示例中，触觉反馈模式可以指示至少一个触觉反馈致动器中的第一触觉反馈致动器将被致动，而不致动第二触觉反馈致动器。

3、在一个示例中，提供了一种用于图像处理的装置。所述装置包括至少一个存储器和耦合到所述至少一个存储器的至少一个处理器(例如，在电路中实现)。所述至少一个处理器被配置为并且能够进行以下操作：接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容，其中，所述输出设备被配置为跨一时间段在不同时间处输出所述媒体内容的不同部分；沿所述时间段在第一时间处检测与所述媒体内容相关联的条件；以及根据与所述条件相对应的触觉反馈模式来致动至少一个触觉反馈致动器。

4、在另一示例中，提供了一种图像处理的方法。所述方法包括：接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容，其中，所述输出设备被配置为跨一时间段在不同时间处输出所述媒体内容的不同部分；沿所述时间段在第一时间处检测与所述媒体内容相关联的条件；以及根据与所述条件相对应的触觉反馈模式来致动至少一个触觉反馈致动器。

5、在另一示例中，提供了一种非暂时性计算机可读介质，所述非暂时性计算机可读介质上存储有指令，所述指令在由至少一个处理器执行时使得所述至少一个处理器进行以下操作：接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容，其中，所述输出设备被配置为跨一时间段在不同时间处输出所述媒体内容的不同部分；沿所述时间段在第一时间处检测与所述媒体内容相关联的条件；以及根据与所述条件相对应的触觉反馈模式来致动至少一个触觉反馈致动器。

6、在另一示例中，提供了一种用于图像处理的装置。所述装置包括：用于接收要使用输出设备根据与媒体输出软件应用相关联的媒体输出设置来输出的媒体内容的单元，其中，所述输出设备被配置为跨一时间段在不同时间处输出所述媒体内容的不同部分；用于沿所述时间段在第一时间处检测与所述媒体内容相关联的条件的单元；以及用于根据与所述条件相对应的触觉反馈模式来致动至少一个触觉反馈致动器的单元。

7、在一些方面中，上述方法、装置和计算机可读介质中的一者或多者还包括：至少在所述第一时间处检测在所述媒体内容的视觉内容内表示的场景条件以检测所述条件。在一些方面中，所述场景条件包括感兴趣区域。在一些方面中，所述场景条件包括对象。在一些方面中，所述场景条件包括图像属性的变化，其中，所述图像属性包括照度、饱和度、亮度、对比度、视角、视场或颜色平衡中的至少一项。

8、在一些方面中，所述媒体内容包括被配置为跨所述时间段改变的视觉内容，其中，所述输出设备包括被配置为显示所述视觉内容的显示器。在一些方面中，所述视觉内容包括被配置为跨所述时间段改变的视频，其中，所述媒体输出软件应用包括视频播放器，其中，所述媒体输出设置包括与所述视频播放器相关联的视频设置，并且其中，所述视频播放器根据所述视频设置来播放所述视频。在一些方面中，所述视觉内容包括至少部分地由所述媒体输出软件应用生成的环境的表示。在一些方面中，所述媒体输出软件应用是视频游戏，并且其中，所述条件与所述视频游戏的游戏玩法相关联。

9、在一些方面中，所述媒体内容包括被配置为跨所述时间段改变的音频内容，其中，所述输出设备包括被配置为播放所述音频内容的音频输出设备。在一些方面中，所述音频内容包括视频的音频轨道，其中，所述音频轨道被配置为跨所述时间段改变。在一些方面中，所述音频内容包括与至少部分地由所述媒体输出软件应用生成的环境相关联的至少一个声音。

10、在一些方面中，上述方法、装置和计算机可读介质中的一者或多者还包括：至少在所述第一时间处检测到在所述媒体内容的音频内容内包括声音以检测所述条件。在一些方面中，上述方法、装置和计算机可读介质中的一者或多者还包括：在所述第一时间处检测从用户界面接收到输入以检测所述条件。在一些方面，上述方法、装置和计算机可读介质中的一者或多者还包括：在所述第一时间处使用运动传感器检测运动以检测所述条件。在一些方面中，上述方法、装置和计算机可读介质中的一者或多者还包括：检测所述媒体输出设置的变化以检测所述条件。在一些方面中，上述方法、装置和计算机可读介质中的一者或多者还包括：检测指示与所述媒体内容相关联的所述条件的所述媒体内容的方面，以检测与所述媒体内容相关联的所述条件。

11、在一些方面中，所述触觉反馈模式指示至少一个触觉反馈致动器将被致动而不致动所述方法的第二触觉反馈致动器。在一些方面中，所述触觉反馈模式指示所述至少一个触觉反馈致动器将被致动以在所述方法的第一区域处提供局部触觉反馈效果，而不在所述方法的第二区域处提供对应的反馈效果。在一些方面中，检测到对象至少在所述第一区域处被表示在所述媒体内容的视觉内容内，其中，所述第一区域处的所述局部触觉反馈效果是基于所述对象的。

12、在一些方面中，所述触觉反馈模式指示由所述至少一个触觉反馈致动器的触觉反馈的触觉反馈强度。在一些方面中，所述触觉反馈模式的所述触觉反馈强度对应于在所述媒体内容中表示的第一实体与在所述媒体内容中表示的第二实体的接近度。在一些方面中，所述触觉反馈模式的所述触觉反馈强度对应于与所述媒体内容相关联的所述条件的强度。在一些方面中，所述触觉反馈模式的所述触觉反馈强度对应于声音的音量，其中，所述媒体内容包括所述声音。

13、在一些方面中，所述触觉反馈模式指示所述至少一个触觉反馈致动器的所述触觉反馈模式的波形、频率或幅度中的至少一项。在一些方面中，上述方法、装置和计算机可读介质中的一者或多者还包括：基于声音的音频波形来生成所述触觉反馈模式的触觉反馈波形，其中，所述媒体内容包括所述声音。

14、在一些方面中，上述方法、装置和计算机可读介质中的一者或多者还包括：使用所述输出设备来输出所述媒体内容。

15、在一些方面中，上述方法、装置和计算机可读介质中的一者或多者还包括：接收消息；以及在所述媒体内容被配置为使用所述输出设备输出之前，修改所述媒体内容以将所述消息合并到所述媒体内容中。

16、在一些方面中，所述媒体内容包括描绘所述环境的至少一部分的视觉内容，其中，所述输出设备包括被配置为显示所述视觉内容的显示器。在一些方面中，上述方法、装置和计算机可读介质还包括：所述显示器。

17、在一些方面中，所述媒体内容包括音频内容，所述音频内容包括与所述环境相关联的一个或多个声音，其中，所述输出设备包括被配置为播放所述音频内容的音频输出设备。在一些方面中，上述方法、装置和计算机可读介质还包括：所述音频输出设备。

18、在一些方面中，所述用户界面包含触摸屏显示器的触敏层，其中，所述输入包括在沿着所述触敏层的触摸位置处接收的触摸输入。在一些方面中，所述用户界面包括按钮，并且其中，所述输入包括所述按钮的按钮按压。在一些方面中，所述用户界面包括传感器，并且其中，所述输入包括基于由所述传感器捕获的传感器数据来检测运动。

19、在一些方面中，所述软件应用是视频游戏，并且其中，对所述环境的所述效果包括由所述环境中的玩家化身对动作的执行。在一些方面中，检测与所述环境相关联的所述条件包括识别所述玩家化身对所述动作的所述执行。在一些方面中，检测与所述环境相关联的所述条件包括检测所述玩家化身与所述环境的第二部分之间的交互。

20、在一些方面中，检测与所述环境相关联的所述条件包括检测到对象被描绘在所述媒体内容的所述视觉内容内。在一些方面中，检测与所述环境相关联的所述条件包括检测所述媒体内容的音频内容内的声音。在一些方面中，检测与所述环境相关联的所述条件包括识别所述输入与预定输入类别相匹配。

21、在一些方面中，所述媒体内容包括指示与所述环境相关联的所述条件的方面，其中，检测与所述环境相关联的所述条件包括检测指示与所述环境相关联的所述条件的所述媒体内容的所述方面。在一些方面中，所述媒体内容包括指示对所述环境的所述效果的方面。

22、在一些方面中，所述触觉反馈模式指示所述一个或多个触觉反馈致动器将被致动以提供局部触觉反馈效果。在一些方面中，所述触觉反馈模式指示所述一个或多个触觉反馈致动器中的第一触觉反馈致动器将被致动而不致动第二触觉反馈致动器。在一些方面中，根据所述触觉反馈模式来致动所述一个或多个触觉反馈致动器包括致动所述第一触觉反馈致动器而不致动所述第二触觉反馈致动器。

23、在一些方面中，所述输出设备包括显示器，所述显示器显示所述媒体内容的第一视觉内容和所述媒体内容的第二视觉内容，其中，所述第一触觉反馈致动器与所述显示器的显示所述第一视觉内容的第一区域相邻，其中，所述第二触觉反馈致动器与所述显示器的显示所述第二视觉内容的第二区域相邻。在一些方面中，所述条件与所述环境中的实体相关联，所述实体比在所述第二视觉内容中描绘的所述环境的第二部分更靠近在所述第一视觉内容中描绘的所述环境的第一部分。

24、在一些方面中，所述触觉反馈模式指示由所述一个或多个触觉反馈致动器进行的触觉反馈的触觉反馈强度。在一些方面中，所述触觉反馈模式的所述触觉反馈强度对应于所述环境中的实体与所述环境中的玩家化身的位置的接近度。在一些方面中，所述触觉反馈模式的所述触觉反馈强度对应于与所述环境相关联的所述条件的强度。在一些方面中，所述触觉反馈模式的所述触觉反馈强度对应于声音的音量，其中，所述媒体内容包括所述声音。

25、在一些方面中，所述触觉反馈模式指示所述一个或多个触觉反馈致动器的所述触觉反馈模式的触觉反馈波形。在一些方面中，所述触觉反馈模式指示所述触觉反馈波形的频率。在一些方面中，所述触觉反馈模式指示所述触觉反馈波形的幅度。

26、在一些方面中，上述方法、装置和计算机可读介质还包括：基于声音的音频波形来生成触觉反馈模式的所述触觉反馈波形，其中，所述媒体内容包括所述声音。在一些方面中，上述方法、装置和计算机可读介质还包括：使用所述输出设备来输出所述媒体内容。在一些方面中，上述方法、装置和计算机可读介质还包括：在所述媒体内容被配置为使用所述输出设备输出之前修改所述媒体内容。在一些方面中，上述方法、装置和计算机可读介质还包括：通过网络从第二设备接收消息，其中，修改所述媒体内容包括将所述消息合并到所述媒体内容中。在一些方面中，所述消息包括一个或多个字母数字字符。在一些方面中，所述消息包括一个或多个图像。在一些方面中，所述消息包括一个或多个声音。在一些方面中，所述条件与所述消息相关联，并且其中，所述触觉反馈模式与所述消息相关联。

27、在一些方面中，从所述软件应用接收要使用所述输出设备输出的所述媒体内容包括：使用所述软件应用来渲染媒体内容；以及在所述媒体内容被渲染之后并且在使用所述输出设备输出所述媒体内容之前，接收所述媒体内容。

28、在一些方面中，从所述软件应用接收要使用所述输出设备输出的所述媒体内容包括：将所述媒体内容存储在媒体缓冲器中；以及在所述媒体内容被存储在所述媒体缓冲器中之后并且在使用所述输出设备输出所述媒体内容之前，从所述媒体缓冲器接收所述媒体内容。在一些方面中，从所述软件应用接收要使用所述输出设备输出的所述媒体内容包括：在将所述媒体内容存储在所述媒体缓冲器中之前，使用所述软件应用生成所述媒体内容的至少一部分。

29、在一些方面中，所述媒体内容包括被配置为跨所述时间段改变的视觉内容，其中，所述输出设备包括被配置为显示所述视觉内容的显示器。在一些方面中，上述方法、装置和计算机可读介质还包括：所述显示器。在一些方面中，所述视觉内容包括被配置为跨所述时间段改变的视频。在一些方面中，所述媒体输出软件应用包括视频播放器，并且其中，所述媒体输出设置包括与所述视频播放器相关联的视频设置，其中，所述视频播放器根据所述视频设置来播放所述视频。在一些方面中，所述视觉内容包括被配置为跨所述时间段改变的演示。在一些方面中，所述媒体输出软件包括演示呈现器，并且其中，所述媒体输出设置包括与所述演示呈现器相关联的演示设置，其中，所述演示呈现器根据所述演示设置来呈现所述演示。

30、在一些方面中，所述媒体内容包括被配置为跨所述时间段改变的音频内容，其中，所述输出设备包括被配置为播放所述音频内容的音频输出设备。在一些方面中，上述方法、装置和计算机可读介质还包括：所述音频输出设备。在一些方面中，所述音频内容包括视频的音频轨道，其中，所述音频轨道被配置为跨所述时间段改变。

31、在一些方面中，检测与所述媒体内容相关联的所述条件包括至少在所述第一时间处检测到对象被描绘在所述媒体内容的视觉内容内。在一些方面中，检测与所述媒体内容相关联的所述条件包括至少在所述第一时间处检测所述媒体内容的音频内容内的声音。

32、在一些方面中，所述媒体内容包括指示与所述媒体内容相关联的所述条件的方面，其中，检测与所述媒体内容相关联的所述条件包括检测指示与所述媒体内容相关联的所述条件的所述媒体内容的方面。

33、在一些方面中，上述方法、装置和计算机可读介质还包括：从用户界面接收输入。在一些方面中，检测与所述媒体内容相关联的所述条件包括识别所述输入。在一些方面中，所述输入指示对所述媒体输出设置的效果，并且其中，检测与所述媒体内容相关联的所述条件包括识别对所述媒体输出设置的所述效果。在一些方面中，所述输入指示对所述媒体输出设置的效果，并且其中，所述媒体内容包括指示对所述媒体输出设置的所述效果的方面。在一些方面中，所述输入指示所述第一时间。在一些方面中，所述输入指示所述条件。在一些方面中，所述输入指示所述触觉反馈模式。

34、在一些方面中，所述触觉反馈模式指示所述一个或多个触觉反馈致动器中的第一触觉反馈致动器将被致动而不致动第二触觉反馈致动器。在一些方面中，根据所述触觉反馈模式来致动所述一个或多个触觉反馈致动器包括致动所述第一触觉反馈致动器而不致动所述第二触觉反馈致动器。在一些方面中，所述输出设备包括显示器，所述显示器显示所述媒体内容的第一视觉内容和所述媒体内容的第二视觉内容，其中，所述第一触觉反馈致动器与所述显示器的显示所述第一视觉内容的第一区域相邻，其中，所述第二触觉反馈致动器与所述显示器的显示所述第二视觉内容的第二区域相邻。在一些方面中，所述条件与在所述第一视觉内容中描绘的实体相关联。

35、在一些方面中，所述触觉反馈模式指示由所述一个或多个触觉反馈致动器进行的触觉反馈的触觉反馈强度。在一些方面中，所述触觉反馈模式的所述触觉反馈强度对应于在所述媒体内容中描绘的第一实体与在所述媒体内容中描绘的第二实体的接近度。在一些方面中，所述触觉反馈模式的所述触觉反馈强度对应于与所述媒体内容相关联的所述条件的强度。在一些方面中，所述触觉反馈模式的所述触觉反馈强度对应于声音的音量，其中，所述媒体内容包括所述声音。在一些方面中，所述触觉反馈模式指示所述一个或多个触觉反馈致动器的所述触觉反馈模式的触觉反馈波形。在一些方面中，所述触觉反馈模式指示所述触觉反馈波形的频率。在一些方面中，所述触觉反馈模式指示所述触觉反馈波形的幅度。在一些方面中，上述方法、装置和计算机可读介质还包括：基于声音的音频波形来生成所述触觉反馈模式的触觉反馈波形，其中，所述媒体内容包括所述声音。

36、在一些方面中，上述方法、装置和计算机可读介质还包括：使用所述输出设备来输出所述媒体内容。在一些方面中，上述方法、装置和计算机可读介质还包括：在所述媒体内容被配置为使用所述输出设备输出之前修改所述媒体内容。

37、在一些方面中，上述方法、装置和计算机可读介质还包括：通过网络从第二设备接收消息，其中，修改所述媒体内容包括将所述消息合并到所述媒体内容中。在一些方面中，所述消息包括一个或多个字母数字字符。在一些方面中，所述消息包括一个或多个图像。在一些方面中，所述消息包括一个或多个声音。在一些方面中，所述条件与所述消息相关联，并且其中，所述触觉反馈模式与所述消息相关联。

38、在一些方面中，所述装置是以下各者、是以下各者的一部分和/或包括以下各者：可穿戴设备、扩展现实设备(例如，虚拟现实(vr)设备、增强现实(ar)设备或混合现实(mr)设备)、头戴式显示器(hmd)设备、无线通信设备、移动设备(例如，移动电话和/或移动手持机和/或所谓的“智能手机”或其它移动设备)、相机、个人计算机、膝上型计算机、服务器计算机、车辆或车辆的计算设备或组件、另一设备或其组合。在一些方面中，所述装置包括用于捕获一个或多个图像的一个相机或多个相机。在一些方面中，所述装置还包括用于显示一个或多个图像、通知和/或其它可显示数据的显示器。在一些方面中，上述装置可以包括一个或多个传感器(例如，一个或多个惯性测量单元(imu)，诸如一个或多个陀螺测试仪、一个或多个加速度计、其任何组合和/或其它传感器)。

39、该技术实现要素：既不旨在标识所要求保护的主题的关键或必要特征，也不旨在单独用于确定所要求保护的主题的范围。通过参考本专利的整个说明书的适当部分、任何或所有附图以及每个权利要求，应当理解该主题。

40、在参考以下说明书、权利要求和附图之后，前述内容以及其它特征和实施例将变得更加显而易见。