触觉信号的基于时间线的表示的制作方法

本实施方案中的至少一个实施方案整体涉及触觉，并且更具体地涉及基于时间线的沉浸式场景中的触觉对象的表示格式的定义。

背景技术：

1、通过基于反馈和交互的沉浸式系统向用户提出了完全沉浸式的用户体验。该交互可使用满足用户需求的传统控制方式。目前的视觉和听觉反馈提供了令人满意的现实沉浸水平。可以通过触觉效果来提供另外的反馈，这些触觉效果允许人类用户用他的感官感知虚拟环境，并且因此获得具有改进的真实感的完全沉浸的更好体验。然而，触觉仍然是改善沉浸式系统中的整体用户体验的可能进展的一个领域。

2、传统上，沉浸式系统可以包括表示虚拟环境的3d场景，其中虚拟对象位于3d场景内。为了改善用户与该虚拟环境的元素的交互，可以通过触觉致动器的激励来使用触觉反馈。此类交互基于“触觉对象”的概念，该“触觉对象”对应于待传输给用户的物理现象。在沉浸式场景的上下文中，触觉对象允许通过定义适当触觉致动器的激励来提供触觉效果，以模仿触觉渲染设备上的物理现象。不同类型的触觉致动器允许复原不同类型的触觉反馈。

3、触觉对象的一个示例是爆炸。可以通过振动和热量来渲染爆炸，从而组合用户的不同触觉效果以提高真实感。沉浸式场景典型地包括多个触觉对象，例如使用与全局效果相关的第一触觉对象和与局部效果相关的第二触觉对象。

4、本文所述的原理适用于使用触觉的任何沉浸式环境，例如，诸如增强现实、虚拟现实、混合现实或触觉增强视频(或全方位/360°视频)渲染，并且更一般地适用于任何基于触觉的用户体验。沉浸式环境的此类示例的场景因此被认为是沉浸式场景。

5、触觉是指触摸感并且包括两个维度：触觉和动觉。第一个维度与触感有关，诸如摩擦、粗糙度、硬度、温度，并且通过皮肤的机械感受器(默克尔细胞、鲁菲尼氏神经末梢、迈斯纳小体、帕西尼氏小体)感觉到。第二个维度与由肌肉、肌腱和关节中的机械感受器提供的力/扭矩、位置、运动/速度的感觉有关。触觉也涉及自我运动的感知，因为它有助于本体感觉系统(即，对自己身体的感知)。因此，加速度、速度或任何身体模型的感知可以被同化为触觉效果。该频率范围为约0khz至1khz，取决于模态的类型。大多数能够渲染触觉信号的现有设备产生振动。此类触觉致动器的示例是线性共振致动器(lra)、偏心旋转质量(erm)、音圈线性马达。这些致动器可以集成到触觉渲染设备中，诸如触觉套装以及智能手机或游戏控制器。

6、为了编码触觉信号，已经定义了若干格式，该格式与使用类似xml格式(例如mpeg-v)的高级描述、使用类似json格式(诸如苹果(apple)触觉音频模式(ahap)或浸入科技(immersion corporation)的hapt格式)的参数化表示、或者波形编码(ieee 1918.1.1对触觉和动觉信号的持续标准化)相关。该hapt格式最近已经被包括在mpeg isobmff文件格式规范(iso/iec 14496第12部分)中。此外，gl传输格式(gltftm)是用于通过应用程序高效传输和加载3d场景和模型的免授权规范。该格式定义了用于3d内容工具和服务的可扩展通用发布格式，该可扩展通用发布格式简化了创作工作流程并且支持内容在整个行业中的互操作使用。

7、此外，mpeg标准化组内正在定义一种新的触觉文件格式，该新的触觉文件格式涉及触觉的编码表示。此格式的参考模型尚未发布，但在本文中被称为rm0。通过此参考模型，编码的触觉描述文件可导出为人类可读的json交换格式(例如，.gmpg文件)，也可导出为特别适合向触觉渲染设备进行传输的压缩二进制分布格式(例如，.mpg)。

技术实现思路

1、实施方案涉及一种存储表示包括触觉效果集合和时间线的沉浸式体验的信息的数据结构。触觉效果可以灵活的方式直接在该时间线内定义或者由该时间线内的标识符参考。库可存储具有相关联标识符的效果的定义。提出数据重构过程以从不使用该库的流式传输友好格式转换为使用该库的编辑友好格式，反之亦然。

2、至少一个实施方案的第一方面涉及一种方法，该方法包括：-生成触觉数据，该触觉数据包括表示以下项的信息：效果的类型、触觉效果列表、触觉轨列表，其中触觉轨包括时间线，其中至少一个时间参考与触觉效果或该触觉效果列表中的标识符相关联，其中触觉效果包括表示将应用于渲染该触觉效果的信号的值的信息。

3、至少一个实施方案的第二方面涉及一种用于渲染触觉数据的方法，该方法包括：获得触觉数据，该触觉数据包括表示以下项的信息：效果的类型、触觉效果列表、触觉轨列表，其中触觉轨包括时间线，其中至少一个时间参考与触觉效果或该触觉效果列表中的标识符相关联，其中触觉效果包括表示将应用于渲染该触觉效果的信号的值的信息；以及将信号的值提供给触觉致动器。

4、至少一个实施方案的第三方面涉及一种触觉渲染设备，该触觉渲染设备包括处理器，该处理器被配置为：获得触觉数据，该触觉数据包括表示以下项的信息：效果的类型、触觉效果列表、触觉轨列表，其中触觉轨包括时间线，其中至少一个时间参考与触觉效果或该触觉效果列表中的标识符相关联，其中触觉效果包括表示将应用于渲染该触觉效果的信号的值的信息；以及该触觉效果将信号的值提供给触觉致动器。

5、至少一个实施方案的第四方面涉及一种触觉数据，该触觉数据包括表示以下项的信息：效果的类型、触觉效果列表、触觉轨列表，其中触觉轨包括时间线，其中至少一个时间参考与触觉效果或该触觉效果列表中的标识符相关联，其中触觉效果包括表示将应用于渲染该触觉效果的信号的值的信息。

6、至少一个实施方案的第五方面涉及一种用于重构根据第一方面生成的触觉数据的方法，其中至少一个时间参考与该触觉效果列表中的标识符相关联，该方法包括：获得触觉数据，分析该触觉数据以确定时间线中的触觉效果的标识符，将所确定的标识符替换为与该标识符相关联的该触觉效果的副本，清空该触觉效果列表，以及提供所重构的触觉数据。

7、至少一个实施方案的第六方面涉及一种用于重构根据权利要求1生成的触觉数据的方法，其中至少一个时间参考与触觉效果相关联，该方法包括：获得触觉数据，分析该触觉数据以确定相同的触觉效果，将所确定的相同的触觉效果中的一个相同的触觉效果的副本插入到该触觉效果列表中，将标识符与所插入的相同的触觉效果相关联，将相同的触觉效果替换为相关联的标识符，以及提供所重构的触觉数据。

8、根据至少一个实施方案的第七方面，呈现了一种包括可由处理器执行的程序代码指令的计算机程序，该计算机程序至少实现根据第一方面或第二方面的方法的步骤。

9、根据至少一个实施方案的第八方面，呈现了一种存储在非暂态计算机可读介质上并且包括可由处理器执行的程序代码指令的计算机程序产品，该计算机程序产品至少实现根据第一方面或第二方面的方法的步骤。

技术特征：

1.一种方法，所述方法包括：

2.根据权利要求1所述的方法，其中根据频带集合对信号进行分组。

3.根据权利要求1所述的方法，其中根据频带集合对时间线进行分组。

4.一种用于渲染触觉数据的方法，所述方法包括：

5.根据权利要求4所述的方法，其中根据频带集合对信号进行分组。

6.根据权利要求4所述的方法，其中根据频带集合对时间线进行分组。

7.一种触觉渲染设备，所述触觉渲染设备包括处理器，所述处理器被配置为：

8.根据权利要求7所述的设备，其中根据频带集合对信号进行分组。

9.根据权利要求7所述的设备，其中根据频带集合对时间线进行分组。

10.一种触觉数据，所述触觉数据包括表示以下项的信息：

11.根据权利要求10所述的触觉数据，其中根据频带集合对信号进行分组。

12.根据权利要求10所述的触觉数据，其中根据频带集合对时间线进行分组。

13.一种存储触觉数据的非暂态计算机可读介质，所述触觉数据包括表示以下项的信息：

14.根据权利要求13所述的非暂态计算机可读介质，其中根据频带集合对信号进行分组。

15.根据权利要求13所述的非暂态计算机可读介质，其中根据频带集合对时间线进行分组。

16.一种用于重构根据权利要求1生成的触觉数据的方法，其中至少一个时间参考与所述触觉效果列表中的标识符相关联，所述方法包括：

17.一种用于重构根据权利要求1生成的触觉数据的方法，其中至少一个时间参考与触觉效果相关联，所述方法包括：

18.一种计算机程序，所述计算机程序包括程序代码指令，所述程序代码指令在由处理器执行时实现根据权利要求1至6中任一项所述的方法。

19.一种计算机程序，所述计算机程序包括程序代码指令，所述程序代码指令在由处理器执行时实现根据权利要求16或17所述的方法。

20.一种非暂态计算机可读介质，所述非暂态计算机可读介质包括程序代码指令，所述程序代码指令在由处理器执行时实现根据权利要求1至6中任一项所述的方法。

21.一种非暂态计算机可读介质，所述非暂态计算机可读介质包括程序代码指令，所述程序代码指令在由处理器执行时实现根据权利要求16或17所述的方法。

技术总结一种存储表示触觉效果的信息的数据结构包括触觉效果集合和时间线。触觉效果可以灵活的方式直接在该时间线内定义或者由该时间线内的标识符参考。库可存储具有相关联标识符的效果的定义。提出数据重构过程以从不使用该库的流式传输友好格式转换为使用该库的编辑友好格式，反之亦然。技术研发人员：Q·伽尔瓦内,F·丹尼奥,P·吉洛特受保护的技术使用者：交互数字CE专利控股有限公司技术研发日：技术公布日：2024/7/29