从可视内容生成交互式音轨的制作方法

本申请涉及从可视内容生成交互式音轨。

背景技术：

1、数据处理系统可以将数字内容提供给计算设备，以使计算设备呈现数字内容。数字内容可以包括可视内容，计算设备可以经由显示器呈现所述可视内容。数字内容可以包括音频内容，计算机可以经由扬声器输出所述音频内容。

技术实现思路

1、本技术解决方案的至少一个方面涉及一种生成音轨的系统。该系统包括数据处理系统。该数据处理系统包括一个或多个处理器。该数据处理系统可以经由网络接收数据分组，该数据分组包括由远离数据处理系统的计算设备的麦克风检测到的输入音频信号。该数据处理系统可以解析输入音频信号以识别请求。该数据处理系统可以基于所述请求，选择具有可视输出格式的数字组件对象，该数字组件对象与元数据相关联。该数据处理系统可以基于计算设备的类型，确定将数字组件对象转换为音频输出格式。该数据处理系统可以响应于将数字组件对象转换为音频输出格式的确定，生成用于数字组件对象的文本。该数据处理系统可以基于数字组件对象的场境（context），选择数字语音以渲染文本。该数据处理系统可以利用由数字语音渲染的文本，构造数字组件对象的基线音轨。该数据处理系统可以基于数字组件对象的元数据，生成非话语音频提示。该数据处理系统可以将非话语音频提示与数字组件对象的基线音频形式相结合，以生成数字组件对象的音轨。该数据处理系统可以响应于来自计算设备的请求，将数字组件对象的音轨提供给计算设备，以经由计算设备的扬声器输出。

2、该技术解决方案的至少一个方面涉及生成音轨的方法。该方法可以由数据处理系统的一个或多个处理器执行。该方法可以包括数据处理系统接收数据分组，该数据分组包括由远离数据处理系统的计算设备的麦克风检测到的输入音频信号。该方法可以包括数据处理系统解析输入音频信号以识别请求。该方法可以包括数据处理系统基于请求，选择具有可视输出格式的数字组件对象，该数字组件对象与元数据相关联。该方法可以包括数据处理系统基于计算设备的类型，确定将数字组件对象转换为音频输出格式。该方法可以包括数据处理系统响应于将数字组件对象转换为音频输出格式的确定，生成用于数字组件对象的文本。该方法可以包括基于数字组件对象的场境，选择数字语音以渲染文本。该方法可以包括数据处理系统利用由数字语音渲染的文本，构造数字组件对象的基线音轨。该方法可以包括数据处理系统基于数字组件对象，生成非话语音频提示。该方法可以包括数据处理系统将非话语音频提示与数字组件对象的基线音频形式相结合，以生成数字组件对象的音轨。该方法可以包括数据处理系统响应于来自计算设备的请求，将数字组件对象的音轨提供给计算设备，以经由计算设备的扬声器输出。

3、该技术解决方案的至少一个方面涉及一种生成音轨的系统。该系统可以包括具有一个或多个处理器的数据处理系统。该数据处理系统可以识别与由计算设备渲染的数字流媒体内容相关联的关键字。该数据处理系统可以基于关键字，选择具有可视输出格式的数字组件对象，该数字组件对象与元数据相关联。该数据处理系统可以基于计算设备的类型，确定将数字组件对象转换为音频输出格式。该数据处理系统可以响应于将数字组件对象转换为音频输出格式的确定，生成用于数字组件对象的文本。该数据处理系统可以基于数字组件对象的场境，选择数字语音以渲染文本。该数据处理系统可以利用由数字语音渲染的文本构造数字组件对象的基线音轨。该数据处理系统可以基于数字组件对象，生成非话语音频提示。该数据处理系统可以将非话语音频提示与数字组件对象的基线音频形式相结合，以生成数字组件对象的音轨。该数据处理系统可以以及将数字组件对象的音轨提供给计算设备，以经由计算设备的扬声器输出。

4、在下文中，详细讨论这些和其他方面以及实施方式。前述信息和以下详细描述包括各个方面和实施方式的说明性示例，并且提供了用于理解所要求保护的方面和实施方式的性质和特性的概述或框架。附图提供了对各个方面和实施方式的说明和进一步的理解，并且被并入本说明书中并构成本说明书的一部分。

技术特征：

1.一种数据处理系统，包括一个或多个处理器，所述一个或多个处理器进行以下操作：

2.根据权利要求1所述的数据处理系统，包括所述一个或多个处理器来进行以下操作：

3.根据权利要求2所述的数据处理系统，包括所述一个或多个处理器来进行以下操作：

4.根据权利要求3所述的数据处理系统，包括所述一个或多个处理器来进行以下操作：

5.根据权利要求4所述的数据处理系统，包括所述一个或多个处理器来进行以下操作：

6.根据权利要求5所述的数据处理系统，其中，所述预定的时间间隔包括所述音轨的回放。

7.根据权利要求5或6所述的数据处理系统，其中，所述预定的时间间隔包括所述音轨之后的预定时间量。

8.根据权利要求1所述的数据处理系统，包括所述一个或多个处理器来进行以下操作：

9.根据权利要求1所述的数据处理系统，包括所述一个或多个处理器来进行以下操作：

10.一种方法，包括：

11.根据权利要求10所述的方法，包括：

12.根据权利要求11所述的方法，包括：

13.根据权利要求12所述的方法，包括：

14.根据权利要求13所述的方法，包括：

15.根据权利要求14所述的方法，其中，所述预定的时间间隔包括所述音轨的回放。

16.根据权利要求14或15所述的方法，其中，所述预定的时间间隔包括所述音轨之后的预定时间量。

17.根据权利要求10所述的方法，包括：

18.根据权利要求10所述的方法，包括：

19.存储指令的一个或多个非暂时性计算机可读介质，所述指令能够执行来使得数据处理系统：

20.根据权利要求19所述的一个或多个非暂时性计算机可读介质，其中，所述指令能够执行来使得数据处理系统：

技术总结本申请涉及从可视内容生成交互式音轨。提供了生成音轨。系统选择具有可视输出格式的数字组件对象。系统确定将数字组件对象转换为音频输出格式。系统为数字组件对象生成文本。系统基于数字组件对象的场境选择数字语音以渲染文本。系统利用由数字语音渲染的文本来构造数字组件对象的基线音轨。系统基于数字组件对象生成非话语音频提示。系统将非话语音频提示与数字组件对象的基线音频形式相结合，以生成数字组件对象的音轨。系统将数字组件对象的音轨提供给计算设备，以经由计算设备的扬声器输出。技术研发人员：马修·谢里菲,维克托·克尔布内受保护的技术使用者：谷歌有限责任公司技术研发日：技术公布日：2024/9/29