基于视频剪辑生成视听内容的制作方法

背景技术：

1、许多现代计算设备，诸如移动电话、个人计算机和平板计算机，包括图像捕获设备，诸如静态和/或视频相机。图像捕获设备能够捕获图像，诸如包括人、动物、风景和/或对象的图像。本公开总体上涉及从捕获的视频来生成视听内容。

技术实现思路

1、本主题技术的各方面涉及从捕获的视频创建视听内容。音频内容的相关部分能够与视频的对应部分一起从视频中提取。然后，用户能够对音频内容的这样的部分进行排序以创建新的视听内容。

2、因此，在第一示例实施例中，提供了一种设备，该设备包括被配置为启用视听内容的生成的图形用户界面。设备还包括一个或多个处理器。设备还包括数据存储。数据存储上存储有计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时使计算设备执行功能。功能包括由计算设备的内容生成组件，捕获包括视频和与视频相关联的音频的初始内容。功能还包括基于音频中的一个或多个瞬态点来识别与视频相关联的音频中的一个或多个音频剪辑。功能还包括针对一个或多个识别的音频剪辑中的每个音频剪辑，从初始内容的视频中提取对应的视频剪辑。功能附加地包括经由图形用户界面，提供控制界面以启用用户生成的音频剪辑序列，其中，音频剪辑序列中的每个音频剪辑是从一个或多个识别的音频剪辑中选择的。功能还包括生成包括视频剪辑序列的新视听内容以对应于用户生成的音频剪辑序列，其中，视频剪辑序列中的每个视频剪辑是用户生成的音频剪辑序列中的每个音频剪辑的所提取的对应视频剪辑。功能还包括通过控制界面，提供新视听内容。

3、在第二示例实施例中，提供了一种计算机实现的方法，其包括由计算设备的内容生成组件，捕获包括视频和与视频相关联的音频的初始内容。计算机实现的方法还包括基于音频中的一个或多个瞬态点来识别与视频相关联的音频中的一个或多个音频剪辑。计算机实现的方法还包括针对一个或多个识别的音频剪辑中的每个音频剪辑，从初始内容的视频中提取对应的视频剪辑。计算机实现的方法附加地包括经由计算设备的图形用户界面，提供控制界面以启用用户生成的音频剪辑序列，其中，音频剪辑序列中的每个音频剪辑是从一个或多个识别的音频剪辑中选择的。计算机实现的方法还包括生成包括视频剪辑序列的新视听内容以对应于用户生成的音频剪辑序列，其中，视频剪辑序列中的每个视频剪辑是用户生成的音频剪辑序列中的每个音频剪辑的所提取的对应视频剪辑。计算机实现的方法还包括通过控制界面，提供新视听内容。

4、在第三示例实施例中，提供了一种包括非暂时性计算机可读介质的制品，所述非暂时性计算机可读介质上存储有程序指令，所述程序指令在由计算设备的一个或多个处理器执行时使计算设备执行操作。操作包括由计算设备的内容生成组件，捕获包括视频和与视频相关联的音频的初始内容。操作还包括基于音频中的一个或多个瞬态点来识别与视频相关联的音频中的一个或多个音频剪辑。操作还包括针对一个或多个识别的音频剪辑中的每个音频剪辑，从初始内容的视频中提取对应的视频剪辑。操作附加地包括经由计算设备的图形用户界面，提供控制界面以启用用户生成的音频剪辑序列，其中，音频剪辑序列中的每个音频剪辑是从一个或多个识别的音频剪辑中选择的。操作还包括生成包括视频剪辑序列的新视听内容以对应于用户生成的音频剪辑序列，其中，视频剪辑序列中的每个视频剪辑是用户生成的音频剪辑序列中的每个音频剪辑的所提取的对应视频剪辑。操作还包括通过控制界面，提供新视听内容。在第四示例实施例中，提供了一种系统，所述系统包括用于由计算设备的内容生成组件，捕获包括视频和与视频相关联的音频的初始内容的装置；用于基于音频中的一个或多个瞬态点来识别与视频相关联的音频中的一个或多个音频剪辑的装置；用于针对一个或多个识别的音频剪辑中的每个音频剪辑，从初始内容的视频中提取对应的视频剪辑的装置；用于经由计算设备的图形用户界面，提供控制界面以启用用户生成的音频剪辑序列的装置，其中，音频剪辑序列中的每个音频剪辑是从一个或多个识别的音频剪辑中选择的；用于生成包括视频剪辑序列的新视听内容以对应于用户生成的音频剪辑序列的装置，其中，视频剪辑序列中的每个视频剪辑是用户生成的音频剪辑序列中的每个音频剪辑的所提取的对应视频剪辑；以及用于通过控制界面，提供新视听内容的装置。

5、应当理解，根据以下详细描述，本主题技术的其他配置对于本领域的技术人员而言将变得显而易见，其中通过图示的方式示出和描述了主题技术的各种配置。如将认识到的，本主题技术能够具有其他和不同的配置，并且其若干细节能够在各种其他方面进行修改，而不脱离本主题技术的范围。因此，附图和详细描述本质上被认为是说明性的而非限制性的。

技术特征：

1.一种计算设备，包括：

2.根据权利要求1所述的计算设备，其中，所述一个或多个识别的音频剪辑包括包含初始节奏的多个敲击声音，并且其中，提供所述控制界面还包括：

3.根据权利要求1所述的计算设备，其中，所述控制界面包括对应于多个音频通道的多个可选择的选项卡，其中，对所述多个可选择的选项卡中的选项卡的用户选择使得用户能够访问一个或多个通道界面以与对应于用户所选择的选项卡的所述音频通道中的音频剪辑或视频剪辑中的一个或多个进行交互。

4.根据权利要求3所述的计算设备，其中，所述多个音频通道包括与旋律音符、敲击声音、音乐作品、乐器声音、静音或人声乐句中的一个或多个相对应的音频剪辑。

5.根据权利要求3所述的计算设备，其中，所述多个音频通道中的每个音频通道与不同于所述初始内容的给定视听内容相关联。

6.根据权利要求3所述的计算设备，其中，所述一个或多个通道界面包括具有与所述一个或多个识别的音频剪辑相对应的一个或多个图标的界面，并且其中，所述用户生成的音频剪辑序列基于选择所述一个或多个图标中的至少一个图标以生成所述序列的用户指示。

7.根据权利要求3所述的计算设备，其中，所述一个或多个识别的音频剪辑中的音频剪辑包括音乐音符，并且其中，提供所述控制界面还包括：

8.根据权利要求3所述的计算设备，其中，所述一个或多个通道界面包括显示多个用户生成的序列的界面，所述多个用户生成的序列中的每个序列对应于所述多个音频通道，并且还包括使得用户能够链接所述一个或多个序列以生成新序列的可选择的选项。

9.根据权利要求3所述的计算设备，其中，所述一个或多个通道界面包括显示多个用户生成的序列的界面，所述多个用户生成的序列中的每个序列对应于所述多个音频通道，并且还包括使得用户能够混合所述一个或多个序列以生成新音频轨道的可选择的选项。

10.根据权利要求3所述的计算设备，其中，所述一个或多个通道界面包括显示一对坐标轴的界面，其中，横轴对应于针对所述用户生成的序列的多个音高调整，并且纵轴对应于针对所述用户生成的序列的多个同时可调整的音频滤波器调整。

11.根据权利要求3所述的计算设备，其中，所述一个或多个通道界面包括显示所述多个音频通道的多个相应音量控件的界面，其中，所述多个相应音量控件使得用户能够同时控制所述多个音频通道中的每个音频通道的音量设置。

12.根据权利要求3所述的计算设备，其中，所述一个或多个通道界面包括针对所述音频剪辑序列中的音频剪辑，显示用于调整节拍速度的第一工具、用于调整摇摆的第二工具、以及用于调整根音乐音符的第三工具的界面。

13.根据权利要求3所述的计算设备，其中，所述一个或多个通道界面包括显示多个视频编辑图标的界面，并且其中，对所述多个视频编辑图标中的视频编辑图标的用户选择使得能够将视频编辑特征应用于所述视频剪辑序列中的视频剪辑。

14.根据权利要求1所述的计算设备，所述功能还包括：

15.根据权利要求1所述的计算设备，其中，所述初始内容中的所述瞬态点包括瞬态位置、暂停或剪切中的一个或多个。

16.根据权利要求1所述的计算设备，其中，在所述初始内容中识别所述一个或多个音频剪辑包括在所述初始内容的音轨中，识别旋律音符、敲击声音、音乐作品、乐器声音、音频强度的改变、静音或人声乐句中的一个或多个。

17.根据权利要求1所述的计算设备，其中，在所述初始内容中识别所述一个或多个音频剪辑是通过经过训练的机器学习模型来执行的。

18.根据权利要求1所述的计算设备，其中，识别所述一个或多个音频剪辑还包括：

19.根据权利要求1所述的计算设备，还包括：

20.一种计算机实现的方法，包括：

21.一种包括非暂时性计算机可读介质的制品，所述非暂时性计算机可读介质上存储有程序指令，所述程序指令在由计算设备的一个或多个处理器执行时使所述计算设备执行操作，所述操作包括：

技术总结一种方法包括：由计算设备的内容生成组件捕获包括视频和与视频相关联的音频的初始内容；基于音频中的一个或多个瞬态点来识别与视频相关联的音频中的一个或多个音频剪辑；针对每个音频剪辑，从初始内容的视频中提取对应的视频剪辑；提供控制界面以启用用户生成的音频剪辑序列，其中，音频剪辑序列中的每个音频剪辑是从一个或多个识别的音频剪辑中选择的；生成包括视频剪辑序列的新视听内容以对应于用户生成的音频剪辑序列，其中，视频剪辑序列中的每个视频剪辑是用户生成的音频剪辑序列中的每个音频剪辑的所提取的对应视频剪辑；以及由控制界面提供新视听内容。技术研发人员：尼古拉斯·詹姆斯·克拉克,格伦·墨菲,杰森·布里格斯·康威尔,克诺尔·帕特里克·奥沙利文,菲利普·洛伊德·伯克,朴垠映,菲利普·弗朗西斯·罗威,唐纳德·彼得·特纳尔,卡尔·大卫·莫勒斯泰德特,芬恩·阿珂·阿克塞尔·埃里森,斯万特·斯坦·约翰·斯特德勒,约翰·菲利普·克莱森,奥乐·弗雷德里克·约瑟夫森受保护的技术使用者：谷歌有限责任公司技术研发日：技术公布日：2024/4/17