用于促进与视频内容的交互的用户界面和工具的制作方法

背景技术：

1、当进行演示时，演示者常常必须重复指令和信息来向一组用户解释概念。反过来，每个用户通常会对该概念做笔记，以便在稍后的时间能够进一步审阅这些笔记。如果从演示生成记录，则演示者可以较少地重复该概念。然而，传统记录的视频可能无法为用户提供在不观看和/或扫描整个视频的情况下查找视频内的特定内容的简单方式。也就是说，当用户在视频中寻找概念时，用户将必须观看或滚动通过整个记录以定位该概念。

技术实现思路

1、本文中描述的系统和方法可以提供多个用户界面(ui)和/或演示工具以促进与视频内容的交互。例如，这些工具可以促进记录、共享、查看、搜索和投射视频内容。视频内容可以是教学的、演示性的和/或以其他方式基于由任何数量的演示者提供并由任何数量的用户消费的信息和输入。本文中描述的系统和方法可以基于从应用(例如，浏览器、web应用、本机应用等)接收到的命令和/或从计算设备的操作系统(o/s)接收到的命令来提供、执行和/或控制ui和演示工具。在一些实施方式中，可以以来自应用和o/s两者的信息的混合组合来提供本文中描述的ui和演示工具。例如，工具、ui和相关教学内容(例如，视频内容、文件、注释等)的部分可以由不同的应用触发的或o/s触发的源提供。

2、本文中描述的系统和方法可以呈现演示工具，该演示工具至少包括具有多个可选择工具(例如，屏幕投射、记录屏幕投射、演示者相机(例如，前向(即，自拍)相机)、实时转录、实时翻译、激光指示器工具、注释工具、放大器工具)的交互式工具栏。工具栏可以被配置为供演示者利用单个输入轻松地呈现、记录、投射。另外，工具栏可以提供用于切换演示、记录和/或投射的选项。例如，特定工具和/或屏幕内容可以被配置为在记录期间在打开和关闭之间切换。在一些实施方式中，还可以向记录的查看者提供用于切换工具栏、屏幕内容和/或与视频相关联的视频流的特定工具(实时地或记录后)。例如，记录的特定元素(例如，演示者的前向相机流、转录流、翻译流、注释流等)可以在记录期间和/或在用户审阅记录期间在打开或关闭之间切换。

3、本文中描述的系统和方法被配置为使得演示工具能够触发来自一个或多个计算机显示器的内容的共享。演示工具可以允许演示者和/或用户以有效的方式对共享内容进行注释(即，做注释)。可以存储注释，使得注释可以稍后被检索并与时间戳和视频内容对齐，以便被准确地放置在共享内容上。例如，可以在内容的视频记录和/或投射期间对内容进行注释。注释可以被分层到内容(例如，底层应用内容)上并存储在元数据中，使得当检测到窗口事件(即，当窗口滚动、调整大小或跨ui移动时注释移动)时，注释能够被移除或适于被恰当地定位以与内容一起移动)。例如，如果演示者在记录期间切换到另一文档(或在文档内滚动)，使用元数据保存注释层，以便例如当演示者贯穿整个记录在文档之间切换时触发适当的注释被覆盖在适当的内容上。这可以允许使用多个源来描绘概念，并且可以允许演示者将标记注释放置在覆盖层中的内容上(即，而不是在文字处理编辑中)以当演示者或用户请求移除或重新应用覆盖层时允许该层被移除和重新应用。

4、本文中描述的系统和方法可以存储注释，使得演示者或用户可以在对这样的内容进行注释的同时在多个文档、应用或(在记录发生的同时访问的)其他所记录的内容之间切换，并且注释可以被检索和提供为覆盖，其中注释被恰当地定位，如在视频记录期间执行的。屏幕内容、演示者相机捕获的内容、转录内容、翻译内容和注释内容可以被配置为在记录期间和记录后(即，在演示者查看和用户查看期间)在打开和关闭之间切换。

5、在一些实施方式中，本文中描述的演示工具包括注释工具，该注释工具被配置为允许演示者或用户在记录期间使用一个或多个标记工具来指示内容内的章节、内容内的关键思想。标记工具可以包括任何数量的输入机制，包括文本输入、激光指示器(和/或光标、控制器输入等)、笔输入、突出显示输入、形状输入等。

6、在一些实施方式中，本文中描述的系统和方法可以生成并显示音频内容和视频内容的实时转录和/或翻译。转录和/或翻译可以与其他教学内容一起描绘在屏幕上。在一些实施方式中，可以生成转录和/或翻译，然后进行整理以供稍后查看。例如，转录可以被格式化以便于审阅并且被格式化用于从演示者或用户接收注释，其中注释可以将内容的特定概念指示为要学习的重要概念。

7、本文中描述的系统和方法可以包括用于执行、格式化和显示视频内容的翻译和/或转录的工具。当查看视频时(在记录期间或之后)，用户可以滚动(例如，视频滚动)内容(例如，网页、文档等)，并且作为响应，转录部分可以自动地与视频滚动同步地滚动。视频和文本内容之间的这种同步性能够有助于视频内包含的内容的有效且资源高效的搜索，因为对应的文本能够被用于搜索。

8、在一些实施方式中，注释和转录可以被用于自动生成表示所记录的视频内容的部分的概述(例如，摘要)视频。本文中描述的系统和方法可以将注释和所转录的音频配置为可搜索(和/或索引)以利用访问所记录的视频内容的计算设备的应用(例如，浏览器)和/或o/s中的搜索提供来展现。

9、在一些实施方式中，本文中描述的演示工具可以包括允许基于单个输入的放大或缩小模式的放大器工具。可以使用放大器工具而无需手动调整窗口或网页的大小。另外，放大器工具可以与注释工具结合使用。当用户退出放大或缩小模式时，注释可以随视频内容自动调整大小以匹配注释的内容。这种调整大小使得注释能够经由元数据进行存储，其可以稍后被检索并应用为对内容的覆盖，而注释或缩放的内容不会在记录的结束之后审阅视频内容时大小不合适。

10、一个或多个计算机的系统能够被配置为借助于安装在系统上的软件、固件、硬件或它们的组合来执行特定操作或动作，这些软件、固件、硬件或它们的组合在操作中使系统执行这些动作。一个或多个计算机程序能够被配置为借助于包括指令来执行特定操作或动作，该指令当由数据处理装置执行时使得该装置执行这些动作。

11、在第一个总体方面中，描述了一种计算机实现的方法，其包括使得记录开始捕获视频内容，该视频内容包括演示者视频流、屏幕投射视频流和注释视频流，并且基于该视频内容并在该视频内容的捕获期间生成元数据记录，该元数据记录表示用于将视频内容的至少一个部分与在演示者视频流、屏幕投射视频流或注释视频流中的至少一个中接收到的输入同步的定时信息。

12、实施方式能够包括以下特征中的任何或全部。在一些实施方式中，响应于记录的终止，该方法可以包括基于元数据记录来生成视频内容的表示，该表示包括由与演示者视频流相关联的用户注释的视频内容的部分。在一些实施方式中，定时信息对应于与接收到的输入中的相应输入相关联的多个时间戳以及与视频内容相关联的文档中的至少一个位置，并且同步输入包括：针对相应输入，将多个时间戳中的至少一个时间戳与文档中的至少一个位置相匹配。

13、在一些实施方式中，视频内容进一步包括转录视频流，并且该转录视频流包括来自演示者视频流的实时转录的音频数据，该实时转录的音频数据被生成为可修改的转录数据，该可修改的转录数据被配置用于在视频内容的记录期间与屏幕投射视频流一起显示。在一些实施方式中，转录视频流还包括来自演示者视频流的实时翻译的音频数据，该实时翻译的音频数据被生成为文本数据，该文本数据被配置用于在视频内容的记录期间与屏幕投射视频流和所转录的音频数据一起显示。在一些实施方式中，实时转录的音频数据的转录由至少一个语音到文本应用执行，其中该至少一个语音到文本应用从确定为能够由转录视频流访问的多个语音到文本应用中选择，并且可修改的转录数据和文本数据根据时间戳被存储在元数据记录中并且被配置为可搜索。

14、在一些实施方式中，输入包括与注释视频流相关联的注释输入，其中该注释输入包括由与演示者视频流相关联的用户生成的视频标记数据和视频标注器数据。在一些实施方式中，演示者视频流、屏幕投射视频流和注释视频流被配置为在记录期间在打开和关闭之间切换，其中在打开和关闭之间切换触发相应演示者视频流、相应屏幕投射视频流或相应注释视频流的显示或从显示中移除相应演示者视频流、相应屏幕投射视频流或相应注释视频流。

15、在第二个总体方面中，描述了一种系统，该系统包括存储器和耦合到该存储器的至少一个处理器，其中该至少一个处理器被配置为生成协作在线用户界面，该协作在线用户界面被配置为从以下项接收命令：渲染器，其被配置为渲染与从用户界面内访问多个应用相关联的音频和视频内容；注释生成器工具，其被配置为接收用户界面中的注释输入并在音频和视频内容的渲染期间针对接收到的注释输入生成多个注释数据记录，注释生成器工具包括用于接收注释输入的至少一个控件；转录生成器工具，其被配置为在音频和视频内容的渲染期间转录音频内容并且在用户界面中显示所转录的音频内容；内容生成器工具，其被配置为响应于检测到渲染的终止来生成音频和视频内容的表示。该表示可以是基于注释输入、视频内容和所转录的音频内容，其中该表示包括利用注释输入标记的所渲染的音频和视频的部分。

16、实施方式能够包括以下特征中的任何或全部。在一些实施方式中，内容生成器工具进一步被配置为生成到音频和视频内容的表示的url链接并且对该表示进行索引以实现用于在web浏览器应用中查找音频和视频内容的至少一部分的搜索功能。在一些实施方式中，多个注释数据记录包括多个应用中的至少一个应用接收注释输入的指示，以及用于根据相应时间戳将注释输入覆盖到描绘所指示的至少一个应用的所渲染的视频内容的一部分的至少一个图像帧上的机器可读指令。

17、在一些实施方式中，将注释输入覆盖到至少一个图像帧上包括检索多个注释数据记录中的至少一个注释数据记录，执行机器可读指令，以及生成文档，该文档使得用户能够滚动至少一个图像帧，其中根据至少一个注释数据记录将注释输入覆盖到该至少一个图像帧上。在一些实施方式中，注释生成器工具进一步被配置为使得所渲染的音频和视频内容的记录开始，所渲染的视频内容包括与多个应用中的第一应用相关联的数据以及与多个应用中的第二应用相关联的数据，在第一应用中接收在记录视频内容的第一分段期间的第一注释集合，根据与第一分段相关联的相应时间戳来存储第一注释集合，在第二应用中接收在记录视频内容的第二分段期间的第二注释集合，以及根据与第二分段相关联的相应时间戳来存储第二注释集合。

18、响应于检测到光标焦点已经从第一应用切换到第二应用，注释生成器工具进一步被配置为检索第二注释集合以及与第二应用相关联的数据，将与第二分段相关联的时间戳与第二注释集合相匹配，以及使得根据与第二分段相关联的相应时间戳在第二应用上显示检索到的第二注释集合。

19、在一些实施方式中，第一注释集合和第二注释集合由注释工具生成，该注释工具使得能够标记、存储和滚动第一注释集合和第二注释集合，同时针对第一注释集合和第二注释集合中的每个注释，保留与第一应用相关联的数据或与第二应用相关联的数据上的初始位置。在一些实施方式中，注释生成器工具进一步被配置为响应于检测到光标焦点已经从第二应用切换到第一应用，检索第一注释集合以及与第一应用相关联的数据，将与第一分段相关联的时间戳与第一注释集合相匹配，以及使得根据与第一分段相关联的相应时间戳在第一应用上显示检索到的第一注释集合。

20、在一些实施方式中，注释生成器工具进一步被配置为接收第二应用中的附加注释，其中，该附加注释与相应时间戳相关联，以及响应于检测到记录的完成，根据第二注释集合和附加注释生成文档，其中该文档包括：第二注释集合和附加注释，其根据与第二分段相关联的相应时间戳和与附加注释相关联的相应时间戳被覆盖到与第二应用相关联的数据上，以及与第二分段相关联的所记录的音频内容的转录。

21、在第三个总体方面中，一种非暂时性计算机可读存储介质，包括存储在其上的指令，该指令当由至少一个处理器执行时被配置为使得计算系统执行包括以下各项的指令：使得记录开始捕获视频内容，该视频内容包括演示者视频流、屏幕投射视频流、转录视频流和注释视频流；以及基于视频内容并在视频内容的捕获期间生成元数据记录，该元数据记录表示用于将视频内容的至少一个部分与在演示者视频流、屏幕投射视频流、转录视频流或注释视频流中的至少一个中接收到的输入同步的定时信息。

22、实施方式可以包括以下特征中的任何或全部。在一些实施方式中，指令进一步包括：响应于记录的终止，基于元数据记录来生成视频内容的摘要视频，该摘要视频包括由与演示者视频流相关联的用户注释的视频内容的部分。

23、在一些实施方式中，定时信息对应于与接收到的输入中的相应输入相关联的多个时间戳以及与视频内容相关联的文档中的至少一个位置，并且同步输入包括：针对相应输入，将多个时间戳中的至少一个时间戳与文档中的至少一个位置相匹配。

24、在一些实施方式中，转录视频流包括：来自演示者视频流的实时转录的音频数据，该实时转录的音频数据被生成为文本数据，该文本数据被配置用于在视频内容的记录期间与屏幕投射视频流一起显示；以及来自演示者视频流的实时翻译的音频数据，该实时翻译的音频数据被生成为文本数据，该文本数据被配置用于在视频内容的记录期间与屏幕投射视频流和所转录的音频数据一起显示。在一些实施方式中，实时转录的音频数据被生成为可修改的转录数据，该可修改的转录数据被配置用于在视频内容的记录期间与屏幕投射视频流一起显示，并且实时转录的音频数据的转录由至少一个语音到文本应用执行，该至少一个语音到文本应用从确定为能够由转录视频流访问的多个语音到文本应用中选择，并且可修改的转录数据和文本数据根据时间戳被存储在元数据记录中并且被配置为可搜索。

25、在一些实施方式中，输入包括与注释视频流相关联的注释输入，该注释输入包括由与演示者视频流相关联的用户生成的视频标记数据和视频标注器数据。在一些实施方式中，演示者视频流、屏幕投射视频流、转录视频流和注释视频流被配置为在记录期间在打开和关闭之间切换，在打开和关闭之间切换触发相应演示者视频流、相应屏幕投射视频流、相应转录视频流或相应注释视频流的显示或从显示中移除相应演示者视频流、相应屏幕投射视频流、相应转录视频流或相应注释视频流。

26、在第四个总体方面中，一种非暂时性计算机可读存储介质，包括存储在其上的指令，该指令当由至少一个处理器执行时被配置为使得计算系统执行包括以下各项的指令：使得记录开始捕获音频内容和视频内容，该视频内容至少包括演示者视频流、屏幕投射视频流、转录视频流和注释视频流，使得渲染与从用户界面内访问多个应用相关联的音频内容和视频内容，在音频内容和视频内容的渲染期间接收用户界面中的注释输入，该注释输入被记录在注释视频流中，在音频内容和视频内容的渲染期间转录音频内容，所转录的音频内容被记录在转录视频流中，在音频内容和视频内容的渲染期间翻译所转录的音频内容，以及使得在具有所渲染的音频内容和视频内容的用户界面中渲染所转录的音频内容和所转录的音频内容的翻译。

27、实施方式可以包括以下特征中的任何或全部。在一些实施方式中，计算机可执行指令进一步被配置为响应于检测到视频内容的渲染的终止和视频内容的渲染的终止，使得在线演示系统生成代表音频内容和视频内容的至少一部分的内容。代表性内容可以是基于注释输入、视频内容、所转录的音频内容以及所翻译的音频内容，其中，代表性内容包括利用注释输入标记的所渲染的音频和视频的部分。在一些实施方式中，使得注释输入被渲染为视频内容上的覆盖，注释输入被配置为响应于检测到触发到在记录期间访问的其他视频内容的切换的窗口事件或光标事件而与视频内容一起移动。

28、在第五个总体方面中，描述了一种计算机实现的方法，其包括：接收至少一个视频流，接收表示与在至少一个视频流中检测到的输入相关联的定时信息的元数据，其中该定时信息被配置为将在至少一个视频流中提供的检测到的输入与至少一个视频流的部分同步。响应于接收到查看至少一个视频流的请求，该计算机实现的方法可以包括：生成至少一个视频流的部分，其中该生成是基于元数据和检测到的请求查看至少一个视频流的表示的用户指示，以及使得渲染至少一个视频流的该部分。

29、实施方式可以包括以下特征中的任何或全部。在一些实施方式中，定时信息对应于与在至少一个视频流中检测到的相应输入相关联的多个时间戳以及与至少一个视频流相关联的内容中的至少一个位置，并且同步检测到的输入包括：针对相应输入，将至少一个时间戳与与至少一个视频流相关联的文档中的至少一个位置相匹配。在一些实施方式中，至少一个视频流包括演示者视频流、屏幕投射视频流、转录视频流和注释视频流。在一些实施方式中，至少一个视频流的表示是基于检测到的输入并且包括利用该输入注释的至少一个视频流的所渲染的部分。

30、上述系统、方法、计算机可读存储介质和方面可以被配置为执行上述方面的任何组合，其中的每个方面可以与上面列出的特征和方面的任何合适的组合一起实现。

31、所描述的技术的实施方式可以包括硬件、方法或过程、或者计算机可访问介质上的计算机软件。在附图和下面的描述中阐述一个或多个实施方式的细节。其他特征将从说明书和附图以及从权利要求中变得显而易见。