用于生成视频流的系统和方法与流程

本发明涉及一种用于生成数字视频流，并且特别是用于基于两个或更多个不同的数字输入视频流生成数字视频流的系统、计算机软件产品和方法。在优选实施例中，数字视频流在数字视频会议或数字视频会议或会面系统的场景下生成，特别地涉及多个不同的并发用户。所生成的数字视频流可以在外部或在数字视频会议或数字视频会议系统内发布。

背景技术：

1、在其他实施例中，本发明应用于非数字视频会议，但是其中几个数字视频输入流被并发处理并组合为所生成的数字视频流的场景中。例如，这样的场景可以是教育性的或指导性的。

2、许多数字视频会议系统已经问世，诸如和通过这些数字视频会议系统，两个或更多个人可用本地录制且播送给全部参与者的数字视频和音频来进行虚拟会面，从而模拟实际会面。

3、这些数字视频会议方案普遍需要改进，尤其是在观看内容的生成方面，诸如在什么时间向谁展示什么以及经由什么分布渠道。

4、例如，一些系统自动检测当前正在讲话的参与者，并向其他参与者显示正在讲话的参与者的对应视频馈送。在许多系统中，可以共享图形，诸如当前显示的屏幕、视窗或数字演示。然而，随着虚拟会面变得越来越复杂，服务很快就更难知道在每个时间点要向每个参与者示出全部当前可用信息中的哪些内容。

5、在其他示例中，演示参与者在台上四处走动，同时谈论数字演示中的幻灯片。然后系统需要决定是显示演示文稿、演示者还是同时显示两者，或者在两者之间切换。

6、可能期望通过自动生成过程基于多个输入数字视频流生成一个或几个输出数字视频流，并将这样生成的一个或多个数字视频流提供给一个或几个消费者。

7、然而，在许多情况下，由于这种数字视频会议系统面临许多技术困难，动态会议屏幕布局管理器或其他自动化生成功能难以选择要示出什么信息。

8、首先，由于数字视频会面具有实时性方面，因此低延迟很重要。这在不同的传入的数字视频流(诸如来自使用不同硬件加入的不同参与者)与不同的延迟、帧速率、纵横比或分辨率相关联时，就生成了问题。很多时候，这些传入的数字视频流需要处理以便获得良好的用户体验。

9、其次，存在时间同步的问题。由于各种输入数字视频流(诸如外部数字视频流或由参与者提供的数字视频流)通常被馈送到中央服务器等，因此不存在同步每个这种数字视频馈送的绝对时间。像过高的延迟一样，不同步的数字视频馈送将导致较差的用户体验。

10、第三，多方数字视频会面可能涉及具有不同编码或格式的不同数字视频流，这些不同数字视频流需要解码和重新编码，进而生成延迟和同步方面的问题。这种编码在计算上也是繁重的并且因此在硬件要求方面成本很高。

11、第四，不同的数字视频源可能与不同的帧速率、纵横比和分辨率相关联的事实也可能导致存储器分配需求可能不可预测地变化，从而要求持续平衡。这种编码涉及繁重的计算工作，因而造成很高的硬件成本。

12、第五，参与者可能在可变连接性、离开/重新连接等方面遇到各种挑战，从而在自动生成良好的用户体验方面提出了进一步的挑战。

13、这些问题在更复杂的会面情况下被放大，例如涉及许多参与者、使用不同硬件和/或软件进行连接的参与者、外部提供的数字视频流、屏幕共享、或者多个主机。

14、对应问题出现在将基于几个输入数字视频流生成输出数字视频流的所述其他场景中，诸如在用于教育和教学的数字视频生成系统中。

15、瑞典申请se 2151267-8(其在本技术生效之日尚未公布)公开了以上讨论的问题的各种解决方案。

16、在多参与者数字视频环境中还存在与延迟相关的另外的问题。特别地，不同参与者之间延迟要求可能不同。在这种环境中，已经证明难以向全部参与者呈现良好的时间同步体验，使时间延时不会负面地影响通信。在具有复杂配置(例如使用中间生成的多参与者视频流和/或涉及几种类型的参与者)的视频环境中尤其如此。

技术实现思路

1、本发明解决了上述问题中的一个或几个。

2、因此，本发明涉及一种用于提供第二数字视频流的方法，该方法包括：在收集步骤中，从第一参与者客户端收集第一主数字视频流，从第二参与者客户端收集第二主数字视频流，并且从第三参与者客户端收集第三主数字视频流；在发布步骤中，向所述第一参与者客户端和所述第二参与者客户端中的至少一个提供所述第一主数字视频流、所述第二主数字视频和已经基于所述第一主视频流和第二主视频流中的至少一个生成的第一生成视频流中的至少一个；在第二生成步骤中，基于所述第一主数字视频流、所述第二主数字视频流和所述第三主数字视频流将第二生成视频流生成为数字视频流，所述第二生成步骤引入时间延时，使得第二生成视频流与在发布步骤中提供给所述第一参与者客户端或第二参与者客户端的任何视频流时间不同步，所述发布步骤还包括向不是第一参与者客户端或第二参与者客户端的至少一个消费客户端连续提供所述第二生成视频流。

3、本发明还涉及一种用于提供第二数字视频流的方法，该方法包括：在收集步骤中，从至少两个不同的数字视频源收集第一主数字视频流和第二主数字视频流；在第一生成步骤中，基于所述第一主数字视频流和第二主数字视频流将第一生成视频流生成为数字视频流；在第二生成步骤中，基于所述第一生成视频流以及还基于所述第一主数字视频流和第二主数字视频流将第二生成视频流生成为数字视频流；以及在所述第二生成步骤中，在考虑到由第一生成步骤导致的第一生成视频流的延迟的情况下，时间延时所述第一主数字视频流和第二主数字视频流，以便使它们与第一生成视频流时间同步，第二生成视频流基于经时间延时的第一主数字视频流和第二主数字视频流生成。

4、本发明还涉及一种用于提供第二数字视频流的方法，该方法包括：在收集步骤中，从第一参与者客户端收集第一主数字视频流，从第二参与者客户端收集第二主数字视频流，并且从第三参与者客户端收集第三主数字视频流；在第一生成步骤中，基于所述第一主数字视频流和第二主数字视频流将第一生成视频流生成为数字视频流，第一生成数字视频流以第一延迟被连续生成用于发布；在第二生成步骤中，基于所述第一主数字视频流、第二主数字视频流和第三主数字视频流将第二生成视频流生成为数字视频流，第二生成数字视频流以第二延迟被连续生成用于发布，第二延迟大于第一延迟；以及在发布步骤中，向第一参与者客户端和第二参与者客户端中的至少一个连续提供所述第一主数字视频流、所述第二主数字视频流和所述第一生成视频流中的至少一个，并且向至少一个其他参与者客户端连续提供所述第二生成视频流。

5、本发明还涉及一种用于提供第二数字视频流的计算机软件产品，该计算机软件功能被布置为在运行时执行：

6、收集步骤，其中从第一参与者客户端收集第一主数字视频流，从第二参与者客户端收集第二主数字视频流，并且从第三参与者客户端收集第三主数字视频流；发布步骤，其中所述第一主数字视频流、所述第二主数字视频和已经基于所述第一主视频流和第二主视频流中的至少一个生成的第一生成视频流中的至少一个被提供给所述第一参与者客户端和所述第二参与者客户端中的至少一个；第二生成步骤，其中第二生成视频流基于所述第一主数字视频流、所述第二主数字视频流和所述第三主数字视频流被生成为数字视频流，所述第二生成步骤引入时间延时使得第二生成视频流与在发布步骤中提供给所述第一参与者客户端或第二参与者客户端的任何视频流时间不同步，其中所述发布步骤还包括向不是第一参与者客户端或第二参与者客户端的至少一个消费客户端连续提供所述第二生成视频流。

7、本发明还涉及一种用于提供共享数字视频流的计算机软件产品，该计算机软件功能被布置为在运行时执行：

8、收集步骤，其中从至少两个不同的数字视频源收集第一主数字视频流和第二主数字视频流；第一生成步骤，其中基于所述第一主数字视频流和第二主数字视频流将第一生成视频流流生成为数字视频流；第二生成步骤，其中基于所述第一生成视频流以及还基于所述第一主数字视频流和第二主数字视频流将第二生成视频流生成为数字视频流；以及其中在所述第二生成步骤中，在考虑到由第一生成步骤导致的第一生成视频流的延迟的情况下，时间延时所述第一主数字视频流和第二主数字视频流，以便使它们与第一生成视频流时间同步，第二生成视频流基于经时间延时的第一主数字视频流和第二主数字视频流生成。

9、本发明还涉及一种用于提供共享数字视频流的计算机软件产品，该计算机软件功能被布置为在运行时执行：

10、收集步骤，其中从第一参与者客户端收集第一主数字视频流，从第二参与者客户端收集第二主数字视频流，并且从第三参与者客户端收集第三主数字视频流；第一生成步骤，其中基于所述第一主数字视频流和第二主数字视频流将第一生成视频流生成为数字视频流，第一生成数字视频流以第一延迟被连续生成用于发布；第二生成步骤，其中基于所述第一主数字视频流、第二主数字视频流和第三主数字视频流将第二生成视频流生成为数字视频流，第二生成数字视频流以第二延迟被连续生成用于发布，第二延迟大于第一延迟；以及发布步骤，其中向第一参与者客户端和第二参与者客户端中的至少一个连续提供所述第一主数字视频流、所述第二主数字视频流和所述第一生成视频流中的至少一个，并且向至少一个其他参与者客户端连续提供所述第二生成视频流。

11、本发明还涉及一种用于提供第二数字视频流的系统，该系统包括中央服务器，该中央服务器又包括：收集功能，其中从第一参与者客户端收集第一主数字视频流，从第二参与者客户端收集第二主数字视频流，并且从第三参与者客户端收集第三主数字视频流；发布功能，其中所述第一主数字视频流、所述第二主数字视频和已经基于所述第一主视频流和第二主视频流中的至少一个生成的第一生成视频流中的至少一个被提供给所述第一参与者客户端和所述第二参与者客户端中的至少一个；第二生成功能，其中基于所述第一主数字视频流、所述第二主数字视频流和所述第三主数字视频流将第二生成视频流生成为数字视频流，所述第二生成步骤引入时间延时使得第二生成视频流与在发布步骤中提供给所述第一参与者客户端或第二参与者客户端的任何视频流时间不同步，其中所述发布功能包括向不是第一参与者客户端或第二参与者客户端的至少一个消费客户端连续提供所述第二生成视频流。

12、而且，本发明涉及一种用于提供共享数字视频流的系统，该系统包括中央服务器，该中央服务器又包括：收集功能，其中从至少两个不同的数字视频源收集第一主数字视频流和第二主数字视频流；第一生成功能，其中基于所述第一主数字视频流和第二主数字视频流将第一生成视频流流生成为数字视频流；第二生成功能，其中基于所述第一生成视频流以及还基于所述第一主数字视频流和第二主数字视频流将第二生成视频流生成为数字视频流；以及其中在所述第二生成功能中，在考虑到由第一生成功能导致的第一生成视频流的延迟的情况下，时间延时所述第一主数字视频流和第二主数字视频流，以便使它们与第一生成视频流时间同步，第二生成视频流基于经时间延时的第一主数字视频流和第二主数字视频流生成。

13、本发明还涉及一种用于提供共享数字视频流的系统，该系统包括中央服务器，该中央服务器又包括：收集功能，其中从第一参与者客户端收集第一主数字视频流，从第二参与者客户端收集第二主数字视频流，并且从第三参与者客户端收集第三主数字视频流；第一生成功能，其中基于所述第一主数字视频流和第二主数字视频流将第一生成视频流生成为数字视频流，第一生成数字视频流以第一延迟被连续生成用于发布；第二生成功能，其中基于所述第一主数字视频流、第二主数字视频流和第三主数字视频流将第二生成视频流生成为数字视频流，第二生成数字视频流以第二延迟被连续生成用于发布，第二延迟大于第一延迟；以及发布功能，其中向第一参与者客户端和第二参与者客户端中的至少一个连续提供所述第一主数字视频流、所述第二主数字视频流和所述第一生成视频流中的至少一个，并且向至少一个其他参与者客户端连续提供所述第二生成视频流。

14、此外，本发明涉及一种系统。