视频流的显示方法、装置、设备、系统及存储介质与流程

本技术涉及通信，特别涉及视频流的显示方法、装置、设备、系统及存储介质。

背景技术：

1、视频会议是指多个用户通过不同的设备进行的网络会议，例如，视频会议可以是指发送端采用桌面共享的方式向多个接收端发送共享内容并进行讲解，接收端能够接收并显示发送端发送的共享内容。然而，当发送端发送的共享内容发生变化后，例如，发送端共享的演示文稿(power point，ppt)翻页后，存在接收端的用户想要回看变化前的共享内容的需求。若是打断共享者(发送端的用户)的讲解，并告知共享者重新发送之前的共享内容，会影响共享者的讲解思路、其他接收端的用户的参会体验以及影响整体的视频会议进展。

2、因此，视频会议过程中如何显示视频流，能够回看前面的共享内容，还不影响视频会议的进展是个亟待解决的问题。

技术实现思路

1、本技术提供了一种视频流的显示方法、装置、设备、系统及存储介质，用于显示视频会议的视频流和视频流对应的待回看的视频帧。

2、第一方面，提供了一种视频流的显示方法，以第一设备执行该方法为例，第一设备接收第二设备发送的视频会议的视频流；第一设备将视频流显示在视频会议的第一界面上；第一设备获取视频流对应的待回看的视频帧，将待回看的视频帧显示在视频会议的第二界面上，待回看的视频帧为视频流中回看概率大于概率阈值的视频帧。

3、该方法通过获取视频流对应的待回看的视频帧，使得第一设备能够在第一界面显示视频会议的视频流，在第二界面显示该视频流对应的待回看的视频帧，由此，实现了在不影响视频会议进展的同时，观看方能够在视频会议过程中随时回看之前的内容，进而提高了视频会议的视频流的显示效果。其中，第一设备可以为视频会议的任一接收端，第二设备可以为视频会议的发送端或者为视频会议提供后台服务的服务端。例如，接收端或发送端可以是指终端或者运行在终端上的会议软件客户端，服务端可以是指服务器或者运行在服务器上的为会议软件提供会议后台服务的应用程序。

4、在一种可能的实施方式中，第一设备获取视频流对应的待回看的视频帧的方式包括但不限于如下三种。方式一，在第一界面上显示视频流的当前帧的情况下，第一设备基于控制操作确定视频流的当前帧为待回看的视频帧，控制操作包括鼠标按键操作、键盘操作、触摸滑动或触摸按压。在该方式一下，第一设备能够通过主动的控制操作获取到待回看的视频帧，使得获取到的待回看的视频帧更精准。

5、方式二，在视频流的当前帧包括预设标识的情况下，第一设备确定当前帧为待回看的视频帧，预设标识由第二设备添加到当前帧中。在该方式二下，由于预设标识是由第二设备添加到对应的视频帧中的，因此使得第一设备能够获取到的待回看的视频帧是受第二设备的管控的，可以提高视频会议的安全性，还能保证多个第一设备获取的待回看的视频帧的统一性。

6、方式三，第一设备向第二设备发送视频帧获取指令；第一设备接收第二设备基于视频帧获取指令返回的待回看的视频帧。在该方式三下，由于第一设备可以直接接收第二设备发送的待回看的视频帧，使得第一设备无需监控控制操作，也无需对视频流进行预设标识的识别，简化了第一设备获取待回看的视频帧的流程。

7、由此，通过上述三种方式均能够获取到视频流对应的待回看的视频帧，因此第一设备获取视频流对应的待回看的视频帧的方式灵活，提高了获取视频流对应的待回看的视频帧的稳定性。

8、在一种可能的实施方式中，第一设备获取视频流对应的待回看的视频帧之后，第一设备可以将待回看的视频帧保存在图像队列中，图像队列中包括多个待回看的视频帧；进而将图像队列中的待回看的视频帧显示在视频会议的第二界面上。通过图像队列的应用可以统一对获取的多个待回看的视频帧进行统一管理，方便了对待回看的视频帧的显示，例如，在显示待回看的视频帧时也可以在图像队列中包括的多个待回看的视频帧中选择或切换。

9、在一种可能的实施方式中，对于图像队列中包括多个待回看的视频帧，第一设备可以对任一待回看的视频帧进行编辑操作，编辑操作包括修改、删除、增加标记或查找中的至少一种。由此，使得在视频会议的第二界面上显示的待回看的视频帧可以为编辑操作之后的视频帧，提高了待回看的视频帧的显示效果。

10、在一种可能的实施方式中，待回看的视频帧为加密处理后的视频帧。由此，能够防止待回看的视频帧的内容泄露，提高了视频会议的安全性。

11、在一种可能的实施方式中，第一设备在将待回看的视频帧显示在视频会议的第二界面上之前，还需要先接收第二设备发送的显示授权，显示授权用于第一设备在第二界面上显示待回看的视频帧。通过显示授权的发放可以控制能够显示待回看的视频帧的接收端，由此对于安全性不高的接收端可以不发放授权，进而也能够提高视频会议的安全性。

12、在一种可能的实施方式中，第一设备可以是主动向第二设备发送授权请求，通过该授权请求使得第二设备返回显示授权。由此，提供了一种接收端能够主动获取授权的方式，使得第一设备能够获取到对应的显示授权。

13、在一种可能的实施方式中，第一界面和第二界面相同或不同。若第一界面和第二界面可为同一个界面，则该同一个界面交替显示视频流和待回看的视频帧，若第一界面和第二界面也为不同的两个界面，则不同的两个界面可以同时进行显示。由此，使得视频流和待回看的视频帧的显示方式较灵活。

14、第二方面，提供了一种视频流的显示方法，以第二设备执行该方法为例，第二设备向第一设备发送视频会议的视频流，视频流用于第一设备将视频流显示在视频会议的第一界面上，并获取视频流对应的待回看的视频帧，将待回看的视频帧显示在视频会议的第二界面上，待回看的视频帧为视频流中回看概率大于概率阈值的视频帧。

15、该方法通过获取视频流对应的待回看的视频帧，使得第一设备能够在第一界面显示视频会议的视频流，在第二界面显示该视频流对应的待回看的视频帧，由此，实现了在不影响视频会议进展的同时，观看方能够在视频会议过程中随时回看之前的内容，进而提高了视频会议的视频流的显示效果。其中，第一设备可以为视频会议的任一接收端，第二设备可以为视频会议的发送端或者为视频会议提供后台服务的服务器。

16、在一种可能的实施方式中，第二设备会识别视频流中的待回看的视频帧，并在识别出的待回看的视频帧中添加预设标识。由此，使得第一设备接收到的视频流中的待回看的视频帧是包括预设标识的，第一设备根据该预设标识获取视频流对应的待回看的视频帧。

17、在一种可能的实施方式中，第二设备识别待回看的视频帧的方式可以为，若视频流的当前帧的图像内容在视频流中为首次出现，第二设备将当前帧作为待回看的视频帧添加预设标识。通过将图像内容在视频流中为首次出现的视频帧作为待回看的视频帧，使得待回看的视频帧通常能够包括视频会议中的每一图像内容，能够满足接收端对待回看的视频帧的回看需求。

18、在一种可能的实施方式中，当第二设备识别视频流的当前帧的图像内容在视频流中为首次出现，第二设备除了在识别出的待回看的视频帧中添加预设标识之外，第二设备还可以将当前帧作为待回看的视频帧保存。由此，使得在接收到第一设备发送的视频帧获取指令的情况下，第二设备能够向第一设备返回待回看的视频帧。

19、在一种可能的实施方式中，第二设备保存待回看的视频帧保存的方式可以为，第二设备将当前帧作为待回看的视频帧保存在图像队列中，图像队列中包括多个待回看的视频帧。由此，当接收到第一设备发送的编辑指令的情况下，第二设备可以按照编辑指令对图像队列中的待回看的视频帧进行编辑操作，编辑操作包括修改、删除、增加标记或查找中的至少一种。

20、在一种可能的实施方式中，第二设备确定视频流的当前帧的图像内容在视频流中为首次出现的方式可以为，基于视频流的当前帧为视频流中对应的编码带宽发生变化后的视频帧，确定当前帧的图像内容在视频流中为首次出现；或者，基于视频流的当前帧与视频流的历史帧之间的相似度小于相似度阈值，确定当前帧的图像内容在视频流中为首次出现，历史帧为视频流中位于当前帧之前且与当前帧的距离小于距离阈值的视频帧。

21、通过上述两种不同的方式均能够识别出图像内容在视频流中为首次出现的视频帧，使得识别出的图像内容在视频流中为首次出现的视频帧更全面，进而根据图像内容在视频流中为首次出现的视频帧确定的待回看的视频帧更全面，更符合接收端的回看需求。

22、在一种可能的实施方式中，待回看的视频帧为加密处理后的视频帧上。

23、在一种可能的实施方式中，第二设备向第一设备发送显示授权，显示授权用于第一设备在第二界面上显示待回看的视频帧。

24、在一种可能的实施方式中，第二设备是在接收第一设备发送的授权请求之后，基于授权请求向第一设备发送显示授权。

25、在一种可能的实施方式中，第一界面和第二界面相同或不同。

26、第三方面，提供了一种视频流的显示装置，应用于第一设备，该装置包括：

27、接收模块，用于接收第二设备发送的视频会议的视频流；

28、显示模块，用于将视频流显示在视频会议的第一界面上；

29、获取模块，用于获取视频流对应的待回看的视频帧，待回看的视频帧为视频流中回看概率大于概率阈值的视频帧；

30、显示模块，还用于将待回看的视频帧显示在视频会议的第二界面上。

31、在一种可能的实施方式中，获取模块，用于在第一界面上显示视频流的当前帧的情况下，基于控制操作确定视频流的当前帧为待回看的视频帧，控制操作包括鼠标按键操作、键盘操作、触摸滑动或触摸按压。

32、在一种可能的实施方式中，获取模块，用于在视频流的当前帧包括预设标识的情况下，确定当前帧为待回看的视频帧，预设标识由第二设备添加到当前帧中。

33、在一种可能的实施方式中，获取模块，用于向第二设备发送视频帧获取指令；接收第二设备基于视频帧获取指令返回的待回看的视频帧。

34、在一种可能的实施方式中，该装置还包括：保存模块，用于将待回看的视频帧保存在图像队列中，图像队列中包括多个待回看的视频帧；

35、显示模块，用于将图像队列中的待回看的视频帧显示在视频会议的第二界面上。

36、在一种可能的实施方式中，该装置还包括：编辑模块，用于对图像队列中的待回看的视频帧进行编辑操作，编辑操作包括修改、删除、增加标记或查找中的至少一种。

37、在一种可能的实施方式中，待回看的视频帧为加密处理后的视频帧。

38、在一种可能的实施方式中，接收模块，还用于接收第二设备发送的显示授权，显示授权用于第一设备在第二界面上显示待回看的视频帧。

39、在一种可能的实施方式中，该装置还包括：发送模块，用于向第二设备发送授权请求，授权请求用于第二设备返回显示授权。

40、在一种可能的实施方式中，第一界面和第二界面相同或不同。

41、第四方面，提供了一种视频流的显示装置，应用于第二设备，该装置包括：

42、发送模块，用于向第一设备发送视频会议的视频流，视频流用于第一设备将视频流显示在视频会议的第一界面上，并获取视频流对应的待回看的视频帧，将待回看的视频帧显示在视频会议的第二界面上，待回看的视频帧为视频流中回看概率大于概率阈值的视频帧。

43、在一种可能的实施方式中，视频流对应的待回看的视频帧包括预设标识，预设标识用于第一设备根据预设标识获取视频流对应的待回看的视频帧；该装置还包括：

44、添加模块，用于若视频流的当前帧的图像内容在视频流中为首次出现，将当前帧作为待回看的视频帧添加预设标识。

45、在一种可能的实施方式中，该装置还包括：保存模块，用于若视频流的当前帧的图像内容在视频流中为首次出现，将当前帧作为待回看的视频帧保存；

46、发送模块，还用于当接收到第一设备发送的视频帧获取指令的情况下，向第一设备返回待回看的视频帧。

47、在一种可能的实施方式中，保存模块，用于将当前帧作为待回看的视频帧保存在图像队列中，图像队列中包括多个待回看的视频帧；

48、该装置还包括：编辑模块，用于当接收到第一设备发送的编辑指令的情况下，按照编辑指令对图像队列中的待回看的视频帧进行编辑操作，编辑操作包括修改、删除、增加标记或查找中的至少一种。

49、在一种可能的实施方式中，该装置还包括：确定模块，用于基于视频流的当前帧为视频流中对应的编码带宽发生变化后的视频帧，确定当前帧的图像内容在视频流中为首次出现；或者，用于基于视频流的当前帧与视频流的历史帧之间的相似度小于相似度阈值，确定当前帧的图像内容在视频流中为首次出现，历史帧为视频流中位于当前帧之前且与当前帧的距离小于距离阈值的视频帧。

50、在一种可能的实施方式中，待回看的视频帧为加密处理后的视频帧上。

51、在一种可能的实施方式中，发送模块，还用于向第一设备发送显示授权，显示授权用于第一设备在第二界面上显示待回看的视频帧。

52、在一种可能的实施方式中，该装置还包括：接收模块，用于接收第一设备发送的授权请求；

53、发送模块，还用于基于授权请求向第一设备发送显示授权。

54、在一种可能的实施方式中，第一界面和第二界面相同或不同。

55、第五方面，本技术实施例提供了一种计算设备集群，包括至少一个计算设备，每个计算设备包括处理器和存储器；该至少一个计算设备的处理器用于执行该至少一个计算设备的存储器中存储的指令，以使得该计算设备集群执行如前述第一方面或第一方面的任意一种可能的实现方式所提供的视频流的显示方法，或者，以使得该计算设备集群执行如前述第二方面或第二方面的任意一种可能的实现方式所提供的视频流的显示方法。

56、第六方面，本技术实施例提供了一种包含指令的计算机程序产品，当该指令被计算设备集群运行时，使得该计算设备集群执行如前述第一方面或第一方面的任意一种可能的实现方式所提供的视频流的显示方法，或者，以使得该计算设备集群执行如前述第二方面或第二方面的任意一种可能的实现方式所提供的视频流的显示方法。该计算机程序产品可以为一个软件安装包，在需要实现前述计算设备集群的功能的情况下，可以下载该计算机程序产品并在计算设备集群上执行该计算机程序产品。

57、第七方面，本技术实施例提供了一种计算机可读存储介质，包括计算机程序指令，当该计算机程序指令由计算设备集群执行时，该计算设备集群执行如前述第一方面或第一方面的任意一种可能的实现方式所提供的视频流的显示方法，或者，以使得该计算设备集群执行如前述第二方面或第二方面的任意一种可能的实现方式所提供的视频流的显示方法。该存储介质包括但不限于易失性存储器，例如随机访问存储器，非易失性存储器，例如快闪存储器、硬盘(hard disk drive，hdd)、固态硬盘(solid state drive，ssd)。

58、应当理解的是，本技术的第二方面至第七方面技术方案及对应的可能的实施方式所取得的有益效果可以参见上述对第一方面及其对应的可能的实施方式的技术效果，此处不再赘述。