一种多媒体流融合方法、系统、设备及介质与流程

本技术属于智慧教育领域，特别是涉及一种多媒体流融合方法、系统、设备及介质。

背景技术：

1、传统的校园广播系统只能实现音频的播放，实现一些通知的播报，随着教育模式的变化，这样的广播系统已经难以满足学生日渐丰富的校园生活。因此多媒体流式的校园广播系统逐渐取代了传统的校园广播系统。

2、多媒体流式的校园广播系统应该支持多媒体流的融合，基于该背景，如何在不改变原有广播系统操作的前提下，使得广播系统同时也能播放视频就成了亟需解决的问题。

技术实现思路

1、本技术的目的在于提供一种多媒体流融合方法、系统、设备及介质，能够在不改变原有广播系统的基础上，使得广播系统同时也能播放视频，并将多个多媒体流进行融合，保持多媒体流音、视频同步。

2、第一方面，本技术实施例提供了一种多媒体流融合方法，该方法包括：

3、获取多个设备的待融合多媒体流；

4、解析所有的待融合多媒体流，得到每个待融合多媒体流的音频数据和视频数据；

5、对每个待融合多媒体流的音频数据和视频数据进行编码，得到音、视频同步的待融合多媒体流；

6、利用优化的融合算法将待融合多媒体流进行融合。

7、可选的，所述获取多个设备的待融合多媒体流包括：

8、获取多个设备的名称列表；

9、将所有设备的名称列表按照预设格式进行分组；

10、根据不同的设备获取对应设备的待融合多媒体流。

11、可选的，所述解析所有的待融合多媒体流，得到每个待融合多媒体流的音频数据和视频数据包括：

12、解析所有的待融合多媒体流，得到每个待融合多媒体流的初始音频码流和初始视频码流；

13、解码每个待融合多媒体流的初始音频码流和初始视频码流，得到每个待融合多媒体流解码后的音频数据和视频数据；

14、对每个待融合多媒体流的解码后的音频数据和视频数据进行重采样，得到每个待融合多媒体流重采样后的音频数据和视频数据。

15、可选的，所述对每个待融合多媒体流的音频数据和视频数据进行编码，得到音、视频同步的待融合多媒体流包括：

16、将每个待融合多媒体流的重采样后的音频数据和视频数据进行编码，得到编码后的音频流和视频流；

17、将编码后的音频流和视频流进行同步处理；

18、将同步处理后的音频流和视频流进行封装，得到音、视频同步的待融合多媒体流。

19、可选的，所述将每个待融合多媒体流的重采样后的音频数据和视频数据进行编码，得到编码后的音频流和视频流包括：

20、根据预设的格式和已注册的编码器对每个待融合多媒体流的重采样后的音频数据和视频数据进行编码；

21、将编码后的音频数据、视频数据以及流尾信息写入到输出数据中，得到编码后的音频流和视频流。

22、可选的，所述利用优化的融合算法将待融合多媒体流进行融合包括：

23、将待融合多媒体流解码成连续的待融合图像帧；

24、将对应的待融合图像帧在每帧上对齐；

25、提取待融合图像帧对应位置的像素值；

26、根据预设的权重系数，对像素值进行线性加权计算，得到加权后的像素值；

27、将加权后的像素值重新组合成融合后的图像帧；

28、将融合后的图像帧重新编码，得到融合的多媒体流。

29、可选的，所述方法还包括：

30、根据融合的多媒体流的音视频同步性、色彩准确性、画面稳定性以及噪声水平确定融合质量指标；

31、根据融合质量指标对融合的多媒体流进行修正，得到修正后的媒体流。

32、第二方面，本技术还提供了一种多媒体流融合系统，该系统具有实现第一方面或其任意可能的实现方式中的方法的功能。具体地，该系统包括实现第一方面或其任意可能的实现方式中的方法的单元。

33、在其中的一个实施例中，该系统包括：

34、采集模块，用于获取多个设备的多媒体流；

35、解析模块，用于解析所有的多媒体流，得到每个多媒体流的音频数据和视频数据；

36、同步模块，用于对每个多媒体流的音频数据和视频数据进行编码，得到音、视频同步的多媒体流；

37、融合模块，用于利用优化的融合算法将待融合多媒体流进行融合。

38、可选的，所述采集模块还包括：

39、获取单元，用于获取多个设备的名称列表；

40、分组单元，用于将所有设备的名称列表按照预设格式进行分组；

41、匹配单元，用于根据不同的设备获取对应设备的待融合多媒体流。

42、可选的，所述解析模块包括：

43、解析单元，用于解析所有的待融合多媒体流，得到每个待融合多媒体流的初始音频码流和初始视频码流；

44、第一解码单元，用于解码每个待融合多媒体流的初始音频码流和初始视频码流，得到每个待融合多媒体流解码后的音频数据和视频数据；

45、重采样单元，用于对每个待融合多媒体流的解码后的音频数据和视频数据进行重采样，得到每个待融合多媒体流重采样后的音频数据和视频数据。

46、可选的，所述同步模块包括：

47、编码单元，用于将每个待融合多媒体流的重采样后的音频数据和视频数据进行编码，得到编码后的音频流和视频流；

48、同步单元，用于将编码后的音频流和视频流进行同步处理；

49、封装单元，用于将同步处理后的音频流和视频流进行封装，得到音、视频同步的待融合多媒体流。

50、可选的，所述编码单元还包括：

51、预处理单元，用于根据预设的格式和已注册的编码器对每个待融合多媒体流的重采样后的音频数据和视频数据进行编码；

52、输出单元，用于将编码后的音频数据、视频数据以及流尾信息写入到输出数据中，得到编码后的音频流和视频流。

53、可选的，所述融合模块包括：

54、第二解码单元，用于将待融合多媒体流解码成连续的待融合图像帧；

55、对齐单元，用于将对应的待融合图像帧在每帧上对齐；

56、提取单元，用于提取待融合图像帧对应位置的像素值；

57、加权计算单元，用于根据预设的权重系数，对像素值进行线性加权计算，得到加权后的像素值；

58、组合单元，用于将加权后的像素值重新组合成融合后的图像帧；

59、融合编码单元，用于将融合后的图像帧重新编码，得到融合的多媒体流。

60、可选的，所述装置还包括：

61、确定单元，用于根据融合的多媒体流的音视频同步性、色彩准确性、画面稳定性以及噪声水平确定融合质量指标；

62、修正单元，用于根据融合质量指标对融合的多媒体流进行修正，得到修正后的媒体流。

63、第三方面，本技术还提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。

64、第四方面，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一项所述的方法。

65、第五方面，本技术还提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面任意一种实现方式的方法。

66、本技术实施例与现有技术相比存在的有益效果是：

67、本技术通过解析多个设备的待融合多媒体流，得到不同多媒体流的音、视频数据，将所有多媒体流的音、视频数据进行编号以便于将所有的音、视频进行同步匹配，最后利用优化后的融合算法将待融合的多媒体流进行融合。通过该方法能够在不改变原有广播系统的基础上，使得广播系统同时也能播放视频，并将多个多媒体流进行融合，保持多媒体流音、视频同步。