基于流媒体的音视频实时同步播放方法及系统与流程

本发明属于数据处理，具体是基于流媒体的音视频实时同步播放方法及系统。

背景技术：

1、音视频实时同步播放方法是一种利用同步技术确保音频和视频在播放过程中保持时间上的一致性和协调性的方法，旨在提升用户体验，增强视听效果，满足用户对于高质量、流畅的观赏体验的需求。但是现有的音视频实时同步播放方法存在音视频同步不准确，导致相同空间下的设备播放进度不一致，造成播放噪音，结束时间不一致的技术问题；存在音视频传输过程中有延迟和波动，容易出现卡顿、画面错位的问题流畅度和一致性较差的技术问题。

技术实现思路

1、针对上述情况，为克服现有技术的缺陷，本发明提供了基于流媒体的音视频实时同步播放方法及系统，针对存在音视频同步不准确，导致相同空间下的设备播放进度不一致，造成播放噪音，结束时间不一致的技术问题，采用使用滤波器对模块化包络进行平滑处理，采用极性测定单位计算信号的极性值评估信号的极性方向，更好地对音视频信号进行同步处理，迭代计算估计角度，提高解调的精确度；针对存在音视频传输过程中有延迟和波动，容易出现卡顿、画面错位的问题流畅度和一致性较差的技术问题，采用网络传输优化，通过链路扩频法对多径信号进行重组合，构建数据传输带宽分配决策函数，计算输出信号率与基本要素之间的关联规则特征量，通过白化处理消除信号之间的相关性，计算信道分配的震荡幅值和通信重组的带宽分配特征量。

2、本发明采取的技术方案如下：本发明提供的基于流媒体的音视频实时同步播放方法，该方法包括以下步骤：

3、步骤s1：数据采集，获取音频和视频的流数据；

4、步骤s2：流媒体数据处理，在服务器端搭建流媒体服务器，用于接收、处理和转发音视频流数据，确保数据能够被客户端实时获取；

5、步骤s3：实时接收解码，使用滤波器对模块化包络进行平滑处理，采用极性测定单位计算信号的极性值评估信号的极性方向，更好地对音视频信号进行同步处理，迭代计算估计角度，提高解调的精确度；

6、步骤s4：网络传输优化，通过链路扩频法对多径信号进行重组合，构建数据传输带宽分配决策函数，计算输出信号率与基本要素之间的关联规则特征量，通过白化处理消除信号之间的相关性，计算信道分配的震荡幅值和通信重组的带宽分配特征量；

7、步骤s5：播放器控制，对播放器实现音视频的同步播放，控制音视频的播放速度和同步性，确保用户观看时无明显的错位和卡顿。

8、进一步地，在步骤s1中，所述数据采集，具体为获取音频和视频的流数据，包括以下步骤：

9、步骤s11：服务器创建播放任务，在服务器端，创建一个播放任务，包括流媒体资源的信息和播放设备的信息，将任务信息存储在服务器端，并为该任务生成一个唯一的任务标识；

10、步骤s12：建立连接，在服务器端，建立websocket连接，等待终端设备的连接和消息，实现服务器与终端设备之间的实时通信；

11、步骤s13：通信集成，与websocket进行通信集成，确保采集到的音频和视频的流数据能够通过websocket进行实时的传输和通知，根据业务逻辑处理采集到的视频流数据，实现数据的实时更新和同步。

12、进一步地，在步骤s2中，所述流媒体数据处理，具体为对接收到的音视频数据进行处理，包括格式转换、分发和加密，确保流媒体服务器能够快速高效地处理大量的视频流数据，并为客户端提供流畅的播放体验。

13、进一步地，在步骤s3中，所述实时接收解码，包括以下步骤：

14、步骤s31：信号处理，处理输入信号并获得相应的解析信号，使用fir滤波器对模块化包络进行平滑处理；

15、步骤s32：采用极性测定单位获得极性值，所述极性测定单位指代用来获得信号的极性值的一种参数，用于评估信号的极性方向，所用公式如下：

16、；

17、式中，p是极性值，表示信号的极性，sign是符号函数，ve表示信号的参考电压，vx表示信号的实际电压，imax是最大mx索引号；

18、步骤s33：计算解调信号，确定解调信号的极性并获取解调信号，采用乘法规则得到解调信号，所用公式如下：

19、；

20、式中，dx表示解调信号，取sinθ或cosθ，具体表明在解调过程中信号的相位信息，θ是真实的角度值，n是样本编号，mx（n）是信号的参考量，imin和imax，分别表示样值的最小值和最大值；

21、步骤s34：迭代计算估计角度，直到误差小于设定值，所用公式如下：

22、；

23、；

24、式中，ε表示误差，表示当前迭代估计的角度与前一次迭代的角度之间的差异，φi-1和φi是两个相邻迭代的角度，k1是增益系数，取值范围为[1，1.026]，由于改进的ato可以通过迭代迅速逼近角度，因此k1取1，避免引起结果震荡。

25、进一步地，在步骤s4中，所述网络传输优化，包括以下步骤：

26、步骤s41：多径信号重组，采用链路扩频法对通信信道传输链路模型的多径信号进行重组合，采用卷积形式对信道进行重叠叠加，抑制多径影响；

27、步骤s42：构建数据传输带宽分配决策函数，所用公式如下：

28、；

29、；

30、式中，h0和h1表示两种假设，即在不同情况下的信号处理过程，x（t）是wsn重构的多径信号，hw（t）是伪码间干扰的强度，s（t）是解调器的输出信号，是经过处理后的wsn重构的多径信号，是经过处理后的解调器的输出信号；

31、步骤s43：计算输出信号频率与基本要素之间的关联规则特征量，根据通信信道频率与时间的关系，进行白化处理，用于消除信号之间的相关性，更好地提取信号中的相关特征，计算输出信号频率与基本要素之间的关联规则特征量，所用公式如下：

32、；

33、式中，表示输出信号频率与基本要素之间的关联规则特征量，是时间压缩的性能参数，f（t）是时变参数；

34、步骤s44：计算信道分配的震荡幅值，为了提高信道分配的频率分辨率，采用信道误差补偿方法，自适应优化信道分配，计算信道分配的震荡幅值，所用公式如下：

35、；

36、式中，a是瞬时频率，dγ是通信频谱的相对平稳参数，f表示频谱信号，是信道分配的震荡幅值，用于评估信道分配的稳定性和有效性，表示在参数γ取值于集合γ时，频谱信号和通信频谱的相对平稳参数的内积的最大值；

37、步骤s45：计算通信重组的带宽分配特征量，基于可伸缩和平移小波变换，得到通信重组的带宽分配特征量，所用公式如下：

38、；

39、式中，表示通信重组的带宽分配特征量，是各尺度下的信号加权求和的结果，bv是数据传输信道的脉冲加权系数，xv表示不同尺度下的信号特征，引入信道传输的多尺度特性来分配信道的实时可靠性，采用时变信道和时延扩展均衡方法平衡信道调度，结合信道误差补偿，实现数据传输带宽的自适应分配，v是当前尺度的索引，v是尺度的总数。

40、进一步地，在步骤s5中，所述播放器控制，具体为对播放器实现音视频的同步播放，控制音视频的播放速度和同步性，确保用户观看时无明显的错位和卡顿，包括以下步骤：

41、步骤s51：定义基准进度，计算设备播放的当前任务下各设备播放进度的最快绝对时间点，作为基准进度；

42、步骤s52：计算当前设备播放进度与基准进度的时间差；

43、步骤s53：执行优化处理，设备收到服务器返回的进度，去除网络传输的耗时后，计算对比自身进度与基准进度的差异，计算出处理方式并执行优化，包括以下步骤：

44、步骤s531：自身进度比基准进度快，不做处理；

45、步骤s532：自身进度比基准进度慢3秒以上，做跳转处理；

46、步骤s533：自身进度比基准进度慢3秒以内，则增加播放速度，所用公式如下：

47、；

48、式中，v表示增加的播放速度，delay表示自身进度比基准进度慢的时间，单位为毫秒，此公式根据用户观看进度的相对位置灵活调节播放速度，节省时间。

49、本发明提供的基于流媒体的音视频实时同步播放系统，包括数据采集模块、流媒体数据处理模块、实时接收解码模块、网络传输优化模块和播放器控制模块；

50、所述数据采集模块，具体为获取音频和视频的流数据；

51、所述流媒体数据处理模块，具体为在服务器端搭建流媒体服务器，用于接收、处理和转发音视频流数据，确保数据能够被客户端实时获取；

52、所述实时接收解码模块，具体为使用滤波器对模块化包络进行平滑处理，采用极性测定单位计算信号的极性值评估信号的极性方向，更好地对音视频信号进行同步处理，迭代计算估计角度，提高解调的精确度；

53、所述网络传输优化模块，具体为通过链路扩频法对多径信号进行重组合，构建数据传输带宽分配决策函数，计算输出信号率与基本要素之间的关联规则特征量，通过白化处理消除信号之间的相关性，计算信道分配的震荡幅值和通信重组的带宽分配特征量；

54、所述播放器控制模块，具体为对播放器实现音视频的同步播放，控制音视频的播放速度和同步性，确保用户观看时无明显的错位和卡顿。

55、采用上述方案本发明取得的有益成果如下：

56、（1）针对存在音视频同步不准确，导致相同空间下的设备播放进度不一致，造成播放噪音，结束时间不一致的技术问题，采用使用滤波器对模块化包络进行平滑处理，采用极性测定单位计算信号的极性值评估信号的极性方向，更好地对音视频信号进行同步处理，迭代计算估计角度，提高解调的精确度；

57、（2）针对存在音视频传输过程中有延迟和波动，容易出现卡顿、画面错位的问题流畅度和一致性较差的技术问题，采用网络传输优化，通过链路扩频法对多径信号进行重组合，构建数据传输带宽分配决策函数，计算输出信号率与基本要素之间的关联规则特征量，通过白化处理消除信号之间的相关性，计算信道分配的震荡幅值和通信重组的带宽分配特征量。