SDIOverIP实时流异构音视频同步播放方法与流程

本发明属于音视频转码，具体涉及一种sdioverip实时流异构音视频同步播放方法。

背景技术：

1、随着光纤网络的普及，广电系统和互联网领域慢慢将传统的sdi（serial digitalinterface，串行数字接口）基带信号通过sdioverip协议，将单一无损非压缩视频数据、音频数据分别通过光纤网络ip化，这样可以实现将摄像机采集的基带信号长距离传输和播放。但是实际环境由于传输网络带宽不同，播放终端不同，sdioverip信号需要转换成传统的音视频压缩信号到终端播放，目前主流的实现方法是把单独视频和单独音频通过音视频编码和文件复用器交织复用生成一路音视频流，通过网络传输该音视频流，播放终端播放该音视频流。

2、由于sdioverip音视频已经交织复用成了一路音视频流，最终播放也是同一终端，所以输出的音视频一般是天然同步的。但是在实际应用场景中，有需要用不同终端通过异构网络分别同步播放视频和音频的情形，由于最终终端只需要播放对应视频或者音频，如果用目前主流方法通过音视频交织流统一播放，将会大大增加播放终端的传输网络带宽，如果终端都分别对音视频解码，也会大大增加终端的性能消耗以及相应的硬件投入成本。

技术实现思路

1、鉴于以上存在的问题，本发明提供了一种sdioverip实时流异构音视频同步播放方法，用于减少播放终端的网络带宽和硬件成本。

2、为解决上述技术问题，本发明采用如下的技术方案：

3、一种sdioverip实时流异构音视频同步播放方法，包括以下步骤：

4、将sdioverip信号的视频流进行视频编码，sdioverip信号的音频流进行音频编码，将编码文件封装成ts文件格式；

5、采用sdioverip协议通过ptp时钟进行音视频同步，基于ptp时钟基准，将对应音视频帧的ptp时间转换为世界统一时钟utc时间，并将转换后每一帧音视频的utc时间写入ts文件封装层；

6、将编码后的音视频ts文件数据通过异构网络进行传输；

7、音视频播放终端通过网络链路接收到音视频ts文件数据，通过utc时间的封装方法对应解封装出对应每一帧的utc时间，解码对应音视频压缩数据，根据音视频utc时间与本地utc时间控制同步播出。

8、一种可能的实现方式中，所述将转换后每一帧音视频的utc时间写入ts文件封装层包括：ts文件层定义扩展utc时间数据结构存入pes_private_data。

9、一种可能的实现方式中，utc时间数据结构包括同步头、版本号、是否包含utc时间、以及2个预留的字段，结尾为utc时间。

10、一种可能的实现方式中，所述音视频播放终端为异构播放终端。

11、一种可能的实现方式中，所述异构播放终端通过同步时钟源进行时钟同步，将各自输入的音视频ts文件数据还原每一帧音视频帧的utc时间，解码音视频编码码流，根据本地utc时钟播放音视频。

12、一种可能的实现方式中，所述同步时钟源为ntp时钟服务器。

13、一种可能的实现方式中，进一步包括：将音视频帧utc时间加入统一偏移时间，即：utc_play = utc_frame + utc_offset，其中utc_play为实际播放帧utc时间，utc_frame为原始音视频帧utc时间，utc_offset为播放延时时间；根据终端本地utc时间控制音视频帧播放包括：如果本地utc时间小于帧utc时间时，等待音视或频播放，如果本地utc时间大于等于帧utc时间时，播放该音频或者视频。

14、一种可能的实现方式中，所述音视频播放终端为同一播放终端。

15、一种可能的实现方式中，进一步包括：

16、同一播放终端通过同步时钟源进行时钟同步，将同时输入的音视频ts文件数据还原每一帧音视频帧的utc时间，解码音视频编码码流，根据本地utc时钟播放音视频；

17、将音视频帧utc时间加入统一偏移时间，即：utc_play = utc_frame + utc_offset，其中utc_play为实际播放帧utc时间，utc_frame为原始音视频帧utc时间，utc_offset为播放延时时间；根据终端本地utc时间控制音视频帧播放包括：如果本地utc时间小于帧utc时间时，等待音视或频播放，如果本地utc时间大于等于帧utc时间时，播放该音频或者视频。

18、一种可能的实现方式中，所述同步时钟源为ntp时钟服务器。

19、采用本发明具有如下的有益效果：将sdioverip信号独立的音频和视频分别编码、封装、传输，播放终端根据自身播放视频或音频，单独获取对应网络数据流，解决了sdioverip信号独立的音视频数据流经过音视频压缩，保证不同终端同步播放音视频数据，实现sdioverip信号独立的音视频流经过转码，通过异构网络实现同步播放。

技术特征：

1.一种sdioverip实时流异构音视频同步播放方法，其特征在于，包括以下步骤：

2.如权利要求1所述的sdioverip实时流异构音视频同步播放方法，其特征在于，所述将转换后每一帧音视频的utc时间写入ts文件封装层包括：ts文件层定义扩展utc时间数据结构存入pes_private_data。

3.如权利要求2所述的sdioverip实时流异构音视频同步播放方法，其特征在于，utc时间数据结构包括同步头、版本号、是否包含utc时间、以及2个预留的字段，结尾为utc时间。

4.如权利要求1至3任一所述的sdioverip实时流异构音视频同步播放方法，其特征在于，所述音视频播放终端为异构播放终端。

5.如权利要求4所述的sdioverip实时流异构音视频同步播放方法，其特征在于，所述异构播放终端通过同步时钟源进行时钟同步，将各自输入的音视频ts文件数据还原每一帧音视频帧的utc时间，解码音视频编码码流，根据本地utc时钟播放音视频。

6.如权利要求5所述的sdioverip实时流异构音视频同步播放方法，其特征在于，所述同步时钟源为ntp时钟服务器。

7.如权利要求5所述的sdioverip实时流异构音视频同步播放方法，其特征在于，进一步包括：将音视频帧utc时间加入统一偏移时间，即：utc_play = utc_frame + utc_offset，其中utc_play为实际播放帧utc时间，utc_frame为原始音视频帧utc时间，utc_offset为播放延时时间；根据终端本地utc时间控制音视频帧播放包括：如果本地utc时间小于帧utc时间时，等待音视或频播放，如果本地utc时间大于等于帧utc时间时，播放该音频或者视频。

8.如权利要求1至3任一所述的sdioverip实时流异构音视频同步播放方法，其特征在于，所述音视频播放终端为同一播放终端。

9.如权利要求8所述的sdioverip实时流异构音视频同步播放方法，其特征在于，进一步包括：

10.如权利要求9所述的sdioverip实时流异构音视频同步播放方法，其特征在于，所述同步时钟源为ntp时钟服务器。

技术总结本发明公开了一种SDIOverIP实时流异构音视频同步播放方法，包括以下步骤：将SDIOverIP信号的视频流进行视频编码，SDIOverIP信号的音频流进行音频编码，将编码文件封装成TS文件格式；采用SDIOverIP协议通过PTP时钟进行音视频同步，基于PTP时钟基准，将对应音视频帧的PTP时间转换为世界统一时钟UTC时间，并将转换后每一帧音视频的UTC时间写入TS文件封装层；将编码后的音视频TS文件数据通过异构网络进行传输；音视频播放终端通过网络链路接收到音视频TS文件数据，通过UTC时间的封装方法对应解封装出对应每一帧的UTC时间，解码对应音视频压缩数据，根据音视频UTC时间与本地UTC时间控制同步播出。技术研发人员：陈家兴,许春蕾,陈刚,顾映捷,叶建华,陈左乐,穆灵竹受保护的技术使用者：杭州当虹科技股份有限公司技术研发日：技术公布日：2024/7/23