多路视频码流实时处理、同屏播放方法及相关系统与流程

技术特征：
1.一种多路视频码流实时处理方法，其特征在于，包括：并行接收各视频服务器通过关联的码流接收通道发送的实时视频码流，将接收的实时视频码流拆分为多帧数据帧，将数据帧加入对应缓存队列，所述码流接收通道与分配的cpu内存绑定，所述码流接收通道与所述缓存队列一一对应；针对每个缓存队列，按设定间隔向对应硬件解码缓存区域发送数据帧；并行对各解码缓存区域中的数据帧进行硬件解码，将得到的解码后数据帧输送到对应渲染缓存区域；并行离屏渲染各渲染缓存区域中的解码后数据帧，得到用于播放的渲染后数据帧。2.如权利要求1所述的方法，其特征在于，所述按设定间隔向对应硬件解码缓存区域发送数据帧，具体包括：判断当前时间与向对应硬件解码缓存区域发送上一数据帧的时间的间隔是否不小于设定间隔；若是，向所述对应硬件解码缓存区域发送当前数据帧；若否，等待至当前时间与向所述对应硬件解码缓存区域发送上一数据帧的时间的间隔等于所述设定间隔，向所述对应硬件解码缓存区域发送当前数据帧。3.如权利要求2所述的方法，其特征在于，所述向所述对应解码缓存区域发送当前数据帧前，还包括：判断当前缓存队列中数据帧的帧数是否大于设定帧数；若否，执行所述向所述对应解码缓存区域发送当前数据帧的步骤；若是，按接收时间由先到后的顺序遍历当前缓存队列，直至当前遍历的数据帧为关键帧，执行所述向所述对应解码缓存区域发送当前数据帧的步骤。4.如权利要求3所述的方法，其特征在于，所述按接收时间由先到后的顺序遍历当前缓存队列，直至当前遍历的数据帧为关键帧，具体包括：按接收时间由先到后的顺序遍历当前缓存队列，若当前遍历的数据帧不是关键帧，释放当前数据帧，直至当前遍历的数据帧为关键帧；或，按接收时间由先到后的顺序遍历当前缓存队列，直至当前遍历的数据帧为关键帧，释放遍历过的非关键数据帧。5.如权利要求1所述的方法，其特征在于，所述将接收的实时视频码流拆分为多帧数据帧，具体包括：将接收的实时视频码流解析后封装为数据包；将数据包拆分为多帧数据帧，为每帧数据帧填加预先从视频服务器回复的sdp信息中解析出的vps、pps和sps信息。6.如权利要求1所述的方法，其特征在于，若判断cpu存在闲置内存，所述按设定间隔向对应硬件解码缓存区域发送数据帧，还包括：按设定间隔向对应软件解码缓存区域发送数据帧；相应的，所述并行对各硬件解码缓存区域中的数据帧进行硬件解码，还包括：并行对各软件解码缓存区域中的数据帧进行软件解码。7.如权利要求1所述的方法，其特征在于，所述离屏渲染各渲染缓存区域中的解码后数据帧，具体包括：
利用fbo方式离屏渲染各渲染缓存区域中的解码后数据帧。8.如权利要求1～7任一项所述的方法，其特征在于，还包括：将从所述渲染缓存区域获取的渲染后数据帧发送到ai缓存区域；将ai缓存区域中的各路视频码流的渲染后数据帧进行时间对齐，将各路视频码流的同一时间的渲染后数据帧融合为一帧，得到融合后数据帧。9.一种多路视频码流同屏播放方法，其特征在于，包括：并行接收各视频服务器通过关联的码流接收通道发送的实时视频码流，将接收的实时视频码流拆分为多帧数据帧，将数据帧加入对应缓存队列，所述码流接收通道与分配的cpu内存绑定，所述码流接收通道与所述缓存队列一一对应；针对每个缓存队列，按设定间隔向对应硬件解码缓存区域发送数据帧；并行对各解码缓存区域中的数据帧进行硬件解码，将得到的解码后数据帧输送到对应渲染缓存区域；根据对应子窗口的位置并行离屏渲染各渲染缓存区域中的解码后数据帧，在所述子窗口播放渲染后数据帧，实现各路实时视频码流的同屏播放。10.一种多路视频码流实时处理系统，其特征在于，包括实时码流接收模块、实时码流缓存模块、硬件解码组件和渲染模块；所述实时码流接收模块，用于并行接收各视频服务器通过关联的码流接收通道发送的实时视频码流，将接收的实时视频码流拆分为多帧数据帧，将数据帧加入所述实时码流缓存模块中的对应缓存队列，所述码流接收通道与分配的cpu内存绑定，所述码流接收通道与所述缓存队列一一对应；所述实时码流缓存模块，用于针对每个缓存队列，按设定间隔向所述硬件解码组件的对应硬件解码缓存区域发送数据帧；所述硬件解码组件，用于并行对各解码缓存区域中的数据帧进行硬件解码，将得到的解码后数据帧输送到所述渲染模块的对应渲染缓存区域；所述渲染模块，用于并行离屏渲染各渲染缓存区域中的解码后数据帧，得到用于播放的渲染后数据帧。11.一种多路视频码流同屏播放系统，其特征在于，包括实时码流接收模块、实时码流缓存模块、硬件解码组件和视频显示模块；所述实时码流接收模块，用于并行接收各视频服务器通过关联的码流接收通道发送的实时视频码流，将接收的实时视频码流拆分为多帧数据帧，将数据帧加入所述实时码流缓存模块中的对应缓存队列，所述码流接收通道与分配的cpu内存绑定，所述码流接收通道与所述缓存队列一一对应；所述实时码流缓存模块，用于针对每个缓存队列，按设定间隔向所述硬件解码组件的对应硬件解码缓存区域发送数据帧；所述硬件解码组件，用于并行对各解码缓存区域中的数据帧进行硬件解码，将得到的解码后数据帧输送到所述视频显示模块的对应渲染缓存区域；所述视频显示模块，用于根据对应子窗口的位置并行离屏渲染各渲染缓存区域中的解码后数据帧，在所述子窗口播放渲染后数据帧，实现各路实时视频码流的同屏播放。12.一种终端设备，其特征在于，所述终端设备设置有如权利要求10所述的多路视频码
流实时处理系统，或设置有如权利要求11所述的多路视频码流同屏播放系统。13.一种多路视频码流同屏播放系统，其特征在于，包括播放设备和多路视频服务器，所述播放设备设置有如权利要求11所述的多路视频码流同屏播放系统；所述终端设备用于同屏播放各路所述视频服务器发送的实时视频码流。14.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，当该指令被处理器执行时实现权利要求1～8任一项所述的多路视频码流实时处理方法，或实现权利要求9所述的多路视频码流同屏播放方法。

技术总结
本发明公开了多路视频码流实时处理、同屏播放方法及相关系统。其中，多路视频码流实时处理方法包括：并行接收各视频服务器通过关联的码流接收通道发送的实时视频码流，将接收的实时视频码流拆分为多帧数据帧，将数据帧加入对应缓存队列，码流接收通道与分配的CPU内存绑定，码流接收通道与所述缓存队列一一对应；针对每个缓存队列，按设定间隔向对应硬件解码缓存区域发送数据帧；并行对各解码缓存区域中的数据帧进行硬件解码，将得到的解码后数据帧输送到对应渲染缓存区域；并行离屏渲染各渲染缓存区域中的解码后数据帧，得到用于播放的渲染后数据帧。能够实现多路视频码流实时并线处理，且优化了CPU内存资源的占用。且优化了CPU内存资源的占用。且优化了CPU内存资源的占用。


技术研发人员：赵云龙 王元禹
受保护的技术使用者：重庆创通联达智能技术有限公司
技术研发日：2021.09.29
技术公布日：2022/3/21