基于PI控制器的全景视频控制系统及方法

本发明涉及360视频，具体为基于pi控制器的全景视频控制系统及方法。

背景技术：

1、360视频是虚拟现实技术的重要组成部分，随着人们日益增长的观看需求，360视频的发展也越来越迅速，但因360视频庞大的数据量，如何高效的传输和高清的播放360成为为了急需解决的问题。

2、然而，全景视频巨大的数据量，导致现有网络应用均无法提供较为优质的体验质量，制约着相关产品的发展；为了确保360视频在hmd中的临场感体验，4k分辨率是360视频的最基本配置；理论上，24k分辨率全景视频才能完全匹配人眼60像素每度的分辨能力；全景视频的高分辨率需求为其网络传输带来了巨大的挑战，如何高效的传输全景视频变成了时下亟待解决的问题，目前全景视频的流媒体传输方式，目前倾向于采用国际标准化组织旗下的动态图像专家组制定的流媒体传输标准，它是基于http的动态自适应流媒体传输技术，通过自适应信道带宽下载不同编码速率的视频片段以保证视频播放流畅性，由于受到人眼视角范围的限制，同一时刻用户只能观看到360视频的部分区域，全画幅图像的传输极大的降低了传输效率，造成资源浪费为此特提供一种基于pi控制器的全景视频控制系统及方法以解决上述问题。

技术实现思路

1、针对现有技术的不足，本发明提供了基于pi控制器的全景视频控制系统及方法，解决了上述技术问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：基于pi控制器的全景视频控制系统，包括服务器端和客户端两个部分；服务器端配置信息如表采用nginx-1.14.0搭建，视频流使用x265-1.7进行编码，分别存储了bl视频流和el视频流；el流为用户的观看视域提供高质量的观看体验，tile块的编码以较小的qp进行，分别为22、27、32和37；bl流用于保证用户的观看连续性，服务器端仅存储一种qp的码率，其值为42；服务器端编码并存储多个标准序列库中的4k全景视频，总长度为100s，帧率为30fps，采样格式为yuv420；客户端在c++版本的libdash库基础上搭建，使用dummynet插件控制网络带宽；

3、所述服务器端的功能模块包括带宽预测模块、视角预测模块以及码率自适应模块，通过预测未来运动轨迹和网络带宽情况，使用自适应下载策略选择最优的tiles组合；客户端首先让下载器请求下载并解析mpd文件；然后下载器根据解析后的信息，获得对应的url链接并向服务器发送请求分别下载bl块和el块；最后预下载模块根据预测的用户未来视域以及网络带宽和bl缓冲区状态，提前将bl块下载到对应缓冲区等待使用，保证视域内高质量流畅画面。

4、优选的，所述视角预测模块根据用户过去观看轨迹对未来视域进行预测，以过去一秒内的运动轨迹作为样本，使用线性回归模型进行预测，以保证预测结果的实时性与准确性，同时提出截断式线性预测方法，通过设置一段时间内的头盔运动轨迹作为样本空间，以邻近当前时刻的一个单调区间作为线性预测的基准，用来预测该时刻的头盔运动轨迹情况。

5、优选的，所述带宽预测模块采用了一种平滑吞吐量估计方法，通过设计带宽估计框架，在此框架中，特征提取模块提供了过去一段时间内的视频段下载速率序列的多个特征；基于这些特征，控制器模块将决定调整吞吐量估计模块中的计算模型。

6、优选的，基于pi控制器的全景视频控制系统的方法，包含以下步骤；

7、s1、根据每个类型数据块的不同功能分配带宽和缓冲区；bl块和el块的下载是由客户端上两个独立的基于http/2的下载连接完成，分别记为连接1和连接2，其中连接1用于下载bl块，连接2用于下载近期预测的el块；所述两个连接共享相同的下载链接和有限信道带宽；对于bl块，设置了较长的缓冲区上限对于el块，使用极短的缓冲区来预提取el块；

8、s2、预测带宽的部分被分配到连接1为整个观看过程提供基本的质量，bl块会持续下载直到整个缓冲区被填满为止，在pi控制算法中，bl块和el块的缓冲区大小被限制在某个固定参考值的左右波动；通过pi控制方法，在综合考虑缓存和信道带宽的情况下，并选用合适的调度算法，选择最优的码率组合，进而提高用户的观看体验质量；

9、s3、对于bl块，设置缓存区大小为bb，缓存目标为当前缓存量bb(k)，首先根据pi控制器的输出控制基础层的缓存，pi控制器的输出为：

10、

11、bb(k)＝bb(k-1)+δ-t(k)

12、

13、其中，eb(k)为第k个segment下载完成时的缓存大小b(k)与缓存目标的偏差；δ为划分的单个segment的时长，t(k)为下载基础层和增强层的第k个segment的总，长,test(k)为预测的信道带宽；当基础层的缓存小于目标缓存时，继续下载基础层的segment，直到到达目标缓存；增强层暂停下载，暂停时间为当基础层缓存大于目标缓存且小于时，基础层与增强层同时下载；当基础层大于时，基础层暂停下载，暂停时间为只下载增强层，此时分配给基础层的带宽为0；

14、s4、当基础层缓存大于等于目标缓冲区时，开始缓存增强层；则增强层最终的预测带宽为：

15、

16、在一般的pi控制器的输出结果中进行了优化，考虑了视频波动以及播放中断的情况，将最后的实际请求速率记作rqpi(k)；el层的码率集合为块k的码率时：当预测带宽大于实际带宽t(k)时，码率较块k增加一级，即(当i＝n，码率不变)；当预测带宽等于实际带宽t(k)时，码率不变，即当预测带宽小于实际带宽t(k)时，因为基础层是优先下载完成，因此增强层码率较块k减少一级，即当i＝1，增强层停止下载，仅仅下载基础层；

17、s5、在所有情况下，块k+1的实际请求视频速率必须满足≤块k+1的码率表示为rqpi(k+1)：

18、

19、视频开始下载，检测基础层缓存区的大小：当缓存区小于目标缓存时，根据pi控制器的输出带宽预测结果，推算还需下载视频的时长δl，并下载，直到检测到基础层的缓存区到达目标缓存；当缓存区等于目标缓存，此时计算同时下载基础层和增强层，根据增强层pi控制器的输出带宽预测结果，选择tile的码率，并下载，直到检测到基础层的缓存区大于目标大小；当缓存区大于目标缓存，只下载增强层；当be(t)＜＝betar根据增强层pi控制器的输出带宽预测结果，选择tile的码率，并下载，直到检测到基础层的缓存区大于目标大小；否则，系统停止下载，直到缓冲区均到达目标缓存。

20、本发明公开了基于pi控制器的全景视频控制系统及方法，其具备的有益效果如下：

21、1、该基于pi控制器的全景视频控制系统及方法，通过搭建服务器端和客户端两个部分，服务器端的功能模块包括带宽预测模块、视角预测模块以及码率自适应模块，通过预测未来运动轨迹和网络带宽情况，使用自适应下载策略选择最优的tiles组合；客户端首先让下载器请求下载并解析mpd文件；然后下载器根据解析后的信息，获得对应的url链接并向服务器发送请求分别下载bl块和el块；最后预下载模块根据预测的用户未来视域以及网络带宽和bl缓冲区状态，提前将bl块下载到对应缓冲区等待使用，保证视域内高质量流畅画面，同时减少非视角区域的带宽浪费。