基于多轮预下载的体积视频流自适应传输方法及设备

本发明涉及计算机领域，具体涉及一种基于多轮预下载的体积视频流自适应传输方法及设备。

背景技术：

1、随着虚拟现实和增强现实技术的快速发展，特别是得益于高速网络和高性能计算的快速发展，体积视频流近年来在市场上展现出巨大的价值，有广泛的应用前景。然而，体积视频通常具有非常大的数据量，导致现有网络带宽难以支持其全尺寸传输。

2、为了传输体积视频流，主流的方法采用分块压缩的方案。具体来说，通过将长体积视频按照时间顺序分割成多个帧组，再按照空间位置进一步划分为多个切块，每个切块作为独立的传输单元，并压缩成不同的质量级别传输以适应网络波动。在线流媒体过程中，客户端根据物理顺序提前获取帧组以供后续播放，首先预测其潜在的视口和网络吞吐量，然后根据预测结果动态决定下载哪些单元。下载和播放是两个同步进行的过程，播放通常滞后以保持一些缓冲数据以吸收吞吐量波动。

3、然而现有的研究工作采用的顺序视频预取机制极大地受到视口预测误差的影响，预测误差导致下载器多下载了不可见的切块或漏下载了可见切块，成为流媒体性能的瓶颈。

技术实现思路

1、基于上述问题，本专利提出了多轮预下载方法，可以解决下载不精准的问题，尤其减少了可见切块未下载的情况。其技术方案为：

2、一种基于多轮预下载的体积视频流自适应传输方法，在整个传输过程中，服务器端提前将原视频切分压缩，客户端请求对应的视频片段，服务器端收到请求后通过网络将视频传输至客户端，客户端实施多轮预下载策略，并用贪心法来决策各切块的质量级别，下载后播放。

3、优选的，服务器端在切分压缩原视频前需要初始化，具体步骤如下：

4、s1.1视频分帧：服务器首先将提供的内容视频按照时间顺序划分为多个帧组，每个帧组包含t秒的视频内容，即整个视频可分为{gof1，gof2，…，gofn}；

5、s1.2空间切块：每个帧组进一步被细分为多个空间切块，沿x、y、z轴均匀分布；

6、s1.3多级压缩：对每个空间切块采用不同压缩率进行编码，设置不同质量等级，以适应不同的网络条件和用户需求；

7、s1.4存储与索引：压缩后的切块按照一定的索引规则存储于服务器中，以便于快速检索和传输。

8、优选的，客户端包括下载器和播放器；下载器负责视频的下载和解码，并将解码后的视频存储于缓冲区中；播放器负责视频的渲染，按照顺序连续地渲染播放缓冲区中的视频。

9、优选的，客户端初始化包括缓冲区初始化和传输初始化；

10、缓冲区初始化为空，确保有足够的空间存储即将下载的视频数据；

11、传输初始化：设置当前播放位置 p为起始点，即 p=0，初始化所有的帧组 i召回率均为0，即，为后续的下载和播放提供基准；当传输开始时，下载器以最低质量等级请求下载所首个帧组中的所有切块。

12、优选的，在传输过程中，客户端不断向服务器请求下载，具体步骤如下：

13、s3.1若当前播放器已经播放到最后一个帧组，则下载器停止工作，等待播放结束；若当前播放器还没有播放到最后一个帧组，客户端下载器从当前播放帧组的下一个帧组开始向后遍历，预测帧组各个切块是否可见；

14、s3.2预测完成后，对比预测结果和缓冲区存储内容；如果发现当前遍历到的帧组中存在一些切块预测结果为可见但是缓冲区中未存储，则记录这些切块并停止遍历帧组，否则继续向后遍历帧组；

15、s3.3若步骤3.2中记录了一些切块，使用贪心算法请求下载并更新参数，下载完成后转到步骤3.1，启动下一轮的检测和下载；

16、s3.4若步骤3.2中遍历到了最后一个帧组仍未发现需要下载的切块，则暂停下载δt时间，待播放推进一段时间后再次转到步骤3.1，启动下一轮的检测和下载。

17、优选的，步骤s3.3质量级别决策如下：

18、s3.3.1计算本次下载的体积预算，体积预算值基于召回率的提升得到的；对于一次下载，召回率提升定义为本次视口预测的先验召回率与此帧组原有召回率的差；即：

19、；

20、视口预测的先验召回率为模型训练时记录的数据，是由预测区间长度决定的，帧组原有召回率是其上次下载后更新得到的数值；

21、s3.3.2得到召回率提升后，预测接下来的网络带宽，计算本次下载的体积预算 b为预测带宽bw*帧组时长t*召回率提升，即：

22、 ；

23、s3.3.3将视频质量级别决策看作最优化问题，其目标为最大化用户qoe；

24、s3.3.4客户端按照s3.3.3中的结果向服务器发起下载请求并记录下载期间的实际带宽；

25、s3.3.5下载完成后将视频存入缓冲区等待播放，并更新所下载帧组的召回率，其值应该加上本次下载新增的召回率，新增召回率定义为本次实际下载的视频体积与理想下载体积的商，即有，理想下载体积定义为下载期间实际带宽 bw’与帧组时长t的乘积，，其中cur_size是本次实际下载的视频体积，最后转到步骤3.1继续检测。

26、优选的，步骤s3.3.3中，qoe定义为视频的客观质量、冻结时间、质量切换三部分的线性加权组合，，三者的权重分别为 w 1， w 2， w 3；客观质量定义为可见切块的psnr得分除以用户观看距离，为切块 j的psnr ,是布尔类型变量，表示切块j是否出现在用户视口中，表示用户和切块 j的距离；

27、冻结时间的含义是本次下载造成的播放器等待时间，，其中 t p 表示当前播放器正在播放的位置， t i  表示帧组 i的客观时间， δt i  表示本次下载帧组 i花费的时间；质量切换定义为，其中 l i,j 表示切块j选定的质量级别，只有两个相邻帧组中同时可见的切块才会造成质量切换。

28、优选的，将下载时间作为约束条件，qoe剩余两项作为目标函数转化为有约束的最优化问题，即有：

29、 ；

30、；

31、v(*) 是将切块体积 s i,j映射到视频质量 q i,j的函数，使用贪心法求解此最优化问题：

32、s3.3.3.1初始化所有待下载的切块质量均为最低等级，接下来遍历所有待下载切块，若此切块的质量级别提升一级仍然满足约束，则记录此切块质量选择提升一级导致ui的提升量，最终找到一个切块使得提升此切块的质量级别能够满足约束的同时使得ui提升最大，并确定此切块为本轮要提升级别的切块；

33、s3.3.3.2重新开始遍历所有待下载切块，直到提升任一切块的质量等级均不满足约束为止，此时各切块的结果作为最终结果。

34、优选的，客户端的播放器负责将缓冲区的帧组依次渲染和播放，与下载器的工作并行进行，播放器每隔t秒将渲染后的帧组呈现给用户；当播放器即将播放的帧组与下载器正在下载的帧组序号相同时，播放器将冻结，等待下载器下载完成后再渲染播放。

35、一种计算机设备，包括至少一个处理器以及存储有计算机程序的计算机可读介质，所述计算机程序被所述处理器读取并运行时，实现本技术所述的方法。

36、与现有技术相比，本技术有益效果如下：

37、1.提高了下载切块的召回率：相比于现有的串行顺序下载，本专利能减少可见切块未下载的情况，从而提高下载切块的召回率。

38、2.减小视频冻结时间：现有的串行下载方法单次下载整个帧组，而本专利提出的方法单次下载帧组内部分切块，结合合理的比特率分配策略能够减小视频冻结时间。

39、3.更好的用户体验：相比于现有的串行顺序下载，本专利通过更高的视频质量和更少的冻结时间使得最终用户体验更好。