技术摘要：
本发明公开了一种基于SVC和DASH的360°视频流调度方法。方法包括:计算基于SVC编码的全景视频的视频块大小相关性；利用视频块大小相关性预测待下载的视频块大小；使用视频块大小预测结果增强客户端的DASH调度策略。本发明的方法能有效缓解因VBR视频码率在时间维度呈高度  全部
背景技术：
随着全景摄像技术的出现与廉价交互式显示设备的普及，360°全景视频流媒体正 在逐步成为一种流行的互联网服务。多媒体技术正在从为用户提供简单的观看体验演变为 提供新型的沉浸式虚拟环境体验。 360°全景视频流媒体从制作到被用户消费的整个过程为：首先，通过多个摄像机 捕获多个方向/角度的视频，将其拼接缝合并编辑；其次，由于现有的视频编码标准还不支 持对球面视频进行编码，因此目前编码360°全景视频需要先选取合适的投影方式(例如等 矩形投影、立方体投影等)将其投影到平面视频，再选取合适的编码方式对其编码；接着，通 过自适应的网络流媒体传输技术对全景视频内容进行传输；然后，在数据到达目标设备后， 对其进行解码操作；最后，通过选取的不同投影方式以及相应的输入/输出技术(如可以通 过佩戴头戴式显示器，在360°视频播放过程中自由调整观看视口区域)来指导渲染的过程， 最终将360°全景视频呈现在用户眼前。 然而，在当前互联网传输360°全景视频依然面临着高带宽和低延迟两大挑战。用 户在任一时刻所观看的360°视频，仅为整个球面视频的有限部分。若在网络中传输完整的 360°视频，则所传输的位于用户视口之外的视频会极大地浪费资源，包括带宽、存储空间和 处理能力。因此，在360°视频流媒体中实现视口自适应的传输，就能为降低带宽、减少延迟 带来机会。现有的研究通过带宽预测、视口预测来解决带宽频繁波动与头部运动快速变化 对自适应流媒体调度算法造成的影响，但基于VBR编码的视频的码率在时间维度存在高度 抖动性。现有的算法都是以MPD文件的平均码率来预测未来视频块的大小，这将会造成比特 率高估或低估问题。比特率高估可能会造成视频质量难以提升的问题，而比特率低估可能 会造成缓冲区消耗过快甚至干枯的问题，从而制约自适应调度算法的有效性。因此，如何有 效缓解比特率高估/低估对ABR算法的影响是亟需解决的问题。
技术实现要素：
技术问题：针对现有技术存在的不足，本发明的目的是要提供一种基于SVC和DASH 的360°视频流调度方法，可以有效地缓解比特率高估/低估对ABR算法的影响，提高视频播 放质量，提升用户感知的播放体验。 技术方案：为实现本发明的目的，本发明提供了一种基于SVC和DASH的360°视频流 调度方法，该方法包括下述步骤： (1)在空间维度，将每个360°全景视频切分为M个矩形分块； (2)在质量层次维度，使用SVC编码，将每个分块进一步编码为L个质量层次不同的 视频分块，即包含一个可独立解码播放的比特率最低的基础层视频分块，以及多个依赖于 4 CN 111586414 A 说　明　书 2/11 页 低层次的逐步提高质量的增强层视频分块； (3)在时间维度，将分块分层后的视频块进一步划分为N个分段，每个分段的持续 时间为D秒，同时，为每个分块生成MPD文件，每个MPD文件中包含了此分块的L个层次以及N 个分段的信息，并将上述预处理后的视频块文件以及MPD文件存储在服务器端； (4)计算并分析预处理后的基于SVC编码的全景视频的视频块大小相关性； (5)用户选择观看的视频，客户端根据DASH调度策略，按视频时间顺序逐步向服务 器发出请求，下载视频块文件，同时渲染播放，直到播放结束，其中，在播放结束前，在客户 端逐步下载视频的过程中，利用视频块大小相关性以及预测算法预测待下载视频块的大 小，并使用视频块大小预测结果增强客户端的DASH调度策略，以提升此视频还未播放部分 的播放质量。 进一步的，步骤(4)中的相关性包括(4.1)计算视频块大小的层次相关性和(4.2) 计算视频块大小的空间相关性。 进一步的，(4.1)计算视频块大小的层次相关性，方法如下： (4.1 .1)对每个视频的每个分块的基础层的视频块，按时间顺序统计分段的视频 块大小序列为Xlayer；对增强层的视频块，按时间顺序统计分段视频块大小序列为Ylayer； (4.1.2)计算视频块分段大小序列Xlayer与Ylayer之间的相关系数，计算结果作为此 分块的层次相关系数； 进一步的，(4.2)计算视频块大小的空间相关性，方法如下： (4.2.1)对每个视频的每个分块的所有层次的视频块，将同一时间的分段所对应 的不同层次的分段大小累计计算，并按时间顺序统计分段累计大小序列，此序列作为 Xspatial；对其相邻分块的所有层次的视频块，将同一时间的分段所对应的不同层次的分段 大小累计计算，并按时间顺序统计分段累计大小序列为Yspatial； (4.2.2)计算视频块大小序列Xspatial与Yspatial之间的相关系数，计算结果作为此分 块与其相邻分块之间的空间相关系数； 进一步的，步骤(5)的具体方法如下： (5.1)客户端对用户选择观看的视频进行初始化下载，初始化下载内容包括：客户 端从服务器端拉取的此视频的所有分块的MPD文件，以及调度策略中需要初始化下载的视 频块文件； (5.2)客户端在初始化下载后，在客户端逐步下载视频的过程中，基于视频块大小 相关性预测待下载视频块的大小，并以此预测结果来增强客户端的DASH调度策略，同时开 始按时间顺序播放视频，直到播放结束。 进一步的，所述步骤(5.2)中，利用视频块大小相关性以及预测算法来预测待下载 视频块的大小，并以此预测结果来增强客户端的DASH调度策略的方法为： (5.2.1)基于待下载视频块所对应的基础层视频块大小、待下载视频块所在分块 的增强层与基础层的分段视频块大小序列之间的相关性、以及预测算法，来预测待下载视 频块大小，即利用层次相关性以及预测算法进行预测； (5.2.2)基于待下载视频块的相邻分块的同一层次同一分段的视频块大小、待下 载视频块与相邻的分块大小序列之间的相关性、以及预测算法，来预测待下载视频块的大 小，即利用空间相关性以及预测算法进行预测； 5 CN 111586414 A 说　明　书 3/11 页 (5.2.3)若能利用步骤(5.2.1)和/或(5.2.2)的基于相关性的视频块大小预测算 法预测出待下载视频块的大小，则将预测算法预测的视频块大小作为待下载视频块的期望 大小；若不能，则使用原有的基于MPD的平均码率计算出的视频块大小作为待下载视频块的 期望大小。 有益效果：与现有技术相比，本发明的技术方案具有如下优点： 通过本发明所提出的方法，能有效缓解因VBR视频码率在时间维度呈高度波动且 MPD仅提供平均比特率而导致的比特率高估/低估问题，利用层次与/或空间相关性，基于视 频块大小预测增强360°视频的调度策略，能有效提升用户感知的播放体验。 附图说明 图1示出了依据本发明一实施方式的基于SVC和DASH的360°视频流调度方法流程 图； 图2示出了依据本发明一实施方式的等矩形投影后的视频的空间分块组织方式； 图3示出了依据本发明一实施方式的层次相关系数与空间相关系数的计算示例； 图4示出了依据本发明一实施方式的层次与空间Pearson相关系数的CDF图； 图5示出了依据本发明一实施方式的基于层次与空间相关性预测方法的示例； 图6示出了依据本发明一实施方式的利用层间相关性预测Diving视频的L1与L2层 的片段大小； 图7示出了依据本发明一实施方式的利用空间相关性预测Diving视频的L0、L1与 L2层片段大小； 图8示出了依据本发明一实施方式的系统模型； 图9示出了依据本发明一实施方式的实验所采用的带宽波动轨迹； 图10示出了依据本发明一实施方式的三个视频(依次为Rollercoaster、Paris和 Diving)平均视口播放比特率； 图11示出了依据本发明一实施方式的三个视频(依次为Rollercoaster、Paris和 Diving)平均视口播放层次。