logo好方法网

用于360度视频译码的自适应帧封装


技术摘要:
一种视频译码设备可以被配置成周期性地选择与RAS相关联的帧封装配置(例如面部布局和/或面部旋转参数)。该设备可以接收多个画面,每一个画面都可以包括多个面部。这些画面可被分组成多个RAS。该设备可以为第一RAS选择成本最低的帧封装配置。作为示例,帧封装配置的成本  全部
背景技术:
360°视频是在媒体行业中出现的一种快速增长的格式。360°视频随着虚拟现实 (VR)设备的可用性的不断增长而得以实现。360°视频可以为观看者提供全新的存在感。与 直线视频(例如2D或3D)相比,360°视频在视频处理和/或递送方面可能会产生难以解决的 工程难题。要实现舒适和/或沉浸式的用户体验可能会需要很高的视频质量和/或很低的时 延。360°视频的庞大视频尺寸可能会妨碍以高质量的方式大规模递送360°视频。
技术实现要素:
一种视频译码设备可以基于具有不同帧封装配置的参考画面(picture)来以预测 性的方式译码360度视频中的当前画面。所述当前画面可以是具有一个或多个面部的帧封 装画面。当前画面的帧封装配置(例如面部布局和/或面部旋转参数)可以被识别,并且可以 识别当前画面的参考画面的帧封装配置。基于对当前画面的帧封装配置与参考画面的帧封 装配置的比较,可以确定是否转换参考画面的帧封装配置,以便匹配当前画面。当参考画面 的帧封装配置不同于当前画面的帧封装配置时,设备可以转换参考画面的帧封装配置,以 便匹配当前画面的帧封装配置。该设备可以基于参考画面来预测当前画面。 一种视频译码设备可以被配置成确定是否转换用于预测当前画面的参考画面的 帧封装配置(例如面部布局和/或面部旋转参数)。当当前画面的帧封装配置与参考画面的 帧封装配置不同时,该视频译码设备可以确定转换参考画面的帧封装配置,以便匹配当前 画面的帧封装配置。该设备可以基于与当前画面和/或参考画面相关联的参数(例如画面参 数集合(PPS)标识符)来确定当前画面的帧封装配置与参考画面的帧封装配置不同。 一种视频设备可以确定与当前画面相关联的帧封装配置(例如面部布局和/或面 部旋转参数)。与当前画面相关联的帧封装配置可以基于所接收的帧封装信息来识别。该设 备可以确定是否接收与当前画面相关联的帧封装信息。该设备可以基于当前画面的帧类型 来确定是否接收与当前画面相关联的帧封装信息。例如,当当前画面是帧内译码画面时,该 设备可以确定接收与当前画面相关联的帧封装信息。该设备可以基于所接收的帧封装信息 来确定帧封装配置。所述帧封装配置可以与当前画面以及一个或多个后续画面(例如,随机 访问分段(RAS)中的一个或多个画面)相关联。 一种视频译码设备可以被配置成周期性地为360度视频中的帧选择帧封装配置 (例如面部布局和/或面部旋转参数)。该设备可以接收多个画面,每一个画面都可以包括多 个面部。这些画面可被分组成多个RAS。帧封装信息可以随着RAS改变。该设备可以为第一 RAS选择帧封装配置。该设备可以为第二RAS选择帧封装配置。第一RAS的帧封装配置与第二 RAS的帧封装配置可以是不同的。在视频比特流中可以用信号通告第一RAS的帧封装配置和 4 CN 111602401 A 说 明 书 2/27 页 第二RAS的帧封装配置。在示例中,可以循环预定的帧封装配置集合。 一种视频译码设备可以被配置成为RAS选择帧封装配置。该设备可以确定RAS的第 一画面(例如帧内译码画面)中的面部梯度。该梯度可以是占主导地位的梯度。该梯度可以 在亮度采样上计算。对于多个帧封装配置中的每一个,该设备可以确定与译码第一画面相 关联的潜在成本。所述多个帧封装配置中的每一个的潜在成本可以基于面部梯度。该设备 可以选择具有最低成本的帧封装配置。 附图说明 图1A示出了采用经度和纬度的示例球面采样。 图1B示出了具有等角矩形投影的示例2D规划器(planner)。 图2A示出了与立方体贴图投影(CMP)相关联的示例三维(3D)几何结构。 图2B示出了用于与CMP相关联的六个面部的示例二维(2D)规划器。 图3示出了360度视频系统的示例实施方式。 图4示出了关于编码器的示例。 图5示出了关于解码器的示例。 图6示出了帧内预测中的示例参考采样。 图7示出了关于帧内预测方向的示例指示。 图8示出了关于具有一个运动矢量的帧间预测的示例。 图9示出了参考采样的示例填充处理。 图10示出了与合并过程相关联的示例。 图11示出了与跨分量的线性模型预测相关联的示例。 图12示出了与确定占主导地位的梯度相关联的示例。 图13A-D示出了关于面部群组定位的示例性组合。 图14示出了与帧间预测相关联的示例。 图15示出了与参考画面转换相关联的示例。 图16A-16C示出了与画面的亮度和色度采样相关联的示例。 图17A-17D示出了与画面的亮度和色度采样相关联的示例。 图18A-18D示出了与画面的亮度和色度采样相关联的示例。 图19A-19D示出了与画面的亮度和色度采样相关联的示例。 图20A-20D示出了与画面的亮度和色度采样相关联的示例。 图21A-21B示出了与面部旋转之前和之后的画面的色度采样相关联的示例。 图22A是可以实施所公开的一个或多个实施例的示例通信系统的系统图示。 图22B是可以在图22A所示的通信系统内部使用的示例无线发射/接收单元(WTRU) 的系统图示。 图22C是可以在图22A所示的通信系统内部使用的示例无线电接入网络(RAN)和示 例核心网络(CN)的系统图示。 图22D是可以在图22A所示的通信系统内部使用的另一个示例RAN和另一个示例CN 的系统图示。 5 CN 111602401 A 说 明 书 3/27 页
分享到:
收藏