技术摘要：
视频编码或解码系统中用于处理拆分成多个编码单元(CU)的条带的视频数据处理方法以及装置。视频编码或解码系统接收当前CU的输入数据以及检查所述当前CU的尺寸。如果所述当前CU的尺寸大于最大尺寸阈值，将所述当前CU的残差设置为0或者在跳过模式中对该当前CU进行编解码。  全部
背景技术：
高效视频编码(High-Efficiency  Video  Coding，HEVC)也称为H.265，是由来自 ITU-T研究小组的视频编码专家组成的视频编解码联合合作小组(JCT-VC)所开发的视频压 缩标准。HEVC标准大大提高了其先前标准(H.264)的编码效率。两个标准通过比较视频图像 的不同区域来找到视频图像与相邻图像中的冗余来压缩视频数据，以及这些区域用描述原 始像素的短信息来替代这些区域。HEVC中的编码工具之一能够将这些区域的尺寸扩展成更 大或更小的块，称为编码树单元(Coding  Tree  Unit，CTU)，而H.264只允许这些区域的固定 尺寸。HEVC的编码结构将每一视频图像拆分成多个非重叠的正方形CTU。编码的图像由一个 或一组条带(slice)表示，以及每一条带由整数个CTU组成。以光栅扫描次序(raster  scanning  order)处理条带中的每一单独的CTU。使用帧内预测(intra  prediction)或帧间 预测(inter  prediction)对双向预测(Bi-predictive，B)条带中的块进行编码，其中使用 至多两个运动向量以及参考索引来预测每一帧间编码块中的采样值(sample  value)。也使 用帧内预测或帧间预测对预测(Predictive，P)条带中的块进行编码，但是使用至多一个运 动向量以及参考索引来预测每一帧间编码块中的采样值。仅使用帧内预测对帧内(Intra， I)条带中的块进行编码。 在HEVC主规格中，CTU的最大以及最小尺寸由在序列参数集(Sequence  Parameter  Set，SPS)中发信的语法元素指定。使用四叉树(QuadTree，QT)拆分结构进一步将每一CTU递 归地拆分成一个或多个非重叠的编码单元以适应各种局部运动以及纹理特性(texture  characteristic)。CTU的尺寸从64×64、32×32以及16×16像素采样中选择。在QT拆分结构 的每一深度处，N×N块是单个叶CU或者拆分成具有等尺寸N/2×N/2的四个较小块。具有尺 寸M×M像素采样的CTU是四叉树编码树的根节点(root  node)，以及四个M/2×M/2块是从根 5 CN 111602394 A 说　明　书 2/14 页 节点拆分的子四叉树节点(child  quadtree  node)。四个M/2×M/2块的每一个可以成为另 一个拆分成四个子节点的父节点，该子节点在每一空间维度具有减少一半的尺寸。如果编 码树节点没有进一步拆分，则它是叶CU。叶CU尺寸被限制为大于或等于最小允许的CU尺寸， 以及在SPS中指定最小以及最大CU尺寸。在图1中示出了递归四叉树拆分结构的示例，其中 实线指示CTU  100中的CU边界。 一旦CTU被拆分成多个叶CU，每一叶CU根据用于预测的预测单元(Prediction  Unit，PU)拆分类型被进一步拆分成一个或多个PU。图2示出了在HEVC标准中定义的8种不同 的PU拆分类型。根据图2中示出的8种PU拆分类型之一，每一CU被拆分成一个、两个或4个PU。 不同于CU的递归四叉树拆分，每一叶CU可以仅被拆分一次来形成PU。因为相同的预测进程 应用于PU中的所有像素，PU作为共享预测信息的基础代表块(basic  representative  block)。在PU的基础上将预测信息传达到解码器。 在获得基于PU拆分类型的预测进程所生成的残差数据后，根据残差四叉树 (Residual  QuadTree，RQT)拆分结构，将属于叶CU的残差数据拆分成一个或多个TU，以将残 差数据转换成用于紧凑数据表示的转换系数。图1中的虚线指示CTU  100中的TU边界。TU是 将转换与量化应用于残差数据或转换系数的基础代表块。对于每一TU，具有与TU相同尺寸 的转换矩阵被应用于残差数据来生成转换系数，以及在TU的基础上量化这些系数并将其传 达到解码器。4:2:0色彩格式中视频图像的每一TU由尺寸8×8、16×16或32×32的亮度采样 的一个转换块(Transform  Block，TB)或尺寸4×4亮度采样的四个TB以及色度采样的两个 对应的TB组成。在SPS中指定了最小以及最大TB尺寸。 术语CTB(coding  tree  block，编码树块)、CB(coding  block，编码块)、PB (prediction  block，预测块)以及TB被定义为指定分别与CTU、CU、PU以及TU有关的一个色 彩分量的二维(2-D)采样数组。例如，一个CTU包含一个亮度CTB、两个色度CTB以及其相关的 语法元素。类似的关系对CU、PU以及TU是有效的。在HEVC系统中，除非达到了色度块的最小 尺寸，否则相同的四叉树拆分结构通常应用于亮度以及色度分量两者。 二叉树(binary-tree，BT)拆分结构是四叉树拆分结构的可替换结构，其递归地将 块拆分成两个较小的块。图3示出了二叉树拆分结构的6种示例性拆分类型，其包括对称拆 分类型31与32以及非对称拆分类型33、34、35以及36。最简单的二叉树拆分结构是对称水平 拆分类型21以及对称垂直拆分类型31。对于尺寸M×N的给定块，发信第一旗标来指示块是 否被拆分成两个较小块，如果第一旗标指示拆分，紧接着发信指示拆分类型的第二旗标。如 果拆分类型是对称水平拆分，这一M×N块被拆分成尺寸为M×N/2的两个块。这一拆分进程 可以重复直到拆分块的块尺寸、宽度或高度达到在高层级语法集(如SPS)中定义的最小块 尺寸、宽度或高度。因为二叉树拆分结构能够水平地或垂直地拆分块，需要指示最小块宽度 以及高度两者。如果块高度小于最小块高度意味着不允许水平拆分，以及类似地，如果块宽 度小于最小块宽度意味着不允许垂直拆分。 图4A以及图4B示出了根据二叉树拆分结构以及其对应的编码树结构的块拆分的 示例。在图4B中，在二叉树编码树的每一拆分节点(也就是，非叶节点)的一个旗标用于指示 拆分类型，旗标值等于0指示对称水平拆分，而旗标值等于1指示对称垂直拆分。 ITU-T  SG16WP3以及ISO/IEC  JTC1/SC29/WG11的联合视频专家组(Joint  Video  Expert  Team，JVET)目前正在开发名为多功能视频编码(Versatile  Video  Coding，VVC)的 6 CN 111602394 A 说　明　书 3/14 页 下一代视频编码标准。在联合勘探模块(Joint  Exploration  Model，JEM)以及VVC工作草案 (WD)1中已采用了一些有前途的新编码工具用于进一步研究。JEM中采用了一种称为四叉树 加二叉树(Quadtree  plus  Binary  Tree，QTBT)结构的新拆分结构来平衡四叉树拆分结构 以及二叉树拆分结构的编码效率以及编码复杂性之间的权衡。图5A示出了示例性的QTBT结 构，其中CTU首先由四叉树拆分结构拆分然后由二叉树拆分结构拆分。CU可以由四叉树拆分 结构递归地拆分直到当前CU尺寸达到最小四叉树叶节点尺寸。如果叶四叉树块尺寸不大于 最大的二叉树根节点尺寸，每一叶四叉树块可以由二叉树结构进一步拆分。可以递归地应 用二叉树拆分直到当前CU尺寸、宽度或高度达到最小二叉树叶节点尺寸、宽度或高度或者 二叉树深度达到最大二叉树深度。在JEM中，仅对称水平拆分以及对称垂直拆分是两个允许 的二叉树拆分类型。从JEM中QTBT拆分生成的叶CU是用于预测以及转换处理两者而没有任 何进一步的拆分的基础代表块，其意味着每一CU恰好包含用于预测处理的一个PU以及每一 CU恰好包含用于转换处理的一个TU。与HEVC相反，没有额外的信息用于指定从CU到多个PU 以及从CU到多个TU的拆分结构。 图5A示出了根据QTBT拆分结构的块拆分结构的示例以及图5B示出了图5A中示出 的QTBT拆分结构的对应的编码树图。图5A以及图5B中的实线指示四叉树拆分而虚线指示二 叉树拆分。类似于图4B，在二叉树结构的每一拆分节点(也就是，非叶节点)，一个旗标指示 使用了哪一拆分类型，0表示对称水平拆分以及1指示对称垂直拆分。在QTBT拆分结构中，在 高层级语法中(如在SPS中)指示了最小的四叉树叶节点尺寸、最大二叉树根节点尺寸、最小 二叉树叶节点宽度与高度以及最大二叉树深度与高度。在P以及B条带中，每一CTU由三个色 彩分量的CTB组成。在I条带中，三个色彩分量的CTB分别由两个CTU表示，一个CTU用于亮度 CTB以及另一个CTU用于两个色度CTB。单独地控制两个CTU的拆分结构以及为每一CTU发信 指示从CTU到多个CU的拆分的编码树表示。每一亮度CU包含来自亮度分量的一个CB而每一 色度CU包含分别来自色度cb以及色度cr分量的两个CB。对于在I条带中编码的CTU，用于每 一色度CTU的编码树表示可能不同于用于对应亮度CTU的编码树表示。对P以及B条带中编码 的CTU，相同的编码树表示应用于色度CTB以及亮度CTB两者。 VVC中采用的多类型树(Multi-Type-Tree，MTT)拆分结构通过允许MTT拆分结构的 第二层级中的二叉树拆分以及三叉树拆分两者，扩展了QTBT拆分树结构中两层级树结构的 概念。MTT中树的两层级也分别称为区域树(Region  Tree，RT)以及预测树(Prediction  Tree，PT)。第一层级RT总是QT拆分，而第二层级PT是BT拆分或中心侧三叉树拆分(Triple- Tree，TT)。例如，CU首先由RT拆分，即QT拆分，以及每一RT叶节点可以进一步由PT拆分，PT是 BT或TT拆分。由PT拆分的块可以进一步用PT拆分直到达到最大PT深度。PT叶节点是用于预 测以及转换的叶CU，并且不会被进一步拆分。图6示出了MTT拆分结构中所使用的5种拆分类 型，其中拆分类型包括QT拆分类型61、BT拆分类型62与63以及TT拆分类型64与65。垂直中心 侧TT拆分类型64与水平中心侧TT拆分类型65将块拆分成三个较小块，所有块在一个空间维 度具有减小的尺寸而在另一个空间维度保持相同的尺寸。 HEVC标准中的编码块旗标(coded  block  flag，cbf)用于指示转换块中是否有任 何非0系数，以及当cbf等于1，相关转换块包含至少一个非0系数，否则，不进一步对相关的 转换块进行编码并且转换块中所有系数被推断为0。在HEVC中，发信语法元素cbf_luma、 cbf_cb以及cbf_cr来分别从亮度、cb以及cr分量中推导转换块的cbf。在帧间编码的CU中利 7 CN 111602394 A 说　明　书 4/14 页 用语法元素rqt_root_cbf(residual  quadtree  root  cbf，残差四叉树根cbf)简要地指示 帧间编码的CU中的转换块的所有编码块旗标是否都为0。例如，当rqt_root_cbf等于1时，该 CU中一转换块的至少一个cbf为1，而当rqt_root_cbf等于0时，不对该CU中多个转换块的所 有编码块旗标进行编码并且推断为0。在VVC  WD1中，在CU的视频流中存在类似的语法元素 cu_cbf(coding  unit  coded  block  flag，编码单元编码块旗标)来指示与该CU相关的所有 编码块旗标是否为0。 在HEVC标志中定义的另一语法元素cu_skip_flag被发信于用于帧间预测条带中 的每一CU来指示当前CU是否在跳过模式(MODE_SKIP)中进行编码。当cu_skip_flag是1，表 示当前CU在跳过模式中进行编码，对于当前CU，除了运动向量合并候选索引(merge_idx)之 外没有其他语法元素被编码。从所选择的相邻帧间预测的分区中推断在跳过模式中编码的 当前CU的帧间预测参数，以及当前CU的相关参考被推断为等于0。
技术实现要素：
视频编解码系统中视频处理的方法及装置，包括接收与当前条带中当前CU有关的 输入视频数据，确定该当前CU的尺寸是否大于最大尺寸阈值，当该当前CU的该尺寸大于该 最大尺寸阈值时，将该当前CU的残差设置为0，以及对该当前条带中该当前CU进行编码来形 成视频比特流，或者对来自该视频比特流的该当前条带中的该当前CU进行解码。该当前条 带由递归拆分结构(如四叉树、QTBT、MTT或其他拆分结构)拆分成多个非重叠的CU，以及每 一CU仅包含一个转换单元(TU)。该当前CU作为预测以及转换处理两者的基础代表块，因此 其不被拆分成多个较小块用于预测以及转换处理。 该当前CU的该尺寸以及该最大尺寸阈值以一维或二维进行测量，例如，当以一维 测量该尺寸时，该当前CU的该尺寸是该当前CU的宽度或高度，以及当以二维测量该尺寸时， 该当前CU的该尺寸是面积。在一些实施例中，该当前CU中的当前TU包含一个亮度TB以及两 个色度TB，以及当该当前CU大于该最大尺寸阈值时，将亮度以及色度TB中所有系数层级值 设置为0。 当该当前CU的该尺寸大于该最大尺寸阈值时，视频编码器跳过发信与该当前CU的 相关残差有关的信息，以及当该当前CU的该尺寸大于该最大尺寸阈值时，对应的视频解码 器推断该当前CU的该相关残差等于0。 可以在该视频比特流的高层级语法集中显示发信或隐式推导该最大尺寸阈值。在 一些示例中，设置该最大尺寸阈值或从最大转换尺寸推导该最大尺寸阈值，以及该最大转 换尺寸是最大转换单元尺寸或最大转换块尺寸。 在一个特定实施例中，当该当前CU大于该最大尺寸阈值时，通过选择跳过模式对 该当前CU进行编码或解码，视频编码器或解码器将该当前CU的残差设置为0。在这一实施例 中，当该当前CU的尺寸大于该最大尺寸阈值，该当前CU推断为由跳过模式进行编码，当该当 前CU的尺寸大于该最大尺寸阈值时，因为视频解码器推断跳过旗标为1，该视频编码器可以 跳过发信跳过旗标(cu_skip_flag)。 当该当前CU的尺寸大于该最大尺寸阈值时，示例性视频编码器或解码器通过将该 当前CU中一个或多个TB的cbf设置为0，来将该当前CU的残差设置为0。当TB的cbf等于0时， 推断TB中所有系数层级值为0。当该当前CU的尺寸大于该最大尺寸阈值时，编码器可以跳过 8 CN 111602394 A 说　明　书 5/14 页 发信该当前CU中TB的cbf，因此对应的解码器推断该cbf等于0。类似地，当该当前CU的尺寸 大于该最大尺寸阈值时，编码器可以跳过发信残差四叉树根cbf、CU预测模式旗标以及合并 旗目标一个或其组合，以及对应的解码器推断该残差四叉树根cbf等于0，CU预测模式旗标 为帧间预测模式，以及该合并旗标为不在合并模式中编码。 视频处理方法的变体不仅将该当前CU的该尺寸与该最大尺寸阈值进行比较，还将 该当前CU的该尺寸与最小尺寸阈值进行比较。当该当前CU的该尺寸小于该最小尺寸阈值 时，将该当前CU的残差设置为0。在视频比特流的高层级语法集中显示发信或隐式推导该最 小尺寸阈值。例如，设置该最小尺寸阈值或者从指定最小转换尺寸推导该最小尺寸阈值。 在一些实施例中，该当前条带是B条带或P条带，因此仅允许B条带以及P条带中的 CU以大于最大尺寸阈值的尺寸进行编码。I条带中的CU被限制为尺寸小于或等于最大尺寸 阈值。在一些其他实施例中，仅允许帧间编码的CU具有大于该最大尺寸阈值的尺寸，而所有 帧内编码的CU被限制为具有小于或等该最大尺寸阈值的尺寸。当该当前CU的尺寸大于该最 大尺寸阈值时，用具有0残差的跳过模式或AMVP模式对该当前CU进行编码。 根据一个实施例，在视频比特流中发信额外的语法元素指示是否允许大尺寸CU， 以及如果该语法元素指示不允许大尺寸CU，当该当前CU的该尺寸大于该最大尺寸阈值时， 该视频编码器或解码器强制将该当前CU拆分成多个较小的CU。 本发明方面进一步提供了视频编解码系统中用于处理视频的装置，其包括一个或 多个电子电路，用于接收与当前CU有关的输入数据，确定该当前CU的尺寸是否大于最大尺 寸阈值，当该当前CU的该尺寸大于该最大尺寸阈值时，将该当前CU的残差设置为0，在没有 进一步拆分的情况下，通过预测以及转换处理对该当前CU进行编码或解码。 本发明的各方面进一步提供了存储程序指令的非暂态计算机可读媒介，该程序指 令使得装置的处理电路执行视频编码处理，当该当前CU的尺寸大于该最大尺寸阈值时，通 过将该当前CU的残差设置为0来对当前CU进行编码或解码。在阅读后续描述以及具体实施 例后，本发明的其他方面及特征对本领域技术人员将是显而易见的。 附图说明 将参考以下附图详细描述作为示例提出的本发明的各种实施例，其中相同的附图 标记表示相同的组件，以及其中： 图1示出了根据四叉树拆分结构的将CTU拆分成CU以及将每一CU拆分成一个或多 个TU的示例性编码树。 图2示出了在HEVC标准中定义的用于将CU拆分成一个或多个PU的8种不同的PU拆 分类型。 图3示出了二叉树拆分结构的6种示例性拆分类型。 图4A示出了根据二叉树拆分结构的一示例性块拆分结构。 图4B示出了对应于图4A中示出的二叉树拆分结构的编码树结构。 图5A示出了根据QTBT拆分结构的示例性块拆分结构。 图5B示出了对应于图5A的QTBT拆分结构的编码树结构。 图6示出了示例性MTT拆分结构中所使用的5种拆分类型。 图7示出了用于对当前条带中当前CU进行编码或解码的视频处理方法的一个实施 9 CN 111602394 A 说　明　书 6/14 页 例的流程图。 图8示出了用于对当前条带中当前CU进行编码或解码的视频处理方法的另一个实 施例的流程图。 图9示出了根据本发明实施例的结合视频处理方法的视频编码系统的示例性系统 框图。 图10示出了根据本发明实施量的结合视频处理方法的视频解码系统的示例性系 统框图。