技术摘要：
本发明提供了一种多功能视频编码中基于ALF滤波的预测模式快速选择方法，该方法的发明构思是利用ALF滤波过程中得到的方向梯度值来预测当前块的帧内预测的角度模式，缩小角度预测模式的搜索范围，以尽可能地降低编码时间，利用ALF滤波得到的方向梯度值来提前跳过不必要的  全部
背景技术：
近年来，随着各种应用场景下视频业务的发展，人们对于视频的需求也越来越多， 对视频质量的要求也越来越高。例如一些视频网站和直播平台提供4K乃至8K的超高清视频 流，同时引入高动态范围(High-Dynamic  Range，简称HDR)技术，来给用户提供更加高质量 的视频服务体验。随着5G技术的商用化，网络带宽大幅提升，各种新型的视频创作内容，视 频应用以及视频业务都将应运而生，会进一步丰富整个互联网中的视频生态；但是与此同 时，视频流量在互联网流量中的占比会持续增加，这会对当前全球的计算机通信网络带来 更大的挑战。传统的高效率视频编码(High  Efficiency  Video  Coding，简称HEVC)技术已 无法达到较好的压缩性能，所以运动图像专家组(Moving  Picture  Epert  Group，简称 MPEG)和视频编码专家组(VideoCoding  Epert  Group，简称VCEG)于2015年10月成立了联合 视频探索组(Joint  Video  Eploration  Team，简称JVET)，研究出了新的视频编码标准，并 命名为多功能视频编码(Versatile  Video  Coding，简称VVC)，并发布了相应的编码器测试 模型VTM1.0。目前编码器测试模型已经更新到VTM7.0版本。VTM采用了四叉树以及嵌套的多 类型树结构(QTMT)，使得编码单元(Coding  Unit，简称CU)的划分更加灵活；许多新的编码 工具，如亮度与色度分离的划分结构以及多变换选择均被VVC采用，并集成到VTM中。同时在 前代标准HEVC的基础上，除了去块滤波(Deblocking  Filter，简称DBF)和样点自适应补偿 滤波(Sample  Adaptive  Offset，简称SAO)的滤波方法，提出了自适应环路滤波(Adaptive  Loop  Filte，简称ALF)的方法，亮度分量根据局部水平，垂直，45度角和135度角对角线的梯 度方向和值(activity)为每个4×4的块选择25种滤波器中的一个，进一步提高了滤波效 果。 VTM中共有三个环路滤波器。除了HEVC中就有的DBF和SAO，还采用了ALF。VTM中滤 波过程的顺序是：DBF>>SAO>>ALF。在VTM中，SAO和DBF与HEVC中的过程几乎相同。 ALF滤波的执行过程为： (1)确定滤波形状。在VTM中，使用了如图1中的两种菱形滤波器。色度分量采用5× 5菱形滤波器滤波，亮度分量采用7×7菱形滤波器滤波； (2)对于亮度分量，对每个4×4的块计算其梯度值D和活动值A，并根据D和A计算出 所需的滤波器索引值；对于色度分量，不应用分类方法，即对每个色度分量应用单个ALF系 数集； (3)对相应的滤波器系数和滤波器限幅值进行几何变换，相当于把几何变换应用 到滤波器覆盖的区域； (4)对相应区域进行滤波。 3 CN 111586405 A 说　明　书 2/7 页 ALF滤波技术有以下几个特点： (1)ALF是根据局部梯度的方向和活动性，对于亮度分量的每个4×4块选择25个滤 波器之一，而对于色度分量只采用1个； (2)ALF滤波是在整帧视频图像编码完成之后进行的； (3)ALF应用二次采样的一维拉普拉斯算法来降低块分类的复杂性。如图2所示，对 四种梯度的计算都采样相同的下采样位置。 (4)ALF简化了滤波操作，针对滤波器系数和滤波器限幅值采用了三种变换操作： 对角线变换、垂直翻转、旋转。 与HEVC以及H.264/AVC一样，多功能视频编码(Versatile  Video  Coding，简称 VVC)也采用了基于块的混合编码框架。图3所示为典型的VVC视频编码流程。输入的图像首 先被划分为大小相等的正方形图像块，这些图像块被称为树形编码单元(Coding  Tree  Unit，简称CTU)，CTU是四叉树以及嵌套的多类型树划分结构的根节点。CTU将根据四叉树及 嵌套多类型树的划分结构进一步划分为编码单元(Coding  Unit，简称CU)，CU是进行预测的 基本单位。一个CU首先会根据其帧内帧间属性进行帧内预测或者帧间预测。如果是帧内预 测，则主要利用空间相邻的参考像素经过线性插值得到当前CU的像素预测值，如果是帧间 预测，则是利用时间相邻(前一帧或前几帧)的参考像素经过位移补偿得到当前CU的像素预 测值。然后将CU的预测值与原始值相减得到残差，残差经过变换进一步减少相邻像素点误 差的空间相关性并得到相应的残差系数。残差系数经量化后一方面会结合编码模式以及相 关的编码参数等信息进行熵编码，从而得到压缩后的码流。另一方面，量化后的残差系数会 经反量化反变换，然后将反量化反变换后的残差和预测值相加得到重建像素，重建图像经 滤波后生成参考帧并存储在解码图像缓存器中，用于后面的CU帧内预测或帧间预测时作参 考像素。 为了适应图像更丰富的纹理，HEVC设定了更多的帧内预测模式，对应不同的预测 方向。HEVC有35种帧内亮度预测模式，其中33种是方向预测模式或称角度预测模式，另外两 种是直流(DC)和平面(Planar)模式，如图4所示。色度预测模式有5种，模式0是Planar模式， 相当于亮度模式0；模式1是是垂直模式，相当于亮度模式1；模式2是水平模式，相当于亮度 模式10，模式3是DC模式，相当于亮度模式1；模式4又称为导出模式，采用和对应亮度块相同 的模式。 为了更好的刻画视频图像中任意的边界方向特征，VVC中的帧内预测模式增加到 了67种，其中包括65种角度预测模式、DC模式和平面模式，其中65种角度预测模式中包含了 HEVC中的33种模式，DC模式和平面模式与HEVC中的一样，如图5所示。在VTM5.0中，对于亮度 分量，有多个低频不可分离变换(Low-Frequency  Non-Separable  Transform，简称LFNST) 通道。在第一个LFNST通道下，预测模式的过程为：1)亮度预测模式的初始化；2)遍历67种预 测模式，跳过VVC中新加的33种角度模式，只对HEVC中存在的35种模式进行SATD的计算，从 中选出SATD最小的几个模式和它们的SATD值并存入模式列表和cost列表，并且将模式数 目、模式列表和cost列表保存到LFNST通道；3)遍历上一步选出来的几种模式，这几种模式 如果是在2—66之间，则将每种模式与其相邻的两个模式比较SATD，从中选出SATD值最小的 一个，更新模式列表和cost列表中的值，但模式数目不变；4)构建MPM列表并遍历MPM列表中 的6种模式，计算这6种模式的SATD，并与上一步中的cost列表中的SATD值比较，选择SATD最 4 CN 111586405 A 说　明　书 3/7 页 小的那个模式，再次更新模式列表和cost列表中的值；5)用哈达玛变换导出MIP候选模式； 6)将MIP的MPM模式添加到模式列表并更新模式数目和cost列表；7)从ISP列表中删除非MPM 模式；8)把常规帧内、MIP和ISP模式组合到一起创建完整的模式列表；9)遍历模式列表中所 有的模式，用RDCost检测每个模式，选择RDCost最小的模式作为最佳预测模式。 视频图像在进行编码时，首先会划分成若干个固定大小的方形编码单元CTU，CTU 会以自身为划分的起点，根据图像具体特征自适应地划分为若干个编码单元CU。 在日益多样的应用场景下，VVC针对性地提出嵌套二叉和三叉划分的四叉树结构 的概念，以更加灵活多样的CU划分方式代替HEVC较简单的划分方式，并将最大CU的尺寸扩 大为128×128。采用这样的划分结构，VVC中便不再区分CU和PU，TU的概念，同时增加了四种 二叉和三叉划分方式：水平二叉划分，垂直二叉划分，水平三叉划分，垂直三叉划分(如图6 所示)。灵活的划分方式，使得CU可以得到更优划分结构，有效提高编码效率。 VVC编码器在图像进行编码时，遵循基于四叉树的嵌套多类型树的划分方式。首 先，将图像划分为若干个基本编码单元CTU(128×128像素大小)。然后，以每个CTU作为划分 的起点，用四叉树的结构进行划分。对于得到的每个四叉划分的叶子结点，以多类型树结构 进行递归划分，当CU的划分深度达到设定的最大值便不再划分。在划分过程中，会计算每种 划分方式在各种预测模式下的率失真代价，选择率失真代价最小的划分方式对应的预测模 式，作为最佳预测模式。 VVC所采用的嵌套多类型树的四叉树划分结构，给视频图像中编码单元CU的划分 带来更灵活多样的方式，如图7所示，基于嵌套多类型树的四叉树结构划分的CTU；同时可以 得到适应于图像特征更优的CU划分，取得更好的编码质量和编码效率。但这种划分结构也 带来很大的问题，由于需要遍历每种划分方式至最小的CU划分，并计算其率失真代价，编码 的计算复杂度大大增加。因此，如何降低CU划分的计算复杂度是节省编码时间，加速编码的 关键。
技术实现要素：
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种多 功能视频编码中基于ALF滤波的预测模式快速选择方法。 根据本发明第一方面实施例的一种多功能视频编码中基于ALF滤波的预测模式快 速选择方法，所述一种多功能视频编码中基于ALF滤波的预测模式快速选择方法，包括以下 步骤： S1：获得编码数据，所述编码数据由VTM5.0对视频序列编码码流统计分析后得到； S2：对当前CU进行帧间预测，获得当前PU的最佳MV，保留最佳MV的矢量值，确定对 应的最佳参考块； S3：对所述最佳参考块的梯度信息进行统计分析； S4：计算当前CU参考块最大的平均像素梯度值AvgGrad； S5：获得最优划分模式； S6：进入当前PU帧内预测，遍历67种帧内预测模式，跳过VVC中新增加的角度模式， 对HEVC中的35种预测模式进行SATD计算，确定模式列表CandList中的模式； S7：若模式列表CandList中的模式介于2～66之间，比较每种模式与其相邻的两种 5 CN 111586405 A 说　明　书 4/7 页 模式的SATD值，将SATD值最小的模式加入模式列表CandList； S8：根据当前块左边和上边的相邻块，构建MPM，遍历MPM列表中的模式，若MPM中的 模式不包括在CandList中，则将其加入到CandList中； S9：分别执行MIP模块和ISP模块，更新候选列表CandList； S10：获取参考块中每个像素点所对应的ALF滤波四种梯度值； S11：统计参考块中各方向ALF滤波梯度值之和，选取梯度值之和最小的ALF滤波梯 度方向作为当前PU帧内预测的候选方向模式并保存； S12：计算当前PU的预测方向的范围； S13：保留位于CandList中的候选模式，确定最终的候选预测模式范围，选择最优 的帧内预测模式； S14：确定当前CU的最佳预测模式和划分模式，进行下一CU的预测编码。 步骤S1中， 主要编码参数如表1所示，分别使用VVC的Encoder_lowdelay_P_vtm .cfg配置文 件，对3个序列在四个量化参数(QP)下编码10帧。这3个视频序列均来自VVC发布的官方测试 序列，具有不同的分辨率、纹理特征。需要说明的是，编码数据的获取条件并不局限于表1， 可以根据具体需求场景自行设置。 表1测试条件 根据本发明的一些实施方式，步骤S3中，所述梯度信息包括四个方向。 根据本发明的一些实施方式，所述统计分析的方法为：分别计算参考块中各像素 的四个方向梯度之和SumGradV，SumGradH，SumGradG1和SumGradG2，然后计算四个梯度和中 的最大值MaxGrad与最小值MinGrad之间的差值，并进行归一化处理，求出差值占梯度和最 大值的比率GradRatio。 GradRatio反映了各个方向梯度的均衡性和一致性，若该值比较小，则证明各个方 向梯度的分布较均匀。同时需要保证各个方向梯度的绝对大小在一定的范围以内，说明沿 各个梯度方向像素变比较缓慢；反之，图像像素变化则比较剧烈。 步骤S4中，计算当前CU参考块最大的平均像素梯度值AvgGrad，来描述最大梯度和 方向的梯度变化情况。在此处，设立变量阈值α，β，α和β的值为经验值，通过大量的实验，不 断的测试优化得到。若当前CU的GradRatio小于α且AvgGrad小于β，则说明当前CU区域像素 值变化较为平缓，图像较为平坦，可以跳过当前块的划分；反之，则说明当前区域图像变化 剧烈，局部的细节信息较多，不同图像部分的差异较大，需要进行进一步的划分。 6 CN 111586405 A 说　明　书 5/7 页 步骤S5中，通过计算各模式下划分子块的GradRatio和AvgGrad，来确定可能的划 分模式。对于三叉划分和二叉划分，若其中存在子块的满足GradRatio大于设定阈值α或 AvgGrad大于β，则当前划分模式即加入候选划分模式列表；否则，跳过当前划分模式。最后 再对候选划分模式进行RDcost的筛选，得到最优划分模式。 根据本发明的一些实施方式，步骤S6中，所述模式列表CandList中的模式为SATD 值最小的几种模式。 根据本发明的一些实施方式，步骤S10中，ALF滤波四种梯度值包括四种梯度方向： Hor，Ver，Diag1，Diag2。 步骤S10中，参考块的大小必须与当前PU的大小相同，所以遍历参考块的每个像素 点时，用当前PU的宽和高作为循环的最大值。 步骤S12中，判断上一步选出候选方向模式Dir是否与CandList候选模式列表中的 角度模式重复。若无重复，则直接将CandList列表中的默认预测模式作为预测方向的范围； 若选出的梯度方向位于CandList列表中，则将梯度方向Dir作为候选模式之一进行筛选：此 时如果上一步选出的梯度方向Dir为Diag2，即对应于模式索引为2和66的角度模式，则当前 PU的预测方向范围为[2，4]和[64，66]；否则，当前PU的预测范围为最小值为Dir-2，最大值 为Dir 2。 根据本发明实施例的预测模式快速选择方法，至少具有如下技术效果： 本发明实施例提出了一种VVC中基于ALF滤波的预测模式快速选择方法，该方法的 发明构思是：(1)ALF滤波过程中得到的方向梯度值来预测当前块的帧内预测的角度模式， 缩小角度预测模式的搜索范围，以尽可能地降低编码时间；(2)利用ALF滤波得到的方向梯 度值来提前跳过不必要的CU划分模式，加速帧间编码的CU划分过程。 本发明实施例提供的预测模式快速选择方法步骤简单，计算量小，可方便地投入 实际应用。 附图说明 图1是ALF滤波亮度和色度分量采用的菱形滤波器示意图。 图2是ALF滤波中四种梯度方向的下采样方式示意图。 图3是典型的VCC视频编码流程图。 图4为HEVC的35种帧内预测方向示意图。 图5为VVC的67种帧内预测方向示意图。 图6为VVC的CU多类型划分方式示意图。 图7为嵌套多类型树CTU划分示例示意图。 图8为VVC中基于ALF滤波的预测模式快速选择方法流程图。 图9为帧内编码流程图。