logo好方法网

基于U-net结构的图像伪影检测与自动去除方法


技术摘要:
本发明涉及一种基于U‑net结构的图像伪影检测与自动去除方法,包括以下步骤:步骤S1:构建待去伪影高清图像数据集,并进行预处理,得到训练数据集;步骤S2:将训练数据集中的图像,进行随机裁剪;步骤S3:构建伪影检测网络,并根据高清图像数据集获取图像伪影的掩码;步骤  全部
背景技术:
在图像多媒体技术广泛应用的今天,广大的互联网厂商为了节约访问流量,提升 用户访问速度,采用了以JPEG和WebP为主要代表的图像压缩技术。图像压缩伪影是在JPEG 和WebP等图像进行压缩编码时,原始图像被分成16x16或者8x8的小块,编码算法对这些块 进行离散余弦变换,这样块与块之间的相关信息被忽略,从而形成解码图像的块状伪影。此 外,为了能够有效压缩图像数据的字节数,在JPEG和WebP编码时会对离散余弦变换得到的 系数进行量化,使得图像的高频分量丢失,从而导致了解码图像会产生振铃伪影和边界模 糊[1]。图像伪影去除作为图像处理领域的重要组成部分,无论在广电高清4K建设中、还是 移动终端多媒体交互中,都有着很高的应用价值。 传统的图像伪影去除算法,往往给图像整体赋予一个和图像压缩系数相关的因 子,而忽视了图像部分细节并不包含伪影,或者包含较重的伪影,缺少更合理的分治处理。
技术实现要素:
有鉴于此,本发明的目的在于提供一种基于U-net结构的图像伪影检测与自动去 除方法, 为实现上述目的,本发明采用如下技术方案: 一种基于U-net结构的图像伪影检测与自动去除方法,包括以下步骤: 步骤S1:构建待去伪影高清图像数据集,并进行预处理,得到训练数据集; 步骤S2:将训练数据集中的图像,进行随机裁剪; 步骤S3:构建伪影检测网络,并根据高清图像数据集获取图像伪影的掩码; 步骤S4:基于U-net结构神经网络,构建去伪影网络模型; 步骤S5:根据训练数据集和图像伪影的掩码,并通过伪影检测网络模型,得到去伪 影后的图像。 进一步的,所述步骤S1具体为: 步骤S1::收集大量图像数据,构建高清图像数据集; 步骤S2:在0~100之间随机地选择3个质量参数,对高清图像做退化处理,退化因 子为(θ1,θ2,θ3),获取的退化图像为(Xθ1,Xθ2,Xθ3); 步骤S3:通过对原始图像和退化图像进行随机翻转,得到增广图片数据,以匹配数 据对的方式存储X、θ、Xθ,其中X、θ、Xθ分别为原始高清图像,退化因子,退化图像,作为深度学 习的训练数据集。 进一步的,所述步骤S2具体为:对于输入的高清图像和退化图像随机裁剪到 256x256,并执行m次,其中m为该图像面积除以256x256的向上取整结果。 4 CN 111583152 A 说 明 书 2/4 页 进一步的,所述伪影检测网络,具体为:网络由两部分构成,上半部分网络将有助 于检测图像中嵌入在图像细节中的伪影,下半部分网络将有助于检测粗粒度的块状伪影; 核心网络中特征提取阶段由20个卷积块组成,包括一个卷积层,一个Relu激活函数,其中一 个大卷积块的计算公式是: Fn=R(Wn*Fn-1 Bn)    (1) 其中,R表示非线性激活函数Relu,Wn、Bn分别表示特征提取阶段中卷积层的权重和 偏置,Fn-1表示上一个卷积输出的特征图,Fn表示当前特征提取阶段得到的输出特征图; 伪影检测网络最终输出为一个图像伪影的掩码Mθ,获取图像伪影的掩码Mθ的网络 loss为L2loss: L2=||mean(Mθ)-(1-θ)||2    (2) 其中mean(Mθ)为取掩码Mθ的均值,由于图像的退化因子θ越接近于0,对应的原始图 像位置伪影越重,掩码位置应该数值越大。 进一步的,所述去伪影网络模型核心网络中特征提取阶段由32个卷积块组成,采 用同时能够保留原始图像信息和关注保留图像细节的loss ,分别是L 2 l o s s、与 perceptualloss L2=||X′-X||2    (3) 其中X为原始高清图像,X'为网络输出的去除伪影后图像。 其中perceptualloss选择VGG-19[9]的第j层的卷积特征(Cj、Hj、Wj为VGG-19输出 特征维度)。 最终的loss如下: Lrs=L2 λ*Lperceptual    (5)。 进一步的,所述步骤S5具体为: 步骤S51:将原始图像分别作为两个网络的输入; 步骤S52:第一阶段训练伪影检测网络,当网络收敛时,固定住该网络的参数,开始 训练第二阶段图像去伪影网络; 步骤S53:每一阶段的训练过程,都被分为若干个子训练周期,采用步进增长策略 依次进行子训练周期的训练; 步骤S54:每完成一个固定的训练周期后逐步减小学习率,直至学习率减少到预设 的数值为止; 步骤S55:当完成一个子训练周期后生成的结果与其对应的高清图像数据的区别 大于预设值,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数 再执行每一个网络的初始训练步骤;当在完成一个子训练周期后生成的图像结果达到预期 或完成所有预设的子训练周期的次数后,则得到图像去伪影网络。 本发明与现有技术相比具有以下有益效果: 本发明有效的自动检测和去除图像中存在的JPEG伪影。 5 CN 111583152 A 说 明 书 3/4 页 附图说明 图1是本发明一实施例中图像伪影去除不均衡的效果; 图2是本发明方法的流程图; 图3是本发明一实施例中的伪影掩码生成网络; 图4是本发明一实施例中的图像去伪影网络; 图5是本发明一实施例中的部分结果图; 图6是本发明一实施例中的解决伪影去除不均衡的效果。
分享到:
收藏