logo好方法网

基于深度学习的图像多级去噪方法


技术摘要:
本发明提出了一种图像多级去噪方法,主要解决现有技术存在图像细节丢失和图像降噪效果差的问题。其实现方案是:根据图像多级尺度特征有助于含噪图像恢复为干净图像的特点,在现有的图像采样单元上进行改进构建图像上、下采样模块;利用上、下采样模块构建菱形模块,以  全部
背景技术:
图像作为人们最常用的信息载体之一,包含着大量的信息,是人们获取信息的重 要途径。而图像在获取、传输等过程中常常受到不同程度的噪声的干扰,噪声的存在会导致 图像的质量下降,严重的噪声可能淹没图像本身的有用信息,为人们的观察和使用带来不 便,同时还会影响图像后续诸如图像分割、目标检测等处理的精度。因此,对图像中噪声的 去除是十分有必要的,在去噪的同时尽可能的保留图像的有用信息,是图像去噪的要点也 是难点。 随着深度学习技术的发展,国内外的学者已经提出了很多基于深度学习的图像去 噪算法,并且相对于传统算法有了更大的改进,取得了较好的去噪效果。Mao等人在其发表 的论文“Image  Restoration  Using  Very  Deep  Convolutional  Encoder-Decoder  Networks  with  Symmetric  Skip  Connections”中提出了REDnet网络用于图像去噪, REDnet采用了对称的编码-解码结构,用多级图像下采样实现图像编码,用多级图像上采样 实现图像解码,每隔固定的下采样层就采用一个跳跃连接层与对应的上采样层相连接。 Zhang等人在其发表的论文“Beyond  a  Gaussian  Denoiser:Residual  Learning  of  Deep  CNN  for  Image  Denoising”中提出了DnCNN网络用于图像去噪,采用多个卷积、批量归一化 和激活函数层堆叠的方式组成网络。这两种方法均在当时取得了图像去噪的良好效果,但 它们也存在着一定的问题,REDnet通过对图像的多级采样改变图像的尺寸,即在图像的多 级尺度下提取图像特征用于去噪效果的提升,但是图像的过度采样容易丢失图像的细节信 息,反而不利于去噪后图像的后续处理;DnCNN在对图像的处理中没有发生图像尺寸的变 化,即基于固定的图像尺度,通过加深网络层数来提升网络性能,但是一味的加深网络深度 有可能导致网络难以训练甚至梯度消失的问题。
技术实现要素:
本发明的目的在于克服上述已有技术的不足,将基于固定尺度的图像去噪和图像 多级特征结合在一起,提出一种基于深度学习的图像多级去噪方法,以减少图像细节的丢 失,提高图像的降噪效果。 为实现上述目的,本发明的技术方案包括如下步骤: (1)构建上采样模块U和下采样模块D: 对图像超分辨重建网络DBPN中上采样、下采样单元进行改进,即在上、下采样单元 内部每个具有下采样功能的卷积层和每个具有上采样功能的反卷积层后均添加一个用于 进一步提取图像特征的卷积层,构建出上采样模块U和下采样模块D; (2)构建菱形模块C: 4 CN 111598804 A 说 明 书 2/9 页 将一个上采样模块U与一个下采样模块D相串联构成上路; 用一个卷积层构成中路; 用一个下采样模块D与一个上采样模块U相串联构成下路; 将所述上、中、下三路并联连接组成菱形模块C; (3)构建V形子网: 将两个菱形模块C相串联构成一个正常路径; 将一个图像下采样卷积层、两个卷积层和一个图像上采样卷积层进行串联连接构 成一个低分辨率路径; 将一个正常路径和一个低分辨率路径并联连接构成一个V形子网; (4)构建去噪网络MSDN: 4a)将一个卷积层、两个残差结构和一个卷积层依次串联,组成噪声图像特征提取 组件; 4b)将M个V形子网进行密集连接组成多级特征提取组件,M最小取2; 4c)将一个多通道的卷积层和一个单通道的卷积层相串联,组成干净图像重建组 件; 4d)由噪声图像特征提取组件、多级特征提取组件和干净图像重建组件依次串联 后,用噪声图像特征提取组件的输入减去干净图像重建组件的输出,组成残差学习结构; 4e)将噪声图像特征提取组件、多级特征提取组件和干净图像重建组件依次串联 后,再并联残差学习结构,构成去噪网络MSDN; (5)构建损失函数: 用去噪网络MSDN中前M-1个V形子网输出图像与不含噪声的原始干净图像的均方 误差和第M个V形子网输出图像与不含噪声的原始干净图像的平均绝对误差的均值,构建该 去噪网络的损失函数Loss,并将每个V形子网的输出接入到该损失函数; (6)对原始干净图像添加高斯噪声得到训练图像,将该训练图像输入到去噪网络 MSDN中对其进行训练直到损失函数收敛,得到训练好的MSDN网络; (7)将待去噪图像输入到(6)中训练好的MSDN网络进行图像去噪处理,输出去噪后 的图像: (7a)噪声图像特征提取组件通过第一个卷积层将待去噪图像从单通道变为多通 道,之后依次经过两个残差结构和一个卷积层对多通道待去噪图像进行特征提取,得到噪 声图像特征提取组件的输出P1; (7b)多级特征提取组件对噪声图像特征提取组件的输出P1通过其M个V形子网的 正常路径的菱形模块C对图像进行多级特征提取,同时通过M个V形子网的低分辨率路径对 图像进行浅层特征提取,得到多级特征提取组件的输出P2; (7c)干净图像重建组件对多级特征提取组件的输出P2依次通过一个多通道卷积 层和一个单通道卷积层后将P2由多通道图像重建为单通道图像,该单通道图像即为干净图 像重建组件的输出P3; (7d)残差学习结构用待去噪图像减去干净图像重建组件的输出P3得到去噪网络 MSDN的输出,即去噪后的图像。 本发明与现有技术相比较,具有如下优点: 5 CN 111598804 A 说 明 书 3/9 页 第一,本发明对现有的图像上、下采样模块进行了改进,能够获得更好的图像上、 下采样效果。 第二,本发明提出了菱形模块用于图像多级特征提取,通过对图像多次上、下采 样,结合了更多的上下文信息,能够对图像的多个分辨率下的特征进行提取。 第三,本发明提出了V形子网,在对图像多级特征提取的同时进一步提取图像的浅 层特征,避免了由于过度下采样带来的图像细节信息丢失,同时保持了图像的多级特征信 息。 第四,本发明将网络中每个V形子网的输出都接入了损失函数,通过权重控制不同 子网输出占网络输出的比重,逐步优化网络可获得更加精准的网络输出结果。 附图说明 图1是本发明的实现流程图; 图2是本发明中构建的上采样模块和下采样模块结构图; 图3是本发明中构建的菱形模块结构图; 图4是本发明中构建的V形子网结构图; 图5是本发明中构建的去噪网络MSDN结构图; 图6是本发明与其他五种现有算法在Set12测试集上的测试结果对比图; 图7是本发明与其他五种现有算法在BSD68测试集上的测试结果对比图; 图8是本发明与其他五种现有算法在Urban100测试集上的测试结果对比图。
分享到:
收藏