技术摘要：
本发明涉及计算机视觉领域，为去除摩尔纹，输出相应干净图片。本发明基于卷积神经网络AMNet的屏摄图像摩尔纹去除方法，步骤如下：分析摩尔纹特征，建立屏摄图像中的摩尔纹模型：建立数据集；设计网络框架；设计网络结构；设置好网络的学习率和各部分损失函数的权重，利  全部
背景技术：
摩尔纹是指两个不同频率的阵列混叠在一起时产生的不规则条纹。当用数码相机 拍摄数字显示设备时，相机感光元件和显示设备之间产生混叠，便很容易出现严重影响拍 摄图像质量的摩尔纹。由于其形状不规则、颜色多样、密度各异等特点，摩尔纹很难被去除。 现有的去除屏摄图像中摩尔纹的方法主要可以分为两类。一类是使用传统方法， 利用摩尔纹的空间和频率特性，通过在YUV和RGB上联合处理，进而去除摩尔纹。但是这类方 法一般只能去除频率较高的摩尔纹，而且很容易造成图像细节过模糊。 另一类方法是使用卷积神经网络(CNN)来直接学习摩尔纹图像到对应的干净图像 之间的映射。然而，这类方法需要大量的成对并严格对齐的带摩尔纹的图片和干净图片来 训练网络，我们将这种成对的图像称之为数据集。但在现有的研究中，专门用于摩尔纹去除 任务的数据集较少，且在这些数据集中，摩尔纹图像与对应的干净图像之间并没有亮度差 异，网络难以通过这些数据集的训练学习到亮度信息，而现实中的屏摄图像则通常要比人 们肉眼看到的干净图像暗。因此，采用这种数据集训练的网络并不能在去除摩尔纹的同时， 恢复图像亮度。
技术实现要素：
为克服现有技术的不足，本发明旨在提供更为普适性且方便训练的基于卷积神经 网络AMNet的屏摄图像摩尔纹去除方法。步骤如下： 1)分析摩尔纹特征，建立屏摄图像中的摩尔纹模型： Im＝Ic Imc    (1) Im为屏摄得到的带摩尔纹的图像，Ic是被拍摄的原始图像，Imc是摩尔纹层； 2)建立数据集 该数据集由带摩尔纹的屏摄图像与直接下载或截屏得到的干净图片经处理后组 成的图像对构成，称之为MRBI(moiré  removal  and  brightness  improvement)数据集，数 据集分为训练集与测试集； 将带摩尔纹的图像和直接下载或截屏得到的干净图片一一对应，组成多个图像 对，对最终得到的绝大部分图像对进行对齐操作并切成图像块，用于神经网络的训练，将剩 余的小部分图像对进行对齐操作并切成图像块，用于神经网络的测试，切块处理后的摩尔 纹图像与干净图像称之为Pm与Pw； 3)设计网络框架 4 CN 111583129 A 说　明　书 2/5 页 31)将带摩尔纹的图像Pm输入到生成器gθ中，得到去摩尔纹之后的图像，再将去摩 尔纹后的图像输入到判别器fφ中，通过判别器来判断生成器的输出图像是否去除了摩尔 纹，在生成器与判别器的博弈过程中训练网络模型，该网络称之为AMNet； 32)生成器中分为两部分，前半部分用于去除输入图像中的摩尔纹，后半部分用于 提升输入图像亮度，使其与真实的干净图像亮度相同，在生成器的输出端，通过约束生成的 去摩尔纹图像gθ(Pm)与干净图像Pw的像素以及特征级别的相似性来使得去摩尔纹之后的图 像gθ(Pm)包含足够多的原图信息，具体采用MSE损失函数： 其中LMSE表示计算得到的MSE损失函数值，gθ(Pm)表示经生成器输出得到的去摩尔 纹图像，Pw表示干净图像； 33)考虑到数据集具有不可避免的不对齐现象，在生成器的输出端，引入感知损失 函数： 其中LVGG表示计算得到的感知损失函数值，λ1表示权重，ψj表示经过预训练的VGG- 19网络； 34)除了上述两个损失函数，还需引入生成对抗网络常用的对抗损失函数，具体引 入Patch  GAN的损失函数： LGAN＝λ2[fφ(Pw)-fφ(gθ(Pm))]    (4) 其中LGAN表示计算得到的Patch  GAN的损失函数值，fφ表示判别器； 35)将上述的三个损失函数结合在一起，构成了本网络的损失函数： 4)设计网络结构AMNet网络生成器部分由加法网和乘法网组成，加法网部分用于 去除输入图像上的摩尔纹，乘法网部分由四个乘法模块组成，用于提升输入图像的亮度； 5)设置好网络的学习率和各部分损失函数的权重，利用深度学习框架Tensorflow 训练上述卷积神经网络，直到损失收敛，生成训练模型； 6)将带有摩尔纹的测试图片输入到网络中得到对应的去摩尔纹之后的干净图。 步骤5)的具体步骤是： 51)确定网络结构之后，将训练数据输入到网络； 52)在网络训练阶段，学习率设置为0.0005，权重λ1，λ2分别设置为0.01，16； 53)进行训练，得到摩尔纹图像和干净图像之间的映射关系。 步骤4)详细步骤如下： 41)网络的判别器部分借鉴了Patch  GAN思想，使训练模型更加关注图像细节； 42)加法网由Unet结构改进而来，引入了ASPP模块，加法网部分结构为：卷积层1- 卷积层2-卷积层3-卷积层4-卷积层5-卷积层6-卷积层7-ASPP模块-卷积层8-上采样层1-卷 积层9 卷积层5的输出经ASPP模块后的输出-卷积层10-上采样层2-卷积层11 卷积层3的输 出经ASPP模块后的输出-卷积层12-卷积层13 输入图像。除卷积层13外，其余卷积层后均接 5 CN 111583129 A 说　明　书 3/5 页 有ReLu激活层。ASPP模块结构：卷积层1-卷积层2-卷积层3-卷积层4-平均池化层-将上述卷 积层与池化层进行级联-卷积层5，ASPP模块中的卷积层后均接有ReLu激活层； 43)乘法网由四个乘法模块组成，结构为：乘法模块1-乘法模块2-乘法模块3-乘法 模块4-卷积层*加法网输出，此处的卷积层后不接ReLu激活层，四个乘法模块结构相同，均 为：卷积层1-平均池化层-卷积层2-卷积层3-Sigmoid激活层*卷积层1输出-ReLu激活层，乘 法模块中的卷积层1与卷积层3后均不接ReLu激活层，卷积层2后接ReLu激活层； 44)判别器部分借鉴了Patch  GAN思想，结构为：卷积层1-卷积层2-卷积层3-卷积 层4-卷积层5，卷积层5后不接ReLu激活层，其余四个卷积层后均接有ReLu激活层。 本发明的技术特点及效果： 本发明方法针对屏摄图像中的摩尔纹去除，基于深度学习的方法，使用创建的 MRBI数据集，在卷积神经网络AMNet上进行训练，得到了摩尔纹图像与干净图像之间的映 射，有效地去除了摩尔纹，本发明具有以下特点： 1 .通过构建的MRBI数据集，直接建立摩尔纹图像和干净图像之间的映射，在去除 摩尔纹的同时提升屏摄图像的亮度。 2.通过屏摄图像特点构建的AMNet网络，将摩尔纹的去除与图像亮度提升工作分 成两部分，使得摩尔纹的去除与亮度的提升都能有更好地效果。 3.通过精心设计的联合损失函数，使得在去除摩尔纹与提升亮度的同时，更好的 保留了图像的细节，避免了斑块与伪彩色的出现。 附图说明 图1是算法流程图； 图2是网络框架图，(a)为生成器网络结构，(b)为ASPP模块结构，(c)为乘法模块结 构，(d)为判别器网络结构； 图3是本发明的输入和输出：输入是(a)带摩尔纹图像，输出是(b)去摩尔纹之后的 图像。 图4是各个方法的结果比较。(a)为带摩尔纹图像，(b)是传统方法MLD去除摩尔纹 之后的结果，(c)是深度学习方法DMCNN去除摩尔纹之后的结果，(d)是本发明的方法去除摩 尔纹之后的结果。