技术摘要：
本发明涉及一种基于对抗生成网络的图像修复方法，包括步骤：S1、构建图像修复训练网络：将生成SE‑RestNet网络添加到生成网络中，将判别SE‑RestNet网络添加到判别网络，得到图像修复训练网络；S2、训练：从训练数据集中提取若干个原始图像，掩码处理得到若干个训练图  全部
背景技术：
图像修复是在保证图像的清晰度和它的语义连贯性的前提下，利用图像中已有的 信息，修补图像中的缺失信息或者移除图像中的特定信息的图像处理技术。此技术的核心 挑战在于为缺失的区域合成视觉逼真和语义上合理的像素，以便与现有的像素保持一致。 图像修复具有重要的现实意义，尤其在艺术作品的保护，修复老照片以及基于图像的渲染 和计算机摄影方面有很多应用。 传统的图像修复方法多采用图像级特征来处理修复问题。块匹配(Patch-Match) 方法提出寻找最佳匹配的补丁块来重建缺失区域。此方法在本质上可以提供真实的纹理信 息，但是他们仅仅是利用给定上下文的低级特征，缺乏预测上下文高层次特征的能力。 为了更好的提取语义层面的信息，也得益于神经网络和深度学习的不断发展，更 多的基于深度学习的方法被提出。上下文编码器(Context  Encoder)是语义修复的一个开 创性方法，给定一个缺失区域的掩码，训练一个神经网络对上下文信息进行编码并对受损 内容进行预测，同时利用对抗损失来使得生成的图像尽可能真实，能够较好的修复缺失区 域。但是此方法仍然缺乏一些修复细节并且存在明显的修复痕迹。 为了能够修复更高分辨率的图像，Iizuka等人提出添加膨胀卷积层来增加感受野 并且联合局部和全局判别器提升修复的一致性。但是此方法无法修复缺失较大的图像，尽 管视觉上修复纹理较连续，但是存在某些高度结构化的图片修复后存在模糊和不真实的情 况，有较明显的修复痕迹。 基于补丁块的方法通过搜索最佳的匹配块来优化修复效果，但是这些方法只能提 供已有的纹理信息，不能从语义结构上理解图像，也不能对物体结构做出合理的预测。随着 深度生成式模型的快速发展，尤其是生成对抗网络(GAN)，GAN在生成高分辨率图像方面有 着可观的表现。但是训练一个生成高清图像并且稳定的GAN网络是相当困难的。近期也提出 了一些稳定训练的方法，例如DC-GAN，WGAN-GP，Wasserstein  GAN(WGAN)，LSGAN和 Progressive  GANs。这些方法为稳定训练提供了实用的技巧，能够产生更加真实的高清图 像。 由Pathak等人提出的Context-encoder基于生成对抗网络(GAN)，扩大了可修复缺 失范围。其中的生成网络是通过判别器辅助训练，判别器是用来判别生成器生成的图像是 否为真。通过训练生成网络来欺骗判别器，同时判别器也在不断的更新。训练过程联合均方 误差(MSE)以及对抗损失，在128×128像素图像的中心修复64×64像素的区域来训练修复 网络，避免了仅使用MSE损失时常见的模糊。 由Iizuka等人提出的基于全局和局部一致的图像修复在Context-encoder的基础 上引入了全局和局部判别器，全局判别器判别生成的图像整体的连贯性，同时局部判别器 专注于生成图片的小区域以保证局部一致性。Iizuka等人在生成网络中加入了膨胀卷积层 4 CN 111612708 A 说　明　书 2/9 页 代替Context-encoder当中的全连接层，这些操作都是为了扩大网络的感受野。 在生成网络的编码部分提取图像的特征得到低分辨率的特征图，特征图中编码了 丰富的语义信息，然而在下采样过程当中丢失了图像的结构和语义信息，使得修复效果不 清晰。 专利号为ZL201910475787.X的专利文献公开了一种基于生成式对抗网络的人脸 修复方法，包括以下步骤：S1、采集人脸数据并进行预处理；S2、建立对抗网络模型：对抗网 络模型包括两个深度神经网络：生成网络G和判别网络D，通过生成网络G生成人脸图像；通 过判别网络D判断图像的真假；S3、进行人脸修复：随机的给测试图像加掩码，模拟真实图像 缺损区域，将此缺损图像输入生成网络G中生成人脸图像，将生成图像的掩码区域替换到缺 失图像的相应位置，再进行泊松融合。本发明利用上下文损失与语境损失和全局与局部两 个判别损失迭代更新网络的参数，能够生成并补全更为自然和逼真的人脸图像。但也是对 于上述中对抗式生成网络的一种增强，还是没有有效解决上述提到的问题。 因而现有的图像修改技术仍然存在不足，还有待改进和提高。
技术实现要素：
鉴于上述现有技术的不足之处，本发明的目的在于提供一种基于对抗生成网络的 图像修复方法，能够在修复残缺图像时，保证图像结构和语义的连贯性，使修复效果更佳。 为了达到上述目的，本发明采取了以下技术方案： 一种基于对抗生成网络的图像修复方法，包括步骤： S1、构建图像修复训练网络：将生成SE-RestNet网络添加到生成网络中，将判别 SE-RestNet网络添加到判别网络，得到图像修复训练网络； S2、训练：从训练数据集中提取若干个原始图像，掩码处理得到若干个训练图像， 分别使用所述生成网络中的所述生成SE-RestNet网络生成训练修复图像，再使用所述判别 网络中的所述判别SE-RestNet网络判别所述训练修复图像的真假，根据所述判别网络的判 别结果对所述生成网络的网络参数进行调整，使所述图像修复训练网络达到平衡状态后， 以训练好的所述生成网络作为图像修复网络； S3、修复：将待修复图像输入到所述图像修复网络中，得到修复图像。 将SE-RestNet网络分别嵌入到生成网络和判别网络，以所述对抗网络进行待修复 图片的进行修复，使修复后的图片效果更佳，图像更逼真。 优选的所述的基于对抗生成网络的图像修复方法，在所述步骤S2中，所述训练图 像为将训练数据集中的图像进行图像掩膜处理后得到，使用若干个图像对所述图像修复训 练网络进行若干次训练，最终得到所述图像修复网络。 优选的所述的基于对抗生成网络的图像修复方法，每次训练的步骤具体包括： S21、将缺陷图像输入到所述生成网络中，使用所述生成SE-RestNet网络进行图像 进行特征图像处理，使得生成的特征图像的分辨率降为预定分辨率； S22、所述生成网络对所述特征图像进行修复处理，得到所述训练修复图像； S23、所述判别网络使用所述判别SE-RestNet网络对所述训练修复图像进行损失 判定，若是符合输出要求，则判定修复成功；否则，判定修复失败，执行步骤S24； S24、所述判别网络根据损失判定结果调整所述生成网络的网络参数，执行步骤 5 CN 111612708 A 说　明　书 3/9 页 S21。 使用所述生成SE-RestNet网络对所述训练图像处理成所述特征图像时，保证图像 处理中不失真，使修复效果更清晰。 优选的所述的基于对抗生成网络的图像修复方法，所述损失判定为使用生成损失 函数对所述准修复图像与对应的所述原始图像之间进行损失判定；所述生成损失函数为： Lfinal＝Lcon λ1Ladv λ2LCX； 其中，Lfinal为生成损失；Ladv为对抗损失；Lcon为内容损失；LCX为上下文损失；λ1为对 抗系数；λ2为上下文系数。 优选的所述的基于对抗生成网络的图像修复方法，所述对抗损失通过对抗损失函 数得到所述对抗函数为： 其中，Ladv为对抗损失；D(x)是样本概率；x是真实样本或生成样本；E(*)是分布函 数的期望值；G(*)是对抗性损失函数。 优选的所述的基于对抗生成网络的图像修复方法，所述内容损失通过内容损失函 数得到，所述内容损失函数为： 其中，Lcon为内容损失；E(*)是分布函数的期望值；G(*)是对抗性损失函数；⊙ 是两 个矩阵的对应元素相乘；M是图像掩膜。 优选的所述的基于对抗生成网络的图像修复方法，所述上下文损失通过上下文损 失函数得到，所述上下文损失函数为： 其中，LCX为上下文损失；E(*)是分布函数的期望值；G(*)是对抗性损失函数；CX(*) 是计算相似度的函数；Φ是VGG16网络。 在所述判定网络使用所述判别SE-RestNet网络进行修复图像的损失判断，进而对 所述生成网络进行调整，使所述生成网络的修复图像效果达到最佳。 优选的所述的基于对抗生成网络的图像修复方法，所述判别网络包括全局判别网 络、局部判别网络和判别全连接层；所述全局判别网络和所述局部判别网络分别与所述判 别全连接层连接；所述判别SE-RestNet网络包括全局判别SE-RestNet网络和局部判别SE- RestNet网络； 所述全局判别SE-RestNet网络内嵌在所述全局判别网络中；所述局部判别SE- RestNet网络内嵌在所述局部判别网络中。 优选的所述的基于对抗生成网络的图像修复方法，所述步骤S23中，所述判别网络 在判别所述修复图像的真假过程中，具体包括： S231、将所述训练修复图像处理得到全局判别图和局部判别图； S232、所述全局判别网络对所述全局判别图进行处理，得到全局判别向量；所述局 部判别网络对所述局部判别图进行处理，得到局部判别向量； S233、所述判别全连接层接收所述全局判别向量与所述局部判别向量，合成得到 6 CN 111612708 A 说　明　书 4/9 页 判别向量，对所述判别向量使用sigmoid函数判定真假。 在判别过程中，所述全局判别网络和所述局部判别网络分别对修复图像进行处 理，在本实施例中，所述sigmoid函数优选为所述生成损失函数，使判别效果更佳。 优选的所述的基于对抗生成网络的图像修复方法，所述局部判别图包括图像掩膜 区域修复后的图像和图像掩膜区域周边部分图像。 相较于现有技术，本发明提供的一种基于对抗生成网络的图像修复方法，具有以 下效果： 1、将SE-RestNet网络分别嵌入到生成网络和判别网络，以所述对抗网络进行待修 复图片的进行修复，使修复后的图片效果更佳，图像更逼真； 2、使用所述生成SE-RestNet网络对所述训练图像处理成所述特征图像时，保证图 像处理中不失真，使修复效果更清晰； 3、在所述判定网络使用所述判别SE-RestNet网络进行修复图像的损失判断，进而 对所述生成网络进行调整，使所述生成网络的修复图像效果达到最佳； 4、在判别过程中，所述全局判别网络和所述局部判别网络分别对修复图像进行处 理，在具体实施中，所述生成损失函数进行真假判断，使判别效果更佳。 附图说明 图1是本发明提供的基于对抗生成网络的图像修复方法； 图2是本发明提供的生成网络的结构图； 图3是本发明提供的判别网络的结构图； 图4是本发明提供的使用Iizuka的修复方法修复的图像和使用SE-ResNet残差块 修复方法修复的图像的对比图； 图5是本发明提供的分别采用具有和不具有上下文感知损失网络的修复方法的使 用效果对比图； 图6是本发明提供的分别使用评价标准PSNR和SSIM进行评测的修复效果。