技术摘要：
提供了一种图像处理方法、装置、设备及其训练方法，该训练方法包括：获取样本图像集，该样本图像集包括第一数量的样本图像；基于该样本图像集构建图像特征集，该图像特征集包括分别从该样本图像集中的每个样本图像提取的至少一个图像特征；获取训练图像集，该训练图像  全部
背景技术：
图像在形成、记录、处理和传输过程中，由于成像系统、记录设备、传输介质和处理 方法的不完善，导致图像质量的下降，这种现象叫做图像退化。真实世界中的图像的退化方 式往往是未知的，从而需要正确地对其进行估计，以恢复出原始高清图像。通过图像处理算 法或神经网络将低分辨率图像放大为高分辨率图像的过程被称为超分辨率处理过程。然 而，目前的超分辨率算法都是基于干净且清晰的训练图像来训练神经网络的。这些方法通 过双三次(bicubic)算子将高分辨率图像进行缩小，从而得到低分辨率图像，并且基于由此 构造的成对训练图像，训练能够处理干净且清晰图像的神经网络。然而，通过bicubic算子 构造的低分辨率图像无法保留真实图像退化场景下的低分辨率图像的噪声或模糊度特征， 因此，目前的超分辨率算法在理想的干净图像数据上效果稳定，但对于具有一定噪声和模 糊度的真实图像，处理效果欠佳。目前的超分辨率算法还存在以下不足：1)使用特定的 bicubic算子构造训练数据，不符合真实图像的退化过程；2)仅仅实现了分辨率的放大，无 法处理低分辨率图像中的模糊/噪声问题；3)生成的高分辨率图像纹理细节不够丰富，无法 重建逼真的纹理信息。 基于此，需要一种新颖的图像处理模型训练方法，其不需要成对的训练图像，仅利 用无标记的真实图像作为训练输入，使得经训练的神经网络可以处理低分辨率图像中的模 糊/噪声问题，生成更加清晰/干净的高分辨率图像。
技术实现要素：
本发明的实施例提供了一种图像处理模型的训练方法，包括：获取样本图像集，所 述样本图像集包括第一数量的样本图像；基于所述样本图像集构建图像特征集，所述图像 特征集包括分别从所述样本图像集中的每个样本图像提取的至少一个图像特征；获取训练 图像集，所述训练图像集包括第二数量的训练图像，所述训练图像集与所述样本图像集完 全相同、部分相同或完全不同，所述第一数量和所述第二数量相同或不同；基于所述训练图 像集和所述图像特征集构建多个训练图像对；以及基于所述多个训练图像对对所述图像处 理模型进行训练。 根据本发明的实施例，其中，所述至少一个图像特征包括模糊度特征和噪声特征， 其中，基于所述样本图像集构建图像特征集包括：提取所述样本图像集中的每个样本图像 的模糊度特征和噪声特征；以及基于所述每个样本图像的模糊度特征和噪声特征来构建所 述图像特征集。 根据本发明的实施例，其中，每个训练图像对包括一个训练目标图像和一个训练 输入图像，所述训练目标图像的分辨率高于所述训练输入图像的分辨率，其中，基于所述训 5 CN 111598808 A 说　明　书 2/11 页 练图像集和所述图像特征集构建多个训练图像对包括：对于所述训练图像集中的至少一部 分训练图像中的每一个，对该训练图像进行图像增强，以获取所述训练目标图像；以及基于 所述训练目标图像和所述图像特征集获取与所述训练目标图像相对应的训练输入图像。 根据本发明的实施例，其中，对该训练图像进行图像增强，以获取所述训练目标图 像包括：对所述训练图像进行去噪声和/或去模糊处理，以获取所述训练目标图像，其中所 述训练目标图像的模糊度和/或噪声低于所述训练图像的模糊度和/或噪声。 根据本发明的实施例，其中，对该训练图像进行图像增强，以获取所述训练目标图 像包括：对所述训练图像进行双三次插值下采样处理，以获取所述训练目标图像。 根据本发明的实施例，其中，基于所述训练目标图像和所述图像特征集获取与所 述训练目标图像相对应的训练输入图像包括：从所述图像特征集中选取至少一个图像特 征；将所述选取的至少一个图像特征应用于所述训练目标图像；以及对所述训练目标图像 进行下采样，以获取所述训练输入图像。 根据本发明的实施例，所述至少一个图像特征包括至少一个模糊度特征和至少一 个噪声特征。其中，基于所述训练目标图像和所述图像特征集获取与所述训练目标图像相 对应的训练输入图像包括：从所述图像特征集中选取至少一个模糊度特征和至少一个噪声 特征；将所述选取的至少一个模糊度特征应用于所述训练目标图像，以得到添加了模糊度 的训练中间图像；对所述添加了模糊度的训练中间图像进行下采样，以得到下采样后的训 练中间图像；以及将所述选取的至少一个噪声特征应用于所述下采样后的训练中间图像， 以得到所述训练输入图像。 根据本发明的实施例，其中，所述图像处理模型包括神经网络模型，其中，基于所 述多个训练图像对对所述图像处理模型进行训练包括：对于所述多个训练图像对中的每一 个训练图像对，将该训练图像对中的训练输入图像作为所述神经网络模型的输入；基于所 述神经网络模型的输出与所述训练图像对中的训练目标图像来计算所述神经网络模型的 损失函数；以及基于所述损失函数来优化所述神经网络模型的网络参数。 根据本发明的实施例，其中，所述神经网络模型的损失函数包括重建损失和感知 损失，其中，所述重建损失为所述神经网络模型的输出图像的像素值与所述训练目标图像 的对应像素值之间的L1范式距离或L2范式距离，所述感知损失为所述神经网络模型的输出 图像的低频图像特征与所述训练目标图像的低频图像特征之间的L1范式距离或L2范式距 离。 根据本发明的实施例，其中，所述神经网络模型与鉴别器网络组成生成对抗网络， 其中，所述神经网络模型的损失函数还包括对抗损失，其中，所述对抗损失为所述神经网络 模型的输出图像经所述鉴别器网络进行鉴别处理后的鉴别输出值。 本发明的实施例提供了一种图像处理方法，包括：获取待处理的输入图像；基于经 训练的图像处理模型对所述待处理的输入图像进行图像处理，以生成经处理的输出图像， 其中，所述输出图像的分辨率高于所述输入图像的分辨率；其中，所述经训练的图像处理模 型是根据如上所述的任一训练方法进行训练的。 根据本发明的实施例，其中，在待处理的输入为视频数据的情况下，所述图像处理 方法还包括：对所述视频数据进行帧抽取，以获取多个待处理的输入图像；基于所述经训练 的图像处理模型分别对所述多个待处理的输入图像进行图像处理，以生成多个经处理的输 6 CN 111598808 A 说　明　书 3/11 页 出图像；以及将所述多个经处理的输出图像合成为输出视频数据。 本发明的实施例提供了一种图像处理装置，包括：输入模块，用于获取待处理的输 入图像；图像处理模块，用于基于经训练的图像处理模型对所述待处理的输入图像进行图 像处理，以生成经处理的输出图像；以及输出模块，用于输出所述经处理的输出图像，其中， 所述输出图像的分辨率高于所述输入图像的分辨率；其中，所述经训练的图像处理模型是 根据如上所述的任一训练方法进行训练的。 根据本发明的实施例，其中，所述装置还包括：帧抽取模块，用于在待处理的输入 为视频数据的情况下对所述视频数据进行帧抽取，以获取多个待处理的输入图像；以及帧 合成模块，用于将多个经处理的输出图像合成为输出视频数据，其中，所述图像处理模块还 用于：基于所述经训练的图像处理模型分别对所述多个待处理的输入图像进行图像处理， 以生成多个经处理的输出图像，其中，所述输出模块还用于：输出所述输出视频数据。 本发明的实施例提供了一种图像处理设备，包括：处理器；和存储器，其上存储有 计算机可执行指令，所述指令在被处理器执行时用于实现如上所述的任一方法。 本发明的实施例提供了一种计算机可读存储介质，其上存储有计算机可执行指 令，所述指令在被处理器执行时用于实现如上所述的任一方法。 本发明的实施例提供了一种图像处理方法、装置、设备及其训练方法，该训练方法 对训练图像和退化方式无特定先验知识要求，能够分析图像本身存在的模糊/噪声问题；通 过构建的退化池得到不同退化程度的图像，从而具备处理包含多种模糊/噪声的低分辨率 图像的能力；通过调整损失函数，可以控制生成图像的纹理信息的丰富程度，以满足不同场 景的图像处理需求；并且根据本发明实施例提供的图像处理方法生成的图像具有更少的伪 影和假象，能够保留低分辨率图像中更多的重要信息。 附图说明 为了更清楚地说明本发明实施例的技术方案，下面将对实施例的描述中所需要使 用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些示例性实施 例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获 得其它的附图。 图1示出了根据本发明实施例的图像处理系统的超分辨率处理的示意过程； 图2示出了根据本发明实施例的图像处理模型的训练方法的流程图； 图3示出了根据本发明实施例的图像处理模型的示例训练过程； 图4示出了根据本发明实施例的图像处理模型的示例测试过程； 图5示出了根据本发明实施例的基于图2和图3所示的训练方法的图像处理方法的 流程图； 图6示出了根据本发明实施例的图像处理方法的处理效果对比； 图7示出了根据本发明实施例的图像处理装置的示意图；并且 图8示出了根据本发明实施例的图像处理设备的示意图。