
技术摘要:
本公开提出一种图像处理方法、装置和计算机可读存储介质,涉及图像处理技术领域。本公开的一种图像处理方法,包括:获取图像采集装置拍摄的第一图像;对抗网络的第一生成器基于第一图像生成第二图像,其中对抗网络为利用第一类型图像的集合和目标类型图像的集合训练生 全部
背景技术:
随着社交网络的发展普及,在照片基础上做艺术、风格处理的创作广受欢迎,例如 基于真人自拍的手绘风格头像在保护个人隐私的同时也能吸引众多的目光。 目前,针对手绘头像的生成技术主要包含两种,一是利用计算机图像领域的方法, 针对人脸运用特征提取的理论分割得到各个部位,而后对这些部位采用NPR (Non- Photorealistic Rendering,非真实渲染)、图像几何变换等技术获得对应的风格,最后重 组图像。另一种依托于人工创作,画师借助于图像编辑工具手动调整和精修。
技术实现要素:
发明人发现,自动化的图像处理方法虽然能快速的产生艺术形式的图像,但图像 的效果、质量等方面往往达不到要求;而人工方式尽管能获得让用户满意的效果,但却花费 巨大的时间、金钱、人力等资源。 本公开的一个目的在于提高自动化图像处理的质量。 根据本公开的一个方面,提出一种图像处理方法,包括:获取图像采集装置拍摄的 第一图像;对抗网络的第一生成器基于第一图像生成第二图像,其中对抗网络为利用第一 类型图像的集合和目标类型图像的集合训练生成;第一生成器对第二图像做全变分正则优 化约束以降低梯度,获取优化第二图像。 在一些实施例中,第一类型图像为图像采集装置拍摄的图像;和/或,目标类型图 像为手绘图像。 在一些实施例中,第一图像为图像采集装置拍摄的面部图像。 在一些实施例中,利用第一类型图像集合和目标类型图像的集合训练对抗网络包 括:第一生成器根据第一类型图像的集合中的图像生成第二类型图像;第一生成器对第二 类型图像做全变分正则优化约束以降低梯度,获取优化第二类型图像;对抗网络的判别器 判断优化第二类型图像是否属于目标类型图像,直至判断结果为全部优化第二类型图像属 于目标类型图像。 在一些实施例中,利用第一类型图像集合和目标类型图像的集合训练对抗网络还 包括:对抗网络对目标类型图像的集合中的图像做边缘检测和高斯模糊处理,添加噪声,获 取模糊目标类型图像;判别器判断模糊目标类型图像是否属于目标类型图像,直至判断结 果为全部模糊目标类型图像属于目标类型图像。 在一些实施例中,利用第一类型图像集合和目标类型图像的集合训练对抗网络还 包括:第二生成器根据优化第二类型图像生成第三类型图像,其中,第二生成器用于将目标 类型图像重建为第一类型图像;获取生成优化第二类型图像的第一类型图像与基于优化第 4 CN 111612699 A 说 明 书 2/7 页 二类型图像生成的第三类型图像的差异值并反向传递,以减小差异值。 在一些实施例中,图像处理方法还包括:对第一生成器获取的图像做五官检测,确 定五官位置;获取生成优化第二类型图像的第一类型图像与基于优化第二类型图像生成的 第三类型图像的差异值包括:根据第一类型图像和第三类型图像在每个相对像素点位置的 差距,以及对应像素点位置的权重确定差异值,其中,五官位置的权重大于其他位置的权 重。 通过这样的方法,能够训练对抗网络,将图像采集装置拍摄的图像转化为目标类 型图像;能够利用全变分正则优化约束降低图像梯度,避免色块影响图像处理效果,提高图 像处理质量。 根据本公开的另一些实施例的一个方面,提出一种图像处理装置,包括:图像获取 单元,被配置为获取图像采集装置拍摄的第一图像;第一生成器,被配置为基于第一图像生 成第二图像,其中第一生成器归属的对抗网络为利用第一类型图像的集合和目标类型图像 的集合训练生成;对第二图像做全变分正则优化约束以降低梯度,获取优化第二图像。 在一些实施例中,第一类型图像为图像采集装置拍摄的图像;和/或,目标类型图 像为手绘图像。 在一些实施例中,第一图像为图像采集装置拍摄的面部图像。 在一些实施例中,第一生成器还被配置为根据第一类型图像集合中的图像生成第 二类型图像;对第二类型图像做全变分正则优化约束以降低梯度,获取优化第二类型图像; 图像处理装置还包括:判别器,被配置为在对抗网络训练中判断第一生成器生成的优化第 二类型图像是否属于目标类型图像,直至判断结果全部为优化第二类型图像属于目标类型 图像。 在一些实施例中,图像处理装置还包括:模糊处理单元,被配置为对目标类型图像 的集合中的图像做边缘检测和高斯模糊处理,添加噪声,获取模糊目标类型图像;判别器还 被配置为判断模糊目标类型图像是否属于目标类型图像,直至判断结果为全部模糊目标类 型图像属于目标类型图像。 在一些实施例中,图像处理装置还包括:第二生成器,被配置为根据优化第二类型 图像生成第三类型图像,其中,第二生成器用于将目标类型图像重建为第一类型图像;差异 获取单元,被配置为获取生成优化第二类型图像的第一类型图像与基于优化第二类型图像 生成的第三类型图像的差异值并反向传递,以减小差异值。 在一些实施例中,图像处理装置还包括:五官位置提取单元,被配置为对第一图像 做五官检测,确定五官位置;差异获取单元被配置为根据第一类型图像和第三类型图像在 每个相对像素点位置的差距,以及对应像素点位置的权重确定差异值并反向传递,以减小 差异值,其中,五官位置的权重大于其他位置的权重。 根据本公开的又一些实施例的一个方面,提出一种图像处理装置,包括:存储器; 以及耦接至存储器的处理器,处理器被配置为基于存储在存储器的指令执行上文中任意一 种图像处理方法。 这样的图像处理装置能够利用训练的对抗网络,将图像采集装置拍摄的图像转化 为目标类型图像;能够利用全变分正则优化约束降低图像梯度,避免色块影响图像处理效 果,提高图像处理质量。 5 CN 111612699 A 说 明 书 3/7 页 根据本公开的再一些实施例的一个方面,提出一种计算机可读存储介质,其上存 储有计算机程序指令,该指令被处理器执行时实现上文中任意一种图像处理方法的步骤。 通过执行这样的计算机可读存储介质上的指令,能够利用训练的对抗网络,将图 像采集装置拍摄的图像转化为目标类型图像;能够利用全变分正则优化约束降低图像梯 度,避免色块影响图像处理效果,提高图像处理质量。 附图说明 此处所说明的附图用来提供对本公开的进一步理解,构成本公开的一部分,本公 开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。在附图中: 图1为本公开的图像处理方法的一些实施例的流程图。 图2为本公开的图像处理方法的另一些实施例的流程图。 图3为本公开的图像处理方法的又一些实施例的流程图。 图4为本公开的图像处理装置的一些实施例的示意图。 图5为本公开的图像处理装置的另一些实施例的示意图。 图6为本公开的图像处理装置的又一些实施例的示意图。 图7为本公开的图像处理装置的再一些实施例的示意图。