logo好方法网

图像调色增强方法和图像调色增强神经网络训练方法


技术摘要:
本申请适用于图像处理技术领域,提供了图像调色增强方法和图像调色增强神经网络训练方法,该方法包括:获取训练数据样本,构建图像调色增强神经网络,该图像调色增强神经网络包含密集跳跃链接的编码器‑解码器结构;基于上述训练数据样本,采用固定步长学习率衰减策略  全部
背景技术:
在移动互联网时代,越来越多的人习惯于在社交网络上分享自己拍摄的照片。由 于受到光照、天气、环境、设备等因素的影响,拍摄的照片可能会存在过曝、欠曝、色彩沉闷、 饱和度低、对比度失衡等问题,影响人的主观视觉感受,因此需要对照片进行后期的调色处 理。 图像调色处理是通过算法调整图像的对比度、饱和度、色调等,改变图像的整体或 局部色彩,例如调亮偏暗的图片、调暗偏亮的图片、调高饱和度低的图片等,使得图像看上 去更加饱满生动。而传统的图像调色处理方法效果较差,鲁棒性较差。
技术实现要素:
为克服相关技术中存在的问题,本申请实施例提供了图像调色增强方法、图像调 色增强神经网络训练方法、装置、终端设备及存储介质。 本申请是通过如下技术方案实现的: 第一方面,本申请实施例提供了一种图像调色增强神经网络训练方法,包括: 获取训练数据样本; 构建图像调色增强神经网络,所述图像调色增强神经网络包含密集跳跃链接的编 码器-解码器结构; 基于所述训练数据样本,采用固定步长学习率衰减策略对所述图像调色增强神经 网络进行训练,直至所述图像调色增强神经网络的颜色损失函数满足预设条件;其中,将待 调色增强图像输入训练后的图像调色增强神经网络能够得到用于对所述待调色增强图像 进行调色增强的调色乘度因子和偏置。 在第一方面的一种可实现方式中,所述获取训练数据样本,包括: 获取存在调色缺陷的第一图像样本作为所述训练数据样本,并对所述训练数据样 本进行调色处理,将调色处理后的所述训练数据样本作为网络监督学习的真值标签,所述 调色缺陷包括过曝/欠曝、对比度不平衡、色彩不饱满中的至少一种;或者, 获取不存在调色缺陷的第二图像样本作为网络监督学习的真值标签,并对所述第 二图像样本进行色彩降质处理,得到所述训练数据样本;其中,所述色彩降质处理包括使所 述第二图像样本过曝、欠曝、调低对比度、调低色彩饱满度中的至少一种。 在第一方面的一种可实现方式中,所述颜色损失函数为: 其中, 为调色增强后的图像,Y为所述真值标签,Gau(.)是高斯滤波函数。 4 CN 111598799 A 说 明 书 2/11 页 在第一方面的一种可实现方式中,所述编码器-解码器结构包括多个单元,每个单 元包括卷积Conv、线性修正单元ReLU、残差块ResBlock以及池化下采样Pooling; 其中,所述残差块ResBlock包括:卷积Conv、实例归一化IN以及线性修正单元 ReLU,所述实例归一化IN按照 对图像进行处理,x为特征图,μ (x)为x的平均值,σ(x)为x的标准差,γ和β1为线性仿射参数。 在第一方面的一种可实现方式中,所述采用固定步长学习率衰减策略对所述图像 调色增强神经网络进行训练,包括: 采用梯度下降算法,通过迭代学习得出所述图像调色增强神经网络的参数;其中, 每经过预设个数的迭代回合,将学习率衰减一半,对所述图像调色增强神经网络进行训练。 第二方面,本申请实施例提供了一种图像调色增强方法,包括: 获取待调色增强图像; 将所述待调色增强图像输入训练后的图像调色增强神经网络,得到用于对所述待 调色增强图像进行调色增强的调色乘度因子和偏置; 基于所述调色乘度因子和所述偏置,对所述待调色增强图像进行调色增强处理。 在第二方面的一种可实现方式中,所述基于所述调色乘度因子和所述偏置,对所 述待调色增强处理图像进行调色增强处理,包括: 通过J(x)=α·I(x) β2对所述待调色增强图像进行调色增强处理,其中,I(x)为 所述待调色增强的图像,J(x)是调色增强后的图像,α为所述I(x),β2为所述偏置,x表示像 素坐标。 第三方面,本申请实施例提供了一种图像调色增强神经网络训练装置,包括: 样本获取模块,用于获取训练数据样本; 神经网络构建模块,用于构建图像调色增强神经网络,所述图像调色增强神经网 络包含密集跳跃链接的编码器-解码器结构; 神经网络训练模块,用于基于所述训练数据样本,采用固定步长学习率衰减策略 对所述图像调色增强神经网络进行训练,直至所述图像调色增强神经网络的颜色损失函数 满足预设条件;其中,将待调色增强图像输入训练后的图像调色增强神经网络能够得到用 于对所述待调色增强图像进行调色增强的调色乘度因子和偏置。 第四方面,本申请实施例提供了一种图像调色增强装置,包括: 图像获取模块,用于获取待调色增强图像; 参数获取模块,用于将所述待调色增强图像输入训练后的图像调色增强神经网 络,获取用于对所述待调色增强图像进行调色增强的调色乘度因子和偏置; 调色增强处理模块,用于基于所述调色乘度因子和所述偏置,对所述待调色增强 图像进行调色增强处理。 第五方面,本申请实施例提供了一种终端设备,包括存储器、处理器以及存储在所 述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实 现如第一方面任一项所述的图像调色增强神经网络训练方法,或实现如第二方面任一项所 述的图像调色增强方法。 第六方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储 5 CN 111598799 A 说 明 书 3/11 页 介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项所述的图 像调色增强神经网络训练方法,或实现如第二方面任一项所述的图像调色增强方法。 第七方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端 设备上运行时,使得终端设备执行上述第一方面中任一项所述的图像调色增强神经网络训 练方法,或实现如第二方面任一项所述的图像调色增强方法。 可以理解的是,上述第二方面至第七方面的有益效果可以参见上述第一方面中的 相关描述,在此不再赘述。 本申请实施例与现有技术相比存在的有益效果是: 本申请实施例,获取训练数据样本,构建图像调色增强神经网络,该图像调色增强 神经网络包含密集跳跃链接的编码器-解码器结构;基于上述训练数据样本,采用固定步长 学习率衰减策略对上述图像调色增强神经网络进行训练,直至上述图像调色增强神经网络 的颜色损失函数满足预设条件;其中,将待调色增强图像输入训练后的图像调色增强神经 网络能够得到用于对所述待调色增强图像进行调色增强处理的调色乘度因子和偏置,通过 上述图像调色增强神经网络能够估计用于图像增强处理的中间参数,使得本方案在图像增 强处理上有更好的可解释性、鲁棒性、泛化性和延拓性,提高图像增强处理的效果。 应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不 能限制本说明书。 附图说明 为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述 中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些 实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些 附图获得其他的附图。 图1是本申请一实施例提供的图像调色增强方法的应用场景示意图; 图2是本申请一实施例提供的图像调色增强前后的对比示意图; 图3是本申请一实施例提供的图像调色增强神经网络训练方法的流程示意图; 图4是本申请一实施例提供的图像调色增强神经网络的架构示意图; 图5是本申请一实施例提供的图像调色增强方法的流程示意图; 图6是本申请一实施例提供的多组图像调色增强前后的对比示意图; 图7是本申请一实施例提供的图像调色增强的流程示意图; 图8是本申请实施例提供的图像调色增强神经网络训练装置的结构示意图; 图9是本申请实施例提供的增强装置的结构示意图; 图10是本申请实施例提供的终端设备的结构示意图。
分享到:
收藏