技术摘要：
本申请实施例公开了一种脸部验证方法、装置、设备及可读存储介质；本申请实施例与身份验证相关，本申请实施例可以对脸部图像中的脸部部位进行图像提取，得到脸部部位对应的部位图像、以及脸部图像的提取后脸部图像；对部位图像进行特征编码，得到部位图像对应的多层特  全部
背景技术：
由于脸部验证技术(如人脸识别)具有数据准确、安全系数高、使用方便等诸多特 点，被广泛地应用于各行各业当中，例如，可以用于人脸验证解锁、脸部验证登录、远程人脸 验证、刷脸门禁系统、线下刷脸支付、自动刷脸通关等等。 在对用户进行脸部验证的过程中，脸部验证的通过率与用户脸部的主要部位特征 相关，本发明的发明人发现，采用目前的脸部验证方法，难以提高脸部验证的通过率。
技术实现要素：
本申请实施例提供一种脸部验证方法、装置、设备及可读存储介质，可以提高脸部 验证的通过率。 本申请实施例提供一种脸部验证方法，包括： 对脸部图像中的脸部部位进行图像提取，得到所述脸部部位对应的部位图像、以 及所述脸部图像的提取后脸部图像； 对所述部位图像进行特征编码，得到所述部位图像对应的多层特征信息，其中，所 述多层特征信息包括输出层特征信息、以及除输出层以外的中间层特征信息； 基于所述中间层特征信息对所述输出层特征信息进行特征解码，以生成所述部位 图像对应的部位修饰图像，所述部位修饰图像为所述脸部部位修饰后的图像； 将所述部位修饰图像与所述提取后脸部图像进行融合，得到融合后修饰脸部图 像； 将所述融合后修饰脸部图像与脸部验证图像进行匹配； 根据所述融合后修饰脸部图像与脸部验证图像的匹配结果，确定脸部验证结果。 相应的，本申请实施例还提供了一种脸部验证装置，包括： 提取单元，用于对脸部图像中的脸部部位进行图像提取，得到所述脸部部位对应 的部位图像、以及所述脸部图像的提取后脸部图像； 编码单元，用于对所述部位图像进行特征编码，得到所述部位图像对应的多层特 征信息，其中，所述多层特征信息包括输出层特征信息、以及除输出层以外的中间层特征信 息； 解码单元，用于基于所述中间层特征信息对所述输出层特征信息进行特征解码， 以生成所述部位图像对应的部位修饰图像，所述部位修饰图像为所述脸部部位修饰后的图 像； 融合单元，用于将所述部位修饰图像与所述提取后脸部图像进行融合，得到融合 后修饰脸部图像； 6 CN 111598051 A 说　明　书 2/22 页 匹配单元，用于将所述融合后修饰脸部图像与脸部验证图像进行匹配； 确定单元，用于根据所述融合后修饰脸部图像与脸部验证图像的匹配结果，确定 脸部验证结果。 在一些实施例中，所述提取单元，用于： 对脸部图像中的初始脸部部位进行关键点检测，得到所述初始脸部部位对应的部 位关键点位置； 基于所述部位关键点位置，对所述脸部图像中的脸部部位进行图像提取，得到所 述脸部部位对应的部位图像、以及所述脸部图像的提取后脸部图像。 在一些实施例中，所述融合单元，包括： 融合子单元，用于将所述部位修饰图像与所述提取后脸部图像进行融合，得到初 始融合后修饰脸部图像； 修正子单元，用于对所述初始融合后修饰脸部图像进行修正处理，得到融合后修 饰脸部图像。 在一些实施例中，所述修正子单元，用于： 基于所述部位图像的像素、以及所述提取后脸部图像的像素，计算所述部位图像 的像素梯度、以及所述提取后脸部图像的像素梯度； 基于所述部位图像的像素梯度、以及所述提取后脸部图像的像素梯度，计算所述 初始融合后修饰脸部图像的像素梯度； 根据所述初始融合后修饰脸部图像的像素梯度、以及所述部位图像的像素梯度， 对所述初始融合后修饰脸部图像的像素进行调整，得到融合后修饰脸部图像。 在一些实施例中，所述匹配单元，用于： 分别提取所述融合后修饰脸部图像中修饰后脸部对应的修饰后脸部特征、以及脸 部验证图像中验证脸部对应的验证脸部特征； 基于所述修饰后脸部特征、以及所述验证脸部特征，计算所述融合后修饰脸部图 像与脸部验证图像的相似度； 基于所述相似度，将所述融合后修饰脸部图像与脸部验证图像进行匹配。 在一些实施例中，所述编码单元，用于： 对所述部位图像进行多层卷积处理，得到所述部位图像对应的输出层特征信息、 以及除输出层以外的中间层特征信息； 所述解码单元，用于： 对所述输出层特征信息进行多层反卷积处理，得到所述部位图像对应的多层融合 后特征信息，其中，每层融合后特征信息为相邻反卷积层输出的特征信息和所述中间层特 征信息融合得到； 基于所述多层融合后特征信息，确定所述部位图像对应的部位修饰图像。 在一些实施例中，所述部位图像包括去修饰部位图像，所述编码单元，用于： 通过第一预设生成式对抗网络中第一预设生成器的编码模块，对所述去修饰部位 图像进行特征编码，得到所述去修饰部位图像对应的多层特征信息，其中，所述多层特征信 息包括输出层特征信息、以及除输出层以外的中间层特征信息； 所述解码单元，用于： 7 CN 111598051 A 说　明　书 3/22 页 通过所述第一预设生成器的解码模块，基于所述中间层特征信息对所述输出层特 征信息进行特征解码，以生成所述去修饰部位图像对应的修饰后部位图像。 在一些实施例中，所述脸部验证装置还包括第一训练单元，所述第一训练单元，包 括： 样本获取子单元，用于获取第一样本脸部图像、第二样本脸部图像、以及样本修饰 后脸部图像； 样本提取子单元，用于分别对所述第一样本脸部图像的样本去修饰脸部部位、以 及所述样本修饰后脸部图像的样本修饰后脸部部位进行图像提取，得到所述样本去修饰脸 部部位对应的样本去修饰部位图像、以及所述第一样本脸部图像的样本提取后脸部图像， 所述样本修饰后脸部部位对应的样本修饰后部位图像； 样本生成子单元，用于采用第一生成式对抗网络的第一生成器，生成所述样本去 修饰部位图像对应的预测修饰后部位图像； 样本训练子单元，用于基于所述预测修饰后部位图像、所述样本修饰后部位图像、 所述样本提取后脸部图像，以及所述第二样本脸部图像，对所述第一生成式对抗网络进行 训练，得到第一预设生成式对抗网络。 在一些实施例中，所述第一生成式对抗网络包括第一判别器，所述样本训练子单 元，用于： 采用所述第一生成式对抗网络的第一判别器，对所述预测修饰后部位图像、以及 所述样本修饰后部位图像进行判别，得到判别结果； 将所述预测修饰后部位图像与所述样本提取后脸部图像进行融合，得到样本融合 后修饰脸部图像； 将所述样本融合后修饰脸部图像与所述第二样本脸部图像进行匹配，得到样本匹 配结果； 基于所述样本匹配结果、以及所述判别结果，对所述第一生成式对抗网络进行训 练，得到第一预设生成式对抗网络。 在一些实施例中，所述样本训练子单元，用于： 基于所述样本融合后修饰脸部图像与所述第二样本脸部图像的相似度，获取相似 度损失； 基于所述预测修饰后部位图像和所述样本修饰后部位图像的判别结果，获取所述 第一判别器的判别损失； 根据所述相似度损失和所述判别损失，对所述第一生成式对抗网络的参数进行调 整，得到第一预设生成式对抗网络。 在一些实施例中，所述样本训练子单元，用于： 获取所述预测修饰后部位图像的第一期望概率、以及所述样本修饰后部位图像的 第二期望概率； 分别计算所述预测修饰后部位图像的第一实际概率，以及所述样本修饰后部位图 像的第二实际概率； 根据所述第一期望概率、所述第二期望概率、所述第一实际概率、以及所述第二实 际概率，计算所述第一判别器的判别损失。 8 CN 111598051 A 说　明　书 4/22 页 在一些实施例中，所述部位图像还包括修饰后部位图像，所述编码单元，还用于： 通过第二预设生成式对抗网络中第二预设生成器的编码模块，对所述修饰后部位 图像进行特征解码，得到所述修饰后部位图像对应的多层特征信息，其中，所述多层特征信 息包括输出层特征信息、以及除输出层以外的中间层特征信息； 所述解码单元，还用于： 通过所述第二预设生成器的解码模块，基于所述中间层特征信息对所述输出层特 征信息进行特征解码，以生成所述修饰后部位图像对应的去修饰部位图像。 在一些实施例中，所述脸部验证装置还包括第二训练单元，用于： 获取样本修饰后脸部图像中样本目标修饰后脸部部位对应的样本目标修饰后部 位图像、以及样本脸部图像中样本目标去修饰脸部部位对应的样本目标去修饰部位图像； 采用第二生成式对抗网络的第二生成器，生成所述样本目标修饰后部位图像对应 的预测目标去修饰部位图像； 采用第二生成式对抗网络的第二判别器，对所述预测目标去修饰部位图像、以及 所述样本目标去修饰部位图像进行判别，得到目标判别结果； 根据所述目标判别结果，对第二生成式对抗网络的参数进行调整，得到第二预设 生成式对抗网络。 相应的，本申请还提供一种计算机设备，包括存储器，处理器及存储在存储器上并 可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现本申请实施例提 供的任一种脸部验证方法中的步骤。 此外，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其 中，所述计算机程序被处理器执行时实现本申请实施例提供的任一种脸部验证方法中的步 骤。 本申请实施例可以对脸部图像中的脸部部位进行图像提取，得到脸部部位对应的 部位图像、以及脸部图像的提取后脸部图像；对部位图像进行特征编码，得到部位图像对应 的多层特征信息，其中，多层特征信息包括输出层特征信息、以及除输出层以外的中间层特 征信息；基于中间层特征信息对输出层特征信息进行特征解码，以生成部位图像对应的部 位修饰图像，该部位修饰图像为脸部部位修饰后的图像；将部位修饰图像与提取后脸部图 像进行融合，得到融合后修饰脸部图像；将融合后修饰脸部图像与脸部验证图像进行匹配； 根据融合后修饰脸部图像与脸部验证图像的匹配结果，确定脸部验证结果。由于该方案能 够基于脸部图像中脸部部位对应的部位图像，生成该部位图像对应的部位修饰图像，并将 部位修饰图像与脸部图像的提取后脸部图像进行融合，得到融合后修饰脸部图像，通过将 融合后修饰脸部图像与脸部验证图像进行匹配，当融合后修饰脸部图像与脸部验证图像的 相似度大于预设相似度阈值时则可以确定脸部验证通过，从而提高了脸部验证的通过率。 附图说明 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使 用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于 本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附 图。 9 CN 111598051 A 说　明　书 5/22 页 图1a是本申请实施例提供的脸部验证方法的场景示意图； 图1b是本申请实施例提供的脸部验证方法的流程示意图； 图2a是本申请实施例提供的脸部验证方法的另一流程示意图； 图2b是本申请实施例提供的用于生成妆容的生成式对抗网络的训练架构示意图； 图2c是本申请实施例提供的用于去除妆容的生成式对抗网络的训练架构示意图； 图3a是本申请实施例提供的脸部验证装置的结构示意图； 图3b是本申请实施例提供的脸部验证装置的另一结构示意图； 图3c是本申请实施例提供的脸部验证装置的另一结构示意图； 图3d是本申请实施例提供的脸部验证装置的另一结构示意图； 图4是本申请实施例提供的计算机设备的结构示意图。