(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221048185 5.5 (22)申请日 2022.05.05 (71)申请人 上海云思智慧信息技 术有限公司 地址 200336 上海市长 宁区天山路641号19 幢 （1号楼） 5 01G室 (72)发明人 孙建伟　许佑骏　 (74)专利代理 机构 上海互顺专利代理事务所 (普通合伙) 31332 专利代理师 曹月明 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/10(2017.01) G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/74(2022.01) G06V 10/82(2022.01) G06V 40/16(2022.01) G06K 9/62(2022.01) (54)发明名称 基于生成对抗网络的人脸图像质 量增强方 法 (57)摘要 本发明公开了人脸图像质量增加方法 ‑生成 对抗网络方法， 具体地， 包含以下 五个步骤： 1)静 态人脸数据采集， 2)数据处理， 3)搭建生成对抗 网络， 4)训练生成对抗网络， 5)测试生成对抗网 络， 本发明采用生成对抗网络来 建模人脸图像质 量， 生成器包含图像增强、 分辨率增强， 图像增强 实现对人脸图像亮度和噪声的矫正与增强， 采用 三种不同的方式来测量原始高质量人脸图像和 增强后人脸图像之间的相似 性， 分别是MSE、 SSIM 以及判别器输出的分数， 实现半监督的方法实现 人脸图像质量增强， 不需要标记训练数据， 大大 简化训练难度。 权利要求书1页 说明书4页 附图2页 CN 114913086 A 2022.08.16 CN 114913086 A 1.一种基于生成对抗网络的人脸图像质量增强方法， 其特征在于， 所述生成对抗网络 的人脸图像质量增强方法包 含以下步骤： 步骤S1:数据采集， 采集 不同光照、 不同背景、 不同清晰度的人脸图像作为实验数据； 步骤S2:数据处 理， 将训练集中的每张人脸裁 剪并调整为32 ×32×3像素； 步骤S3:搭建生成对抗网络模型， 包括以下步骤： 步骤S3.1:生成器模型搭建， 生成器G包含图像增强模块、 分辨率增强模块； 图像增强模 块实现对人脸图像亮度和噪声的矫正与增强， 由三个一样的GMNet组成， 每个GMNet包含卷 积层和Relu层 组成； 分辨率增强模块实现对人脸图像清晰度的增强， 由三个一样的SMNet、 上采样层、 和卷积层 组成， 每个SMNet具有相同的结构， 是由卷积层、 处理归一化层、 Relu层 组成； 步骤S3.2:判别器模型搭建， 包含五个一样的DMNet、 完全连接(FC)层和一个输出层， 每 一个DMNet包含卷积层、 Leaky  ReLU激活层和批处理归一化层； 输出层计算了真正的高质量 图像和增强后的高质量图像之间的图像质量分数； 步骤S4:训练生成对抗网络， 包括以下步骤： 步骤S4.1： 单独训练生成器G， 使其权重的初始化良好， 使用Adam优化器， 以初始学习率 为0.0005对整个数据集进行了25000次迭代， 采用能描述的结构相似度指数度量的SSIM作 为G的函数损失， 分别从亮度、 对比度和结构三种不同角度 度量， 随后被组合成一个最终值； 步骤S4.2： 联合训练生成器和判别器， 使用Adam优化器以初始学习率为0.0005对整个 数据集进行了25000次迭代， 每次迭代先沿着整个数据集训练判别器， 然后， 把判别器D的权 值分片到[ ‑0.05,0.05]范围内， 以提高训练过程的收敛性， 最后， 存储D的所有权值， 并在整 个数据集上训练完整的GAN并采用二至交叉熵作为损失函数； 步骤S4.3： 输出增 强后的人脸图像质量分数， 采用三种不同的方式来测量原始高质量 人脸图像和 增强后人脸图像之间的相似性， 分别是MSE、 S SIM以及判别器输出的分数； 步骤S5： 测试生成对抗网络， 包括以下步骤： 步骤S5.1： 初始人脸质量评分， 使用MTCNN作 为人脸检测器来检测测试集中每 张图像中 的人脸， 使用该模型输出检测分数； 步骤S5.2： 人脸图像增强， 将测试集中的每张人脸裁剪并调整为32 ×32×3像素， 将其 输入生成对抗网络， 生成器的输出 是质量增强后的人脸图像； 步骤S5.3： 质量增强效果评估， 将初始人脸和质量增强后的人脸输入判别器， 判别器给 出的分数即作为质量增强效果， 将增强后的人脸输入MTCNN模型进 行人脸检测， 输出检测分 数， 对比质量增强前后的检测分数。权　利　要　求　书 1/1 页 2 CN 114913086 A 2基于生成 对抗网络的人脸图像质量增强方 法 技术领域 [0001]本发明涉及计算机视觉领域， 尤其涉及一种基于生成对抗网络的人脸图像质量增 强方法。 背景技术 [0002]如今， 大多数人脸识别应用都是在不受约束的条件下进行的， 这有利于一些可变 因素出现， 如低分辨率、 异质背景、 模糊等， 严重影响识别精度。 因此， 人脸识别系统有必要 具备识别和处理这些因素 的能力， 在这种情况下， 人脸识别环境的质量评估可以理解为评 估人脸图像质量以决定该图片是否适合人脸识别， 因为低质量的图像在用于进行人脸识别 时不会产生可靠的结果。 [0003]最近， 受深度学习成功的启发， 人脸图像质量增强工作也在应用深度学习技术。 基 于深度学习的大多数相关工作都属于完全监督方法的范畴。 然而， 正确标记数据的稀缺性 是这些方法的主要问题， 这不仅是因为训练它们需要大量数据， 而且还因为难以用明确的 质量值标记数据而不会出错或引入人为偏见。 发明内容 [0004]为了克服现有技术的缺陷， 本发明采用半监督方法来处理这些限制， 不需要完整 的训练标签来进 行学习。 只需要为训练数据库中的每个主题选择一张尽可能高质量的人脸 图像， 而不给它任何数字质量标签， 每个主题的剩余图像将用作质量未知的训练样本。 本发 明的技术方案如下： [0005]一种基于生成对抗网络的人脸图像质量增强方法， 包括如下步骤， [0006]S1:数据采集， 采集 不同光照、 不同背景、 不同清晰度的人脸图像作为实验数据； [0007]S2:数据处 理， 将训练集中的每张人脸裁 剪并调整为32 ×32×3像素； [0008]S3:搭建生成对抗网络模型： [0009]S3.1:生成器模型搭建， 生成器G包含图像增强模块、 分辨率增强模块； 图像增强模 块实现对人脸图像亮度和噪声的矫正与增强， 由三个一样的GMNet组成， 每个GMNet包含卷 积层和Relu层 组成； 分辨率增强模块实现对人脸图像清晰度的增强， 由三个一样的SMNet、 上采样层、 和卷积层 组成， 每个SMNet具有相同的结构， 是由卷积层、 处理归一化层、 Relu层 组成； [0010]S3.2:判别器模型搭建， 包含五个一样的DMNet、 完全连接(FC)层和一个输出层， 每 一个DMNet包含卷积层、 Leaky  ReLU激活层和批处理归一化层； 输出层计算了真正的高质量 图像和增强后的高质量图像之间的图像质量分数； [0011]S4:训练生成对抗网络： [0012]S4.1： 单独训练生成器G， 使其权重的初始化良好， 使用Adam优化器， 以初始 学习率 为0.0005对整个数据集进行了25000次迭代， 采用能描述的结构相似度指数度量的SSIM作 为G的函数损失， 分别从亮度、 对比度和结构三种不同角度 度量， 随后被组合成一个最终值；说　明　书 1/4 页 3 CN 114913086 A 3