(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210465084.0 (22)申请日 2022.04.29 (71)申请人 杭州云像科技有限公司 地址 310012 浙江省杭州市西湖区文二西 路712号西溪乐谷创意产业园2号楼2 层K1 (72)发明人 王鼎　谢衍涛　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 洪铭福 (51)Int.Cl. G06T 3/00(2006.01) G06V 40/16(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 10/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 图像处理模 型的训练方法、 电子设备及存储 介质 (57)摘要 本申请提供了图像处理模型的训练方法、 电 子设备及存储介质， 属于图像处理技术领域。 其 根据第一样 本合成人脸图像的身份特征、 第二样 本合成人脸图像的身份特征和初始交互损失函 数得到第一目标交互损失函数。 并根据第一样本 合成人脸图像的属性特征、 第二样 本合成人脸图 像的属性特征和初始交互损失函数得到第二目 标交互损失函数。 基于第一目标交互损失函数、 第二目标交互损失函数对初始属性优先生成器 和初始身份优 先生成器进行 互补训练， 交替迭代 演化， 提高了弱监督学习的力度， 降低模型训练 的难度， 并且训练后得到的目标图像处理模型的 图像处理效果更优。 权利要求书3页 说明书14页 附图6页 CN 114764744 A 2022.07.19 CN 114764744 A 1.一种图像处 理模型的训练方法， 其特 征在于， 所述训练方法包括： 获取样本源人脸图像和样本目标 人脸图像； 将所述样本源人脸图像和所述样本目标人脸图像输入至预先训练得到的初始图像处 理模型； 其中， 所述初始图像处 理模型包括： 初始身份优先生成器和初始属性优先生成器； 通过所述初始身份优先生成器对所述样本源人脸图像和所述样本目标人脸图像进行 面部更换处理， 得到第一样本合成人脸图像， 通过所述初始属 性优先生成器对所述样本源 人脸图像和所述样本目标 人脸图像进行面部更 换处理， 得到第二样本合成人脸图像； 获取所述初始图像处 理模型的初始交 互损失函数； 根据所述第 一样本合成人脸图像的身份特征、 所述第 二样本合成人脸图像的身份特征 和所述初始交 互损失函数进行损失计算， 以得到第一目标交 互损失函数； 根据所述第 一样本合成人脸图像的属性特征、 所述第 二样本合成人脸图像的属性特征 和所述初始交 互损失函数进行损失计算， 以得到第二目标交 互损失函数； 根据所述第 一目标交互损失函数对所述初始属性优先生成器进行参数调整， 得到目标 属性优先生成器； 根据所述第二目标 交互损失函数对所述初始身份优先生成器进 行参数调 整， 得到目标身份优先生成器； 根据所述目标属性优先生成器和所述目标身份优先生成器得到目标图像处 理模型。 2.根据权利要求1所述的训练方法， 其特征在于， 所述根据 所述第一样本合成人脸图像 的身份特征、 所述第二样本合成人脸图像的身份特征和所述初始交互损失函数进 行损失计 算， 以得到第一目标交 互损失函数， 包括： 对所述第一样本合成人脸图像进行 特征提取， 以得到第一样本合成身份特 征； 对所述第二样本合成人脸图像进行 特征提取， 以得到第二样本合成身份特 征； 计算所述第一样本合成身份特 征和所述第二样本合成身份特 征的余弦距离； 根据所述余弦距离对所述初始交互损失函数进行更新， 以得到所述第 一目标交互损失 函数。 3.根据权利要求1所述的训练方法， 其特征在于， 所述根据 所述第一样本合成人脸图像 的属性特征、 所述第二样本合成人脸图像的属性特征和所述初始交互损失函数进 行损失计 算， 以得到第二目标交 互损失函数， 包括： 通过预设的相似度计算模型计算第一样本合成人脸图像和第二样本合成人脸图像的 属性特征相似度； 根据所述属性特征相似度对所述初始交互损失函数进行更新， 以得到所述第 二目标交 互损失函数。 4.根据权利要求1至3任意一项所述的训练方法， 其特征在于， 在将所述样本源人脸图 像和所述样本目标人脸图像输入至预先训练得到的初始图像处理模型之前， 所述方法还包 括： 预先训练预设的第一神经网络模型， 以得到所述初始身份优先生成器， 具体包括： 将所述样本源人脸图像和所述样本目标人脸图像输入至预设的第 一神经网络模型； 其 中， 所述第一神经网络模型包括第一身份特征提取模块、 第一卷积模块、 属性注入模块和 第 一反卷积模块； 通过所述第 一身份特征提取模块对所述样本源人脸图像进行特征提取， 以得到第 一初权　利　要　求　书 1/3 页 2 CN 114764744 A 2始样本身份特 征； 通过所述第 一卷积模块对所述样本目标人脸图像进行卷积处理， 以得到第 一初始样本 属性特征； 通过所述属性注入模块对所述第一初始样本属性特征和所述第一初始样本身份特征 进行特征融合， 得到第一样本混合特 征； 通过所述第 一反卷积模块对所述第 一样本混合特征进行反卷积处理， 得到第 一样本合 成人脸图像； 根据所述样本源人脸图像、 所述样本目标人脸图像以及所述第 一样本合成人脸图像得 到第一目标损失函数； 根据所述第 一目标损失函数对所述第 一神经网络模型进行训练， 以得到所述初始身份 优先生成器。 5.根据权利要求4所述的方法， 其特征在于， 所述属性注入模块包括： 插值层、 第 一归一 化层、 第一卷积层、 第二卷积层， 所述通过所述属性注入模块对所述第一初始样本属性特征 和所述第一初始样本身份特 征进行特征融合， 得到第一样本混合特 征， 包括： 通过所述插值层对所述第 一初始样本身份特征进行插值处理， 以得到与所述第 一初始 样本属性特 征的尺寸相同的第一目标样本身份特 征； 通过所述第 一归一化层对所述第 一目标样本身份特征进行归一化处理， 以得到第 一概 率函数； 通过所述第 一卷积层对所述第 一初始样本属性特征进行卷积处理， 以得到第 一均值系 数； 通过所述第 二卷积层对所述第 一初始样本属性特征进行卷积处理， 以得到第 一方差系 数； 将所述第一概率函数、 所述第一均值系数和所述第一方差系数进行组合， 得到所述第 一样本混合特 征。 6.根据权利要求1至3任意一项所述的训练方法， 其特征在于， 在将所述样本源人脸图 像和所述样本目标人脸图像输入至预先训练得到的初始图像处理模型之前， 所述方法还包 括： 预先训练预设的第二神经网络模型， 以得到所述初始属性优先生成器， 具体包括： 将所述样本源人脸图像和所述样本目标人脸图像输入预设的第二神经网络模型； 其 中， 第二神经网络模型包括： 第二身份特征提取模块、 第二卷积模块、 身份注入模块和第二 反卷积模块 通过所述第 二身份特征提取模块对所述样本源人脸图像进行特征提取， 以得到第 二初 始样本身份特 征； 通过所述第 二卷积模块对所述样本目标人脸图像进行卷积处理， 以得到第 二初始样本 属性特征； 通过所述身份注入模块对所述第二初始样本属性特征和所述第二初始样本身份特征 进行特征融合， 得到第二样本混合特 征； 通过所述第 二反卷积模块对所述第 二样本混合特征进行反卷积处理， 得到第 二样本合 成人脸图像；权　利　要　求　书 2/3 页 3 CN 114764744 A 3