(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211132539.3 (22)申请日 2022.09.17 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 刘博　陈铭明　王慧娜　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 刘萍 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/77(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多尺度生成对抗网络的小样本高 质量生成的方法 (57)摘要 一种基于多尺度生成对抗网络的小样本高 质量生成的方法属于计算机视觉领域， 研究了一 种针对可以在小样本数据集上生成高分辨率图 像的方法。 首先利用基于全卷积神经网络构建的 生成器， 得到生成图像。 然后利用基于全卷积神 经网络构建的判别器， 在隐式上对于图像进行增 广， 分别对生成图片和真实图像计算距离指标。 生成器和判别器组成单层尺度下的图像生成模 型。 利用图像生成模型构建多层尺度结构， 从低 到高处理图像的尺寸逐步增大。 最后逐层进行动 态博弈实现生成图像分布向真实图像 分布拟合。 本发明解决了小样本的数据集少和生成图像清 晰度不够的问题。 权利要求书3页 说明书5页 附图4页 CN 115482434 A 2022.12.16 CN 115482434 A 1.基于多尺度生成对抗网络的小样本高质量 生成的方法， 其特 征在于： 首先， 利用生成对抗网络训练图像生成模型， 其中生成器是由多个卷积层构成的全卷 积神经网络； 其中判别器也是 由多个卷积层构成的全卷积神经网络， 输入图像通过多个卷 积层得到的输出矩阵， 矩阵中每个数据代表着原输入图像中的一个感受野， 对应了图像的 一片区域， 判别器因此可以拉近生成图像和真实图像在各个区域上的距离实现整体分布的 拟合， 依据此原理实现图像的增广； 然后利用多个图像生 成模型构建多尺度模型， 每一层尺 度下都会接收不同尺寸大小的图像， 从低到高依次增大； 待第一层尺度训练完毕后， 图像生 成模型会学习到第一层尺度下图像大小的轮廓细节； 将第一尺度下生成的图像放大后传入 到第二层尺度， 放大后的图像较之于第二层尺度下的训练数据集图像会有失真不清晰的现 象， 所以第二层尺度的图像生成模型就是学习传入图像放大后中缺失的细节信息； 逐步增 加尺度， 最后得到清晰的生成图像。 2.根据权利要求1所述的方法， 其特 征在于： 步骤1： 第一层尺度图像生成模型的构建 步骤1.1： 基于全卷积神经网络的生成器构建 第一层尺度生成器的输入为符合期望值为0， 标准差为1的正态分布 的噪声图， 卷积前 噪声图在上下左右各填充5行， 经过5个卷积层 进行卷积， 卷积核 大小皆为3 ×3， 步长皆为1， 卷积过程中不进行填充， 前4个卷积层通道数全是32， 都采用批量归一化， 它将对后续激活 函数的输入进行归一化， 使得数值更加稳定， 批量归一化后将采用带泄露修正线性单元作 为激活函数， 控制负斜率的角度设置为0.2， 使模型收敛更快； 第5个卷积层通道数为3， 采用 双曲正切函数作为激活函数， 将输出的数值范围定在 ‑1至1之间； 噪声图通过5层卷积后会 得到一个与其等大的生 成图像， 将作为第一层尺度判别器的输入和下一层尺度生成器的输 入； 步骤1.2： 基于全卷积神经网络的判别器构建 判别器的输入为真实图像或者生成图像， 经过5个卷积层， 卷积核大小皆为3 ×3， 步长 皆为1， 卷积过程中不进行填充， 前4个卷积层通道数全是32， 都采用批量归一化， 批量归一 化后将采用带泄露修正线性单元作为激活函数， 控制负斜率的角度设置为0.2； 第5个卷积 层通道数为1， 不添加激活函数； 图像通过5层卷积后会得到一个1维矩阵， 将矩阵中所有元 素的均值作为距离指标， 作为后续损失函数的输入。 3.根据权利要求1所述的方法， 其特 征在于： 步骤2： 多尺度模型构建 步骤2.1： 确定尺度N的数量 原始图像数据集的分辨率大小为700 ×460； 在模型中各尺度图像的输入最小尺寸不能 低于32， 最大尺寸不能高于256； 因此通过缩放将原始数据集图像长宽按等比例 缩放至256 ×168， 该大小也会作为最高尺度的输入尺寸大小； 在模型中各尺度之间的缩放因子r定为 0.75； 通过缩放因子r从高到低计算出各尺度的图像输入大小256 ×168， 192×126， 144× 95， 108×72， 81×54， 61×41， 继续向下最小尺寸会低于32， 共有6层尺度， 所以尺度N设置为 6； 步骤2.2： 除第一层尺度外， 其 余尺度图像生成模型构建 第二层包括第二层以上的尺度都需要接收来自上一尺度的生成图像； 第n层尺度的生权　利　要　求　书 1/3 页 2 CN 115482434 A 2成器的输入为符合标准正态 分布的噪声图Zn和来自n‑1层尺度生成器生成的图像Fn‑1； 在输 入网络前先通过 1/r乘上Fn‑1对图像进行放大， 得到放大的生 成图像Fn‑1r； 将Fn‑1r和Zn分别在 上下左右各填充5行， 相加后输入到5层卷积网络中， 其中5个卷积层的卷积核大小皆为3 × 3， 步长皆为1， 卷积过程中不进行填充； 前4个卷积层通道数全是32x(pow(2,n//4))， 其中 “//”是一个算术运算符， 表示整数除法， 它可以返回商向下取整的整数部分,pow函数用于 进行求幂运算2为底数， n//4为指数； 整体表 示每隔4个尺度， 通道数就翻倍， 所以从第2到第 7尺度通道数分别为32， 32， 32， 64， 64， 64； 第5个卷积层通道数为3， 采用双曲正切函数作为 激活函数， 将输出的数值范围定在 ‑1至1之间； 最后网络的输出结果会与Fn‑1r相加得到的生 成图像Fn， Fn会作为判别器的输入和下一尺度生成器的输入； 第n层尺度的判别器的输入为真实图像或者生成图像， 经过5个卷积层， 卷积核大小皆 为3×3， 步长皆为1， 卷积过程中不进行填充， 前4个卷积层通道数全是32x(pow(2,n//4))， 都采用批量归一化， 批量归一化后 将采用带泄露修正线性单元作为激活函数； 第5个卷积层 通道数为1， 不添加激活函数； 图像通过5层卷积后会得到一个1维矩阵， 将矩阵中所有元素 的均值作为距离指标， 作为后续损失函数的输入。 4.根据权利要求1所述的方法， 其特 征在于： 步骤3： 逐层生成图像 步骤3.1： 通过损失函数进行动态博弈， 在博弈开始前先对判别器预训练2000轮， 在博 弈阶段判别器连续训练3次， 生成器连续训练3次， 这样可以避免生成器在优化的过程中梯 度过小的问题； 优化的过程是通过损失函数进 行； 损失函数分为2个部 分： 对抗损失、 重 建损 失； 整体损失函数公式如下： 其中D为判别器， G为生成器； 为在对生成器进行优化时最小化损失 函数， 对判别器进行优化时最大化损失函数； Ladv(G,D)为对抗损失， 如公式(2)所示； Lrec(G) 为重建损失， 如公式(4)所示； 其中重建损失权 重系数∝rec设置为10， 具有通用性； 对抗损失Ladv(G,D)具体公式如下： 其中对抗损失采用的是WGAN ‑GP损失以提 高模型的稳定性， 防止模式崩塌； D(x)是判别 器输入图片为x时图片为真的概率， 表示D(x)的数学期望， 其 中x服从真实 图像数据的概率分布pdata(x)； D(G(z))是当G(z)生成器输入某个隐空间时得到生成图像， 判别器判别该图为真的概率， 表示D(G(z))的数学期望， 其中z服从正态分布 噪声的概率分布pz(z)； 服从分布 公式如(3)所示， α 为 ‑1至1之间的随机数， 是在真实 图像和生成图像之间做线性差值； 为 在 上的梯度， 即相对于原始输入的梯度的L2范数要约束在1附近的数学期望； λ为梯度惩罚因子， 其中λ取 值为10， 具有通用性； 重建损失Lrec(G)具体公式如下：权　利　要　求　书 2/3 页 3 CN 115482434 A 3