(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211121663.X (22)申请日 2022.09.15 (71)申请人 山东大学 地址 266200 山东省青岛市 即墨区滨 海路 72号 申请人 上海新时达电气股份有限公司 (72)发明人 郑艳伟　黄博文　王鹏　于东晓　 孙恩涛　杜超　 (74)专利代理 机构 青岛华慧泽专利代理事务所 (普通合伙) 37247 专利代理师 刘娜 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于可学习数据增强的小规模数据集 扩增方法 (57)摘要 本发明公开了一种基于可学习数据增强的 小规模数据集扩增方法， 包含以下步骤： 对小规 模数据集中的原始图像以概率p进行数据增强； 将数据增强后的图像输入生成对抗网络的判别 器中， 同时， 随机采样一个正态分布的噪声作为 生成对抗网络中生成器的输入， 由生成器生成一 张图像， 并输入判别器中， 生成器和判别器进行 交替训练， 优化目标函数； 在训练过程中， 概率p 以及生成对抗网络的参数进行不断学习更新； 随 机采样多个正态分布的噪声分别输入训练完成 的生成对抗网络的生成器中， 分别生成相应的 图 像， 实现小规模数据集的扩增。 本发明所公开的 方法可以生成大量高质量图像， 实现了小规模数 据集的扩增， 同时避免了生 成的图像与原始数据 不一致的情况。 权利要求书3页 说明书8页 附图1页 CN 115482433 A 2022.12.16 CN 115482433 A 1.一种基于可 学习数据增强的小规模数据集扩增方法， 其特 征在于， 包 含以下步骤： 步骤一， 数据增强： 对小规模数据集中的原始图像以概率p进行数据增强， 获得数据增 强后的图像； 步骤二， 生成对抗网络训练： 将数据增强后的图像输入生成对抗网络的判别器中， 同 时， 随机采样一个正态分布的噪声作为生成对抗网络中生成器的输入， 由生成器生成一张 图像， 并输入判别器中， 由判别器判断输入的图像是真实图像还是生 成图像， 生成器和判别 器进行交替训练， 优化 目标函数； 在训练过程中， 概率p以及生成对抗网络的参数进行不断 学习更新， 重复步骤一和步骤二， 完成生成对抗网络的训练； 步骤三， 小规模数据集扩增： 随机采样多个正态分布的噪声分别输入训练完成的生成 对抗网络的生成器中， 分别生成相应的图像， 实现小规模数据集的扩增。 2.根据权利要求1所述的一种基于可学习数据增强的小规模数据集扩增方法， 其特征 在于， 步骤一中， 数据增强的方法包括几何变换、 像素变换和图像滤波。 3.根据权利要求2所述的一种基于可学习数据增强的小规模数据集扩增方法， 其特征 在于， 所述几何变换包括 位移变换、 等比缩放和非等比缩放。 4.根据权利要求2所述的一种基于可学习数据增强的小规模数据集扩增方法， 其特征 在于， 所述像素变换包括亮度变化、 对比度变化、 饱和度变化、 噪声添加 和随机擦除。 5.根据权利要求1所述的一种基于可学习数据增强的小规模数据集扩增方法， 其特征 在于， 步骤一的具体方法如下： 将原始图像以概率p依次进 行位移变换、 等比缩放、 非等比缩 放、 亮度变化、 对比度变化、 饱和度变化、 噪声添加、 随机擦除以及图像滤波， 获得数据增强 后的图像。 6.根据权利要求5所述的一种基于可学习数据增强的小规模数据集扩增方法， 其特征 在于， 所述 位移变换 是以概率p对图像进行整体的位移， 变换 过程如下： tx,ty～U(‑0.1,0.1) 其中， 概率p是一个初始值为0.5的可学习参数； tx,ty分别表示图像宽和高缩放的倍数； i11～U(0,1)， 是0到1的一个随机数， 用于确定位移变换操作是否执行； U()表示均匀分布， Translate表示位移变换操作， w和h表示图像的宽和高； round()表示取整； X0表示原始图 像； X11为位移变换后的图像； 所述等比缩放是以概 率p将图像的宽和高按照相同的比例进行缩放， 变换 过程如下： s～U(0.5,2) 其中， i12～U(0,1)， 是0到1的一个随机数， 用于确定等比缩放操作是否执行； Scale表示 缩放操作， s为图像宽和高的缩放倍数； Cr op是裁剪操作， 用于将图像的宽和高重新变为w和 h， 以保持图像尺寸 不变， X12是等比缩放后的图像； 所述非等比缩放是以概率p将图像的宽和高按照不同的比例进行缩放缩， 变换过程如 下：权　利　要　求　书 1/3 页 2 CN 115482433 A 2s1～U(0.5,2)， s2 ～U(0.5,2) 其中， i13～U(0,1)， 是0到1的一个随机数， 用于确定非等比缩放操作是否执行， s1,s2分 别为图像宽和高的缩放 倍数， X13表示非等比缩放后的图像。 7.根据权利要求5所述的一种基于可学习数据增强的小规模数据集扩增方法， 其特征 在于， 所述亮度变化是以概 率p对图像的亮度进行变化， 变化过程如下： b～U(0.5,1.5) 其中， i21～U(0,1)， 是0到1的一个随机数， 用于确定亮度变 化操作是否执行， U()表示均 匀分布， Bright表示亮度变化操作， b为亮度变化的倍数， X13表示非等比缩放后的图像， X21 表示亮度变化后的图像； 所述对比度变化是以概 率p对图像的对比度进行变化， 变化过程如下： c～U(0.7,1.2) 其中， i22～U(0,1)， 是0到1的一个随机数， 用于确定对比度变化操作是否执行， Contrast表示对比度变化操作， c为对比度变化的倍数， X22表示对比度变化后的图像； 所述饱和度变化是以概 率p对图像的饱和度进行变化， 变化过程如下： s～U(0.6,1.2) 其中， i23～U(0,1)， 是0到1的一个随机数， 用于确定饱和度变化操作是否执行， Saturati on表示饱和度变化操作， s为饱和度变化的倍数， X23表示饱和度变化后的图像； 所述噪声添加是以概 率p为图像添加一个随机噪声， 变化过程如下： r,g,b～N(0,1) 其中， i24～U(0,1)， 是0到1的一个随机数， 用于确定是否添加噪声， (m,n)表示图像上的 一个像素坐标， 且0≤m<w,0≤n<h， w和h表示图像的宽和高， r,g,b是三个正态分布 的随机 数， 分别对应 像素的三个分量R,G,B； N()表示 正态分布； X24表示噪声添加操作后的图像； 所述随机擦除是以概 率p随机选择图像中的一个区域将其去除， 变化过程如下： cx,cy～U(0.3,0.6) left＝round( (cx‑0.25)×w) low＝round( (cy‑0.25)×h) right＝round( (cx+0.25)×w) high＝round( (cy+0.25)×h)权　利　要　求　书 2/3 页 3 CN 115482433 A 3