(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210517000.3 (22)申请日 2022.05.13 (65)同一申请的已公布的文献号 申请公布号 CN 114627383 A (43)申请公布日 2022.06.14 (73)专利权人 南京航空航天大 学 地址 210016 江苏省南京市秦淮区御道街 29号 (72)发明人 汪俊　单忠德　花诗燕　李大伟　 (74)专利代理 机构 南京钟山专利代理有限公司 32252 专利代理师 张力 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/40(2022.01)G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 江汉琼 (54)发明名称 一种基于度量学习的小样本缺陷检测方法 (57)摘要 本发明公开了一种基于度量学习的小样本 缺陷检测方法， 包括步骤 （1） ： 通过G2‑GAN对抗网 络对小样本缺陷数据集进行数据增强； 步骤 （2） ： 基于卷积核自适应的卷积神经网络SKM ‑CNN提取 与待检测小样本缺陷数据集相似的缺陷数据集 的特征， 生成预训练模型； 步骤 （3） ： 将预训练模 型迁移到基于度量学习的小样本缺陷检测网络 S2D2N中， 以先目标特征提取后度量学习的方式 实现缺陷的快速识别与定位。 本发明快速、 高效 地完成缺陷检测， 解决了样本数据缺乏情况下训 练出的模型检测精度低、 可靠性低、 过拟合等问 题。 权利要求书2页 说明书5页 附图2页 CN 114627383 B 2022.08.02 CN 114627383 B 1.一种基于度量学习的小样本缺陷检测方法， 其特 征在于， 包括： 步骤(1)： 通过G2‑GAN对抗网络对小样本缺陷数据集进行 数据增强； 步骤(2)： 基于卷积核自适应的卷积神经网络SKM ‑CNN提取与待检测小样本缺陷数据 集 相似的缺陷数据集的特 征， 生成预训练模型； 步骤(3)： 将预训练模型迁移到基于度量学习的小样本缺陷检测网络S2D2N中， 以先目标 特征提取后度量学习的方式实现缺陷的快速识别与定位； 所述步骤(1)中通过G2‑GAN对小样本缺陷数据集进行 数据增强， 具体包括： 步骤(1.1)： 在GAN的基础上改进得到G2‑GAN网络， 所述G2‑GAN网络包括第一生成器G、 第 二生成器G和判别器D； 将小样本缺陷数据集作为真实样本集T， 对随机产生的制造样本添加随机噪声后， 生成 最初的制造样本 C1； 步骤(1.2)： 通过第一 生成器G对C1进行处理， 生成粗加工后的制造样本 C2； 步骤(1.3)： 将真实样本集T经过N个卷积层、 反残差模块交替组成的特征提取模块生成 的特征图和C2同时输入第二生成器G， 用真实样本的特征优化C2图像， 得到精加工的制造样 本C3； 步骤(1.4)： 将C3与真实样本集T同时输入判别器D， 判定C3是否是真实样本， 若判定是， 输出该样本， 否则说明与真实样本相比C3的相似度欠缺， 将其返回第一个生成器G， 重复上 述过程， 直至判定为真； 所述步骤(3)中将预训练模型迁移到基于度量学习的小样本缺陷检测网络S2D2N中， 以 先目标特征提取后度量学习的方式实现缺陷的快速识别与定位， 具体包括： 步骤(3.1)： 将步骤(1)中数据增强后的数据集分为支撑图像数据集和查询图像数据 集； 步骤(3.2)： 目标特征提取， 将步骤(2)中获得的预训练模型用于金字塔网络FPN中， 通 过高层特征上采样、 低层特征进行自顶向下 的连接以及对等层 间的连接， 使用三个不同的 尺度空间学习缺陷特 征， 增强网络对不同尺度缺陷的感知能力， 实现对目标 特征的提取； 支撑图像数据集、 查询图像数据集经 过目标特征提取阶段产生类别特 征和缺陷特 征； 步骤(3.3)： 计算类别特征和缺陷特征两种特征矩阵之间的距离， 根据阈值判断是否为 某类缺陷， 若距离值在设定的阈值范围之类， 标 出小样本图像上缺陷位置 。 2.根据权利要求1所述的一种基于度量学习的小样本缺陷检测方法， 其特征在于， 所述 步骤(2)中基于卷积核自适应的卷积神经网络SKM ‑CNN提取与待检测小样本缺陷数据集相 似的缺陷数据集的特 征， 生成预训练模型， 具体包括： 步骤(2.1)： 寻找与待检测小样本缺陷数据集有相似缺陷的、 公开的数据集作为辅助数 据集； 步骤(2.2)： 使用基于卷积核自适应的卷积神经网络SKM ‑CNN提取辅助数据集的特 征； 步骤(2.3)： 保存预训练模型。 3.根据权利要求2所述的一种基于度量学习的小样本缺陷检测方法， 其特征在于， 所述 步骤(2.2)包括： 1)使用一组 “卷积层+SKM注意力模块+深度卷积 ”操作提取缺陷特征， 其中的SKM注意力 模块根据目标尺寸、 距离不同自适应调节卷积核 大小， 使网络获得不同感受野信息， 有利于权　利　要　求　书 1/2 页 2 CN 114627383 B 2辅助数据集的特 征提取； 2)通过第 一次和第二 次上采样操作增加特征图的分辨率， 提高最后输出的特征图的分 辨率； 3)ROI池化层重复利用卷积神经网络CNN中产生的特征图， 加速模型的训练和测试过 程； 4)通过卷积层和全连接层对特 征进行分类预测。 4.根据权利要求2所述的一种基于度量学习的小样本缺陷检测方法， 其特征在于， 所述 步骤(2.2)中使用基于卷积核自适应的卷积神经网络SKM ‑CNN提取辅助数据集的特征时进 行两次跳跃连接： 将SKM注意力模块后的特征图融合到第二次上采样前， 将第一次上采样前 的特征图融合到ROI池化层后， 使预训练模型保留足够的局部特征信息， 提高模型的泛化 性。权　利　要　求　书 2/2 页 3 CN 114627383 B 3