(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210081334.0 (22)申请日 2022.01.24 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 任获荣　于泽洋　李向宁　赵伟　 焦小强　骆虎林　 (74)专利代理 机构 郑州知倍 通知识产权代理事 务所(普通 合伙) 41191 专利代理师 李玲玲 (51)Int.Cl. G06T 7/00(2017.01) G06T 3/40(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于 FPN与DETR融合改进的芯片缺陷检 测方法 (57)摘要 本发明公开了一种基于FPN与DETR 融合改进 的芯片缺陷检测方法， 改善了现有技术中微小芯 片缺陷的检测效果仍须改善的问题。 该发明含有 以下步骤， 步骤1： 获取工业生产前端有缺陷芯片 的图像信息， 标注缺陷位置及缺陷类别， 使用图 像数据增强方法对数据集进行扩充； 步骤2： 搭建 改进的FPN特征金字塔网络提取图像的层次特征 并融合； 步骤3： 搭建改进的DETR 网络， 将步骤2中 经过改进的FPN网络组合DETR网络构成整体的分 类网络， 先使用公开的数据集进行训练， 固定部 分参数后继续使用芯片缺陷数据集进行训练， 得 到训练好的网络模型； 步骤4： 使用训练好的模 型， 对待检测的图像进行检测分类并输出结果。 该技术有效的解决了芯片检测领域中的深度学 习训练困难、 数据集较少的问题。 权利要求书1页 说明书5页 附图3页 CN 114463297 A 2022.05.10 CN 114463297 A 1.一种基于FPN与DETR融合改进的芯片缺陷检测方法， 其特 征在于： 含有以下步骤， 步骤1： 获取工业生产前端有缺陷芯片的图像信息， 标注缺陷位置及缺陷类别， 使用图 像数据增强方法对数据集进行扩充； 步骤2： 搭建改进的FPN特 征金字塔网络提取图像的层次特 征并融合； 步骤3： 搭建改进的DETR网络， 将步骤2中经过改进的FPN网络组合DETR网络构成整体的 分类网络， 先使用公开的数据集进行训练， 固定部分参数后 继续使用芯片缺陷数据集进行 训练， 得到训练好的网络模型； 步骤4： 使用训练好的模型， 对待检测的图像进行检测分类并输出 结果。 2.根据权利要求1所述的基于FPN与DETR融合改进 的芯片缺陷检测方法， 其特征在于： 所述步骤1中使用矩形框标注缺陷位置并记录矩形框的参数， 标记缺陷类别 设置缺陷类别 为10类， 对图像进行平 移、 翻转、 镜像、 投影、 缩放和 加噪的操作， 完成数据集的扩充。 3.根据权利要求1所述的基于FPN与DETR融合改进 的芯片缺陷检测方法， 其特征在于： 所述步骤2建立的FPN特征金字塔结构共4层， 其中C1表示原图， C2 ‑C4分别表示经过卷积后 的不同尺度特征， 将 C4所得的结果经过1*1的卷积操作得到M4， 将 M4采用最近邻插值法上采 样与C3进过1*1的卷积后相加得到M3， 同理可得M2， 此时M2已经融合了C2 ‑C4的特征信息， 将 M2展平为向量并保存， 其中第一层卷积与第二层卷积均使用扩张率为 1的卷积核， 即为普通 卷积， 第三层卷积使用膨胀率为2的卷积核， 扩 大感受野， 第四层卷积使用膨胀率为4的卷积 核加强全局特 征的提取。 4.根据权利要求1所述的基于FPN与DETR融合改进 的芯片缺陷检测方法， 其特征在于： 所述步骤3中的经过改进的DETR网络包括编码器、 解码器和分类网络三个部分， 使用步骤2 中提取的特征向量及其空间位置编码相加， 送入编码器中得到编码器输出， 解码器的输入 由两部分组成， 第一部 分为编码 器的输出， 第二部 分为对象查询向量， 其中对象查询的维度 为预测缺陷最大目标数， 经过解码器的输出继续输入分类网络中， 分类网络由一个前馈神 将网络和N个SVM二分类网络组成， 前馈神经网络用来预测 选框的位置及大小， 待检测目标 所有类别使用一个SVM分类网络分类， 最终选择概 率最大一类作为目标的类别。 5.根据权利要求1所述的基于FPN与DETR融合改进 的芯片缺陷检测方法， 其特征在于： 所述步骤4中将待检测图像输入 模型中， 得到图像中的全部缺陷及其类型。权　利　要　求　书 1/1 页 2 CN 114463297 A 2一种基于FPN 与DETR融合改进的芯片缺陷检测方 法 技术领域 [0001]本发明涉及人工智能的深度学习技术领域， 特别是涉及一种基于FPN与DETR融合 改进的芯片缺陷检测方法。 背景技术 [0002]随着半导体行业的蓬勃发展， 集成电路的自动化检测技术成为了研究热点之一。 外观检测的方法有3种： (1)传统的人工检测方法； (2)使用激光测量技术进行芯片外观检 测； (3)基于机器视觉的检测方法。 由于机器视觉的方法具有成本低、 速度快、 效率高、 非接 触等优点而成为研究热点。 [0003]近年来随着深度学习和人工智能的快速发展， 机器视觉技术也随之更新。 在检测 领域中， 越来越多的深度学习 方法被应用。 深度学习的方法与传统机器视觉方法比较有着 准确率高、 运行速度快和泛化能力强的特点。 [0004]芯片缺陷检测任务中， 在一个芯片样本上可能存在多种缺陷， 这种多检测任务的 复杂程度较高。 传统的检测 算法只能检测芯片上 的某一个缺陷， 而需要多个缺陷时只能利 用多种不同算法或多次检测， 不能较好的解决这种复杂任务。 缺陷的种类越多也会造成检 测任务复杂。 基于深度学习的目标检测可以较好的解决这类复杂问题。 [0005]目标检测领域中， 常用的R ‑CNN方法、 Faster  R‑CNN方法等方法都是需要先从图中 框选可能是物体的内容再进行检测。 这种两步的方法存在运算速度慢， 检测 算法负载的问 题， 同时检测的结果和锚框的选取存在着强相关性。 两步的方法也导致神经网络的训练较 为困难。 由于卷积网络进 行多层卷积后得到的特征较为复杂， 而使用这些特征进 行检测时， 神经网络不能充分 关注有效信息， 导 致检测效果较差 。 这种问题被称为注意力分散问题。 [0006]Transformer网络是自然语言处理中的一种性能较强的网络。 由于Transformer网 络中的自注意力机制可以有效解决注意力 分散问题， 所以可以将其用在目标任务检测中。 这种网络被称为DEtection  TRansformer(DETR)。 同时DETR网络由于不需要先选框后识别， 所以解除了检测结果与锚框的相关性， 降低了算法 复杂度， 提高了检测效率。 本发 明中利用 DETR网络， 学习芯片缺陷图像的特 征与位置特 征， 达到检测与分类一 步完成。 [0007]使用Transformer网络做目标检测时， 会出现微小目标的检测效果较差、 准确率较 低的问题。 这是由于在 Transformer做目标检测时往往依赖于骨干网络提取得到的特征。 由 于在深度学习中， 随着卷积层数的不断增加， 特征提取层次越高， 这导致了低层次的信息被 丢弃， 微小目标的检测依赖于这些低层次的特征。 尤其在芯片缺陷检测领域中， 常存在多种 依赖低层次信息检测的微小缺陷。 为解决此问题， 本发明使用了Feature  Pyramid   Networks(FPN)网络。 FPN特征金字塔网络是特征提取中的一种重要手段。 FPN通过卷积得到 高层次特征后经过上采样与低层次特征融合得到多尺度融合特征。 通过不同的多尺度特征 融合， 在保证高级特征被正确 提取的情况下也能保留低级特征， 提高系统对微小目标的检 测准确度。 [0008]芯片的缺陷检测的任务中还存在着样本不平衡的问题。 样本不平衡是指在分类的说　明　书 1/5 页 3 CN 114463297 A 3