(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210072322.1 (22)申请日 2022.01.21 (71)申请人 广东工业大 学 地址 510006 广东省广州市番禺区小谷围 街广州大 学城外环西路10 0号 (72)发明人 陈玉冰　陈新度　吴磊　 (74)专利代理 机构 广州专理知识产权代理事务 所(普通合伙) 44493 专利代理师 沈素芹 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/136(2017.01) G06T 7/55(2017.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种芯片焊 接线缺陷检测方法及装置 (57)摘要 本发明涉及一种芯片焊接线缺陷检测方法， 包括以下： 获取目标芯片的正上方以及多张其他 方向的图像作为第一图像集； 对 所述第一图像集 进行预处理操作得到第二图像集； 对 所述第二图 像集中的图像通过群智能优化算法进行分割得 到第三图像集； 将所述第三图像集中的目标芯片 的正上方图像输入预训练的第一深度卷积神经 网络进行二维的缺陷检测， 若存在芯片焊接线缺 陷则直接输出缺陷类型； 若不存在芯片焊接线缺 陷则结合所述第三图像集中的多张其他方向的 图像进行三维重建得到重建的三维数据； 将重建 的所述三维数据输入预训练第二深度卷积神经 网络进行三维的缺陷检测。 本发 明通过二维和三 维融合检测的方法既弥补了二维信息不全面的 缺点又避免了仅用三维检测技术的计算量大和 速度慢的缺 点。 权利要求书2页 说明书6页 附图1页 CN 114494174 A 2022.05.13 CN 114494174 A 1.一种芯片焊接线缺陷检测方法， 其特 征在于， 包括以下： 获取目标芯片的正上 方以及多张其 他方向的图像作为第一图像集； 对所述第一图像集进行 预处理操作得到第二图像集； 对所述第二图像集中的图像通过群智能优化 算法进行分割得到第三图像集； 将所述第三图像集中的目标芯片的正上方图像输入预训练的第一深度卷积神经网络 进行二维的缺陷检测， 若存在芯片焊接线缺陷则直接 输出缺陷类型； 若不存在芯片焊接线缺陷则结合所述第三图像集中的多张其他方向的图像进行三维 重建得到 重建的三维数据； 将重建的所述三维数据输入预训练第 二深度卷积神经网络进行三维的缺陷检测， 若仍 不存在三维缺陷， 则判断所述目标芯片为 合格芯片， 若存在三维缺陷则输出缺陷类型。 2.根据权利要求1所述的一种芯片焊接线缺陷检测方法， 其特征在于， 具体的， 对所述 第一图像集进行的预处 理操作包括以下， 对所述第一图像集中的图像分别进行灰度化、 几何变换以及图像增强处理得到第 二图 像集。 3.根据权利要求1所述的一种芯片焊接线缺陷检测方法， 其特征在于， 具体的， 对所述 第二图像集中的图像通过群智能优化 算法进行分割得到第三图像集， 包括， 对所述第二图像集中的图像建立二维最大条件熵模型， 使用群智能优化算法对对二维 最大熵问题寻优求解出最优阈值， 从而对芯片焊接线图像实现有效的二维阈值分割， 为下 一步缺陷检测提供高质量待测图像。 4.根据权利要求1所述的一种芯片焊接线缺陷检测方法， 其特征在于， 具体的， 所述第 一深度卷积神经网络通过以下 方式进行训练， 首先对所采集的图像进行旋转、 翻转、 位移、 去噪、 模糊等一系列的几何变换扩充数据 集， 把每个图像都归一 化为同等的大小， 将数据集按4： 1的比例划分为训练集和 测试集， 将处理好的图像输入神经网络模型， 该网络模型包括输入层、 卷积层、 激活函数、 池化 层、 全连接层和输出层， 拟 定的卷积神经网络共有12层， 拟采用的激活函数为 ReLU， 具体地： 输入层， 卷积层1， 池化层1， 卷积层2， 卷积层3， 池化层2， 卷积层4， 卷积层5， 池化层3， 全 连接 层1， 全连接层2， 输出层， 其中池化层大小为3 *3， 步长为2， 利用梯度下降法在权值空间中求得最小损失函数， 从标准差为0.001的零均值高斯分 布初始化每一层的权值， 第一个卷积层和最后一个全连接层的偏置值初始化为0， 其余层中 的偏置初始化为1， 每次训练图像数据集大小为50， 动量系数设为0.9， 衰减参数设为0.01， 学习率初始值 为0.001， 每1000次降低0.1。 5.根据权利要求4所述的一种芯片焊接线缺陷检测方法， 其特征在于， 具体的， 所述第 二深度卷积神经网络通过以下 方式进行训练， 三维卷积神经网络是在二维卷积神经网络上加了一个空间维度， 网络整体结构大致相 同， 输入层为含有三维信息的三维图像， 卷积层的卷积核为3*3*3， 池化层2*2*2， 步长为2， 全连接层， 输出层， 训练过程同样基于批量的梯度下降法， 进行多次的前向传播和反向传 播， 使用加权交叉熵作为损失函数， ReLU为激活函数， 学习率初始值为0.001， 每一万次降低 0.1， 随机失活率 为0.5。权　利　要　求　书 1/2 页 2 CN 114494174 A 26.根据权利要求1所述的一种芯片焊接线缺陷检测方法， 其特征在于， 具体的， 结合所 述第三图像集中的多张其 他方向的图像进行三维重建得到 重建的三维数据， 包括， 取第三图像集中目标芯片的左侧方与右侧方的图像， 分别对左侧方与右侧方的图像进 行特征点、 特征线和区域的提取； 根据所提取的特 征进行立体匹配， 将两幅不同的图像中的成像点 一一对应起 来， 将匹配的结果与摄 像机标定的内外参数 结合起来， 得到芯片焊接线的三维数据信息 。 7.一种芯片焊接线缺陷检测装置， 其特 征在于， 包括： 图像获取模块， 用于获取目标芯片的正上方以及多张其他方向的图像作为第一图像 集； 图像预处 理模块， 用于对所述第一图像集进行 预处理操作得到第二图像集； 图像分割 模块， 用于对所述第 二图像集中的图像通过群智能优化算法进行分割得到第 三图像集； 二维缺陷检测模块， 用于将所述第 三图像集中的目标芯片的正上方图像输入预训练 的 第一深度卷积神经网络进行二维的缺陷检测， 若存在芯片焊接线缺陷则直接输出缺陷类 型； 三维重建模块， 用于在 当不存在 芯片焊接线缺陷则结合所述第 三图像集中的多 张其他 方向的图像进行三维重建得到 重建的三维数据； 三维缺陷检测模块， 用于将重建的所述三维数据输入预训练第 二深度卷积神经网络进 行三维的缺陷检测， 若仍不存在三 维缺陷， 则判断所述目标芯片为合格 芯片， 若存在三 维缺 陷则输出缺陷类型。 8.一种计算机可读存储的介质， 所述计算机可读存储的介质存储有计算机程序， 其特 征在于， 所述计算机程序被处 理器执行时实现如权利要求1 ‑6中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114494174 A 3