(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210419979.0 (22)申请日 2022.04.21 (71)申请人 南京大学 地址 210023 江苏省南京市栖霞区仙林大 道163号 (72)发明人 李勃　张卓凡　赵宇迪　胡斌浩　 (74)专利代理 机构 南京天翼专利代理有限责任 公司 321 12 专利代理师 奚铭 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/40(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01)G06V 10/26(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习特征相关性的无监督缺 陷检测方法 (57)摘要 一种基于深度学习特征相关性的无监督缺 陷检测方法,构建缺陷检测模型， 使用 深度学习 预训练网络作为图像特征提取模块， 对输入的 图 像进行抽象描述， 由正常样本训练缺陷检测模 型， 得到特征模板库， 检测时， 对待检测图像提取 特征， 将待检测图像的特征和正 常样本的特征对 比， 对待检测图像的特征在特征模板库中进行k 近邻检索， 两个向量之间的距离衡量方式为欧式 距离， 根据距离衡量待检测样本的异常得分， 判 断是否存在缺陷。 本发明通过无监督特征相关性 的方式来进行缺陷检测， 无需繁琐的人工标注， 仅需要采用少量正常样本就能完成缺陷的检测 分割。 权利要求书2页 说明书4页 附图3页 CN 114862772 A 2022.08.05 CN 114862772 A 1.一种基于深度学习特征相关性的无监督缺陷检测方法,其特征是构建缺陷检测模 型， 使用深度学习预训练网络作为图像特征提取模块， 对输入的图像进 行抽象描述， 由正常 样本训练缺陷检测模型， 得到特征模板库， 检测时， 对待检测图像提取特征， 将待检测图像 的特征和正常样 本的特征对比， 对待检测图像的特征在特征模板库中进 行k近邻检索， 两个 向量之间的距离衡量方式为欧式距离， 根据距离衡量待检测样本的异常得分， 判断是否存 在缺陷。 2.根据权利要求1所述的一种基于深度学习特征相关性的无监督缺陷检测方法,其特 征是在模板特征库中选择部 分特征得到核心模板特征库， 待检测图像的特征在核心模板特 征库中进行k近邻检索， 核心模板特 征库的获取为： 步骤1： 获取模板特 征库， 并初始化核心模板特 征库为空； 步骤2： 计算模板特征库中每个模板特征与其他所有模板特征之间的欧式距离， 并取这 些欧式距离的最小值代 表该模板特 征的权值； 步骤3： 将上一步骤计算出的所有带权值的模板特征中选取权值最大的， 将其加入到核 心模板特 征库中， 并将该模板特 征从模板特 征库中去除； 步骤4： 重复2、 3两个步骤直到核心模板特征库的数量达到预设值M， 得到最终的核心模 板特征库。 3.根据权利要求1或2所述的一种基于深度 学习特征相关性的无监督缺陷检测方法,其 特征是提取图像特 征包括以下步骤： 步骤1： 输入图像， 宽高尺寸 为(H,W)； 步骤2： 采用预设的残差神经网络对输入图像提取特征， 提取中间两个不同尺度的中间 特征： 中间特征1和中间特征2， 大小分别为(H/8,W/8,C)和(H/16,W/16,2*C)， 其中C为预设 特征数量； 步骤3： 对中间特征2使用双线性插值进行缩放， 使其宽高与中间特征1一致， 插值后中 间特征2的大小变为(H /8,W/8,2* C)； 步骤4： 对提取到的中间特征1和步骤3插值后的中间特征2进行融合， 沿特征通道， 即最 后一个维度进行拼接， 拼接后大小为(H /8,W/8,3 *C)； 步骤5： 输出步骤4得到的矩阵即为原图像的深度特 征， 大小为(H /8,W/8,3 *C)。 4.根据权利要求1或2所述的一种基于深度 学习特征相关性的无监督缺陷检测方法,其 特征是缺陷检测模型的训练包括以下步骤： 步骤1： 输入训练图像共N个， 所有图像均为 正常样本且宽高尺寸 为(H， W)； 步骤2： 通过特征提取模型对每张训练图像提取深度特征， 并组合为同一个矩阵， 大小 为(N,H/8,W/8,3 *C)； 步骤3： 重新整合步骤2中得到的矩 阵形状使其变换为(N*H*W/64,3*C)， 整个(N*H*W/ 64,3*C)的矩阵即为模板特征库， 视为拥有N*H*W/64个模板特征， 每个模板特征向量维度为 3*C。 5.根据权利要求1或2所述的一种基于深度 学习特征相关性的无监督缺陷检测方法,其 特征是对待检测图像的缺陷检测如下： 步骤1： 待检测图像输入缺陷检测模型， 图像宽高尺度为(H,W)； 步骤2： 提取待检测图像深度特 征；权　利　要　求　书 1/2 页 2 CN 114862772 A 2步骤3： 得到深度特征大小为(H/8,W/8,3*C)， 将 特征重整为(H*W/64,3*C)的大小， 视为 H*W/64个待测试 特征向量， 每 个向量大小为3 *C； 步骤4： 对每个待测试特征向量在核心模板特征库中进行k近邻检索， 两个向量之间的 距离衡量方式为欧式距离， 每个待测试特征向量得到k个与核心模板特征库中最近的模板 特征的距离， 得到 权值矩阵(H *W/64,k)； 步骤5： 计算异常得分， 对每个权值向量取均值， 得到权值为(H*W/64,1)， 也就是每个位 置的异常得分为 k近邻的平均值， 将该矩阵重整为(H /8,W/8)； 步骤6： 将步骤4中得到的矩阵进行双向性插值到(H,W)的大小， 得到最终的像素级异常 得分分割热图。权　利　要　求　书 2/2 页 3 CN 114862772 A 3