(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210535974.4 (22)申请日 2022.05.17 (71)申请人 南京信息 工程大学 地址 224002 江苏省盐城市 盐南高新区新 河街道文港南路10 5号 (72)发明人 朱加乐　江结林　郭浩然　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 董建林 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于Swin Transformer结构结合SSIM 和GMSD的疵点检测方法 (57)摘要 本发明公开了一种基于Swin  Transformer 结构结合SSIM和GMSD的疵点检测方法， 包括获取 工业疵点图片， 输入预先构建的基于Swin   Transformer的特征提取网络进行特征学习， 对 学习到的特征图进行无疵点区域信息的重建， 获 得重建图片； 计算所述工业疵 点图片与重建图片 的结构相似性SSIM， 得到基于结构相似性的疵点 异常特征图； 计算所述工业疵 点图片与重建图片 之间的梯度幅度相似性偏差GMSD， 得到基于梯度 幅度相似性的疵点异常特征图； 将所述基于结构 相似性的疵点异常特征图与所述基于梯度幅度 相似性的疵 点异常特征图融合， 得到最终的疵点 检测效果图， 本发明不仅可以有效提高疵点检测 的准确率， 同时提高疵点定位的精度， 降低误检 率。 权利要求书3页 说明书8页 附图4页 CN 114841977 A 2022.08.02 CN 114841977 A 1.一种基于Swin  Transformer结构结合SSIM和GMSD的疵点检测方法， 其特征在于， 包 括： 获取工业疵点图片， 输入预先构建的基于Swin  Transformer的特征提取网络进行特征 学习， 对学习到的特 征图进行 无疵点区域信息的重建， 获得重建图片； 计算所述工业疵点图片与重建图片的结构相似性SSIM， 得到基于结构相似性的疵点异 常特征图； 计算所述工业疵点图片与重建图片之间的梯度幅度相似性偏差GMSD， 得到基于梯度幅 度相似性的疵点异常特 征图； 将所述基于结构相似性的疵点异常特征图与所述基于梯度幅度相似性的疵点异常特 征图融合， 得到最终的疵点检测效果图。 2.根据权利要求1所述的基于Swin  Transformer结构结合SSIM和GMSD的疵点检测方 法， 其特征在于： 所述获取工业疵点图片， 输入 预先构建的基于Swin  Transformer的特征提 取网络进行 特征学习， 对学习到的特 征进行无疵点区域信息的重建， 获得重建图片， 包括： 获取工业疵点图片， 输入预先构建的基于Swin  Transformer的特征提取网络， 其中， 基 于Swin Transformer的特征提取网络包括Patch  partition模块、 Swin  Transformer   Block模块、 Patc h Merging模块以及PixelShuf fle模块； 且工业疵点图片大小为H ×W×3； 输入的工业疵点图片进入Patch  partition模块将空间信息转变为通道信息， 使输入 的工业疵点图片满足Sw in Transformer  Block模块的输入格式； 将转变后的工业疵点图片输入Swin  Transformer  Block模块进行特征学习， 获取学习 后的特征图； 将学习后的特征图分别输入Patch  Merging模块或者PixelShuffle模块进行下采样或 者上采样操作， 获取重建图片， 其中， 重建图片只包含正常的图片区域， 疵点区域的信息未 被重建。 3.根据权利要求2所述的基于Swin  Transformer结构结合SSIM和GMSD的疵点检测方 法， 其特征在于： 所述输入的工业疵点图片进入Patch  partition模块将空间信息转变为通 道信息， 包括： 将输入的工业疵点图片进行1 ×1的卷积操作， 得到大小为H ×W×C的第一特征图， 将得 到的第一特征图进行4倍下采样， 得到第二特征图大小为 其中的 代表 patch的个数， C表示patc h的信息维度。 4.根据权利要求3所述的基于Swin  Transformer结构结合SSIM和GMSD的疵点检测方 法， 其特征在于： 所述将转变后的工业疵点图片输入Swin  Transformer  Block模块进行特 征学习， 获取 学习后的特 征图， 包括： 将第二特征图送入Swin  Transformer  Block模块学习， 对输入的工业疵点图片进行层 归一化操作； 执行多头自注意力操作， 学习局部patc h之间的关系表示； 将执行多头自注意力操作后的patc h表示与原 始的输入相加， 得到新的patc h表示； 将得到的新的patc h， 执行LN操作之后， 再 执行多层感知器操作， 进一 步拟合patc h； 将得到的新的patch， 加上拟合过的patch， 形成经过多头自注意力阶段学习得到的最权　利　要　求　书 1/3 页 2 CN 114841977 A 2终patch表示； 将得到的最终patch表示送入带有移动窗口的多头自注意力阶段学习， 得到一个既包 含局部关系信息和全局关系信息的patc h表示， 从而获取 学习后的第三特 征图。 5.根据权利要求4所述的基于Swin  Transformer结构结合SSIM和GMSD的疵点检测方 法， 其特征在于： 所述将学习后的特征图分别输入Patch  Merging模块或者PixelShuffle模 块进行下采样或者上采样 操作， 获取重建图片， 包括： 将经过Swin  Transformer  Block模块学习过的第三特征图下采样2倍， 得到第四特征 图大小为 将所述第四特征图经过Swin  Transformer  Block模块学习后再下采样2倍， 得到第五 特征图大小为 将所述第五特征图经过Swin  Transformer  Block模块学习后再下采样2倍， 得到第六 特征图大小为 将所述第六特征图经过Swin  Transformer  Block模块学习后再上采样2倍， 得到第七 特征图大小为 将所述第七特征图和第五特征图相加， 经过Swin  Transformer  Block模块学习后再上 采样2倍， 得到第八特 征图大小为 将所述第八特征图和第四特征图相加， 经过Swin  Transformer  Block模块学习后再上 采样2倍， 得到第九特 征图大小为 将所述第九特征图和第三特征图相加， 经过Swin  Transformer  Block模块学习后再上 采样4倍， 获取重建图片的大小为H ×W×3。 6.根据权利要求5所述的基于Swin  Transformer结构结合SSIM和GMSD的疵点检测方 法， 其特征在于： 计算所述工业疵点图片与重 建图片的结构相似性SSIM， 得到基于结构相似 性的疵点异常特 征图， 公式如下： 其中， X为原始输入图片， Y为重建图片， uX、 uY表示图像X和Y的均值， δXY表示图像X和Y的 协方差， δX2、 δY2表示表示图像X和Y的方差， c1、 c2为常数。 7.根据权利要求6所述的基于Swin  Transformer结构结合SSIM和GMSD的疵点检测方 法， 其特征在于： 计算所述工业疵点图片与重 建图片之间的梯度幅度相似性偏差GMSD， 得到 基于梯度幅度相似性的疵点异常特 征图， 公式如下： 其中， g(X)、 g(Y)表示X和Y的梯度幅度图， 计算公式如下：权　利　要　求　书 2/3 页 3 CN 114841977 A 3