(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221094769 2.5 (22)申请日 2022.08.08 (71)申请人 江苏科技大学 地址 212008 江苏省镇江市梦溪路2号 (72)发明人 李元昊　左欣　钱萍　马贝尔　 戚辰晖　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 胡定华 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/44(2022.01) G06V 10/54(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于点连接深度卷积网络的管道裂缝 检测方法 (57)摘要 本发明公开了一种基于点连接深度卷积网 络的管道裂缝检测方法， 该方法包括以下步骤： 将管道裂缝图像进行采样和纹理特征融合得到 管道裂缝特征图； 根据特征图进行池化后得到裂 缝的左上角点与右下角点坐标； 其次将左上角点 与右下角点分别放入Heatmaps， Embedding和 Offset分支中； H eatmaps分支通过匹配不同类别 的裂缝特征图与角点所属的裂缝特征图得到角 点所属的裂缝类型； Embedding分支将每个角点 之间的距离对比， 保留下距离最小的向量值； Offset分支通过将角点坐标位置按卷积比例进 行还原得到角点在原图上的位置； 最后将三个分 支结果结合起来得到裂缝所属的角点对并得到 裂缝的类型与位置。 本发明通过利用点连接实现 管道类型与位置判断， 保证管道裂缝判断与定位 结果的准确性和可靠性。 权利要求书3页 说明书5页 附图1页 CN 115311523 A 2022.11.08 CN 115311523 A 1.一种基于点连接深度卷积网络的管道裂缝检测方法， 其特 征在于： 所述该 方法包括： 步骤1： 将管道裂缝图像进行采样和纹 理特征融合， 得到管道裂缝 特征图； 步骤2： 对步骤1获取的管道裂缝特征图进行角点池化， 得到管道裂缝的左上角点及其 位置坐标， 右下角点及其 位置坐标； 步骤3： 将步骤2得到的左上和右下角点分别经过Heatmaps分支得到两个角点所属管道 裂缝类型及类别损失； 步骤4： 将步骤2得到的左上和右下角点分别经过Embedding分支得到两个角点的距离 向量及向量损失； 步骤5： 将步骤2得到的左上和右下角点分别经过Offset分支得到两个角点的偏移信息 与位置偏移损失； 步骤6： 组合步骤3、 步骤4、 步骤5得到的结果， 得到管道裂缝类型和裂缝位置， 并按比例 计算总体损失。 2.根据权利要求1所述的管道裂缝检测方法， 其特征在于： 所述步骤1中纹理特征融合 的方法如下： 使用7*7的128通道卷积核将管道裂缝图像的纹理进行卷积， 再输入堆叠沙漏 网络进行四层卷积池化的特征下采样和四层反卷积的特征上采样， 得到融合后的128*128 * 512的管道裂缝 特征图。 3.根据权利要求1所述的管道裂缝检测方法， 其特征在于： 所述步骤2中管道裂缝特征 图进行角点池化的方法如下： 所述角点池化包含两个大小为 高(H)*宽(W)的特征图层， 对左上角点池化时， 第一个特 征图层通过最大池化确定管道裂缝顶部边界， 第二个特征图层通过最大池化确定管道裂缝 图像的左边界， 边界确定公式如下： 其中ft， fl为顶部边界预测特征图和左部边界预测特征图， tij为顶部边界点位置， lij为 左部边界点 位置； 算出最顶部边界和左部边界后相加的交叉点即为目标裂缝的左上角点 位置； 右下角点 最大池化公式如下： 其中fb， fr为底部边界预测特征图和右部边界预测特征图， bij为底部边界点位置， rij为 右部边界点 位置， 得到最底部和最右部边界， 边界相加后的交点得到右下角点 位置。 4.根据权利要求1所述的管道裂缝检测方法， 其特征在于： 所述步骤3Heatmaps分支方 法如下： 确定每组Heatmaps尺寸为高(H)*宽(W)*裂缝类别个数(C)， 将Heatmaps分支中存储的权　利　要　求　书 1/3 页 2 CN 115311523 A 2裂缝类别纹理特征图与角点在特征图上所属的裂缝区域进行匹配得到该区域每个类别的 置信分数， 置信分数最高的即为该裂缝区域内角点所属的裂缝类型； 匹配时， 对于每个角点存在一个正样本位置， 其余位置为负样本； 将与原图边界框交并 比(IOU)大于 0.7的边界框的角点使用高斯核 进行过渡， 高斯核参数设定为： 参数中σ 设置为裂缝原图正确框半径的三分之一， (x,y)为角点 坐标； 将Heatmaps上像素的类别概率损失进行遍历相加， 第(i,j)位置上的像素对应第c个类 别概率设为pcij， ycij为该位置上使用高斯核增强后得到真实数据， N为特征图像中检测到的 裂缝数量， 根据如下类型损失函数 得到裂缝区域类别损失： 5.根据权利要求1所述的管道裂缝检测方法， 其特征在于： 所述步骤4中Embedding分支 方法如下： 对两个位置角点坐标之间的距离进行判断， 使用pull函数得到每个角点之间的距离向 量； 对于距离最近的角点的距离向量保持不变， 距离不为最近的则通过push中的max函数将 角点间距离向量取最大值； 损失函数如下： 其中etk为左上角向量， ebk为右下角向量， ek是etk和ebk的平均值， 经过pull和推离 push操作将两个点保持 或者拉远。 6.根据权利要求2所述的管道裂缝检测方法， 其特征在于： 所述步骤5中Offset分支方 法如下： 将堆叠沙漏网络中每一层图像下采样阶段映射的坐 标位置 z为缩放比例； 通 过下面 的偏移信息公式运 算还原到在原图上的位置： 通过偏移损失函数 得到角点偏移损失： 7.根据权利要求1所述的管道裂缝检测方法， 其特征在于： 所述步骤6中组合并计算损 失的方法如下： 根据由Heatmaps得到的类型将角点分类， 通过Embedding将同一类中距离向量数值最 接近的左上角点和右下角点组合 成一个角点对确定裂缝在特征图的位置， 最后通过Offset 将角点对 还原到裂缝原图上 得到了裂缝的具体位置和类别 信息， 整体损失函数如下： Loss＝Lossdet+0.1Losspull+0.1Losspush+Lossoff权　利　要　求　书 2/3 页 3 CN 115311523 A 3