(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210464625.8 (22)申请日 2022.04.29 (71)申请人 清远蓄能发电有限公司 地址 511800 广东省清远市清新区太平镇 龙湾工业区清蓄电站办公楼 申请人 南方电网调峰调频 （广东） 储能科技 有限公司 (72)发明人 周玉权　周万竣　欧阳济凡 　 黄祖良　刘欣　王劲　蔡喜昌　 翁正　林杰胜　许晓萌　冯文嵛　 赵少华　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 黄卫萍(51)Int.Cl. G06V 10/774(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/25(2022.01) G06V 10/77(2022.01) G06V 10/82(2022.01) G06V 10/22(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06T 5/50(2006.01) G06T 5/00(2006.01) (54)发明名称 基于弱光补偿 的MaskRCNN渗水检测方法及 系统 (57)摘要 本发明涉及基于弱光补偿的MaskRCNN渗水 检测方法及系统， 其方法包括： S1、 采用融合样本 数据增强扩充样本数据集； S2、 对扩增后的数据 集用Lableme进行数据标注， 生成积水区域的标 记文件； S3、 对标记的数据集进行增 强操作； S4、 利用增强的数据集训练MaskRCNN模型； S5、 将待 检测图像导入MBLLEN模型， 获取最终弱光增强的 渗水区域图像； S6、 将最终输出的弱光增强渗水 图像导入MaskRCNN模型， 渗水图像经过卷积计算 获得特征图， 经过RPN获得候选区域， 经过ROI   Align层获得最终的渗水区域位置。 本发明通过 将待检测的巡检 图像导入MBLLEN模型进行弱光 增强， 再将弱光增强的 图像导入MaskRCNN模型进 行积水区域检测， 不仅可以进行有效的目标检 测， 而且还可以实现精准分割目标区域的边界。 权利要求书3页 说明书5页 附图2页 CN 115240020 A 2022.10.25 CN 115240020 A 1.基于弱光补偿的MaskRCN N渗水检测方法， 其特 征在于， 包括以下步骤： S1、 进行积水图像拍摄， 在网上收集积水渗水图像， 采用融合样本数据增强扩充样本数 据集； S2、 对扩增后的数据集用Lableme进行 数据标注， 生成积水区域的标记文件； S3、 对标记的数据集进行增强操作， 对图片进行翻转、 缩放、 色域变化操作， 操作完成后 将图片恢复到原图像素 大小； S4、 利用增强的数据集训练MaskRCN N模型； S5、 将待检测图像导入MBLLEN模型， 经过特征提取模块FEM层获得各层级的特征 图， 特 征图经过增强模块EM层获得每层特征图经过弱光增强后的图片， 将增强后的特征图输入融 合模块FM层， 获取最终弱光增强的渗水区域图像； S6、 将最终输出的弱光增强渗水 图像导入MaskRCNN模型， 渗水图像经过卷积计算获得 特征图， 经过RPN获得候选区域， 经 过ROIAlign层获得最终的渗水区域 位置。 2.根据权利要求1所述的基于弱光补偿的MaskRCNN渗水检测方法， 其特征在于， 步骤S1 中融合样本数据增强的具体过程如下： 从训练集中随机选择两张图片并采用数据增强方法， 包括翻转、 增加噪声、 剪切进行增 强， 按照随机权重将两张积水图像融合到一起， 以增加样 本的多样性； 两张图像融合的公式 如下所示： Image(R,G,B)＝ η ×Image1(R,G,B)+(1 ‑η )Image2(R,G,B) η＝rand(0.3 ‑0.7)  (1) 其中， Image(R,G,B)为融合图像， Image1(R,G,B)和Image2(R,G,B)为原始的两幅图像， η＝rand(0.3 ‑0.7)表示融合权 重为0.3‑0.7的随机数， R,G,B为图像的三个通道。 3.根据权利要求1所述的基于弱光补偿的MaskRCNN渗水检测方法， 其特征在于， 步骤S2 中数据标注的具体过程如下： 采用多线段、 多点的方式对渗水 区域进行标注； 利用Lableme标记工具标注渗水 区域的 多边形轮廓， 设置渗水轮廓的标签名称， 标记的样 本生成与之对应的json文件， json格式的 文件存储样本中目标区域的轮廓和图像信息 。 4.根据权利要求1所述的基于弱光补偿的MaskRCNN渗水检测方法， 其特征在于， 步骤S4 中MaskRCNN模型由特征提取框架ResNet和RPN模块构成； ResNet利用多层卷积结构提取待 检测图像的特征， RPN用于生成多个ROI区域； MaskRCNN采用RoIAlign层代替了RoIPooling， 并采用双线性插值将RPN生成的多个ROI特征区域映射到统一的7*7尺寸； 最后， 对RPN层生 成的多个ROI区域进 行分类和定位框的回归操作， 采用全卷积神经网络FCN生成渗水区域对 应的Mask。 5.根据权利要求4所述的基于弱光补偿的MaskRCNN渗水检测方法， 其特征在于， MaskRCNN的损失函数L oss定义为： Loss＝Lcls+Lbox+Lmask  (2) 其中， Lcls为分类误差， Lbox为定位框产生的误差， Lmask为掩膜Mask造成的误差； 引入对数似然损失构造分类误差Lcls， Lcls的计算公式如下：权　利　要　求　书 1/3 页 2 CN 115240020 A 2其中， X、 Y为分别为测试分类和真实分类， N为输入样本量， M为可能 的类别数， pij表示样 本xi的模型预测输出为类别j的概 率分布； yij表示样本xi的真实类别是否为类别j； 定位框产 生的误差Lbox采用L1损失； ROI区域内的像素采用si gmoid函数求相对熵， 得到 平均相对熵误差Lmask。 6.根据权利要求1所述的基于弱光补偿的MaskRCNN渗水检测方法， 其特征在于， 步骤S4 中训练MaskRCN N模型包括引入COCO数据集上 预训练的权 重进行fi ne tuning。 7.根据权利要求1所述的基于弱光补偿的MaskRCNN渗水检测方法， 其特征在于， 步骤S5 中MBLLEN模型具体实现过程如下： S51、 将MBL LEN模型分为特 征提取模块FE M、 增强模块E M和融合模块FM； S52、 特征提取模块FEM由单向10层网络结构构成， 32个3 ×3卷积核， 卷积步长为1， ReLU 激活函数； 每一层的输出同时为下一个特征提取模块FEM卷积层的输入和增强模块EM对应 卷积层的输入； S53、 增强模块EM包含10个结构相同的子网络结构， 均是1层 卷积层、 3层 卷积层和3层反 卷积层； S54、 融合模块FM融合所有从增强模块EM子网输出的图像， 使用3通道1 ×1卷积核卷积 得到最终增强结果。 8.根据权利要求7所述的基于弱光补偿的MaskRCNN渗水检测方法， 其特征在于， MBLLEN 模型的训练过程如下： 定义结构损失、 预训练VG G内容损失和区域损失； 损失函数的公式如下 所示： Loss＝LStr+LVGG/i,j+LRegion  (4) 其中， 结构损失具体公式表示如下： LStr＝LSSIM+LMS‑SSIM  (5) 其中， LSSIM为增强图像和真实图像的结构相似度， LMS‑SSIM为多层级结构相似度； 预训练VG G内容损失， 公式如下： 其中， E和G分别是增强图像和真实图像， Wi,j、 Hi,j、 Ci,j分别表示预训练VGG的特征图的 维度； Φi,j表示VGG‑19网络第j个卷积层， 第i个特征图； x、 y、 z分别表示特征图的宽度， 高 度， 通道数； 区域损失， 通过分割图像40％最暗像素值获取整图暗光区域， 得到如下损失函数： 其中， EL和GL分别是增强图像和真实图像的弱 光区域， EH和GH分别是增强图像和真实图 像的非弱光区域， wL和wH分别为4和1； mL是GL图像的宽； nL是GL图像的高； mH是GH图像的宽； nH 是GH图像的高。权　利　要　求　书 2/3 页 3 CN 115240020 A 3