(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210101694.2 (22)申请日 2022.01.27 (71)申请人 上海电机学院 地址 200240 上海市闵行区江川路690号 (72)发明人 梁超　辛绍杰　 (74)专利代理 机构 上海伯瑞杰知识产权代理有 限公司 312 27 专利代理师 俞磊 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/26(2022.01) G06V 10/22(2022.01) G06K 9/62(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01)G06N 3/04(2006.01) G06V 20/10(2022.01) (54)发明名称 一种基于深度学习的变电站指针仪表检测 方法 (57)摘要 本发明提出一种基于深度学习的变电站指 针仪表检测方法， 该方法首先通过Modi ‑YOLOv3‑ Tiny网络对变电站指针仪表进行检测， 利用该网 络检测的速度优势和准确度优势， 相比于传统的 图像识别技术， 提高了变电站巡检机器人进行巡 检时的实时性和效率， 再通过DeepLabV 3+网络对 仪表表盘区域进行精确、 快速的分割； 采用数据 增强之后的变电站指针仪表图像， 保证训练之后 网络具有较强的特征提取能力和泛化能力； 深度 学习的轻量化网络Modi ‑YOLOv3 ‑Tiny与 DeepLabV3+网络对指针仪表图像进行检测与分 割提取， 在识别过程中可以聚焦仪表图像特征的 提取， 可以快速定位指针仪表表盘所在区域， 排 除复杂背景干扰， 提高了变电站指针仪表检测的 实时性和准确率。 权利要求书1页 说明书5页 附图3页 CN 114463558 A 2022.05.10 CN 114463558 A 1.一种基于深度学习的变电站指针仪表检测方法， 其特 征在于， 包括： (1)对巡检机器人采集到的指针仪表图像以及网络收集到的指针仪表图像进行预处理 和数据增强处 理， 将扩增后的数据集按照7： 2： 1分成训练集、 测试集和验证集； (2)基于pytorch深度学习框架搭建基于Modi ‑YOLOv3‑Tiny网络的目标检测模型， 将该 模型在步骤(1)得到的数据集上进行训练， 训练完成之后利用网络模型对变电站自然环境 背景下的指针仪表图像进行检测； 同时网络继承YOLOv3的锚框(anchor)机制， 对边界框进 行回归预测， 对13 ×13、 26×26这两种规模分别采用K ‑means聚类算法进行边界框预测， 每 种规模包括3个不同尺寸的边界框(先验锚点框)， 再基于先验锚点框对目标包围框进行回 归得到最后的预测边界框； (3)基于pytorch深度学习框架搭建基于DeepLabV3+网络的仪表图像语义分割模型， 同 样采用步骤(1)得到的数据集进 行训练， 训练完成之后对步骤(2)得到的仪表图像粗检测结 果进行图像的分割处 理， 得到去除自然环境背景的只包 含仪表表盘的图像； 对融合之后的特征图再次通过一个3 ×3卷积和一个4倍的上采样， 得到与输入图像参 数相同的分割图像； 当损失函数值趋 于稳定， 则说明模型 逐渐收敛， 使用验证集和 测试集验证网络模型。 (4)利用裁 剪模块对步骤(3)得到的图像进行裁 剪， 得到精确的仪表 表盘图像。 2.根据权利要求1所述的一种基于深度学习的变电站指针仪表检测方法， 其特 征在于： 步骤(2)中， 网络 的指针仪表图像输入尺寸为416 ×416×3， 主干网络的卷积层由3 ×3 的二维卷积层、 批归一化层BN(Batch  normalization  layer)、 带泄露修正线 性单元激活函 数Leaky‑relu(Leaky  rectified  linear unit)组合而成。 3.根据权利要求2所述的一种基于深度学习的变电站指针仪表检测方法， 其特 征在于： BN层用来解决梯度消失的问题， 加快网络 的计算速度， Leaky ‑relu函数使得网络 的非 线性拟合能力强、 模型表达能力强， 同时也可避免梯度消失。 4.根据权利要求1所述的一种基于深度学习的变电站指针仪表检测方法， 其特 征在于： 步骤(3)中， 输入网络的指针仪表图像经过MobileNetV3网络结构进行特征提取之后， 一部分进入AS PP(空洞空间金字塔池化结构)结构， 另一部分进入Decoder结构。 5.根据权利要求 4所述的一种基于深度学习的变电站指针仪表检测方法， 其特 征在于： ASPP结构采用不同rate(膨胀率)的空洞卷积对特征提取网络输出的特征图进行多尺 度的信息提取； 进入ASPP结构的特征信息通过1 ×1卷积进行多尺度融合， 融合后的结果输入到 Decoder结构， 直接进入Decoder结构的低层特征通过一个1 ×1卷积层进行压缩， 减少特征 图的通道数； Encoder输出特征图通过双线性插值的方法进行4倍上采样， 最后将该结果与经过 Decoder特 征细化的特 征图结果相融合， 使得网络获取 更加丰富的语义信息 。 6.根据权利要求 4所述的一种基于深度学习的变电站指针仪表检测方法， 其特 征在于： MobileNetV3+网络分为3个部分： 第一部分(Conv3 ×3)为一个3 ×3的卷积层， 用于提取 特征， 中间部分(bneck1 ‑4)是多个含有可分离卷积层块(bneck)的网络结构， 由多个1 ×1和 少量3×3、 5×5的卷积块组成， 通常深度越深提取到的特征越好， 最后一部分通过卷积层 (Conv1×1)代替全连接层， 在经 过池化等一系列步骤得到 输出结果。权　利　要　求　书 1/1 页 2 CN 114463558 A 2一种基于深度学习的变电站指 针仪表检测方 法 技术领域 [0001]本发明涉及变电站指针仪表表盘检测技术， 尤其涉及一种基于深度学习的变电站 指针仪表检测方法。 背景技术 [0002]指针仪表是变电站的重要组成部分， 显示了变电站电气设备的运行状态， 通过巡 检机器人对这些仪表进行检测， 方便巡检人员获得电气设备 的实时运行数据， 从而对变电 站进行调控， 发挥变电站在电力系统中的变电、 送电能力， 保证供电的电能质量及可靠性， 同时可以在第一时间发现故障电气设备， 排除故障， 避免故障的扩大乃至威胁电力系统的 正常运行。 随着智能变电站的不断发展， 变电站的电气设备类型和数量越来越多， 表征这些 设备运行状态的指针式仪表也越来越多， 变电站的环境也越来越复杂， 巡检工作量较大。 变 电站巡检方式包括人工巡检和变电站巡检机器人自动巡检。 通过人工巡检方式对这些仪表 进行读数记录工作量较大， 影响读数记录的准确 性， 同时长时间暴露于各种变电站高压电 气设备之间， 也会给巡检人员的生命安全带来一定的隐患。 基于巡检机器人 的自动巡检方 式进行仪表自动识别因效率高、 精度高而 得到大力发展。 随着深度学习的不断发展， 其在图 像识别领域已经得到了广泛的应用， 所以在变电站自动巡检中， 对于仪表表盘检测， 主要包 括两个方法： 基于传统图像识别、 基于深度学习。 [0003]采用基于传统图像识别的方法， 主要通过形态学的基本操作、 特征检测及匹配来 实现仪表表盘区域的检测和提取， 容易受到变电站复杂环境的干扰， 稳定性和精确性差， 且 运算过于简单， 没有很高的泛化能力。 基于深度学习的目标检测算法分为单阶段(one ‑ stage)和双阶段(two ‑stage)两种， 对于复杂背景下的目标检测， 也能保持良好的检测速度 和检测精度。 双阶段的目标检测算法有R ‑CNN(Region ‑Convolutional  Neural Networks)、 Fast R‑CNN(Fast  Region‑based Convolutional  Neural Network)、 Faster  R‑CNN (Faster Region‑based Convolutional  Neural Networks)等， 该系列算法检测准确率高， 但是检测速度慢， 无法满足变电站巡检工作的实时性要求。 单阶段目标检测算法有YOLO (You Only Look Once)系列、 SSD(Single  Shot Detector)等， 该系列具有较高的检测速 度， 但是在检测精度方面相比于两阶段目标检测存在劣势。 与此同时， 基于深度学习的仪表 表盘检测需要 大量的变电站指 针仪表图像数据集， 以满足训练过程中所需的训练数据样本 作为支撑， 来保证目标检测网络的检测精度、 泛化能力， 但是目前相关研究领域公开的变电 站指针仪表数据集较少且不完整。 因此， 有必 要设计一种变电站指针仪表检测方法， 以克服 上述缺陷。 发明内容 [0004]本发明的目的是提供一种基于深度学习的变电站指针仪表检测方法， 以提高检测 速度。 [0005]本发明为 解决其技术问题所采用的技 术方案是：说　明　书 1/5 页 3 CN 114463558 A 3