(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211163735.7 (22)申请日 2022.09.23 (71)申请人 安徽优航遥感信息技 术有限公司 地址 230031 安徽省合肥市经济技 术开发 区锦绣大道北、 习友路东清华启迪科 技城机器人产业基地1号楼101 (72)发明人 李多雄　 (74)专利代理 机构 合肥拓信专利代理事务所 (普通合伙) 34251 专利代理师 徐海燕 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/26(2022.01) (54)发明名称 一种基于红外与可见光图像融合的变电站 无人机巡检方法 (57)摘要 本发明公开了一种基于红外与可见光图像 融合的变电站无人机巡检方法， 具体涉及变电站 巡检技术领域， 包括获取变电站电气设备的红外 图像与可见光图像； 对红外图像、 可见光图像对 进行配准处理； 构建图像融合网络； 利用融合网 络获得融合图像； 将融合图像作为训练和被识别 对象， 采用图像识别算法对变电站电气设备进行 识别， 进而完成变电站无人机巡检。 通过将图像 融合模块和语义分割模块级 联， 利用语义损失引 导高级语义信息流回图像融合模块， 且通过融合 网络中嵌入的GRDB， 可以增强融合网络对变电站 无人机巡检图像细粒度空间细 节的描述能力， 解 决现有网络体系结构在提取细粒度的细节特征 方面效率 不高的问题。 权利要求书3页 说明书7页 附图1页 CN 115471723 A 2022.12.13 CN 115471723 A 1.一种基于红外与可见光图像融合的变电站无人机巡检方法， 其特征在于， 包括以下 步骤： (1)、 利用无人机的信息采集设备， 获取变电站电气设备的红外图像与可见光图像， 分 别进行预处理； (2)、 对红外图像、 可 见光图像对进行配准处 理； (3)、 构建图像融合网络， 所述图像融合网络包括特征提取模块、 特征融合与图像重建 模块， 所述图像融合网络是通过内容损失和语义损失组成的联合损失进行约束的； (4)、 利用特征提取模块从配准后红外图像和可见光图像中提取红外特征和可见光特 征； (5)、 利用特征融合与图像重建模块将上述提取的红外特征和可见光特征进行融合， 得 到融合特 征， 并根据融合特 征获得融合图像； (6)、 将融合图像作为训练和被识别对象， 采用图像识别算法对变电站电气设备进行识 别， 进而完成变电站无 人机巡检。 2.根据权利要求1所述的一种基于红外与可见光图像融合的变电站无人机巡检方法， 其特征在于， 步骤(3)中所述内容损失 定义如下： 为强度损失， 约束融合图像的整体表观强度， 为纹理损失， 强制融 合图像包含更多细粒度纹理细节； α 被用来在强度损失 和纹理损失 之间 取得平衡； 强度损失度量的是变电站无人巡检融合图像和源图像在像素级上的差异； 因此， 将红 外图像和可 见光图像的强度损失定义 为: H、 W分别为图像的高度和宽度， Ii为红外图像， Iv为可见光图像， If为融合图像， || ·||1 为L1‑norm， 即L1范数， max( ·)表示元素最大选择数， 通过最大选择策略整合了变电站无人 巡检红外图像和可见光图像的像素强度分布； 然后， 利用融合分布约束融合图像的像素强 度分布； 纹理损失迫使融合图像包 含更多的细粒度纹 理信息， 其定义如下： 其中 表示Sobel梯度算子， 用于测量图像的细粒度纹理信息。 | ·|表示绝对运算； 变电 站无人巡检融合图像的最佳纹 理假定是红外图像和可 见光图像纹 理的最大聚合。 3.根据权利要求1所述的一种基于红外与可见光图像融合的变电站无人机巡检方法， 其特征在于， 步骤(3)中所述语义损失是通过引入实时语义分割网络对融合图像进行分割 来实现， 实时语义分割网络输出分割结果为IS∈RH×W×C和辅助分割结果为ISa∈RH×W×C， 其中， H为图像高度， W为图像宽度， C为图像通道数； 相应地， 语义损失包括主语义损失 和辅权　利　要　求　书 1/3 页 2 CN 115471723 A 2语义损失 两个元素， 从不同的角度反映了融合图像所包含的语义信息， 分别定义如 下： 表示从语义标签Ls∈(1， C)H×W转换而来的单热点 向量； 因此， 语义 损失 为： 其中β 为平衡主语义损失和辅语义损失的常数。 4.根据权利要求1所述的一种基于红外与可见光图像融合的变电站无人机巡检方法， 其特征在于， 步骤(3)中所述联合损失 其中， 为内容损失， 为语义损失， γ是表征语义损失 重要 性的超参数， γ根据联合底层和高层任务的自适应训练策略逐步增加， 因为 随着训练的进 行， 分割网络随着融合模型变得自适应。 5.根据权利要求4所述的一种基于红外与可见光图像融合的变电站无人机巡检方法， 其特征在于， 所述联合底层和高层任务的自适应训练策略， 具体如下： 对图像融合网络和分割网络进行迭代训练， 并设置迭代次数为M； 首先， 在联合损失的 指导下， 利用Adam优化器对融合网络中的所有参数进 行优化； 同时， 联合损失超参数γ随迭 代动态调整， 其表达式为: γ＝ δ×(m‑1) 其中， m表示第m次迭代， γ随着训练的进行而逐渐增加， 这是由于随着迭代次数的增加 分割网络更适合融合网络， 语义损失更准确地指导融合网络的训练， δ是一个常量， 用于平 衡语义损失和内容损失； 然后， 根据当前的融合结果， 通过优化语义损失来更新分割网络的 参数。 6.根据权利要求1所述的一种基于红外与可见光图像融合的变电站无人机巡检方法， 其特征在于， 步骤(4)中利用特征提取模块EF， 从配准后红外图像和可见光图像中提取红外 特征和可见光特征， 可以表示 为： {Fi， Fv}＝{EF(Ii)， EF(Iv)} 其中， Fi， Fv分别表示 为红外特 征和可见光特征； 所述特征提取模块中嵌入有梯度残差密集块GRDB， 用于提高变电站无人机巡检红外和 可见光图像细粒度细节的描述能力， 同时提取高级语义特 征；权　利　要　求　书 2/3 页 3 CN 115471723 A 3