(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211203401.8 (22)申请日 2022.09.29 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 向澳　张育林　徐韵　范丽　 何云瀚　邱炜　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 刘静 (51)Int.Cl. G06T 5/50(2006.01) G06T 7/90(2017.01) G06T 15/50(2011.01) G06V 10/26(2022.01)G06V 10/80(2022.01) G06V 10/40(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于无监督深度学习的多光照角度航天器 图像融合方法 (57)摘要 本发明公开了一种基于无监督深度学习的 多光照角度航天器图像融合方法， 包括以下步 骤： 获取多光照角度下航天器图像构建数据集； 将两张不同图像转换到YCbCr颜色空间， Cb和Cr 通道进行加权融合； 构建编码器 ‑解码器架构卷 积神经网络， 在自然图像数据集上训练， 得到最 优模型， 输入两图像的Y通道， 通过编码器提取特 征并通根据特征映射的活动水平融合输入特征， 解码器重构为新的Y通道； 并与Cb、 Cr通道 重组得 到融合图像并转换回BGR空间。 本发明在大型自 然图像数据集上进行编码器解码器训练， 避免直 接在多光照角度航天器图像数据集上训练引起 过拟合， 根据特征映射的活动水平计算融合权 重， 更好地融合不同光照角度航天器图像中的互 补信息。 权利要求书3页 说明书6页 附图3页 CN 115511763 A 2022.12.23 CN 115511763 A 1.一种基于无监督深度学习的多光照角度航天器图像融合方法， 其特征在于， 包括如 下步骤： S1、 获取多光照角度下的航天器图像构建数据集； 该数据集包括多组不同视角下航天 器图像序列， 每组图像序列为 航天器在同一视角下不同光照角度的图像； S2、 将同一视角下两张不同光照角度的图像从蓝绿红空间转换到优化彩色视频信号空 间， 将两张图像的蓝色色度分量通道和红色色度分量通道分别进 行加权融合得到新的蓝色 色度分量 通道和红色 色度分量 通道； S3、 构建基于编码器 ‑解码器架构的卷积神经网络， 在自然图像数据集上进行训练， 得 到泛化性能良好的编码器和 解码器， 将两张图像的亮度分量通道作为编码器的输入， 通过 编码器提取特征并根据特征映射的活动水平计算融合权重， 根据融合权重融合输入特征， 融合输入特 征后使用解码器重构为 新的亮度分量 通道； S4、 将卷积神经网络生成的亮度分量通道与加权融合得到的蓝色色度分量、 红色色度 分量通道重组得到融合图像并转换回蓝绿红 空间。 2.如权利要求1所述的一种基于无监督深度学习的多光照角度航天器图像融合方法， 其特征在于， 所述获取多光照角度下的航天器图像构建数据集具体为， 从网络搜集公开航天器三维模型， 在光照渲染引擎设置平行光模拟太阳光， 将背景设 置为深黑无光背景， 手动调整平行光角度， 构建一个模拟太空环境的变化光照航天器仿真 图像数据集， 数据集包括多个图像序列， 每个图像序列为光照渲染引擎生成的在相同视角 下变化光照角度的航天器仿真图像。 3.如权利要求1所述的一种基于无监督深度学习的多光照角度航天器图像融合方法， 其特征在于， 步骤S 3中， 训练卷积神经网络使用的损失函数包括均方误差损失、 结构相似性 损失和总变差损失， 这 三种损失函数计算原理如下： 首先是均方误差损失用于评估两幅图像之间的重建效果， 其表示为输入图像yi和输出 图像yo之差平方的期望值， 均方误差损失lmse计算公式如下： lmse＝||yo‑yi||2 卷积神经网络输入图像yi和输出图像yo的亮度差异l(yi,yo)， 对比度差异c(yi,yo)和结 构差异s(yi,yo)由以下公式计算： 其中μyi和σyi为输入图像yi的均值和标准差； 其中μyo和σyo为输出图像yo的均值和标准 差， σyiyo为输入图像yi和输出图像yo的协方差； c1， c2， c3是正值常数用于防止公式计算出现 除0的异常； 两张图像的结构相似性指数S SIM(yi,yo)由下式计算：权　利　要　求　书 1/3 页 2 CN 115511763 A 2结构相似性损失lssim表示为： lssim＝1‑SSIM(yi,yo) 总变差损失主要关注的是图像重建过程中的图像梯度信息保留， 同时进一步消除噪 声， 总变差损失ltv计算公式如下： R(x,y)＝yo(x,y)‑yi(x,y) 其中x， y表示图像的横纵坐标值， yo(x,y)和yi(x,y)表示该横纵坐标 处的输出和输入图 像像素值， R(x,y)表示输入输出图像在(x,y)处的像素值差异， | |·||2表示二范数。 4.如权利要求1所述的一种基于无监督深度学习的多光照角度航天器图像融合方法， 其特征在于， 融合权 重根据特 征映射的活动水平决定， 其具体含义 为： 采用特征活动水平度量方式， 衡量不同图像相同区域间的特征强度大小， 根据特征强 度决定融合权 重； 在编码器 ‑解码器网络架构中， 中间特征空间由 表示， 其中i∈{1,2}表示融合的第i 张图像， m表示特征空间的第m个通道， 表示1到M所有的特征空间， x,y表示图像横纵坐 标， 初始特 征强度图C由下式计算， ： 其中Ci(x,y)表示第i张输入图像的特 征强度图， | |·||1表示一范数； 然后进行局部区域间的平均， 表示平均后的特 征强度图： 其中系数r用来控制平均局部区域的大小； r＝1表示平均后的特征强度图中， 一个像素 是初始特征强度图中以其为中心的3 ×3的范围的像素进行平均得到； r＝2表示5x5的局部 区域进行平均， 此处r取1. 融合权重计算规则如下： 其中ωi(x,y)表示第i张图像在坐标(x,y)处所对应的融合权重， 设定坐标(x,y)处特征 强度最大 的图像像素权重为1， 其余为0， 这种权重计算方式更有利于融合不同图像间的互 补信息。 融合后的图像特 征空间计算方法如下 所示： 其中fm(x,y)表示融合后图像第m个通道的特 征空间。 5.如权利要求1所述的一种基于无监督深度学习的多光照角度航天器图像融合方法， 其特征在于， 所述方法能够依次扩展以融合多幅图像， 具体地， 首先融合两个图像获得融合权　利　要　求　书 2/3 页 3 CN 115511763 A 3