(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211186781.9 (22)申请日 2022.09.28 (65)同一申请的已公布的文献号 申请公布号 CN 115272529 A (43)申请公布日 2022.11.01 (73)专利权人 中国海洋大学 地址 266000 山东省青岛市崂山区松岭路 238号 (72)发明人 聂婕　王京禹　赵恩源　魏志强　 刘安安　宋丹　李文辉　孙正雅　 张文生　 (74)专利代理 机构 青岛华慧泽专利代理事务所 (普通合伙) 37247 专利代理师 赵梅 (51)Int.Cl. G06T 11/40(2006.01) G06T 11/00(2006.01) G06T 7/11(2017.01) G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/56(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (56)对比文件 CN 107369158 A,2017.1 1.21 CN 104050722 A,2014.09.17 US 2022044451 A1,202 2.02.10 CN 114782568 A,202 2.07.22 US 2020051209 A1,2020.02.13 Rachel J. Can nara et al. .Scanning Thermal Microscopy for Fast Multiscale Imaging and Man ipulation. 《IEEE Transacti ons on Nanotechnology》 .2010,全 文. Jie Nie et al. .MIGN: Multiscale Ima ge Generati on Network for Remote Sensi ng Image Semantic Segmentati on. 《IEEE Transacti ons on Multimedia》 .202 2,全文. 刘昌通等.基于联合一致循环生成对抗网络 的人像着色. 《计算机 工程与应用》 .2020,(第16 期),全文. 郑运平等.一种基 于非对称逆布局模型的彩 色图像表示方法. 《软件学报》 .20 07,(第11期), 全文. 审查员 李莎 (54)发明名称 布局优先的多尺度解耦海洋遥感图像上色 方法及系统 (57)摘要 本发明属于图像处理技术领域， 公开了布局 优先的多尺度解耦海洋遥感图像上色方法及系 统， 首先将 输入的原始灰度图下采样为不同尺度 的多个灰度图， 输入多尺度解耦特征提取模块， 提取多尺度解耦特征； 将多尺度解耦特征输入布 局优先的多尺度特征融合模块， 利用增强的布局 划分特征指导语义特征， 随后利用包含布局约束 的语义特征指导着色特征， 对提取的多尺度解耦特征进行融合； 最后生成彩色图像； 将生成的彩 色图像和原始彩色图像通过判别器进行判别， 可 以输出判别结果。 通过本发明解决了海洋遥感图 像空间布局一致性问题， 下采样后的大尺度特征 提取过程中包含大量噪声的问题以及多尺度信 息利用过程中， 大尺度对 小尺度约束弱的问题。 权利要求书4页 说明书9页 附图1页 CN 115272529 B 2022.12.27 CN 115272529 B 1.布局优先的多尺度解耦海洋遥感图像上色方法， 基于生成对抗网络架构， 通过生成 器G生成彩色图像， 通过判别器D判别真实图像与生成图像， 其特征在于， 具体包括 以下步 骤： 步骤1、 输入图像： 输入图像为原始灰度图 及下采样为不同尺度的两 个灰度图 、 ， 其中 、 、 的尺度依次减小； 步骤2、 设计多尺度解耦特征提取模块， 对步骤1的输入图像处理， 提取多尺度解耦特 征； 所述多尺度解耦 特征提取模块包括多尺度特征解耦模块、 布局划分模块、 语义约束模块 和图像着色模块， 所述多尺度特征解耦模块包括两个相同结构的多尺度特征解耦模块 Ⅰ和 多尺度特 征解耦模块 Ⅱ， 进行多尺度特 征解耦； 在提取多尺度解耦特 征时， 具体如下： 步骤2.1、 将步骤1的不同尺度的输入图像输入多尺度特征解耦模块进行多尺度特征解 耦， 分别生成针对尺度任务的解耦特 征； 步骤2.2、 将步骤2.1生成的解耦特征经过布局划分、 语义约束以及图像着色处理， 生成 布局划分特征、 语义特征以及着色特征， 其中， 原始灰度图得到的特征直接输入图像着色模 块， 多尺度特征解耦模块 Ⅰ输出的解耦 特征输入语义约束模块， 多尺度特征解耦模块 Ⅱ输出 的解耦特 征输入布局 划分模块； 步骤3、 设计布局优先的多尺度特征融合模块， 将步骤2提取的多尺度解耦特征输入布 局优先的多尺度特征融合模块， 利用增强的布局划分特征指导语义特征， 随后利用包含布 局约束的语义特 征指导着色特 征， 对步骤2提取的多尺度解耦特 征进行融合； 步骤4、 生成彩色图像； 步骤5、 将步骤4生成的彩色图像和原始彩色图像通过判别器D进行判别， 输出判别结 果。 2.根据权利要求1所述的布局优先的多尺度解耦海洋遥感图像上色方法， 其特征在于， 步骤2.1中， 多尺度特 征解耦模块进行多尺度特 征解耦， 具体操作如下： 首先， 对步骤1的原始灰度图 及下采样为不同尺度的两个灰度图 、 分别进行卷 积操作得到初始上色特 征 、 初始语义特 征 以及初始布局特征 ； 其次， 利用特征图完成多尺度特征解耦， 具体地， 在多尺度特征解耦模块 Ⅰ中， 特征 通 过平均池化后得到特征 ， 用特征 减去特征 ， 得到解耦特 征 ； 同样的， 将特 征 上采样得到特征 ， 用特征 减去特征 ， 得到解耦特征 ； 将 与 相加获得解 耦特征 ； 公式表示 为： 其中， 表示对特 征 上采样操作； 表示对特 征 平均池化操作； 同样的， 特征 与特征 通过与多尺度特征解耦模块 Ⅰ结构相同的多尺度特征解耦 模块Ⅱ进行特征解耦， 具体地， 在多尺度特征解耦模块 Ⅱ中， 特征 通过平均池化后得到权　利　要　求　书 1/4 页 2 CN 115272529 B 2特征 ， 用特征 减去特征 ， 得到解耦特征 ； 同样的， 将特征 上采样得到 特征 ， 用特征 减去特征 ， 得到解耦 特征 ； 将 与 相加获得解耦 特 征 ； 公式表示 为： 其中， 表示对特 征 上采样操作； 表示对特 征 平均池化操作。 3.根据权利要求1所述的布局优先的多尺度解耦海洋遥感图像上色方法， 其特征在于， 步骤2.2中所述布局划分模块包括两个操作， 其一， 通过预训练的用于语义分割任务的U ‑ net网络提取语义特 征， 其二， 根据相关性计算 合并相似的语义区域从而生成布局分割图。 4.根据权利要求3所述的布局优先的多尺度解耦海洋遥感图像上色方法， 其特征在于， 步骤2.2中所述布局 划分模块的具体操作如下： 首先， 通过预训练的U ‑Net网络生成语义分割图， 将预训练的U ‑Net网络提取的最后一 层特征 取出， 在特征 中， 对语义分割图中每个语义区域对应位置中包含的特征值取 平均， 计算出每个语义区域的质心； 另外， 将特征 划分成q2/r2个r*r大小的块， q*q为特 征 的尺寸， r*r为每个块的尺寸， r等于特征 尺寸大小的公因数， 每个块用该块所属 语义区域的质心表示， 用块P的质心与周围8个块的质心分别做差取绝对值， 得到一个对于 块P的8维特 征表示； 其次， 合并相似语义区域生成布局划分特征： 若相邻的两个块A、 B不属于同一个语义， 那么计算 这两个块A、 B之间的余弦相似度， 计算公式为： 其中， 表示块A的第ｚ维向量， 表示块B的第ｚ维向量， 公式通过计算余弦相似度 计算块A和B的相似性， ｚ是８维向量上的第几维； 若余弦相似度 大于阈值 ， 合并这两 个块所属的语义区域， 生成布局划分特征， 具体合并方法为： 计算这两个语义区域质心的均 值z， 将这两个 语义区域中包 含的像素设为z以获得一个表示布局 划分的特 征。 5.根据权利要求1所述的布局优先的多尺度解耦海洋遥感图像上色方法， 其特征在于， 步骤3中所述布局优先的多尺度特 征融合模块， 具体操作如下： 步骤3.1、 将布局划分模块的输出特征进行Sigmoid函数处理， 将显著性弱的布局划分 特征进行加强以防止其丢失； 步骤3.2、 将步骤3.1处理后的特征与语义约束模块的输出特征进行对应元素相乘， 从 而通过布局约束生成语义特 征； 步骤3.3、 将步骤3.2得到的具有布局约束的语义特征进行Tanh函数处理， 实现特征的 映射， 随后与图像着色模块的生成特 征相乘以约束最终上色。权　利　要　求　书 2/4 页 3 CN 115272529 B 3