(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210101839.9 (22)申请日 2022.01.27 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市雁塔区太白南 路2号 (72)发明人 王爽　魏慧媛　权豆　焦李成　 雷睿琪　段宝瑞　李毅　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 高博 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/46(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 20/13(2022.01) (54)发明名称 基于描述子一致性约束的异源遥感图像块 匹配方法及系统 (57)摘要 本发明公开了一种基于描述子一致性约束 的异源遥感图像块匹配方法及系统， 利用高层特 征学习到的包含更多相似度排序的知识来引导 低层特征学习， 借助高层特征中更加丰富的监督 信息优化特征网络， 从而提高异源遥感图像匹配 的精度。 在剔除异源图像之间的差异性时， 容易 丢失大量的判别性信息， 影 响异源图像特征的判 别性， 增大异源图像匹配的误差， 提出了借助重 构约束保持异源图像特征的判别性， 从而提高异 源遥感图像匹配的精度。 其步骤为： 制作数据集； 图像预处理； 用异源图像特征学习网络提取图像 块特征； 用异源共享特征学习网络提取图像块的 共享特征； 降维网络； 用解码器重构图像块； 网络 优化； 预测匹配概 率； 评估网络性能。 权利要求书3页 说明书11页 附图3页 CN 114445640 A 2022.05.06 CN 114445640 A 1.基于描述子一 致性约束的异源遥感图像块匹配方法， 其特 征在于， 包括以下步骤： S1、 从成对的光学图像和SAR图像中裁剪光学图像块poi和SAR图像块psi， 制作异源遥感 图像块数据集， 将异源遥感图像块数据集划分为训练样本和测试样本， 分别对训练样本和 测试样本进行 预处理； S2、 将步骤S1得到的训练样本中的光学图像块poi和SAR图像块psi送到异源图像特征学 习网络提取图像块特 征， 得到光学图像特 征foi和SAR图像特 征fsi； S3、 将步骤S2获得的光学图像 特征foi和SAR图像 特征fsi送到共享特征学习映射网络， 得 到光学图像块poi的共享特 征eoi和SAR图像块psi的共享特 征esi； S4、 将步骤S2获得的光学图像 特征foi和SAR图像 特征fsi送到降维网络， 得到和步骤S3获 取的共享特 征eoi， esi维度一致的共享特 征f′oi和f′si； S5、 使用解码器对步骤S4获得的光学图像块的共享特征f ′oi和SAR图像块的共享特征 f′si重构光学图像块 和SAR图像块 S6、 根据步骤S3得到的共享特征eoi和esi计算三元组匹配损失， 根据步骤S3得到的共享 特征eoi和esi与步骤S4得到的f ′oi和f′si计算描述子一致性约束损失， 根据步骤S5得到的重 构的光学图像块 和SAR图像块 与输入的光 学图像块poi和SAR图像块Psi计算重构损失； 根据三元组匹配损失、 描述子一致性损失和重构损失得到最 终的损失函数L， 优化整个基于 描述子一 致性约束的异源遥感图像块匹配网络， 保存异源遥感图像块匹配网络的权 重； S7、 依次读取步骤S1划分的测试样本中的光学图像块poi和SAR图像块psi， 将步骤S6训练 好的异源遥感图像块匹配网络权重载入步骤S2中的异源图像特征学习网络和步骤S3中的 共享特征学习映射网络中， 得到对应的异源图像的特征描述子， 根据描述子之间的特征距 离判断输入图像块是否匹配。 2.根据权利要求1所述的基于描述子一致性约束的异源遥感图像块匹配方法， 其特征 在于， 步骤S1中， 从数据集SEN1 ‑2中随机选取11586对像素级对齐的， 大小为256 ×256的光 学图像和SAR图像， 检测光学图像中的SIFT关键点， 以光学图像的SIFT关键点为中心在光学 图像中裁剪大小 64×64的光学图像块poi， 根据光学图像的SI FT关键点位置得到对应匹配的 SAR图像的SIFT关键点， 以SAR图像的SIFT关键点为中心在SAR图像中裁剪大小64 ×64的SAR 图像块psi， 随机选择583180对光学和 SAR图像块作为训练样本， 248274对光学和 SAR图像块 作为图像块匹配的测试样本 。 3.根据权利要求1所述的基于描述子一致性约束的异源遥感图像块匹配方法， 其特征 在于， 步骤S2具体为： 输入一对匹配的光学和SAR图像块(poi， psi)， 使用具有相同网络结构， 不共享网络参数 的光学图像特征学习网络Fo和SAR图像特征学习网络Fs分别对光学图像 块和SAR图像 块进行 特征提取， 异源图像特征学习网络分别包含2个卷积层， 卷积核大小为3 ×3， 每个卷积层的 卷积核数量分别为32， 32， 每 个卷积层后跟随批归一 化。 4.根据权利要求1所述的基于描述子一致性约束的异源遥感图像块匹配方法， 其特征 在于， 步骤S5中， 解码网络De包 含3个反卷积层， 每 个反卷积层后面设置一个卷积层。 5.根据权利要求1所述的基于描述子一致性约束的异源遥感图像块匹配方法， 其特征 在于， 步骤S6具体为： S60 1、 根据步骤S3得到的共享特征eoi和esi计算三元组匹配损失， 优化权　利　要　求　书 1/3 页 2 CN 114445640 A 2步骤S2中异源图像特 征学习网络和步骤S3中共享特 征学习映射网络 S602、 根据步骤S3得到的共享特征eoi和esi与步骤S4得到的f ′oi和f′si计算描述子一致 性约束损失， 优化步骤S2中的异源图像特征学习网络和步骤S3中的共享特征学习映射网 络； 采用域内一 致性约束和域间一 致性约束表示描述子一 致性约束损失Lcon； S603、 根据步骤S5得到的重构的光学图像块 和SAR图像块 与输入的光学图像块 poi和SAR图像块psi计算重构损失， 优化步骤S2中的异源图像特征学习网络、 步骤S4中的降 维网络和步骤S 5中的解码 器； 根据提取到的图像特征， 重构出原始输入图像， 最小化重构误 差； S604、 联合优化步骤S601、 步骤S602和步骤S603的损失， 根据步骤S601中的三元组匹配 损失、 步骤S 602中的描述子一致性损失和步骤S 603中的重构损失得到最 终的损失函数L， 优 化整个基于描述子一 致性约束的异源遥感图像块匹配网络 。 6.根据权利要求5所述的基于描述子一致性约束的异源遥感图像块匹配方法， 其特征 在于， 步骤S6 01中， 三元组匹配损失函数Lmatch如下： Lmatch＝[m+D(eoi， esi)‑D(eoi， esj)]+ 其中， [x]+＝max(x， 0)， D(eoi， esi)表示匹配的光学图像特征eoi和SAR图像特征esi之间 的特征距离， D(eoi， esj)表示不匹配的光学图像特征eoi和SAR图像特征esj之间的特征距离， 且i≠j， m表示距离间隔。 7.根据权利要求5所述的基于描述子一致性约束的异源遥感图像块匹配方法， 其特征 在于， 步骤S6 02中， 描述子一 致性约束损失Lcon为： Lcon＝Lintra+Lintre 其中， Lintra为域内一致性损失函数， Lintre为域间一致性约束损失函数。 8.根据权利要求5所述的基于描述子一致性约束的异源遥感图像块匹配方法， 其特征 在于， 步骤S6 03中， 最小化重构误差Lrecon为： 其中， poi为输入的光学图像块， 为重构的光学图像块， psi为输入的SAR图像块， 为 重构的SAR图像块。 9.根据权利要求5所述的基于描述子一致性约束的异源遥感图像块匹配方法， 其特征 在于， 步骤S6 04中， 损失函数L 为： L＝Lmatch+α Lcon+β Lrecon 其中， α表示描述子一致性约束损失函数的权重系数， β表示重构误差损失函数的权重 系数， Lmatch为三元组匹配损失函数， Lcon为描述子一致性约束损失， Lrecon为最小化重构误 差。 10.一种基于描述子一 致性约束的异源遥感图像块匹配系统， 其特 征在于， 包括： 处理模块， 从成对的光学图像和SAR图像中裁剪光学图像块poi和SAR图像块Psi， 制作异 源遥感图像块数据集， 将异源遥感图像块数据集划分为训练样本和测试样本， 分别对训练 样本和测试样本进行 预处理； 提取模块， 将处理模块得到的训练样本中的光学图像块poi和SAR图像块psi送入到异源 图像特征学习网络提取图像块特 征， 得到光学图像特 征foi和SAR图像特 征fsi； 学习模块， 将提取模块获得的光学图像特征foi和SAR图像特征fsi送到共享特征学习映权　利　要　求　书 2/3 页 3 CN 114445640 A 3