(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210423431.3 (22)申请日 2022.04.21 (65)同一申请的已公布的文献号 申请公布号 CN 114707611 A (43)申请公布日 2022.07.05 (73)专利权人 安徽工程大学 地址 241000 安徽省芜湖市鸠江区北京中 路安徽工程大学 (72)发明人 陈孟元　刘金辉　陈晓飞　徐韬　 韩朋朋　 (74)专利代理 机构 芜湖思诚知识产权代理有限 公司 34138 专利代理师 项磊 (51)Int.Cl. G06K 9/62(2022.01)G06F 16/29(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/75(2022.01) G06V 10/80(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) 审查员 李颖 (54)发明名称 基于图神经网络特征提取与匹配的移动机 器人地图构建方法、 存 储介质及设备 (57)摘要 本发明公开了基于图神经网络特征提取与 匹配的移动机器人地图构建方法、 存储介质及设 备， 其中方法包括下列步骤： 步骤S1， 通过先验位 置估计特征提取图神经网络， 对图像特征点进行 快速均匀检测与描述， 构建相应特征点信息； 步 骤S2， 通过图注意力机制特征匹配中的消息传递 图神经网络聚合特征点信息； 步骤S3， 使用自我 与联合注意力机制对前后帧图像进行分权重特 征匹配； 步骤S4， 优化筛选已建立的特征匹配点 对集合， 并将 优化后的高吻合度匹配点对与系统 后端的非线性优化、 闭环修正算法相融合， 进行 相机位姿估计与局部地图构建。 本发 明有助于提 升特征提取算法在面对外界光照变化剧烈与纹 理稀疏场景下的稳定性与准确性， 并加快特征匹 配的速度。 权利要求书3页 说明书11页 附图10页 CN 114707611 B 2022.10.11 CN 114707611 B 1.基于图神经网络特征提取与匹配的移动机器人地图构建方法， 其特征在于： 包括下 列步骤： 步骤S1， 通过先验位置估计特征提取图神经网络， 对图像特征点进行快速均匀检测与 描述， 构建相应特 征点信息； 输入图像经编码层处理生成对应输入图像信 息的8×8特征映射集合， 之后使用划分像 素区域估计位置坐标 的方法， 结合关键点位置坐标与特征点描述符， 使用多层感知机将特 征点位置坐标嵌入到高维向量， 并通过先验位置估计特征提取网络估计每个输出的8 ×8特 征映射集合的相对图像坐标， 并将其映射到全局图像像素坐标， 融合特征点的初始相对位 置坐标、 视 觉描述符与置信度得到特 征点信息； 步骤S2， 通过图注意力机制特 征匹配中的消息传递图神经网络聚合特 征点信息； 步骤S3， 使用自我与联合注意力机制对前后帧图像进行分权 重特征匹配； 步骤S4， 优化筛选已建立的特征匹配点对集合， 并将优化后的高吻合度匹配点对与系 统后端的非线性优化、 闭环修 正算法相融合， 进行相机位姿估计与局部地图构建； 所述步骤S1中， 由先验 位置估计 特征提取网络模型提取图GA前m个特征点A＝{1， …， M}， 提取图GB前n个特征点B＝{1， …， N}， 两张图像两 组关键点位置l和描述符d编码为局部特征 (l， d)； 该先验位置估计特征提取网络模型包括两个通道数分别为256和2的卷积层， 在 sigmoid函数激活层之后， 使用回归 方式估计8 ×8特征映射集合内坐标在[ 0， 1]范围内的偏 移量， 预测特 征点在该 特征映射集合的相对像素位置 。 2.根据权利要求1所述的基于图神经网络特征提取与匹配的移动机器人地图构建方 法， 其特征在于： 所述步骤S1 中， 由相对图像坐标映射到全局图像像素坐标的转换公 式与区 域内特征点融合公式如下 所示： 式中，(0)Pi为区域内融合特征点初始相对位置坐标、 视觉描述符与置信度的特征点信 息， di为特征点描述符， MLP为多层感知机， (x， y)i为全局图像像素坐标， 初始为((0)Lx(A， B) ，(0)Ly(A， B))， ci为区域内融合特征点置信度， A为位置估 计区域横坐 标， B为位置估 计区域纵 坐标，(0)Lx(A， B)为图像像素横坐标，(0)Ly(A， B)为图像像素 纵坐标，(n)LA为第n层位置估计区 域横坐标，(n)LB第n层位置估计区域纵坐标， Sds是降采样因子为8的降采样函数。 3.根据权利要求1所述的基于图神经网络特征提取与匹配的移动机器人地图构建方 法， 其特征在于： 所述步骤S2中， 图可以定义为由节点和连接节点的边构成， 本方法定义了 两种类型无向边， 在单张图像上 的自我注意力无向边， 特征点在单张图像内连接着同一图 像内其它特征点， 在前后图像帧之 间的联合注意力无向边， 特征点连接着其它图像特征点； 本方法提出一种消息传递 公式沿着两种无向边传递特征节点信息， 利用多重消息传递网络 从低层特征节点向高层特征节点传递信息， 通过聚集所有特征节点的所有无向边信息， 在 每一层计算更新特征节点状态； 此过程消息传递 公式把融合先验位置信息的特征点信息传 递到中心 节点， 在多层卷积层网络中 融合全局图像 像素坐标进行优化。 4.根据权利要求3所述的基于图神经网络特征提取与匹配的移动机器人地图构建方权　利　要　求　书 1/3 页 2 CN 114707611 B 2法， 其特征在于： 所述步骤S2中， 经过大量匹配特征点对训练先验位置估计特征提取网络模 型， 通过无监督损失函数对输入图像进 行多角度、 多尺度单应性训练提取相同场景的3D点， 实现对特征点的优化， 图像A中特征节点信息更新公式包括所述消息传递公式具体如下所 示： 式中， [·||·]表示并列，( κ )PiA为图像A上κ层的特征节点，( κ+1)PiA为κ+1层图像聚合特 征点，( κ )Ni为图像A上κ层的邻域特征节点， mε→i表示为所有特征节点{ j： (i， j)∈ ε }的聚合结 果， 其中ε具有自我注意力与联合注意力两种类型， Lc为无监督特征点的置信度损失项， Lxy 为相对特征点位置均匀分布正则项， Ldesc为学习描述符表示项， Ldecorr为特征点描述符正则 项， 每类损失项由不同因子λ加权， 最后两个损失项Ldesc与LdLdecorr只对描述符进行优化， Ldecorr通过去除相关描述符来减少过拟合， 消息传递公式里的di+MLP[(x， y)i， ci]在卷积层 第一层即由步骤S1所 得的融合后的特 征点信息(0)Pi。 5.根据权利要求1所述的基于图神经网络特征提取与匹配的移动机器人地图构建方 法， 其特征在于： 所述步骤S3中， 使用基于消息传递的图神经网络， 充分聚合特征点邻域内 空间位置信息与视觉灰度特征， 利用自我注意力机制增大在高响应区域特征权重， 然后集 中迭代单帧图像上显著或相邻特征点， 通过联合注意力机制在两张图像上搜索相似或共有 特征点， 消除无法匹配的低质量特征点； 分权重匹配时特征节点的融合计算所需的图像特 征集合与图像特 征矩阵键值对 对象通过图神经网络中的线性投影 计算。 6.根据权利要求5所述的基于图神经网络特征提取与匹配的移动机器人地图构建方 法， 其特征在于： 所述 步骤S3中， 分权 重匹配时特 征节点的融合计算公式如下 所示： 式中， Wij为注意力权重，( κ )mε→i为融合后的特征消息，( κ )M为κ层消息传递函数， 为特 征点(κ )PiA的特征点状态， 为特征点 的特征点状态， eij为相连两个特征点的特征向 量， i和j为经 softmax归一化的图像特征行和列， qi表示查询得到的图像特征集合， gj为图像 特征矩阵键值对对 象， 图像特征集合是指特征点位置集合， 图像特征矩阵键值对对 象是指 图像中已匹配的特 征点对； 线性投影 计算公式如下 所示： 式中， 属于A集合， qi表示查询得到的图像特征集合， gj为图像特征矩阵键值对对象， 为邻域融合特征点描述符， 为集合B中κ层特征点， w1、 w2与w3为注意力 权重， χ1、 χ2与 χ3为系数。 7.根据权利要求1所述的基于图神经网络特征提取与匹配的移动机器人地图构建方权　利　要　求　书 2/3 页 3 CN 114707611 B 3