(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210478289.2 (22)申请日 2022.05.05 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路２ 号 (72)发明人 赵宪通　田胜景　刘秀平　曹俊杰　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 许明章　王海波 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/762(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 一种基于图卷积的三维点云单目标跟踪方 法 (57)摘要 本发明提供了一种基于图卷积的三维点云 单目标跟踪方法， 属于三维点云单目标跟踪技术 领域。 本发 明首次将图卷积应用到三维单目标跟 踪任务， 本发 明基于现有的三维单目标跟踪 方法 P2B进行改进， 首先将模板点云和搜索点云输入 到网络中， 进行点云下采样， 提取种子点特征； 其 次利用图卷积模块进行全局以及局部的特征融 合， 将模板信息嵌入到搜索区域中； 最后， 带有模 板信息的种子点将被送至霍夫 投票模块， 在搜索 区域对跟踪对象进行定位， 并生成其三维目标 框。 本发明通过图卷积模块进行全局和局部的特 征融合提升跟踪质量； 本发明利用真实的点云数 据集进行评估， 并观察在先进的基线上的改进。 权利要求书3页 说明书4页 附图2页 CN 114862911 A 2022.08.05 CN 114862911 A 1.一种基于图卷积的三维点云单目标跟踪方法， 其特 征在于， 该 方法包括以下步骤： 步骤S1： 读取点云数据， 确定跟踪对象即模板点云， 并确定 搜索区域； 步骤S2： 将模板点云和搜索区域点云送入共享的编码器进行点云下采样以及特征提 取， 得到种子点的三维坐标以及种子点的特 征向量； 步骤S3： 使用全局特征融合模块， 将模板种子点和搜索区域种子点送入全局特征融合 模块， 进行全局特征学习， 将模板全局信息嵌入到搜索区域种子点特征， 更新搜索区域种子 点特征； 步骤S4： 使用局部特征融合模块， 将模板种子点和搜索区域种子点送入局部特征融合 模块， 进行局部特征学习， 将模板局部信息嵌入到搜索区域种子点特征， 更新搜索区域种子 点特征； 步骤S5： 迭代步骤S3 ‑S4， 完成特 征融合， 得到富含 模板信息的种子点； 步骤S6： 将更新后的搜索区域种子点送入霍夫投票， 寻找聚类 中心并进行投票， 确定目 标中心位置和包围框的偏转角。 2.根据权利要求1所述的一种基于图卷积的三维点云单目标跟踪方法， 其特征在于， 所 述步骤S1的具体过程 为： 步骤S11： 读取上一帧点云跟踪对象的目标框作为目标的尺寸， 目标框内的点作为跟踪 对象模板， 即为模板点云； 步骤S12： 根据 上一帧点云跟踪对象的目标框在世界坐标系下的位置， 对当前帧进行搜 索区域的选取， 将跟踪对象上一帧目标框进 行膨胀， 作为搜索区域， 搜索区域内的点即为搜 索区域点云。 3.根据权利要求1或2所述的一种基于图卷积的三维点云单目标跟踪方法， 其特征在 于， 所述步骤S2具体为： 将模板点云和搜索 区域点云输入到Point ‑Net++网络中进行点云下采样， 采样方式为 最远点采样， 分别得到各自的种子点 并进行特征学习； 最终得到种子 点的位置 和种子点的特征 其中， i ＝t,s分别表示模板区域点云和搜索区域点云， Ni表示种子点的数量， N表示种子点特征的 维度。 4.根据权利要求1或2所述的一种基于图卷积的三维点云单目标跟踪方法， 其特征在 于， 所述步骤S3具体为： 步骤S31： 计算由步骤S2获得的模板种子点特征与搜索区域种子点特征之间的余弦相 似性； 步骤S32： 构建全局的图链接： 模板区域和搜索区域种子点作为 图卷积图节点， 建立模 板区域节点到 搜索区域节点的边结构， 每 个搜索区域节点与模板区域所有节点建立连接； 步骤S33： 使用全局特征学习模块进行特征融合： 首先将模板种子点坐标与模板种子点 特征连接， 将连接后的特征张量扩展到(B,N+3,Nt,Ns)维度并与由步骤S31 中获得的余弦相 似度连接， 得到(B,N+3+1,Nt,Ns)的张量； 张量依次经过一层MLP、 一层最大池化， 池化后的 特征张量为(B,N,Ns)； 步骤S34： 将池化后的特征张量与搜索区域种子点特征在特征维度进行连接， 经过一层权　利　要　求　书 1/3 页 2 CN 114862911 A 2MLP将所学模板全局信息嵌入搜索区域中， 得到嵌入了模板全局信息的搜索区域种子点特 征， 完成搜索区域种子点特 征的全局更新。 5.根据权利要求3所述的一种基于图卷积的三维点云单目标跟踪方法， 其特征在于， 所 述步骤S3具体为： 步骤S31： 计算由步骤S2获得的模板种子点特征与搜索区域种子点特征之间的余弦相 似性； 步骤S32： 构建全局的图链接： 模板区域和搜索区域种子点作为 图卷积图节点， 建立模 板区域节点到 搜索区域节点的边结构， 每 个搜索区域节点与模板区域所有节点建立连接； 步骤S33： 使用全局特征学习模块进行特征融合： 首先将模板种子点坐标与模板种子点 特征连接， 将连接后的特征张量扩展到(B,N+3,Nt,Ns)维度并与由步骤S31 中获得的余弦相 似度连接， 得到(B,N+3+1,Nt,Ns)的张量； 张量依次经过一层MLP、 一层最大池化， 池化后的 特征张量为(B,N,Ns)； 步骤S34： 将池化后的特征张量与搜索区域种子点特征在特征维度进行连接， 经过一层 MLP将所学模板全局信息嵌入搜索区域中， 得到嵌入了模板全局信息的搜索区域种子点特 征， 完成搜索区域种子点特 征的全局更新。 6.根据权利要求1、 2或5所述的一种基于图卷积的三维点云单目标跟踪方法， 其特征在 于， 所述步骤S4具体为： 步骤S41： 计算由步骤S2获得的模板种子点特征与S3更新后的搜索区域种子点特征之 间的余弦相似性， 得到余弦相似度图； 步骤S42： 计算由步骤S2获得的模板种子点 坐标之间的距离， 得到距离图； 步骤S43： 构建局部的图链接： 模板区域和搜索区域种子点作为 图卷积图节点， 首先建 立模板区域节点到搜索区域节点的边结构， 根据步骤S4 1获得的余弦相似度图， 搜索区域节 点与模板区域节点之间余弦相似度大于既定阈值则建立连接； 其次建立模板区域节点之间 的边结构， 根据步骤S42获得的距离图， 模板区域节点之间距离小于既定阈值则建立连接； 完成图卷积的图结构的构建； 步骤S44： 将模板种子点特征和S3更新后的搜索区域种子点特征在数量维度上进行连 接， 将连接节点之间的余弦相 似度或距离作为权重和特征张量， 以及S43建立的图结构， 输 入到图卷积网络， 将模板的局部信息嵌入到搜索区域种子点特征， 完成搜索区域种子点特 征的局部更新。 7.根据权利要求1、 2或5所述的一种基于图卷积的三维点云单目标跟踪方法， 其特征在 于， 所述步骤S5具体为： 步骤S51： 将更新后的搜索区域种子点特 征送入步骤S3中再次学习模板全局信息； 步骤S52： 再次更新模板全局信息后的搜索区域种子点特征送入步骤S4中再次学习模 板局部信息 。 8.根据权利要求1、 2或5所述的一种基于图卷积的三维点云单目标跟踪方法， 其特征在 于， 所述步骤S6具体为： 步骤S61： 将得到的嵌入全局和局部模板信息的搜索区域种子点特征以及三维坐标送 入霍夫投票； 步骤S62： 对搜索区域种子点应用MLP回归分类得分S＝s1,s2...sj， 用以判断种子点为权　利　要　求　书 2/3 页 3 CN 114862911 A 3