(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210529729.2 (22)申请日 2022.05.16 (71)申请人 广东工业大 学 地址 510006 广东省广州市番禺区小谷围 街道外环西路10 0号 (72)发明人 舒诚龙　敖银辉　黎明峻　黄晋豪　 (74)专利代理 机构 深圳泛航知识产权代理事务 所(普通合伙) 44867 专利代理师 张旭娟 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/277(2017.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多模态融合的多目标跟踪的方法 和系统 (57)摘要 本发明公开了一种基于多模态融合的多目 标跟踪的方法和系统， 包括目标检测模块、 特征 提取模块、 特征融合模块、 相似度计算模块及数 据关联模块； 其中， 所述目标检测模块采用 yolov4算法从图像获取目标的2D检测框， 并采用 PointPillars算 法从点云获取目标的3D检测框， 所述特征提取模块用于对检测框进行处理， 提取 目标的2D、 3D外观特征， 本发明通过多个独立的 传感器特征提取来保持可靠性， 利用多模态加权 融合方式， 得到更全面的目标特征， 提高精度， 可 以有效避免单一传感器失效问题， 使用图神经网 络和图卷积优化目标关联， 提升准确度， 滤波预 测更新， 弥补目标的丢失问题， 对多个目标进行 实时跟踪， 生成对应ID， 关联前后帧 的同一目标， 实现高精度定位的效果。 权利要求书4页 说明书10页 附图2页 CN 114913206 A 2022.08.16 CN 114913206 A 1.一种基于多模态融合的多目标跟踪的系统， 其特征在于， 包括目标检测模块、 特征提 取模块、 特 征融合模块、 相似度计算模块及数据关联模块； 其中， 所述目标检测模块采用yolov4算法从图像获取目标的2D检测框， 并采用PointPillars 算法从点云获取目标的3D检测框； 所述特征提取模块用于对检测框进行处 理， 提取目标的2D、 3D外观特 征； 所述特征融合模块用于将目标的多个特征通过神经网络进行加权 融合， 得到一个节点 信息； 所述相似度计算模块用于先计算跟踪值和检测值的差的绝对值， 得到初步亲和矩阵， 再通过图神经网络， 利用领域更新和图神经 卷积， 优化亲和矩阵； 所述数据关联模块采用线性规划 处理亲和矩阵， 并采用数据管理系统， 赋予目标对应 ID。 2.根据权利要求1所述的一种基于多模态融合的多目标跟踪的系统， 其特征在于， 所述 目标检测模块包括相机传感器及雷达传感器。 3.根据权利要求1所述的一种基于多模态融合的多目标跟踪的系统， 其特征在于， 所述 特征提取模块分别 利用VGG‑16和PointNet对检测框进行处 理。 4.根据权利要求1所述的一种基于多模态融合的多目标跟踪的系统， 其特征在于， 所述 节点信息包括2D外观、 2D运动、 3D外观和3D运动特 征。 5.一种基于多模态融合的多目标跟踪的方法， 其特 征在于， 包括如下步骤： 步骤1、 使用单目相机和激光雷达 两种传感器， 收集图像和点云信息； 步骤2、 在目标检测模块， 使用yolov4算法从图像中获取目标的2D检测框， 使用 PointPillars算法从点云中获取目标的3D检测框； 步骤3、 在2D框和3D框 的关联部分， 把3D检测框投影到2D图像上， 然后计算投影后的2D 框和原始2D检测器输出的2D检测框的IOU， 利用贪心匹配， 得到同一个目标的二 维框和三维 框； 步骤4、 在特征提取模块， 将二维检测框内信息裁剪并调整为224 ×224的图片， 然后通 过VGG‑16网络获取目标2D外观特征， 将三维检测框内信息通过PointNet网络获取目标3D外 观特征； 步骤5、 根据2D和3D关联 的结果， 将同一个目标 的位置信息合并， 得到检测 值信息Dti是 一个11维向量(x,y,z, θ,l,w,h,x1,y1,x2,y2)， 目标轨迹状态为18维的向量T＝(x,y,z, θ,l, w,h,x1,y1,x2,y2,vx,vy,vz,vx1,vy1,vx2,vx2)； 采用匀速模型， 利用卡尔曼滤波进行预测， 将前一帧的所有目标轨迹状态 进行前向预测， 得到当前帧的预测位置： xpre＝x+vx， ypre＝y+vy， zpre＝z+vz， 其中， vx代表x方向上的位移变化量， 大小等于前一帧该方向的位移量， 利用微分原理， 代替当前帧的位移量； 最后， 当前帧的预测状态为：权　利　要　求　书 1/4 页 2 CN 114913206 A 2步骤6、 在特征融合模块对预测状态 取前11维， 作为跟踪值的运动融合特征(1 ×11×(M+N))， 其中M表示跟踪值的数量， N表示检测值的数量； 步骤7、 再放入MLP中， 得到(1 ×512×(M+N))维张量， 经过三次堆叠， 生成(3 ×512×(M+ N))维张量； 步骤8、 加入一种根据来自不同传感器信息的重要性， 进行加权融合的的机制， 每个传 感器的初始权 重 计算公式如下： 其中s代表传感器种类， 表示卷积参数， σ 是sigmo id函数, 表示卷积 操作； 步骤9、 对初始权 重进行全局优化， 得到 权重 其中， MLP代 表神经网络； 步骤10、 融合后的信息Fifuse如下所示： 其中 表示元素乘法， 分母里的 用于结果归一 化； 步骤11、 将运动特征与外观特征拼接， 得到最终融合的总特征n， 大小为(3 ×1024×(M+ N))维张量， 即节点特 征； 步骤12、 在相似度计算模块， 先计算跟踪值和检测值的差的绝对值， 得到初步亲和矩阵 Et， 即边缘特征， 其中， 表示t时刻第i个跟踪值的特征信息， 表示t+1时刻第j个检测值值的特征信 息， 表示第i个跟踪值与t帧的所有检测值的边 缘特征； 步骤13、 先根据设定一个 阈值， 当两帧间一组对象的检测中心距离小于阈值， 才于二者 间连边， 再对连成边的节点进行 领域更新， 其中， N(i)表示 一组与t时刻第i个节点的邻域节点， MLP表示神经网络； 步骤14、 加入图卷积， 利用节点信息和边缘特征自身的信息， 进行全局优化， 得到对应 权重， W(Et)＝ReLU(MLP(Et))权　利　要　求　书 2/4 页 3 CN 114913206 A 3