(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210451117.6 (22)申请日 2022.04.26 (71)申请人 电子科技大 学 地址 610000 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 刘启和　武哲纬　周世杰　邱士林　 张准　 (74)专利代理 机构 成都东恒知盛知识产权代理 事务所 (特殊普通合伙) 51304 专利代理师 罗江 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/223(2017.01) G06V 10/40(2022.01)G06V 10/74(2022.01) G06V 10/75(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于时空约束与可学习特征匹配的快 速目标跟踪方法 (57)摘要 本发明公开了一种基于时空约束与可学习 特征匹配的快速目标跟踪 方法， 公开了一种基于 孪生网络 结构， 采用时空约束机制与可学习特征 匹配策略的快速目标跟踪 方法。 通过设置时序约 束分支与空间约束分支分别捕捉并融合随时序 变化的目标外观高维特征表示与限制空间搜索 尺度， 降低跟踪算法计算量并缓解目标因自身运 动与环境变化所导致的自身视觉特征的变化。 本 发明通过设置可学习特征匹配模块完成特征匹 配任务， 相比于主流的无参互相关方法能够更好 地从训练数据中学习正负样本分布并提升跟踪 效果。 本发 明提出的跟踪 方法具有良好的跟踪准 确度与较高的运算速度， 能够部署在运算资源受 限的嵌入式平台， 能完成准确的视觉目标跟踪任 务。 权利要求书3页 说明书10页 附图3页 CN 114926498 A 2022.08.19 CN 114926498 A 1.一种基于时空约束与可学习特征匹配的快速目标跟踪方法， 其特征在于， 包括如下 步骤： S1、 特征提取： 在初始帧中给定目标初始位置Loc1， 根据目标初始位置Loc1裁剪出目标 区域Z1， 并通过共享权重的骨干网络MobileNetv2分别提取搜索图像X1与跟踪目标Z1的深度 特征， 得到搜索区域融合特 征图FX1和跟踪目标Z1的融合特 征向量FZ1； S2、 可学习 特征匹配： 将搜索区域融合特征图FX1和跟踪目标Z1的融合特征向量FZ1分别 输入至两个独立的卷积层进行特征映射， 并在通道维度拼接， 得到的中间相似图 SimilarMapconcat， 将中间相似图输入至降维层， 输出 得到最终的相似图Simi larMap； S3、 注意力提取： 包括空间注意力提取和通道注意力提取， 具体为使用一张掩码Mask完 成， 通过学习训练， 让深度神经网络学习到需要关注的区域与通道， 得到带有空间、 通道注 意力的相似图SMatt； S4、 位置预测： 根据带有空间、 通道注意力的相似图SMatt， 采用分类分支与回归分支网 络分别计算目标 ‑背景的前后景分类概 率以及回归计算目标 所处位置的边框； S5、 采用时空约束分支并更新模板直至跟踪结束： 时空约束包括时序约束分支与空间 约束分支； 具体是采用时序约束分支捕捉并融合 随时序变化的目标外观高维特征表示， 采 用空间约束分支根据前序跟踪结果约束空间层面的搜索尺度， 更新模板直至跟踪结束。 2.根据权利要求1所述的基于时空约束与可学习特征匹配的快速目标跟踪方法， 其特 征在于： 所述 步骤S1特 征提取的具体步骤 包括如下： S11、 尺寸调整： 调整搜索图像X1与跟踪目标Z1的尺寸大小， 使其能够被输入进网络， 调 整后的X1与Z1尺寸分别为25 5×255×3与127×127×3； S12、 多尺度特征图尺寸平衡： 通过控制骨干网络MobileNetv2中的卷积参数， 将不同尺 度的规范为同一尺寸的中间特征图输出， 输出搜索图像X1与跟踪目标Z1在骨干网络卷积层 第3、 5、 7层的中间特征图集分别为MX＝{MX1， MX2， MX3}和MZ＝{MZ1， MZ2， MZ3}， 每个特征图集中的 中间特征图具有相同的尺寸； S13、 多尺度特征图融合： 将步骤S12中输出 的特征图集MX与MZ分别进行融合， 分别得到 搜索区域融合特 征图FX1和跟踪目标Z1的融合特 征向量FZ1。 3.根据权利要求2所述的基于时空约束与可学习特征匹配的快速目标跟踪方法， 其特 征在于： 所述 步骤S13多尺度特 征图融合的具体步骤 包括： S131、 对于特征图集MX， 首先将其在通道维度上进行拼接， 拼接后的特征图记作 FX_concat， 尺寸为3 1×31×768， 再将FX_concat输入进反卷积层进行降维， 然后通过批量归一化 与Relu层， 得到降维后的搜索区域融合特 征图FX1， 尺寸为31×31×256； S132、 对于特征图集MZ， 首先将其在通道维度上进行拼接， 拼接后的特征图记作 FZ_concat， 尺寸为15 ×15×768， 再将FZ_concat输入进反卷积层进行降维， 然后通过批量归一化 与激活层， 得到降维后的搜索区域融合特 征图FZ_fusion， 该特征图尺寸 为15×15×256； 随后将FZ_fusion依次输入进特征编 码器、 ROI_Align层与空间调整层， 最后得到表征跟踪 目标Z1的融合特 征向量FZ1， 向量尺寸 为1×1×256。 4.根据权利要求1所述的基于时空约束与可学习特征匹配的快速目标跟踪方法， 其特 征在于： 所述步骤S2 中两个独立的卷积层和降维层都具有256个1x1大小的卷积核； 所述中 间相似图SimilarM apconcat的尺寸为31 ×31×512， 所述最终相似图SimilarM ap的尺寸为31权　利　要　求　书 1/3 页 2 CN 114926498 A 2×31×256。 5.根据权利要求1所述的基于时空约束与可学习特征匹配的快速目标跟踪方法， 其特 征在于： 所述 步骤S3注意力提取的具体步骤 包括： S31、 空间注意力提取： 采用非局部操作算子Non ‑Local Layer， Non ‑Local Layer通过 非局部均值滤波操作用以捕捉空间、 序列以及通道层面的长距离依赖， 并保持输入与输出 尺度的一 致， 输出空间注意力掩码； S32、 通道注意力提取： 采用SEModule网络， 通过Squeeze和Excitation操作获得表示各 通道的全局空间特征 的表示向量， 并通过训练数据的学习对各通道的依赖程度进行调整， 输出通道 注意力权 重向量； S33、 将输出的空间注意力掩码与通道注意力权重向量与步骤S2得到的相似图 SimilarMap进行融合， 得到带有空间、 通道 注意力的相似图SMatt。 6.根据权利要求1所述的基于时空约束与可学习特征匹配的快速目标跟踪方法， 其特 征在于： 所述步骤S4位置预测中， 分类 分支与回归分支网络 分别采用不同的损失函数， 分类 分支采用交叉熵损失函数CrossEntropyLoss， 回归分支采用Linear ‑IoU损失函数 LinearIoULoss， 两个损失函数的输入均为两个四元组(l， r， t， b)与 分别代表真 实位置边框与预测位置边框， 通过计算 二者的交集与并集 来评估网络的总损失Total Loss。 7.根据权利要求6所述的基于时空约束与可学习特征匹配的快速目标跟踪方法， 其特 征在于： 所述网络的总损失Total Loss具体计算如下： gt_area＝(l+r)*(t+b) area_union＝pred_area+gt_area ‑area_inter TotalLoss＝CrossEntropyLoss+LinearIoULoss。 8.根据权利要求1所述的基于时空约束与可学习特征匹配的快速目标跟踪方法， 其特 征在于： 所述 步骤S5采用时空约束分支并更新模板直至跟踪结束具体包括： 将当前帧的跟踪原始画面以及前序帧跟踪结果作为空间约束分支的输入， 前序帧跟踪 结果为一四元向量[x， y， w， h ]， 分别代表目标位置边框左上角点的坐标以及边框的宽高， 跟 踪模型通过边框宽高以及人工 设定的搜索区域缩放因子c计算当前帧搜索区域的裁剪尺寸 sizex； 设当前帧的跟踪结果为 在本网络配置文件中将阈值区间[a， b]与更新间隔ξ作为超 参数， 将当前帧的跟踪结果 作为时序约束分支的输入， 若 的特征融合向量 与初始目标 区域的特征融合向量 余弦相似度处于阈值区间[a， b]中， 则将 的多尺度融合特征 更 新至跟踪模板中。 9.根据权利要求8所述的基于时空约束与可学习特征匹配的快速目标跟踪方法， 其特 征在于： 所述跟踪模板更新的表达式如下：权　利　要　求　书 2/3 页 3 CN 114926498 A 3