(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210469020.8 (22)申请日 2022.04.30 (65)同一申请的已公布的文献号 申请公布号 CN 114581491 A (43)申请公布日 2022.06.03 (73)专利权人 苏州浪潮智能科技有限公司 地址 215100 江苏省苏州市吴中经济开发 区郭巷街道官浦路1号9幢 (72)发明人 李晓川　李仁刚　赵雅倩　郭振华　 范宝余　张润泽　王立　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 耿苑 (51)Int.Cl. G06T 7/246(2017.01)G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/74(2022.01) G06K 9/62(2022.01) 审查员 丁娇 (54)发明名称 一种行人轨迹跟踪方法、 系统及相关装置 (57)摘要 本申请提供一种行人轨迹跟踪 方法， 涉及图 像处理领域， 包括： 获取图像数据； 对图像数据进 行特征提取， 并构建候选关系掩膜； 提取行人轨 迹库的历史帧特征集合， 与候选框关系掩膜中的 候选框进行特征计算， 得到人框特征距离矩阵和 框人特征距离矩阵； 计算所述目标行人与所述候 选框的特征距离， 将与目标行人的特征距离满足 互为最小距离的目标候选框归入目标行人的轨 迹， 直至当前帧检测框内无满足条件的检测框； 更新行人轨迹库， 输出所述目标行人的行人索引 集合和对应的位置轨迹。 本申请能有效解决行人 跟踪过程中特征丰富性不足的问题， 提高行人跟 踪检测精度。 本申请还提供一种行人轨迹跟踪系 统、 计算机可读存储介质和电子设备， 具有上述 有益效果。 权利要求书2页 说明书7页 附图2页 CN 114581491 B 2022.07.22 CN 114581491 B 1.一种行 人轨迹跟踪方法， 其特 征在于， 包括： 获取图像数据； 对所述图像数据进行特征提取， 并根据提取的特征构建候选框关系掩膜； 所述候选框 关系掩膜中的数值表示当前帧的检测框与目标 行人是否可形成合理的轨 迹关系； 提取行人轨迹库的历史帧特征集合， 与所述候选框关系掩膜中的候选框进行特征计 算， 得到人框特征距离矩阵和框人特征距离矩阵； 其中， 所述人框特征距离矩阵由行人对应 的所述历史帧特征集合与当前帧的候选框进 行距离计算得到， 所述框人特征距离矩阵由当 前帧的候选 框与其存在候选关系的行 人进行特征距离计算得到； 根据所述人框特征距离矩阵和所述框人特征距离矩阵计算所述目标行人与所述候选 框的特征距离， 若存在目标候选框与所述 目标行人 的特征距离满足互为最小距离， 将所述 目标候选 框归入所述目标 行人的轨迹， 直至当前帧检测框内无满足条件的检测框； 更新所述行 人轨迹库， 输出 所述目标 行人的行人索引集 合和对应的位置 轨迹； 其中， 对所述图像数据进行 特征提取， 并根据提取的特 征构建候选 框关系掩膜包括： 利用第一网络模型对所述图像数据中的图像帧进行目标预测， 得到第一检测结果； 其 中， 所述第一检测结果包 含各行人的坐标框位置信息和行 人数量； 利用第二网络模型提取 所述坐标框中的特 征， 得到特 征集合； 根据轨迹预测公式计算各 所述行人在当前时刻的轨 迹预测坐标； 根据各所述行人的所述轨迹预测坐标和所述坐标框位置信息确定所述行人在当前时 刻的空间可 行范围； 根据所述空间可 行范围生成各 所述行人对应的候选 框关系掩膜。 2.根据权利要求1所述的行 人轨迹跟踪方法， 其特 征在于， 还 包括： 构建所述行人轨迹库； 所述行人轨迹库包含各行人的历史位置和所述行人在各所述历 史位置时的特 征信息。 3.根据权利要求1所述的行人轨迹跟踪方法， 其特征在于， 利用第 一网络模型对所述图 像数据中的图像帧进行目标 预测， 得到第一检测结果之前， 还 包括： 将训练数据集中行人框标签及图片输入至行人检测网络， 并利用双阶段检测器或者单 阶段检测器对所述行 人检测网络进行训练， 得到所述第一网络模型。 4.根据权利要求1所述的行人轨迹跟踪方法， 其特征在于， 所述利用第 二网络模型提取 所述坐标框中的特 征， 得到特 征集合之前， 还 包括： 基于行人重识别模式进行模型训练， 裁剪训练数据集中的行人框， 得到所述第二网络 模型。 5.根据权利要求4所述的行人轨迹跟踪方法， 其特征在于， 所述候选框关系掩膜为包含 0和1的M*N矩阵； 其中， M为行 人检测框的数量， N 为行人数量。 6.一种行 人轨迹跟踪系统， 其特 征在于， 包括： 图像获取模块， 用于获取图像数据； 特征提取模块， 用于对所述图像数据进行空间特征提取和外观特征提取， 并根据提取 的特征构建候选 框关系掩膜； 特征计算模块， 用于提取行人轨迹库的历史帧特征集合， 与所述候选框关系掩膜中的 候选框进 行特征计算， 得到人框特征距离矩阵和框人特征距离矩阵； 其中， 所述人框特征距权　利　要　求　书 1/2 页 2 CN 114581491 B 2离矩阵由行人对应的所述历史帧特征集合与当前帧的候选框进行距离计算得到， 所述框人 特征距离矩阵由当前帧的候选 框与其存在候选关系的行 人进行特征距离计算得到； 检测模块， 用于根据 所述人框特征距离矩阵和所述框人特征距离矩阵计算目标行人与 所述候选框的特征距离， 若存在目标候选框与所述目标行人的特征距离满足互为最小距 离， 将所述 目标候选框归入所述 目标行人 的轨迹， 直至当前帧检测框内无满足条件的检测 框； 轨迹更新模块， 用于更新所述行人轨迹库， 输出所述目标行人的行人索引集合和对应 的位置轨迹； 其中， 所述特 征提取模块 为用于执 行如下步骤的模块： 利用第一网络模型对所述图像数据中的图像帧进行目标预测， 得到第一检测结果； 其 中， 所述第一检测结果包 含各行人的坐标框位置信息和行 人数量； 利用第二网络模型提取 所述坐标框中的特 征， 得到特 征集合； 根据轨迹预测公式计算各 所述行人在当前时刻的轨 迹预测坐标； 根据各所述行人的所述轨迹预测坐标和所述坐标框位置信息确定所述行人在当前时 刻的空间可 行范围； 根据所述空间可 行范围生成各 所述行人对应的候选 框关系掩膜。 7.根据权利要求6所述的行 人轨迹跟踪系统， 其特 征在于， 还 包括： 轨迹库构建模块， 用于构建行人轨迹库； 所述行人轨迹库包含各行人的历史位置和所 述行人在各所述历史位置时的特 征信息。 8.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被 处理器执行时实现如权利要求1 ‑5任一项所述的行 人轨迹跟踪方法的步骤。 9.一种电子设备， 其特征在于， 包括存储器和 处理器， 所述存储器中存有计算机程序， 所述处理器调用所述存储器中的计算机程序时实现如权利要求1 ‑5任一项所述的行人轨迹 跟踪方法的步骤。权　利　要　求　书 2/2 页 3 CN 114581491 B 3