(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210499223.1 (22)申请日 2022.05.09 (71)申请人 哈尔滨工程大 学 地址 150000 黑龙江省哈尔滨市南岗区南 通大街145号 (72)发明人 张铁栋　李仁哲　李铭昊　郎硕　 冯杰熹　贾辉　樊家占　柴浩若　 刘继智　 (74)专利代理 机构 哈尔滨市阳光惠远知识产权 代理有限公司 2321 1 专利代理师 刘景祥 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/70(2017.01) G06V 20/05(2022.01)G06V 10/30(2022.01) G06V 10/28(2022.01) G06V 10/74(2022.01) G06V 10/25(2022.01) G06V 10/20(2022.01) G01S 15/66(2006.01) (54)发明名称 一种基于检测的声学动态多目标跟踪系统 与跟踪方法 (57)摘要 本发明公开了一种基于检测的声学动态多 目标跟踪系统与跟踪 方法， 属于水下声视觉环境 感知技术领域。 声纳设备的输出端与声纳图像序 列预处理模块的输入端 连接， 声纳图像序列预处 理模块的输出端与运动预测模块和目标检测模 块的输入端连接， 目标检测模块和运动预测模块 的输出端与级联匹配模块的输入端连接， 级 联匹 配模块的输出端与IOU检测模块的输入端连接， 级联匹配模块与IOU检测模块共同构成目标匹配 模块， 目标匹配模块的输出结果作为当前帧声纳 图像St的跟踪结果。 本发明能够实现利用声学图 像， 对水下环境中的动态多目标进行跟踪， 并解 决跟踪过程中目标ID变更和轨 迹中断等问题。 权利要求书3页 说明书6页 附图2页 CN 114913205 A 2022.08.16 CN 114913205 A 1.一种基于检测的声学动态多目标跟踪系统， 其特征在于， 所述系统包括声纳设备 (101)、 声纳图像序列预处理模块(102)、 运动预测模块(103)、 目标检测模块(104)、 级联匹 配模块(105)和IOU匹配模块(106)， 所述声纳设备(101)的输出端与所述声纳图像序列预处 理模块(102)的输入端 连接， 所述声纳图像序列预处理模块(102)的输出端与所述运动预测 模块(103)和目标检测 模块(104)的输入端连接， 所述目标检测 模块(104)和运动预测 模块 (103)的输出端与所述级联匹配模块(105)的输入端连接， 所述级联匹配模块(105)的输出 端与所述IOU检测模块(106)的输入端连接， 所述级联匹配模块(105)与IOU检测模块(106) 共同构成目标匹配模块， 目标匹配模块的输出 结果作为当前帧声纳图像St的跟踪结果。 2.根据权利要求1所述的一种基于检测的声学动态多目标跟踪系统， 其特征在于， 所述 声纳图像序列预处理模块(102)分别输出当前帧声纳图像St和上一帧声纳图像St‑1， 其中， 所述当前帧声纳图像St作为所述目标检测模块(104)的输入， 所述上一帧声纳图像St‑1作为 运动预测模块(10 3)的输入。 3.根据权利要求2所述的一种基于检测的声学动态多目标跟踪系统， 其特 征在于， 所述声纳设备(101)， 用于获取 连续的声纳图像序列； 所述声纳图像序列预处理模块(102)， 用于对所述原始声纳图像序列进行预处理， 初步 提高图像质量， 并输出 上一帧声纳图像St‑1和当前帧声纳图像St； 所述运动预测模块(103)， 用于获取上一帧声纳图像St‑1输出的目标跟踪信息， 利用卡 尔曼滤波算法， 输出当前帧声纳图像St中目标的预测值； 所述目标检测 模块(104)， 用于针对当前帧声纳图像St， 利用深度学习目标检测算法和 统计学检测方法进行检测， 并进行 数据融合， 输出当前帧声纳图像St中目标的检测值； 所述级联匹配模 块(105)， 用于通过计算 当前帧声纳图像St中预测目标与检测目标之间 的马氏距离与余弦距离作为相似度衡量， 进行目标匹配； 所述IOU匹配模块(106)， 用于根据计算当前 帧声纳图像St中预测目标与检测目标之间 的IOU距离作为相似度衡量， 进行目标 再匹配。 4.根据权利要求3所述的一种基于检测的声学动态多目标跟踪系统， 其特征在于， 在所 述声纳图像序列预处理模块(102)中， 所述的预处理包括对原始声纳图像序列进行降噪和 均衡化处 理。 5.根据权利要求1所述的一种基于检测的声学动态多目标跟踪系统， 其特征在于， 所述 跟踪结果包括目标边界框信息和轨 迹点信息 。 6.一种基于检测的声学动态多目标跟踪方法， 基于权利要求1 ‑5任一项所述的一种基 于检测的声学动态多目标跟踪系统， 其特征在于， 所述基于检测的声学动态多目标跟踪方 法包括以下步骤： 步骤一、 首先对声纳设备(101)采集的声学图像， 进行初步的预处理， 预处理后生成用 于目标跟踪的声纳图像序列， 采用中值滤波对相应像素邻域内的像素灰度值进行排序并取 中值， 实现声纳图像的降噪： g(x,y)＝median{f(x,y),f∈s} 采用自适应直方图均衡化对声纳图像进行增强； 步骤二、 目标检测 模块(104)将声纳图像序列中当前 帧St图像作为输入， 采用深度学习 目标检测方法进行检测， 输出边界框的位置和大小信息， 记作检测值；权　利　要　求　书 1/3 页 2 CN 114913205 A 2分别使用深度 学习目标检测方法和恒虚警率检测方法对声纳图像进行检测， 得到有分 类置信度的检测框和无分类置信度的检测框， 剔除无分类置信度检测框中与任一有分类置 信度检测框IOU大于1的检测框； 步骤三、 运动预测模块(103)将声纳图像序列中上一帧声纳图像St‑1的跟踪结果作 为输 入， 采用卡尔曼滤波对 目标在当前帧声纳图像St可能出现的位置和边界框信息进行预测， 记作预测值， 目标的状态描述 为： 步骤四： 对于目标检测模块(104)输出的目标信息和运动预测模块(103)中已确认轨迹 的输出目标信息， 进行目标间的级联匹配， 采用马氏距离和余弦距离计算两组目标之间的 相似度， 生成代价矩阵， 然后采用匈 牙利算法进行目标匹配； 步骤五： 对于级联匹配的输出结果， 进行IOU匹配， 采用IOU距离计算两组 目标之间的相 似度， 生成代价矩阵， 然后采用匈 牙利算法进行目标匹配； 步骤六、 采用IOU距离计算两组目标之间的相似度， 生成代价矩阵， 然后采用匈牙利算 法进行目标匹配。 7.根据权利要求6所述的一种基于检测的声学动态多目标跟踪方法， 其特征在于， 所述 的预处理包括对原 始声纳图像序列进行降噪和均衡化处 理。 8.根据权利要求6所述的一种基于检测的声学动态多目标跟踪方法， 其特征在于， 在步 骤五中， 所述目标匹配包括以下情况： 当检测值与预测值相匹配时， 视为匹配成功， 采用卡尔曼滤波更新目标状态， 输出目标 边界框和轨 迹信息； 当检测值未匹配到预测值时， 执 行步骤五的IOU匹配； 当预测值未匹配到相应的检测值时， 执 行步骤五的IOU匹配。 9.根据权利要求8所述的一种基于检测的声学动态多目标跟踪方法， 其特征在于， 所述 马氏距离用下式进行表示： d(1)(i,j)＝(dj‑yi)TSi‑1(dj‑yi) 所述余弦距离用下式进行表示： d(2)(i,j)＝mi n{1‑rjTrk(i)|rk(i)∈Ri} 利用马氏距离和余弦距离计算代价矩阵： bi,j(1)＝I[d(1)(i,j)≤t(1)] bi,j(2)＝I[d(2)(i,j)≤t(2)] ci,j＝ λ d(1)(i,j)+(1 ‑λ )d(2)(i,j) 其中， I表示指示 函数， 设置门控单 元， 限制代价矩阵中过 大的值： 根据所得到的代价矩阵， 利用匈 牙利算法进行匹配。 10.根据权利要求8所述的一种基于检测的声学动态多目标跟踪方法， 其特征在于， 在权　利　要　求　书 2/3 页 3 CN 114913205 A 3