(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210492966.6 (22)申请日 2022.05.07 (71)申请人 扬州大学 地址 225009 江苏省扬州市大 学南路88号 (72)发明人 张新峰　殷文斌　 (74)专利代理 机构 南京禹为知识产权代理事务 所(特殊普通 合伙) 32272 专利代理师 王晓东 (51)Int.Cl. G06V 20/69(2022.01) G06V 10/25(2022.01) G06V 10/62(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于人机交 互的目标分子观测方法 (57)摘要 本发明公开了一种基于人机交互的目标分 子观测方法。 该方法首先利用深度神经网络对输 入的图片处理， 得到图像的深度特征； 使用者用 鼠标与系统进行交互， 系统即可理解其意图； 之 后以用户框选的目标特征作为目标模板， 在深度 特征层进行相似度匹配， 找出相似度较高的区域 后映射回原图像， 得到同类目标； 对于动态影像， 还可以对所得到的同类目标进行跟踪， 观测其动 态变化。 本发 明的优势在于其对 特定物质的检测 不需要对该物质 专门进行训练， 即仅针对A数据 集训练的模型可以对B、 C、 D等其他目标的检测也 能起到很好的检测效果； 此外， 在检测出同类目 标后还能对这些目标进行跟踪， 得到该类物质在 一段时间内的详细动态变化信息 。 权利要求书2页 说明书12页 附图6页 CN 114973242 A 2022.08.30 CN 114973242 A 1.一种基于人机交 互的目标分子观测方法， 其特 征在于， 包括： 利用训练好的U ‑Net深度神经网络处理输入的图像I， 截取其某一上采样层得到的结果 矩阵作为深度特 征向量F； 用户在图像I中框选出感兴趣的目标， 在图像的特征向量F中找到其对应的特征块作为 模板； 通过滑动窗口的方式在整个图的特征向量F中逐个计算每一部分的相似度， 若相似度 大于设定的阈值 就认为是同类目标； 将同类目标的坐标从特征空间转换回图像上的坐标， 并利用非极大值抑制的方法去除 重叠框， 得到同类目标； 在动态影 像中， 对得到的同类目标进行动态 跟踪。 2.如权利要求1所述的基于人机交互的目标分子观测方法， 其特征在于： 所述U ‑Net深 度神经网络的训练方法包括： 将特定的目标分子数据集作为训练集， 该集合包括目标原图像和标注好的目标掩码的 图像， 按照8:2分别用于模型的训练和验证， 选择Adam算法进行端到端的训练， 学习 率设置 为0.001， 采用二元交叉熵作为损失函数， Batch ‑size为8， Epoch为50， 以验证集取得最大的 Dice系数作为 最终模型。 3.如权利要求1所述的基于人机交互的目标分子观测方法， 其特征在于： 所述图像I的 大小为n×n， 深度特征向量F的大小为c ×m×m， 其中， c为特征矩阵的通道数， m为特征矩阵 的宽和高。 4.如权利要求1所述的基于人机交互 的目标分子观测方法， 其特征在于： 所述用户在原 图像中框 选出感兴趣的目标包括： 用户使用鼠标将感兴趣 的目标进行框选， 得到IB， 并记录其左上角坐标为(i,j)， 框的 宽和高为(w0,h0） 。 5.如权利要求1或4所述的基于人机交互的目标分子观测方法， 其特征在于： 所述在图 像的特征向量中找到其对应的特 征块作为模板包括： 将框选的目标分子映射到特征图F中获得目标分子的特征矩阵为FB， 根据图片I和特征 图F的比例关系可以得到FB的在特征图中左上角的坐标为(p,q)， 宽和高为(wF,hF)， 表示如 下： 6.如权利要求1所述的基于人机交互 的目标分子观测方法， 其特征在于： 所述通过滑动 窗口的方式在整个图的特 征向量中逐个 计算每一部分的相似度包括： 利用目标分子的特征矩阵FB在整个分子影像的特征矩阵F中按照从左到右， 从上到下 的顺序进行滑动匹配， 水平方向和垂直方向移动的步长分别为sh和sv， 其中， sh∈(0,4]， sv ∈(0,4],sh和sv均为整数； 设特征矩阵F中与目标分子的特征矩阵FB对应的特征块为FBk， 其中k表示移动次数， 设 FBk的左上角坐标为(pk,qk)， 表示如下： pk＝sh×sv×k/(n‑sv) qk＝sv×kmod(n‑sv/sv)权　利　要　求　书 1/2 页 2 CN 114973242 A 27.如权利要求1或6所述的基于人机交互的目标分子观测方法， 其特征在于： 所述计算 每一部分的相似度包括： 首先进行规范化处 理， 计算如下： 和 其中， ||FB||和||FBk||分别表示FB和FBk的一范数， 然后利用余弦距离计算FB'和FBk' 一维向量的相似度Simi larity， 计算如下： 如果相似度Simil arity大于阈值θ， 则该特征块对应着是与目标分子同类的分子， 否则 移动到下一个位置进 行计算， 直到遍历 完整个特征层， 其中阈值θ可以根据用户的需要进 行 可视化的调节。 8.如权利要求1所述的基于人机交互 的目标分子观测方法， 其特征在于： 所述将同类目 标的坐标从特征空间转换回图像上 的坐标， 并利用非极大值抑制的方法去除重叠框， 得到 同类目标包括： 将对应着与目标分子同类分子的特征块映射到分子影像中形成候选区域， 左上角坐标 为(ik,jk)， 宽和高为(wF,hF)， 表示如下： 为了保证能够准确检测到所有的同类分子， 目标分子的特征矩阵FB在进行移动匹配 时， 水平方向和垂直方向移动的步长分别为sh和sv， 其中， sh∈(0,4)， sv∈(0,4)， sh和sv均为 整数； 这就使得每 个同类分子都会被多个候选区域覆盖 。 9.如权利要求1或8所述的基于人机交互的目标分子观测方法， 其特征在于： 所述得到 同类目标包括： 利用非极大值抑制的方法从多个候选区域中挑选出与目标分子特征矩阵FB最相似的 候选区域作为 一个与目标分子同类的分子， 从而得到最终的多个准确目标。 10.如权利要求1～9所述的基于人机交互的目标分子观测方法， 其特征在于： 所述在动 态影像中对多目标进行跟踪包括： 对第一帧的图像做上述如权利要求2～8处理后检测到同类目标， 然后利用CSR ‑DCF跟 踪算法对每帧图中的目标进行跟踪。权　利　要　求　书 2/2 页 3 CN 114973242 A 3