(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210102559.X (22)申请日 2022.01.27 (71)申请人 重庆大学 地址 400044 重庆市沙坪坝区沙正 街174号 (72)发明人 张森　尚赵伟　赵羚志　周明亮　 (74)专利代理 机构 重庆双马智翔专利代理事务 所(普通合伙) 50241 专利代理师 顾晓玲 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于局部抑制自注意力的行人重识别 方法及系统 (57)摘要 本发明提出了一种基于局部抑制自注意力 的行人重识别方法及系统。 该方法为： 采集原始 行人图片样本， 对样本进行预处理； 构建网络模 型,该网络模 型包括残差网络优化后的卷积骨干 网络， 该卷积骨干网络输出连接N个用于局部特 征提取的自注意力分支， N个局部特征提取分支 的输出级与卷积骨干网络输出的特征图进行残 差连接； 利用预处理后的样本对 该网络模型进行 反向传播训练； 将目标图片于训练后的网络模型 中进行行人重识别。 该方法提高了对 行人局部特 征的提取精度， 使得该基于局部抑制自注意力的 行人重识别方法的识别能力更高。 权利要求书1页 说明书7页 附图1页 CN 114495170 A 2022.05.13 CN 114495170 A 1.一种基于局部抑制自注意力的行 人重识别方法， 其特 征在于， 包括以下步骤： 采集原始行人图片样本， 对样本进行 预处理； 构建网络模型,该网络模型包括残差网络优化后的卷积骨干网络， 该卷积骨干网络输 出连接N个用于局部特征提取的自注 意力分支， N个局部特征提取分支的输出级与卷积骨干 网络输出的特 征图进行残差连接， N 为正整数； 利用预处 理后的样本对该网络模型进行反向传播训练； 将目标图片于训练后的网络模型中进行 行人重识别。 2.根据权利要求1所述的基于局部抑制自注意力的行人重识别方法， 其特征在于， 对 网 络模型中进行训练的方法为： 将预处理后的图片送入所述卷积骨干网络进行全局特 征提取， 得到多通道的特 征图； 将得到的多通道的特 征图分别送入N个所述自注意力分支进行局部特 征提取； 将自注意力分支的输出与 卷积骨干网络输出的特征图进行残差连接， 经过卷积骨干网 络的池化和分类器计算损失函数， 进行反向传播和更新网络参数， 直至迭代完成后保存模 型数据。 3.根据权利要求1所述的基于局部抑制自注意力的行人重识别方法， 其特征在于， 每个 自注意力分支包括一个层归一化层和一个自注意力块， 其中层 归一化层通过对同一样本不 同通道数据进行归一化， 自注 意力块使用视觉transformer中的多头注 意力每个头的结构， 通过建立每 个特征与其他全部特 征的关系得到全局感受野。 4.根据权利要求1或2所述的基于局部抑制自注意力的行人重识别方法， 其特征在于， 反向传播后分别计算N个 自注意力 分支输出特征对应的类别激活热力图， 根据每个 自注意 力分支的热力图对剩余分支进行输入抑制。 5.根据权利要求4所述的基于局部抑制自注意力的行人重识别方法， 其特征在于， 根据 每个自注意力分支的热力图对剩余分支进 行输入抑制的方法为： 利用每个自注意力分支的 类别激活热力图得到 显著性区域掩 模， 再将其叠加至其 余分支的输入处。 6.根据权利要求1所述的基于局部抑制自注意力的行人重识别方法， 其特征在于， 所述 卷积骨干网络在ResNet50网络的前两个残差块后分别增加一个非局部注 意力块， 池化层为 带参数的广义平均池化层， 损失函数为加权正则化 三元组损失函数。 7.根据权利要求1所述的基于局部抑制自注意力的行人重识别方法， 其特征在于， N个 所述自注意力分支结构相同， 初始化 参数不同。 8.根据权利要求1所述的基于局部抑制自注意力的行人重识别方法， 其特征在于， 目标 图片经过网络模型得到全局特征和N个自注意力分支局部特征融合后进 行池化得到特征向 量， 将该特征向量与待查图像库中全部图像的特 征向量计算相似度， 得到识别结果。 9.根据权利要求1所述的基于局部抑制自注意力的行人重识别方法， 其特征在于， 所述 N不大于3。 10.一种行人重识别系统， 其特征在于， 包括处理器以及与处理理通信连接的存储器， 所述存储器用于存放至少一个可执行指令， 所述可执行指 令使所述处理器执行如权利要求 1‑9任一项所述的基于局部抑制自注意力的行 人重识别方法对应的操作。权　利　要　求　书 1/1 页 2 CN 114495170 A 2一种基于局部抑制自注意力的行人重识别方 法及系统 技术领域 [0001]本发明涉及计算机领域， 具体涉及一种基于局部抑制自注意力的行人重识别方法 及系统。 背景技术 [0002]行人重识别也称跨镜追踪技术， 其目标是跨场景跨摄像头下行人身份的识别与检 索。 随着智慧城市、 智慧社区的建设与落地， 越来越多的摄像头被安置在小区、 商场、 街道的 各个角落， 每天都能获取到海量的行人视频或图像数据。 然而目前对此类数据的利用远不 够充分。 比如智能安防场景， 目前主要是 由办案警察从大量的监控视频中人工筛选整合来 确定嫌疑人的行动轨迹， 不仅费时费力而且容易误判； 在如智能寻人场景， 当出现儿童走散 时往往只能由工作人员广播的方式进 行提醒通知， 嘈杂环境下加之儿童心理不够成熟导致 效果非常有限。 [0003]因此， 利用计算机智能整合分析来自多个摄像头的行人数据是目前以及今后的跨 镜追踪的首选方式。 典型 的完整跨镜追踪系统分为三个阶段： 多摄像头不同时段的行人数 据采集与上传、 基于视频帧的行人位置检测、 基于手工特征提取或深度神经网络的行人身 份识别。 其中由于不同厂商不同型号的摄像头往往带来数据的异构性， 而且行人位置检测 的准确性也取决于检测模型的性能表现， 此外， 由于天气变化、 光照情况、 姿态差异、 障碍物 遮挡以及背景复杂多变等因素， 要从大量的行人身份库中准确检索出同一身份的行人极具 挑战。 [0004]利用行人重识别模型进行身份识别包括两个步骤： 行人图像特征提取和特征相似 度计算。 其中特征相似度计算部分一般计算待检测图像的特征和图像库中图像特征的余弦 距离或欧氏距离， 距离越小则相似度越 大， 根据相似度得分得到检测到的排序结果。 此步骤 的准确性取决于特征提取阶段模型的性能。 在大规模行人图像库中， 姿态、 衣着、 视角等相 似的不同身份行人样本很多， 一些局部细粒度特征 的发掘是区分它们的关键。 因此设计一 个能抗背景干扰和遮挡的局部特 征提取模型 是提高行 人重识别模型鲁棒 性的核心。 [0005]早期的工作利用 人工设计的特征提取算子在原始图像上提取行人局部特征， 如 Karanam等将原始图像分为六个水平部分， 对每一个部分单独计算不同颜色空间的灰度直 方图。 Matsukawa等提出两级高斯建模模型， 首先将图像分为多个局 部块， 同一水平位置的 多个局部块间建立高斯分布， 然后在不同水平位置之间建立第二级高斯分布， 提高了对图 像纹理的刻画能力。 上述方法受纹理特征影响大， 缺乏对行人整体语义信息的提取， 容易对 训练集过拟合并且精度很有限。 [0006]随着深度神经网络在大规模图像分类领域的优秀表 现， 不少研究者也将其应用于 行人重识别问题。 Sun等在卷积网络输出的特征图上进 行水平分片， 分别代表头、 上半身、 大 腿和小腿等， 每一片独立进行分类， 有效地提高了行人重识别准确度。 R ahu l等直接在原始 图像上进 行水平切片， 然后 将各片送入一个长 短时记忆网络得到融合后的特征。 Zhang等在 水平切片的基础上加入了基于最短路径的分片匹配算法， 使得硬分片方式的不对齐问题 得说　明　书 1/7 页 3 CN 114495170 A 3