(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210426984.4 (22)申请日 2022.04.21 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 张天柱　刘翔　张勇东　李昱霖　 吴枫　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 鄢功军 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/52(2022.01) G06V 10/143(2022.01) G06V 10/80(2022.01)G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 基于模态特定记忆网络的跨模态行人重识 别方法 (57)摘要 本发明提供了一种基于模态特定记忆网络 的跨模态行人重识别方法， 包括： 获取待重识别 的行人图像和重识别类型； 根据重识别类型， 利 用基于模态特定记忆网络的跨模态行人重识别 模型处理待重识别的行人图像， 得到重识别结 果。 本发明同时还提供了用于实现基于模态特定 记忆网络的跨模态行人重识别方法的电子设备、 存储介质以及计算机程序 产品。 权利要求书3页 说明书11页 附图5页 CN 114882525 A 2022.08.09 CN 114882525 A 1.一种基于模态特定记 忆网络的跨模态行 人重识别方法， 包括： 获取待重识别的行 人图像和重识别类型； 根据所述重识别类型， 利用所述基于模态特定记忆网络的跨模态的模型处理所述待重 识别的行人图像， 得到重识别结果， 其中， 所述基于模态特定记忆网络的跨模态的模型如下 方法训练得到： 利用特征提取模块分别处理行人的可见光图像和红外图像， 得到可见光图像特征图和 红外图像特 征图； 将所述可见光图像特征图中的每个分割部分进行平均池化， 得到可见光特征， 将所述 红外图像特 征图中的每 个分割部分进行平均池化， 得到红外特 征； 利用模态特定记忆网络模块重构所述行人的所述可见光特征和所述红外特征， 得到行 人的可见光重构特征和红外重构特征， 其中， 所述模态特定记忆网络模块用于存储和传输 所述行人的所述可 见光重构特 征和所述红外 重构特征； 利用统一特征对齐模块处理所述行人的所述可见光特征、 所述红外特征、 所述可见光 重构特征和所述红外重构特征， 得到行人的多模态统一表征， 其中， 所述多模态统一表征包 括可见光统一表征和红外统一表征； 利用所述行人的所述可见光特征、 所述红外特征、 所述可见光重构特征、 所述红外重构 特征和所述多模态统一表征， 根据预设的损失函数优化跨模态的模型， 直到所述预设的损 失函数的值满足预设条件， 获得训练完成的所述基于模态特定记 忆网络的跨模态的模型。 2.根据权利要求1所述的方法， 其中， 所述利用模态特定记忆网络模块重构所述行人的 所述可见光特征和所述红外特 征， 得到行 人的可见光重构特 征和红外 重构特征包括： 利用所述模态特定记忆网络分别处理所述可见光特征和所述红外特征， 得到可见光记 忆项和红外记 忆项； 计算所述可 见光特征和所述可 见光记忆项的余弦相似度， 得到可 见光余弦相似度； 对所述可 见光余弦相似度进行归一 化处理， 得到可 见光归一 化向量； 根据所述红外记 忆项和所述可 见光归一 化向量， 获得 所述红外 重构特征； 计算所述红外特 征和所述红外记 忆项的余弦相似度， 得到红外余弦相似度； 对所述红外余弦相似度进行归一 化处理， 得到红外归一 化向量； 根据所述可 见光记忆项和所述红外归一 化向量， 获得 所述可见光重构特 征。 3.根据权利要求2所述的方法， 其中， 所述可 见光余弦相似度由公式(1)确定： 其中， 表示所述可 见光特征， 表示可见光记忆项； 其中， 所述红外 重构特征由公式(2)确定： 其中， 表示红外记 忆项， 表示n维可见光归一化向量的第k值， 由公式(3) 确定：权　利　要　求　书 1/3 页 2 CN 114882525 A 2其中， τ表示可 见光温度系数。 4.根据权利要求2所述的方法， 其中， 所述红外余弦相似度由公式(4)确定： 其中， 表示所述红外特 征， 表示红外记 忆项； 其中， 所述可 见光重构特 征由公式(5)确定： 其中， 表示可见光记忆项， 表示n维红外归一化向量的第k值， 由公式(6) 确定： 其中， τ表示红外温度系数。 5.根据权利要求1所述的方法， 其中， 所述利用统一特征对齐模块处理所述行人的所述 可见光特征、 所述红外特征、 所述可见光重构特征和所述红外重构特征， 得到行人的多模态 统一表征包括： 利用统一特征对齐模块将所述可见光特征和所述红外重构特征进行融合， 得到可见光 统一表征； 利用统一特征对齐模块将所述红外特征和所述可见光重构特征进行融合， 得到红外统 一表征。 6.根据权利要求1所述的方法， 其中， 所述预设的损失函数由公式(7)确定： 其中， 表示模态统一表征分类损失函数， 表示模态特征分类损失函数， 表示中心三元组损失函数， 表示重构一致损失函数， 表示模态特定记 忆项损失函数， 表示模态特定记忆项判别损失函数， 表示重构损失函数， λalign表 示模态特定记忆项损失函数的加权系数， λdis表示模态特定记忆项判别损失函数的加权系 数， λrec表示重构损失函数的加权系数。 7.根据权利要求6所述的方法， 其中， 所述模态统一表征分类损失函数由公式(8)确定： 其中， 所述模态特 征分类损失函数由公式(9)确定：权　利　要　求　书 2/3 页 3 CN 114882525 A 3