(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210489874.2 (22)申请日 2022.05.07 (71)申请人 江苏城乡建 设职业学院 地址 213147 江苏省常州市殷村职教园和 裕路1号 (72)发明人 肖光华　王健玉　张少瑜　胡翔环　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 孟红梅 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于交错对比学习与动态参数更新的图像 识别方法与系统 (57)摘要 本发明公开了一种基于交错对比学习与动 态参数更新的图像识别方法与系统， 属于计算机 视觉、 图像识别领域。 本发明将图像经过两个增 强变换后分别输入参数共享的主干网络进行特 征编码， 采用MLP和CNN两种类型的投影网络实现 互动学习， MLP通过全连接产生不同的特征表示 来匹配CNN的目标视图， CNN在保留空间信息的同 时预测MLP的目标视图； 同时复制影子网络参与 前向传播， 形成交错结构， 异步更新影子网络参 数。 两种不同类型的网络可以让同一图像样本生 成的两个表征从较长的距离上彼此拉近， 从而帮 助主干网络将其注意力集中在信息量更大的区 域， 以获得更好的辨别 能力。 本发明能够有效提 高细粒度图像识别性能， 且具有模型参数少、 计 算成本低、 准确率高的优点。 权利要求书2页 说明书9页 附图4页 CN 114882277 A 2022.08.09 CN 114882277 A 1.一种基于交错对比学习与动态参数更新的图像识别方法， 其特征在于， 包括如下步 骤： 将同一图像样本x经 过两个不同的增强变换， 得到图像v1和v2； 将图像v1和v2分别输入参数共享的主干网络f进行 特征编码， 得到特 征图m1和m2； 将特征图m1分别输入MLP ‑Projection网络和CNN ‑Projection网络， 得到特征 向量q1和 p1； 将特征图m2分别输入MLP ‑Shadow网络和CNN ‑Shadow网络， 得到特征向量q2和p2； 其中 MLP‑Shadow网络与MLP ‑Projection网络具有相同的结构， CNN ‑Shadow网络与CNN ‑ Projection网络具有相同的结构； MLP ‑Projection网络和CNN ‑Projection网络输 出的特征 向量维度相同； 交换图像v1和v2的编码路径， 分别从MLP ‑Projection网络、 CNN ‑Projection网络、 MLP ‑ Shadow网络、 CN N‑Shadow网络得到特 征向量 和 基于特征向量p1和q2、 p2和q1、 和 和 之间余弦相似度的平均值定义损失函数， 利用图像训练样本集对主干网络、 MLP ‑Projection网络和CNN ‑Projection网络的参数进行 训练， 以最大化余弦相似度的平均值； MLP ‑Shadow网络和CNN ‑Shadow网络的参数根据MLP ‑ Projection网络和CNN ‑Projection网络异步更新， 更新频率小于MLP ‑Projection网络和 CNN‑Projecti on网络； 在主干网络训练完成后， 将待识别的图像输入到主干网络， 根据主干网络输出的特征 图进行分类识别。 2.根据权利要求1所述的基于交错对比学习与动态参数更新的图像识别方法， 其特征 在于， 所述MLP ‑Projection网络包括依次连接的全局平均池化层、 第一全连接层、 批处理归 一化层、 ReLU激活函数层和第二全连接层。 3.根据权利要求1所述的基于交错对比学习与动态参数更新的图像识别方法， 其特征 在于， 所述CNN ‑Projection网络包括依次连接的第一卷积层、 批处理归一化层、 ReLU激活函 数层、 第二卷积层和全局平均池化层。 4.根据权利要求1所述的基于交错对比学习与动态参数更新的图像识别方法， 其特征 在于， 所述损失函数定义 为： 其中L表示 余弦相似度计算。 5.根据权利要求1所述的基于交错对比学习与动态参数更新的图像识别方法， 其特征 在于， MLP ‑Shadow网络和CN N‑Shadow网络的参数根据如下 方式进行 更新： α·θshad+(1‑α )θProj→θshad α·ξShad+(1‑α )ξProj→ξShad 其中θProj、 θshad、 ξProj、 ξShad分别代表MLP ‑Projection网络、 MLP ‑Shadow网络、 CNN ‑ Projection网络、 CNN ‑Shadow网络中的参数； α 是更新幅度系数， α ＝1 ‑2×10‑3(cos( π·τ )+ 1), τ∈[0,1]。 6.根据权利要求1所述的基于交错对比学习与动态参数更新的图像识别方法， 其特征 在于， 图像的增强变换包括随机翻转、 大小调整、 灰度调整、 颜色抖动、 图像拼接中的一种或权　利　要　求　书 1/2 页 2 CN 114882277 A 2多种组合。 7.根据权利要求1所述的基于交错对比学习与动态参数更新的图像识别方法， 其特征 在于， 损失函数中还考虑MLP ‑Projection网络和MLP ‑Shadow网络输出特征向量之间的余弦 相似度， 和/或， CNN ‑Projection网络和CNN ‑Shadow网络输出特征向量之间的余弦相似度； 通过网络训练， 使得 所有余弦相似度的平均值 最大。 8.一种基于交错对比学习与动态参数更新的图像识别系统， 其特征在于， 包括： 基于交 错对比学习的训练模块， 用于将同一图像样本x经过两个不同的增强变换， 得到图像v1和v2； 将图像v1和v2分别输入参数共享的主 干网络f进行特征编码， 得到特征图m1和m2； 将特征图m1 分别输入MLP ‑Projection网络和CNN ‑Projection网络， 得到特征向量q1和p1； 将特征图m2分 别输入MLP ‑Shadow网络和CNN ‑Shadow网络， 得到特征向量q2和p2； 其中MLP ‑Shadow网络与 MLP‑Projection网络 具有相同的结构， CNN ‑Shadow网络与CNN ‑Projection网络 具有相同的 结构； MLP ‑Projection网络和CNN ‑Projection网络输出的特征向量维度相同； 交换图像v1 和v2的编码路径， 分别从MLP ‑Projection网络、 CNN ‑Projection网络、 MLP ‑Shadow网络、 CNN‑Shadow网络得到特征向量 和 基于特征向量p1和q2、 p2和q1、 和 和 之间余弦相似度的平均值定义损失函数， 利用图像训练样本集对主干网络、 MLP ‑ Projection网络和CNN ‑Projection网络的参数进行训练， 以最大化余弦相似度的平均值； MLP‑Shadow网络和CNN ‑Shadow网络的参数根据MLP ‑Projection网络和CNN ‑Projection网 络异步更新， 更新频率小于 MLP‑Projecti on网络和CN N‑Projecti on网络； 以及分类识别模块， 用于在主干网络训练完成后， 将待识别的图像输入到主干网络， 根 据主干网络 输出的特 征图进行分类识别。 9.一种计算机系统， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述计算机程序被加载至处理器时实现根据权利要求 1‑7任一项所 述的基于交错对比学习与动态参数 更新的图像识别方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现根据权利要求1 ‑7任一项所述的基于交错对比学 习与动态参数 更新的图像识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 114882277 A 3