(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210506243.7 (22)申请日 2022.05.10 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 贾海涛　田浩琨　胡佳丽　王子彦　 吴俊男　任利　刘子骥　许文波　 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/771(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于跨图像特征融合的小样本检测算 法 (57)摘要 本发明公开了一种基于跨图像特征融合的 小样本检测算法。 本发明主体结构是基于两阶段 的目标检测算 法Faster ‑RCNN构建的小样本 学习 算法。 首先输入查询图像和支持集图像进行特征 图的提取， 得到的特征图被送入跨图像特征融合 模块用支持集中的特征信息来加强查询集中目 标特征信息的表达， 之后送入改进后的RPN模块 生成ROI特征向量， 再通过改进后的特征聚合模 块对候选框进行筛选并完成支持集向量和ROI特 征向量的空间对齐， 最后将处理好的ROI和支持 集向量送入分类器中进行分类， 最终输出目标类 型和框的准确定位。 最后在PASCALVOC数据集上 设计了多组消 融实验和对比实验都获得了良好 的检测精度， 验证 了检测算法的有效性。 权利要求书1页 说明书5页 附图3页 CN 114818963 A 2022.07.29 CN 114818963 A 1.一种基于跨图像特 征融合的小样本检测算法， 其特 征在于， 包括以下步骤： 步骤1： 通过共享的特征提取网络提取支持集和查询 集的图像特征记为fs和fq， 将该组 特征图送入跨图像特 征融合模块； 步骤2： 计算fs和fq的相似程度给fs中的特征图进行加权生成加权后的支持集特征图 fs′； 步骤3： 计算fs′和fq之间的注意力特征图fa， 并将该注意力特征图fa与查询集特征图fq 进行矩阵乘法， 得 出具有支持集注意力 信息的查询集特 征图fq′； 步骤4： 将fq′送入改进后的RPN网络中生成候选框， 在经过ROI  Pooling后 生成ROI特征 向量， 并与fs′一起送入改进的特征聚合模块生成最终的特征向量送入分类器中进行分类， 并送入框回归模块进 行预测框的精确定位， 输出最终的目标检测结果包含目标类别和目标 框坐标。 2.如权利要求1所述方法， 其特征在于， 步骤1中的跨图像特征融合模块包括支持集加 权模块和跨图像空间注意力融合模块。 3.如权利要求1所述方法， 其特征在于， 步骤4中改进后的RPN网络包含 并联的多个分类 器， 改进后的特征聚合模块包含对候选框进行筛选并完成支持集向量和ROI特征向量的空 间对齐。权　利　要　求　书 1/1 页 2 CN 114818963 A 2一种基于跨 图像特征融合的小样本检测算法 技术领域 [0001]本发明涉及深度学习中的小样本检测领域， 具体涉及小样本条件下的目标检测技 术。 背景技术 [0002]近些年来， 基于深度学习的目标检测技术引起了极大的关注， 并已经被应用到实 际的工业和日常生活中， 例如智能监控， 自动驾驶， 人脸认证等。 当前基于深度学习的目标 检测算法， 相较于传统的图像算法来说需要用大量的数据进行模型训练。 通常标记一个实 例需要10秒左右， 制作一个数据集需要的上万张数据， 标记的过程 非常耗时。 由于 真实数据 的分布遵循长尾分布， 某些样本数据存在的比例很低， 例如： 某些医学影像， 或者是自然界 中某些动植物。 随着小样本图像分类算法的发展逐渐丰富， 图像领域的小样本学习 科研重 点逐渐放在了小样本目标检测上。 [0003]受到小样本分类算法研究的启发， 目前多数小样本目标检测算法大多采用两阶段 的方式， 即先确定目标的大致位置， 然后通过分类器对目标进 行分类和位置的精确估计。 在 两阶段的方式基础上， 还需要针对小样本的应用场景做出改变， 目前主流的改变可以归纳 为采用元学习方法进 行训练和测试、 聚合支持集和查询集特征、 增加特征向量的相关性、 修 改损失函数提高向量区分度等。 因此本发明提出了一种基于跨图像特征融合的小样本检测 算法， 其中增 加了一个跨图像特 征融合模块， 改进了RPN模块以及特 征聚合模块。 发明内容 [0004]为了解决小样本条件下的目标检测问题， 本发明设计了跨图像特征融合网络用于 小样本目标检测 。 针对RPN容易忽略新类特征信息的问题， 设计了跨图像特征融合机制， 使 用支持集的向量进行对查询集向量进行加权， 用于突显查询集图像中的新目标的特征信 息， 这样能明显的降低RPN对目标的区域的遗漏； 针对RPN中二元分类器分类错误可能导致 漏失高IOU的建议区域的问题， 本发明采用多个分类器并联的策略将漏失的概率降低； 针对 特征聚合的缺陷， 本发明设计了基于排序的特征聚合方式， 过滤掉某些与支持集相似度较 低的ROI特 征向量， 并将查询集特 征和支持集特 征做空间对齐后送入后续分类模块中。 [0005]本发明所采用的技 术方案是： [0006]步骤1： 通过共享的特征提取网络提取支持集和查询集的图像特征记为fs和fq， 将 该组特征图送入跨图像特 征融合模块； [0007]步骤2： 计算fs和fq的相似程度给fs中的特征图进行加权生成加权后的支持集特征 图fs′； [0008]步骤3： 计算fs′和fq之间的注意力特征图fa， 并将该注意力特征图fa与查询集特征 图fq进行矩阵乘法， 得 出具有支持集注意力 信息的查询集特 征图fq′； [0009]步骤4： 将fq′送入改进后的RPN网络中生成候选框， 在经过ROI  Pooling后生成ROI 特征向量， 并与fs′一起送入改进的特征聚合模块生成最终的特征向量送入分类器中进行说　明　书 1/5 页 3 CN 114818963 A 3