(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210480401.6 (22)申请日 2022.05.05 (71)申请人 兰州理工大 学 地址 730050 甘肃省兰州市七里河区兰工 坪路287号 (72)发明人 李晓旭　孙浩　刘俊　武继杰　 李真　曾俊瑀　李睿凡　马占宇　 陶剑　 (74)专利代理 机构 北京挺立专利事务所(普通 合伙) 11265 专利代理师 高福勇 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/74(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 融入类别自适应度量学习的小样本图像分 类方法及装置 (57)摘要 本发明公开了一种融入类别自适应度量学 习的小样 本图像分类方法及装置， 由数据预处理 模块、 构建网络模型模块、 训练模型参数模块和 测试模型性能模块组成。 本发明提供的融入类别 自适应度量学习的小样本图像分类方法及装置， 为每个类别构建一个度量模块， 通过对类内共性 特征的学习， 建立基于类内共性特征的度量， 利 用已经进行过预训练的嵌入模块， 输入支持样本 得到特征矩阵， 并将其输入到类相关自适应度量 模块， 进行特征拼接并得到关系分数， 将相似性 最大的类作为预测类别， 得到最终预测结果， 从 而提高小样 本图像分类的性能， 解决小样本图像 分类中基于类内共性特征的度量学习问题， 对于 图像的分类效果十分明显， 在实践 中体现出极大 价值。 权利要求书3页 说明书6页 附图3页 CN 114818945 A 2022.07.29 CN 114818945 A 1.一种融入类别自适应度量学习的小样本图像分类装置， 其特 征在于， 包括以下模块： 数据预处理模块： 用于对数据进行预处理， 将数据划分为训练集和测试集， 确定模型的 训练方式； 网络模型构建模块： 用于构建融入类别自适应度量学习的小样本 图像分类模型， 模型 由嵌入模块fθ和类相关 自适应度量模块组成； 其中， 嵌入模块fθ用于提取样本特征， 包含四 个卷积块， 每个卷积块均由池化层、 卷积层以及非线性激活函数组成； 类相关自适应度量模 块用于学习特定类别的样本特征之 间的度量， 包括多个类相关的度量模块， 其中， 每一个类 相关度量模块均由拼接模块C(S(n,*),S(*,*))和关系模块 组成， S(n,k)代表第n类的第k个样 本， *可代替为任意样本或任意类别， 在拼接模块中完成样本特征 的拼接之后， 再送入关系 模块得到关系分数； 模型参数训练模块： 利用基类数据对融入类别自适应度量学习的小样本图像分类模型 进行训练， 求 解模型参数； 模型性能测试模块： 利用训练后的融入类别自适应度量学习的小样本图像分类模型对 新类任务进行 预测， 测评模型的性能。 2.根据权利要求1所述的融入类别自适应度量学习的小样本图像分类装置， 其特征在 于， 数据预处 理模块执 行如下步骤： S11， 将数据 分为 和 两个部分， 且这两个部分类别空间互斥， 将Dtrain作为基类数据训练模 型， Dtest作为新类数据 对模型进行测试； S12， 对于C ‑way K‑shot分类任务， 从Dtrain中随机选出C个类别， 每个类别中随机选出M 个样本， 其中K个样本作为支持样本Si， 其余M‑K个样本作为查询样本Qi， Si和Qi构成一个任 务Ti， 同样对于Dtest也有任务Tk。 3.根据权利要求1所述的融入类别自适应度量学习的小样本图像分类装置， 其特征在 于， 模型参数训练模块执 行如下步骤： S31， 利用基 类数据通过basel ine方法对嵌入 模块fθ进行预训练； S32， 对于新类的一个任务， 首先， 将支持样本输入嵌入模块fθ， 利用嵌入模块中的卷积 神经网络提取 特征， 得到特 征矩阵fθ(xi)； S33， 分别将特征矩阵送入N个类相关度量模块中， 微调关系模块 (n＝1,2, ……N)以 提高模型的泛化能力， 使得 预测结果与实际值的误差尽可能小； S34， 在微调的过程中， fθ(xi)首先与各类支持样本进行特征拼接， 将拼接后的特征输入 中得到 特征矩阵进入类相关自适应度量模 块后， 首先通过拼接模块C(S(n,*),S(*,*))中输出拼接 好的特征对， 然后将其输入到关系模块 得到可以反映相似性度量的关系分数； S35， 利用均方误差损失函数(MSE)计算损失ln， 如下述公式所示： 其中1(n＝＝j)是真值， 拼接 的样本同类为1， 异类为0， 即n和j相同时结果为1， 不 同为权　利　要　求　书 1/3 页 2 CN 114818945 A 20。 4.根据权利要求1所述的融入类别自适应度量学习的小样本图像分类装置， 其特征在 于， 模型性能测试模块执 行如下步骤： S41， 将查询样本 输入训练好的嵌入 模块fθ中； S42， 将嵌入模块输出的特征矩阵输入类相关自适应度量模块， 得到查询样本与各类别 的相似性关系； S43， 将相似性 最大的类作为预测类别， 得到最终预测结果。 5.一种融入类别自适应度量学习的小样本图像分类方法， 其特征在于， 包括以下阶段 步骤： S1、 数据预处理： 对数据进行预处理， 将数据划分为训练集和测试集， 确定模型的训练 方式； S2、 网络模型构建： 构建融入类别自适应度量学习的小样本图像分类模型， 模型由嵌入 模块fθ和类相关 自适应度量模块组成； 其中， 嵌入模块fθ用于提取样本特征， 包含四个卷积 块， 每个卷积块均由池化层、 卷积层以及非线性激活函数组成； 类相关自适应度量模块用于 学习特定类别的样本特征之 间的度量， 包括多个类相关的度量模块， 其中， 每一个类相关度 量模块均由拼接模块C(S(n,*),S(*,*))和关系模块 组成， S(n,k)代表第n类的第k个样本， *可 代替为任意样本或任意类别， 在拼接模块中完成样本特征 的拼接之后， 再送入关系模块得 到关系分数； S3、 模型参数训练： 利用基类数据对融入类别自适应度量学习的小样本图像分类模型 进行训练， 求 解模型参数； S4、 模型性能测试： 利用训练后的融入类别自适应度量学习的小样本图像分类模型对 新类任务进行 预测， 测评模型的性能。 6.根据权利要求5所述的融入类别自适应度量学习的小样本图像分类方法， 其特征在 于， 步骤S1具体为： S11， 将数据 分为 和 两 个部分， 且这两个部分类别空间互斥， 将Dtrain作为基类数据训练模 型， Dtest作为新类数据对 模型进行测试； S12， 对于C ‑way K‑shot分类任务， 从Dtrain中随机选出C个类别， 每个类别中随机选出M 个样本， 其中K个样本作为支持样本Si， 其余M‑K个样本作为查询样本Qi， Si和Qi构成一个任 务Ti， 同样对于Dtest也有任务Tk。 7.根据权利要求5所述的融入类别自适应度量学习的小样本图像分类方法， 其特征在 于， 步骤S3具体为： S31， 利用基 类数据通过basel ine方法对嵌入 模块fθ进行预训练； S32， 对于新类的一个任务， 首先， 将支持样本输入嵌入模块fθ， 利用嵌入模块中的卷积 神经网络提取 特征， 得到特 征矩阵fθ(xi)； S33， 分别将特征矩阵送入N个类相关度量模块中， 微调关系模块 (n＝1,2, ……N)以 提高模型的泛化能力， 使得 预测结果与实际值的误差尽可能小； S34， 在微调的过程中， fθ(xi)首先与各类支持样本进行特征拼接， 将拼接后的特征输入权　利　要　求　书 2/3 页 3 CN 114818945 A 3