(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210479819.5 (22)申请日 2022.05.05 (71)申请人 上海人工智能创新中心 地址 200000 上海市徐汇区云锦路701号 37、 38层 (72)发明人 曹钰杭　王佳琦　林逸淇　林达华　 (74)专利代理 机构 北京市诚辉律师事务所 11430 专利代理师 成丹　耿慧敏 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01)G06V 10/25(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种隐式新类实例的挖掘方法、 装置及电子 设备 (57)摘要 本申请提供一种隐式新类实例的挖掘方法、 装置及电子设备， 该方法包括： 初始化少样本物 体检测器； 利用少样本物体检测器预测基类数据 集中每张图片潜在的新类实例， 得到潜在新类实 例； 通过自监督判别模型修复潜在新类实例的分 类分数， 确定离线新类实例。 该方案挖掘的隐式 新类实例可以作为原来新类样本的补充来增强 其多样性， 从而大大增强模型的表征能力， 及可 以有效的缓解 新类和背景类的混淆。 权利要求书2页 说明书8页 附图2页 CN 114898145 A 2022.08.12 CN 114898145 A 1.一种隐式新类实例的挖掘方法， 其特 征在于， 所述方法包括： 初始化少样本物体 检测器； 利用所述少 样本物体检测器预测基类数据集中每张图片潜在的新类实例， 得到潜在新 类实例； 通过自监 督判别模型修复所述潜在新类实例的分类分数， 确定 离线新类实例。 2.根据权利要求1所述的方法， 其特 征在于， 所述少样本物体 检测器包括RPN部分； 所述利用所述少 样本物体检测器预测基类数据集中每张图片潜在的新类实例， 得到潜 在新类实例， 包括： 所述RPN部分对所述基类数据集中每张图片预测一组提议框， 所述一组提议框中包括 若干提议框； 所述每 个提议框对应一个所述潜在新类实例。 3.根据权利要求2所述的方法， 其特征在于， 所述通过自监督判别模型修复所述潜在新 类实例的分类分数， 确定 离线新类实例， 包括： 利用所述自监督判别模型提取所述基类数据集中有标注新类实例对应图片的特征图， 得到标注特 征图； 提取所述有标注新类实例的标注框对应区域的特 征作为原型； 利用所述自监 督判别模型提取潜在新类实例对应图片的特 征图， 得到潜在特 征图； 提取所述潜在新类实例的提 议框对应区域的特 征， 得到提 议框特征； 计算所述原型和每 个所述提议框特征之间的相似度系数； 根据所述相似度系数， 修 正每个所述提议框的分类分数， 得到修 正后分类分数； 根据所述 修正后分类分数及对应 类别的自适应阈值， 确定所述离线新类实例。 4.根据权利要求3所述的方法， 其特征在于， 所述少样本物体检测器还包括RCNN部分； 采用所述RCN N部分的RCN N‑Head对每 个所述提议框预测分类分数， 得到预测分类分数； 所述根据所述相似度系数， 修正每个所述提议框的分类分数， 得到修正后分类分数， 包 括： 将所述相似度系数与所述预测分类分数相乘并开方， 得到所述 修正后分类分数。 5.根据权利要求3所述的方法， 其特征在于， 所述根据所述修正后分类分数及对应类别 的自适应阈值， 确定所述离线新类实例， 包括： 将所述修正后分类分数大于或等于对应类别的所述自适应阈值对应的所述潜在新类 实例， 作为所述离线新类实例。 6.根据权利要求3所述的方法， 其特征在于， 每个类别的所述自适应阈值根据每个类别 对应的所有潜在新类实例的修 正后分类分数的均值和标准差的线性加权得到 。 7.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 采用老师模型在线挖掘所述基 类数据集中每张图片的在线新类实例； 将所述在线新类实例与所述离线新类实例自适应混合， 得到混合 新类实例； 去除所述混合 新类实例中 高重叠实例框， 得到隐式新类实例。 8.根据权利要求7 所述的方法， 其特 征在于， 所述方法还 包括： 所述隐式新类实例作为学生模型的训练样本， 训练所述学生模型， 所述学生模型通过 指数移动平均更新所述老师模型； 所述老师模型和所述学生模型 具有相同的网络架构。 9.一种隐式新类实例的挖掘装置， 其特 征在于， 所述装置包括：权　利　要　求　书 1/2 页 2 CN 114898145 A 2初始化模块， 用于初始化少样本物体 检测器； 预测模块， 用于利用所述少样本物体检测器预测基类数据集中每张图片潜在的新类实 例， 得到潜在新类实例； 确定模块， 用于通过自监督判别模型修复所述潜在新类实例的分类分数， 确定离线新 类实例。 10.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑8中任一所述的 隐式新 类实例的挖掘方法。权　利　要　求　书 2/2 页 3 CN 114898145 A 3