(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210077886.4 (22)申请日 2022.01.24 (71)申请人 支付宝(杭州)信息技 术有限公司 地址 310023 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 程裕家　王可　兰钧　孟昌华　 王维强　 (74)专利代理 机构 上海专利商标事务所有限公 司 31100 专利代理师 袁逸　钱孟清 (51)Int.Cl. G06F 21/36(2013.01) G06V 10/74(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 具有可靠泛化性的图像相似度匹配方法和 装置 (57)摘要 本公开的一方面涉及一种图像相似度匹配 的方法， 包括获取页面的截图， 所述页面上包括 对象序列和图片， 所述对象序列包括多个对象， 并且所述图片中至少包括与所述对象序列中的 每个对象相对应的多个图标； 在所述页面的截图 上进行目标检测， 以获得所述多个对象和所述多 个图标； 基于特征提取来确定所述多个对象和所 述多个图标的特征向量； 以及基于对 所述特征向 量之间的距离度量的比较， 确定每个对象与图标 的配对关系。 本公开还涉及其 他相关方面。 权利要求书2页 说明书14页 附图11页 CN 114491476 A 2022.05.13 CN 114491476 A 1.一种图像相似度匹配的方法， 包括： 获取页面的截图， 所述页面上包括对象序列和图片， 所述对象序列包括多个对象， 并且 所述图片中至少包括与所述对象序列中的每 个对象相对应的多个图标； 在所述页面的截图上进行目标检测， 以获得 所述多个对象和所述多个图标； 基于特征提取来确定所述多个对象和所述多个图标的特 征向量； 以及 基于对所述特 征向量之间的距离度量的比较， 确定每 个对象与图标的配对关系。 2.如权利要求1所述的方法， 其中， 所述图片还 包括以下一 者或多者或任何 组合： 不与所述对象序列中的任何对象相对应的图标； 图标的颜色、 变色、 旋转、 翻转、 和/或变形； 以及 所述图片的背景。 3.如权利要求1所述的方法， 其中， 基于特 征提取来确定特 征向量包括： 由基于神经网络的模型以对象或图标的图像为输入进行嵌入得到特 征向量。 4.如权利要求3所述的方法， 其中， 对所述特征向量之间的距离度量的比较包括以下至 少一者： 将所述距离度量与阈值进行比较； 或者 确定与所述多个对象中的每一个对象具有最小距离度量的图形。 5.如权利要求3所述的方法， 其中， 所述基于神经网络的模型至少包括特 征提取网络 。 6.如权利要求5所述的方法， 其中， 所述特征提取网络包括第 一特征提取网络和第 二特 征提取网络， 并且所述基于神经网络的模型进一步包括与所述第一特征提取网络关联的第 一分类模块、 以及与所述第二特征提取网络关联的第二分类模块， 并且所述方法进一步包 括： 使用训练数据集作为输入以确定以下损 失中的一者或多者： 样本失衡损 失、 第一特征 提取网络与第二特征提取网络之间的回归损失、 以及所述第一分类模块和所述第二分类模 块之间的分类损失； 以及 基于所确定的损失之和来优化所述特 征提取网络 。 7.如权利要求6所述的方法， 其中， 所述样本失衡损失包括以下一 者或多者或其组合： 由所述第一特征提取网络和所述第二特征提取网络分别对所述输入进行嵌入得到的 特征向量的Circle  loss之和； 以及 由所述第一分类模块和所述第二分类模块分别对所述第一特征提取网络和所述第二 特征提取网络得到的特 征向量进行分类得到的类别向量的Focal  loss之和。 8.如权利要求6所述的方法， 其中， 所述回归损失包括MSE损失， 并且所述分类损失包括 KL损失。 9.如权利要求6所述的方法， 其中， 所述第 一特征提取网络和所述第 二特征提取网络包 括单个带随机失活的主干网络 。 10.如权利要求9所述的方法， 其中， 所述特征提取网络进一步包括关联于所述第一特 征提取网络的第一预处理模块、 和关联于所述第二特征提取网络的第二预处理模块， 所述 第一预处理模块和所述第二预处理模块分别用于在特征提取之前对所述输入进行不同的 对抗训练。 11.一种图像相似度匹配的装置， 包括：权　利　要　求　书 1/2 页 2 CN 114491476 A 2目标检测模块， 用于获取页面的截图， 所述页面上包括对象序列和图片， 所述对象序列 包括多个对象， 并且所述图片中至少包括与所述对象序列中的每个对象相对应的多个图 标， 并用于在所述页面的截图上进行目标检测， 以获得 所述多个对象和所述多个图标； 以及 匹配模块， 用于基于特征提取来确定所述多个对象和所述多个图标的特征向量， 以及 基于对所述特 征向量之间的距离度量的比较， 确定每 个对象与图标的配对关系。 12.如权利要求1 1所述的装置， 其中， 所述图片还 包括以下一 者或多者或任何 组合： 不与所述对象序列中的任何对象相对应的图标； 图标的颜色、 变色、 旋转、 翻转、 和/或变形； 以及 所述图片的背景。 13.如权利要求11所述的装置， 其中， 所述匹配模块包括基于神经网络的模型， 用于通 过以对象或图标的图像为输入进行嵌入得到所述特 征向量。 14.如权利要求13所述的装置， 其中， 所述匹配模块对所述特征向量之间的距离度量的 比较包括以下至少一 者： 将所述距离度量与阈值进行比较； 或者 确定与所述多个对象中的每一个对象具有最小距离度量的图形。 15.如权利要求13所述的装置， 其中， 所述基于神经网络的模型至少包括特征提取网 络。 16.如权利要求15所述的装置， 其中， 所述特征提取网络包括第 一特征提取网络和第 二 特征提取网络， 并且所述基于神经网络的模型进一步包括与所述第一特征提取网络 关联的 第一分类模块、 以及与所述第二特征提取网络关联 的第二分类模块， 并且所述装置进一步 包括： 训练模块， 用于使用训练数据集作为输入以确定以下损 失中的一者或多者： 样本失衡 损失、 第一特征提取网络与第二特征提取网络之间的回归损失、 以及所述第一分类模块和 所述第二分类模块之间的分类损失； 以及基于所确定的损失之和来优化所述特征提取网 络。 17.如权利要求16所述的装置， 其中， 所述样本失衡损失包括以下一者或多者或其组 合： 由所述第一特征提取网络和所述第二特征提取网络分别对所述输入进行嵌入得到的 特征向量的Circle  loss之和； 以及 由所述第一分类模块和所述第二分类模块分别对所述第一特征提取网络和所述第二 特征提取网络得到的特 征向量进行分类得到的类别向量的Focal  loss之和。 18.如权利要求16所述的装置， 其中， 所述 回归损失包括MSE损失， 并且所述分类损失包 括KL损失。 19.如权利要求16所述的装置， 其中， 所述第 一特征提取网络和所述第 二特征提取网络 包括单个带随机失活的主干网络 。 20.如权利要求19所述的装置， 其中， 所述训练模块进一步包括关联于所述第 一特征提 取网络的第一预处理模块、 和关联于所述第二特征提取网络的第二预处理模块， 所述第一 预处理模块和所述第二预处理模块分别用于在特征提取之前对所述输入进行不同的对抗 训练。权　利　要　求　书 2/2 页 3 CN 114491476 A 3