(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210465285.0 (22)申请日 2022.04.29 (71)申请人 上海花千树信息科技有限公司 地址 200092 上海市杨 浦区控江路1 142号 23幢5114-54室 (72)发明人 闫新宇　陈天博　樊杨俊　 (74)专利代理 机构 青海中赢知识产权代理事务 所(普通合伙) 63104 专利代理师 蒋志税 (51)Int.Cl. G06F 16/9535(2019.01) G06F 16/9536(2019.01) G06V 40/16(2022.01) G06V 10/74(2022.01) G06V 10/762(2022.01)G06V 10/774(2022.01) G06F 1/20(2006.01) (54)发明名称 一种基于图像内容分析的婚恋交友推荐方 法及装置 (57)摘要 本发明提供一种基于图像内容分析的婚恋 交友推荐方法。 所述基于图像内容分析的婚恋交 友推荐方法， 包括以下步骤： S1、 使用公开的数据 集训练人脸识别模型和人脸检测模 型， 作为图像 特征的提取器， 离线提取用户照片 的图像特征； S2、 根据用户行为数据， 离线训练ALS作为召回模 型， 为每个用户生成待推荐用户列表。 本发明提 供的基于图像内容分析的婚恋交友推荐方法， 该 方法加入了图像特征， 能够 有效捕捉用户对于图 像内容的喜好， 增加了用户画像的维度， 保证了 模型对于推荐内容的精准程度， 从而高效、 准确 地为用户推荐与其相匹配的择偶对象， 提高了用 户的择偶效率。 权利要求书2页 说明书6页 附图4页 CN 114936317 A 2022.08.23 CN 114936317 A 1.一种基于图像内容分析的婚恋交友推荐方法， 其特 征在于， 包括以下步骤： S1、 使用公开的数据集训练人脸识别模型和人脸检测模型， 作为图像特征的提取器， 离 线提取用户照片的图像特 征； S2、 根据用户行为数据， 离线训练ALS作为召回模型， 为每 个用户生成待推荐用户列表； S3、 根据用户喜欢的异性照片， 并结合照片的人脸图像特征， 为每个用户推荐相似人脸 用户扩充待推荐用户列表， 综合考虑人脸相似度和A LS模型打分情况， 对召回用于进 行重新 排序； S4、 获取用户基本属性、 择偶条件、 图像特征数据， 用户点击数据， 训练Wide&Deep模型 用于在线排序； S5、 借助Web服务技术， 提供用户推荐服务， 该服务可实现ALS加图像特征召回， W&D模型 精排， 业务规则过滤的流程， 为每个用户实现个性 化精准推荐。 2.根据权利要求1所述的基于图像内容分析的婚恋交友推荐方法， 其特征在于， 所述步 骤S1中图像特征的提取器包括人脸检测模型和人脸特征提取模型， 其中人脸检测模型使用 的是scrfd模型， 该模型通过网络搜索的方法， 在计算量固定的前提下， 获取最佳的网络结 构， 并保证backbone,neck,head部分结构均衡， 通过训练样本均衡、 ATSS、 DIOU的策略提升 模型检测的精度， 获得训练模型。 3.根据权利要求2所述的基于图像内容分析的婚恋交友推荐方法， 其特征在于， 所述人 脸识别模型采用insightface结构， insightface网络通过在损失函数上添加margin的方 式， 使得人脸特征在空间的分布上提高了类间可分性， 同时加强类内紧度和类间差异， 从而 提升人脸识别的精度， 为了模 型具有较好的实时性， 主干网络使用了轻量级的mobilenetv2 结构。 4.根据权利要求3所述的基于图像内容分析的婚恋交友推荐方法， 其特征在于， 使用所 述训练模型， 提取用户上传照片的人脸特征， 并将结果存储到hive表格中， 方便召回时读 取。 5.根据权利要求4所述的基于图像内容分析的婚恋交友推荐方法， 其特征在于， 所述步 骤S3中召回用户采用相似人脸召回策略， 为用户推荐和自己喜欢的用户相似的照片， 将人 脸特征进行PQ编码。 6.根据权利要求5所述的基于图像内容分析的婚恋交友推荐方法， 其特征在于， 所述PQ 编码的方法是将512维的人脸特征划分成N维子空间， 每个子空间使用Kmeans算法进行M类 别的聚类， 聚类后的类别ID作为PQ编码， 由于聚类中心分布在特征空间中， 因此获取PQ编码 附近的特 征编码， 根据临近的特 征编码值进行匹配， 大幅度提升全局搜索的速度。 7.根据权利要求6所述的基于图像内容分析的婚恋交友推荐方法， 其特征在于， 在离线 搜索的过程中所述用户照片的PQ编码以及临近的PQ编码分别写入到hiv e表格中， 使用用户 喜欢照片的临近PQ编码和待搜索照片的PQ编码作为匹配规则， 并借助spar k的运算能力， 实 现快速的离线全局搜索功能， 结合步骤S2中ALS的打分和人脸相似度， 对召回结果进行粗 排。 8.根据权利要求7所述的基于图像内容分析的婚恋交友推荐方法， 其特征在于， 所述步 骤S4中获取用户基本属性， 基本属性包括但 不限于性别、 年龄、 身高、 星座、 爱好、 收入、 长居 工作地省份、 县 市、 择偶条件、 颜值分数据进 行整合， 用户在卡片推荐页能够左右滑， 并训练权　利　要　求　书 1/2 页 2 CN 114936317 A 2wide&deep模型， 综合A ccuracy、 Recall、 F 1‑score、 AUC指标、 gAUC指标得到当前条件下的最 优离线模型， 为了提升推荐服务端的响应速度， 我们将离线训练的模型参数和用户特征 的 编码结果分别进行缓存， 线上推理部分使用基于pytorh自搭建的wide&deep框架实现ms级 的inference。 9.根据权利要求8所述的基于图像内容分析的婚恋交友推荐方法， 其特征在于， 所述 ALS召回池在前期做了一些条件过滤操作， 结果被直接拿来使用， 数据结构较为简单， 使用 Redis进行缓存； 对于新用户来说， 这一部分群体 没有产生行为， 所以在A LS召回池 里是没有 对应的召回结果的， 这里我们使用Mongodb缓存一些活跃用户， 同时附加一些关键匹配信 息， 召回过程中利用用户的匹配信息作为条件在缓存池中搜索符合条件的目标用户， 所述 步骤S4中训练W&D模型对获得的召回结果作为候选人进入到线上W&D推理逻辑， 根据W&D模 型最后输出的打分结果择优进行推荐， 考虑到提供的推荐服务工程并不复杂， 使用Python 的轻量级web异步框架San ic对推荐服 务进行封装， 使用Gun icorn作为 WSGI处理异步请求。 10.一种基于图像 内容分析的婚恋交友推荐装置， 包括如权1 ‑9中任一项所述的基于图 像内容分析的婚恋交友推荐方法， 其特 征在于， 包括： 用户人脸图像特征数据库、 用户属性和行为数据 数据库、 用户召回列表数据库、 用户推 荐web服务器； 所述用户图像特征数据库包括用户id、 图片id、 人脸特征编码、 hive表格中， 所有用户 照片的数据经 过离线运 算， 存储在hive表格中； 所述用户属性和行为数据数据库包括用户id、 性别、 年龄、 身高的基本信息以及择偶条 件、 用户点击、 浏览的行为数据， 存 储在hive表格中； 所述用户召回列表数据库包括用户id、 待推荐用户id、 redis数据库， 数据存储的redis 数据库中； 所述用户推荐web服务器包括待推荐用户获取、 用户基本属性和择偶条件特征获取、 图 像特征获取、 W ide&Deep模型推理、 业 务规则过滤模块。权　利　要　求　书 2/2 页 3 CN 114936317 A 3