(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210500670.4 (22)申请日 2022.05.10 (71)申请人 中山大学 地址 510006 广东省广州市海珠区新港西 路135号 (72)发明人 苏卓　陈伊琳　周凡　 (51)Int.Cl. G06F 16/9535(2019.01) G06Q 30/06(2012.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) G06V 10/74(2022.01) G06V 10/82(2022.01) (54)发明名称 基于强化学习的个性化服装推荐方法与系 统 (57)摘要 本发明公开了一种基于强化学习的个性化 服装推荐方法。 包括： 收集服装数据集； 学习服装 单品的视觉和类别特征， 计算任意两个同种类别 服装单品间的相似度或不同类别服装单品间的 兼容度， 得到服装集合兼容性； 学习用户对服装 的历史偏好； 根据服装集合兼容性和用户偏好， 生成初始 个性化服装推荐列表， 以用户与推荐列 表的实时交互为奖励学习用户的当前偏好， 更新 推荐列表。 本发 明还公开了基于强化学习的个性 化服装推荐系统。 本发明通过基于用户的历史交 互记录学习其历史服装偏好， 可为用户提供个性 化服装推荐， 还利用强化学习从用户与推荐列表 的动态交互中学习用户的当前偏好， 并基于此向 其推荐相似的同类别服装商品或兼容的不同类 别服装商品。 权利要求书5页 说明书11页 附图1页 CN 114896497 A 2022.08.12 CN 114896497 A 1.一种基于强化学习的个性 化服装推荐方法， 其特 征在于， 所述方法包括： 收集服装数据集， 包括服装单品数据、 服装集合数据和用户与服装单品的历史交互数 据； 使用预训练的Resnet50 网络提取所述服装单品图像视觉特征， 并利用注意力机制学习 服装集合中任意两个服装间在多个视觉属性子空间中的兼容关系， 得到服装单品的视觉兼 容表征向量， 合并所述服装 单品的视觉兼容表征向量， 再融合服装单品的类别特征， 计算任 意两个同种类别服装单品之间的相似度和不同类别服装单品的兼容度； 计算所述所有任意两个服装单品的平均兼容度， 作为该服装集 合的兼容 性得分； 根据所述用户对服装单品的历史交互数据， 赋予用户不同交互方式的服装单品以不同 权重， 并将所述权重作为系数， 对服装集合中所述服装单品的视觉兼容表征向量求和， 作为 用户对该服装集 合的偏好分数； 构建正负训练样本数据， 由所述服装集合兼容性得分与所述用户的偏好分数， 计算个 性化服装集合搭配得分， 并以此训练神经网络模型参数， 将模型输出 的个性化服装集合搭 配得分最高的K个服装集 合依次生成个性 化服装推荐列表呈现给用户； 使用强化学习方法， 以用户与推荐列表的实时交互为奖励学习用户的当前偏好， 更新 推荐列表。 2.如权利要求1所述的基于强化学习的个性化服装推荐方法， 其特征在于， 所述收集服 装数据集， 包括 服装单品数据、 服装集 合数据和用户与服装单品的历史 交互数据， 具体为： 从服装购物网站收集服装数据集， 其中服装单品数据A， 包含服装编号、 服装类别和服 装图像， 运用中心等比例切割和等比例缩放的方式将图像处理成统一尺寸； 服装集合数据 B， 代表购物网站上专家搭配好的一套服装， 包含服装集合中每个单品的编号及图像； 用户 与服装单品的历史 交互数据C， 每项数据包 含用户编号、 服装单品编号及交 互方式。 3.如权利要求1所述的基于强化学习的个性化服装推荐方法， 其特征在于， 所述使用预 训练的Resnet50网络提取所述服装 单品图像视觉特征， 并利用注 意力机制学习服装集合中 任意两个服装间在多个视觉属性子空间中的兼容关系， 得到服装单品的视觉兼容表征向 量， 合并所述服装单品的视觉兼容表征向量， 再融合服装单品的类别特征， 计算任意两个同 种类别服装单品之间的相似度和不同类别服装单品的兼容度， 具体为： 使用预训练的Resnet50网络提取服装单品图像视觉特征作为服装视觉表征 向量xi， 并 利用注意力机制学习服装集 合中任意两个服装间在视 觉属性子空间中的兼容关系： 分别是第i件服装、 第j件服装在视觉子空间e中的表征向量， 分别 表示在视觉子空间e中注意力机制 Q、 K矩阵的权重， de表示服装在视觉子空间e中的特征维 度， 表示第i件服装与第j件服装在视觉子空间e中的关联分数， 是第i件服装与第j 件服装在视 觉子空间e中关联的注意力权 重；权　利　要　求　书 1/5 页 2 CN 114896497 A 2基于注意力 权重在子空间中聚合相关节点信 息， 得到第 i件服装在视觉子空间e中更新 后的表征向量： 合并不同子空间上的表征向量， 得到服装的视 觉兼容表征向量： 计算任意两个服装单品视 觉兼容表征向量的余弦距离： 提取服装单品的类别特征， 再结合二者的类别特征， 若属于同一类别， 则将二者之间的 余弦距离线性变换为其相似度si,j＝‑li,j/2+1， 若属于不同类别， 则将余弦距离线性变换为 其兼容度ci,j＝‑li,j/2+1。 4.如权利要求1所述的基于强化学习的个性化服装推荐方法， 其特征在于， 所述计算所 述所有任意两个服装单品的平均兼容度， 作为该服装集 合的兼容 性得分， 具体为： 基于所收集的服装集合数据， 对含有N件服装单品的服装集合O， 分别计算任意两个服 装单品之间的平均兼容度作为该服装集 合的兼容 性得分， 即时尚搭配分数： 5.如权利要求1所述的基于强化学习的个性化服装推荐方法， 其特征在于， 所述根据 所 述用户对服装单品的历史交互数据， 赋予用户不同交互方式的服装单品以不同权重， 并将 所述权重作为系数， 对服装集合中所述服装单品的视觉兼容表征向量求和， 作为用户对该 服装集合的偏好分数， 具体为： 根据所收集到的用户对服装单品的历史交互数据， 对用户U不同交互方式的服装单品i 赋予不同权 重aui； 对含有N个服装单品的服装集合O， 以上述用户U对各个服装单品的喜好权重向量Aui为 系数， 对N个服装单品的视 觉兼容表征向量Ri求和， 作为用户U对该服装集 合的偏好分数： 6.如权利要求4或5所述的基于强化学习的个性化服装推荐方法， 其特征在于， 所述构 建正负训练样本数据， 由所述服装集合兼容性得分与所述用户的偏好分数， 计算个性化服 装集合搭配得分， 并以此训练神经网络模型参数， 将模型输出的个性化服装集合搭配得分 最高的K个服装集 合依次生成个性 化服装推荐列表呈现给用户， 具体为： 构建正负训练样本 数据， 将服装集合数据B作为正训练样本 ε+， 服装单品数据A中随机抽 取若干单品作为负训练样本ε‑， 由所述服装集合兼容性得分co与用户的偏好分数suo， 计算 对于用户U的个性 化服装集合搭配得分： 其中， γ的取值范围为[0,1]， 表示服装搭配兼容性和用户偏好在计算个性化服装搭配权　利　要　求　书 2/5 页 3 CN 114896497 A 3