(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111149142.0 (22)申请日 2021.09.2 9 (71)申请人 中南大学 地址 410083 湖南省长 沙市岳麓区麓山 南 路932号 (72)发明人 易贤康　鲁鸣鸣　谢家豪　 (51)Int.Cl. G06F 30/27(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 30/06(2012.01) (54)发明名称 一种基于异质图神经网络的时尚套装兼容 性建模方法 (57)摘要 本发明提出了一种基于异质图神经网络的 时尚套装兼容性建模 方法。 该模 型通过将时尚套 装建模成一个异质时尚图， 使用RGCN进行图卷积 得到节点的嵌入向量， 以进行套装的兼容性预 测， 并且采用了难例采样 的策略， 有效缓解了服 装类别数量不均衡的问题。 为了评估我们提出的 模型， 我们进行了广泛而深入的实验， 证明了我 们的模型的有效性。 权利要求书1页 说明书4页 附图3页 CN 114444369 A 2022.05.06 CN 114444369 A 1.一种基于异质图神经网络的时尚套装兼容 性建模方法， 其特 征在于包括下列步骤： 步骤1)使用同类替换， 对正样本套装中的一个或若干个服装单品进行替换， 构造时尚 套装的负 样本训练集。 步骤2)基于该数据集， 将每一套服装的图像放入一个训 练好的resnet18预训 练模型 中， 得到每一件时尚服装的特 征向量表达 。 步骤3)为全体时尚服装构造了一个时尚图(Fashion  Graph)， 以上一步中的特征向量 表达作为节点的特 征， 其中每 个节点代 表一种服装类型， 每条边代 表节点之间的交 互。 步骤4)使用难例采样的训练策略， 对模型的训练集进行训练， 在训练阶段出现次数少 的节点， 将更有可能被激活进行训练。 步骤5)使用一个异质图神经 网络(Relational  Graph ConvolutionalNetworks， RGCN) 来建模节点之 间的交互并学习节点与子图的表示， 最后， 经过神经网络的输出层， 得到时尚 服装的兼容 性预测结果。 2.根据权利要求1所述， 其特征为所述步骤1)基于同类替换的原则， 构造时尚套装训练 集中的负 样本集。 3.根据权利要求1所述， 其特征为所述步骤2)使用预训练好的resnet 18深度神经网络， 提取网络最后一层神经 元， 得到每一件时尚服装的特 征向量表达 。 4.根据权利要求1所述， 其特征为所述步骤3)将数据集中的服装分为8大类， 构造一个 包含89个节点的时尚异质图， 每个节点代表 一个服装小类别。 而两个节点之间的边， 则由两 个节点在数据集中的共现频率决定 。 5.根据权利要求1所述， 其特征为所述步骤4)使用难例采样策略， 优化模型的训练过 程， 在训练阶段 出现次数少的节点将得到更多的训练机会。 6.根据权利 要求1所述， 其特征为所述步骤5)使用异质图神经网络RGCN， 学习时尚套装 对应的子图的向量表达， 经过sigmoid函数结合MS E loss组成的神经网络输出层， 得到时尚 套装的兼容 性预测结果。权　利　要　求　书 1/1 页 2 CN 114444369 A 2一种基于异质图神经 网络的时尚套装兼容性建模方 法 技术领域 [0001]本发明属于时尚推荐研究领域， 尤其涉及 一种使用深度学习模型对时尚套装的视 觉兼容性做出预测的领域。 背景技术 [0002]随着人工智能的发展， 用人工智能处理时尚大数据已经成为计算机科学家们令人 兴奋的挑战， 在过去几年里， 关于时尚推荐的研究在计算机视觉、 机器学习和多媒体社区中 受到越来越多的关注。 [0003]在早期， 成对服装的兼容性学习的研究遵循了将服装映射到一个共同的潜在兼容 空间并估计服装的风格向量之间的距离的思想。 比如， Chen,L.等人[1]使用了一个混合类 别度量学习模型， 将成对的服装映射到一个共同的度量空间中， 以其在度量空间中的距离 反映这一对服装之间的兼容性匹配度。 最近， 一些研究提出将服装映射到几个潜在的视觉 空间中来建模服装的兼容性， 并共同对这些潜在空间中的距离进行建模， 从而测量服装在 不同方面的兼容性。 He,R.,Packer,C.等人[2]提出将服装映射到不同的度量空间中， 并提 出了一个新颖的观点： 互相搭配的两件服装肯定存在某些方面的特征相似而某些方面特征 不相似的情况。 然而， 上述方法往往使相同类别的项目在学习的潜在视觉空间中接近。 因 此， 一些研究提出添加分类信息来改进服装图像的嵌入学习。 另一方面， 大多 数的兼容性建 模都依赖于数据驱动的方法， 而忽视了时尚领域的知识。 为了解决这一不足， Song  等人[3] 通过引入时尚领域已经积累的丰富而有价值的搭配规则， 对兼容性建模方法进行了新的探 索。 发明内容 [0004]发明目的： 为了实现对时 尚套装的整体兼容性进行建模， 并兼顾时 尚套装中不 同 单品之间的多种不同类型的关系， 本发明提出了一种基于异质图神经网络的时尚套装兼容 性建模方法。 首先， 使用预训练好的resnet18神经网络提取时尚套装图像的向量表达。 然后 为全体时尚服装构造了一个时尚图(Fashion  Graph)， 以上一步中的特征向量表达作为节 点的特征。 最后使用一个异质图神经网络来建模节点之间的交互并学习节点与子图的表 示， 经过神经网络的输出层， 得到时尚服装的兼容 性预测结果。 [0005]技术方案： 为实现上述目的， 本发明采用的技 术方案为： [0006]一种基于异质图神经网络的时尚套装兼容 性建模方法， 包括以下步骤： [0007]步骤1)使用同类替换， 对正样本套装中的一个或若干个服装单品进行替换， 构造 时尚套装的负 样本训练集。 [0008]步骤2)基于该数据集， 将每一套服装的图像放入一个训练好的r esnet18预训练模 型中， 得到每一件时尚服装的特 征向量表达 。 [0009]步骤3)为全体时尚服装构造了一个时尚图(Fashion  Graph)， 以上一步中的特征 向量表达作为节点的特 征， 其中每 个节点代 表一种服装类型， 每条边代 表节点之间的交 互。说　明　书 1/4 页 3 CN 114444369 A 3