(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210099379.0 (22)申请日 2022.01.27 (71)申请人 西南石油大 学 地址 610500 四川省成 都市新都区新都大 道8号 (72)发明人 杨力　张赟　 (74)专利代理 机构 北京东方盛凡知识产权代理 事务所(普通 合伙) 11562 代理人 李娜 (51)Int.Cl. G06F 16/583(2019.01) G06F 16/535(2019.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06V 10/766(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G06Q 30/06(2012.01) (54)发明名称 一种智能服饰匹配方法和系统 (57)摘要 本申请公开一种智能服饰匹配方法和系统， 本方法包括向残差网络添加多种注 意力模型， 对 公开服饰数据集的标签进行平滑处理， 通过对残 差网络进行训练， 得到多注意力残差网络模型； 用多注意力残差网络模型替换Faster ‑RCNN特征 提取器， 然后构建特征金字塔， 建立服饰检测模 型； 构建搭配网络并训练， 对公开服饰数据集进 行特征提取， 得到检测目标数据库； 计算待查询 服饰与数据库中服饰特征向量之间空间距离， 构 建待搭配集， 计算匹配度得分， 得到搭配推荐结 果。 本系统包括多注意力残差网络单元、 服饰检 测模型单元、 检测目标数据库单元和搭配推荐单 元。 本申请能够更好地提取服饰图像的有效信 息， 正确的检测到目标， 实现对查询服饰的搭配 推荐。 权利要求书2页 说明书6页 附图1页 CN 114428877 A 2022.05.03 CN 114428877 A 1.一种智能服饰匹配方法， 其特 征在于， 包括如下步骤： S1.向残差网络添加空间注意力模型、 通道注意力模型和自注意力模型， 同时， 对 CIFAR‑100公开服饰数据集的标签进行平滑处理， 使用平滑处理后的所述CIFAR ‑100公开服 饰数据集的标签对所述残差网络进行训练， 得到基于多注意力的多注意力残差网络模型； S2.使用所述多注意力残差网络模型作为Faster ‑RCNN的特征提取器， 得到改进的 Faster‑RCNN， 然后基于所述多注 意力残差网络模 型构建特征金字塔， 基于所述特征金字塔 和所述改进的Faster ‑RCNN， 建立基于所述多注意力残差网络模型的服饰 检测模型； S3.使用所述改进的Faster ‑RCNN检测出训练用图像中的服饰， 然后基于所述CIFAR ‑ 100公开服饰数据集和所述多注 意力残差网络模 型， 构建搭配网络， 并对所述搭配网络进 行 训练， 利用训练好的所述搭配网络对 所述CIFAR ‑100公开服饰数据集进行特征提取， 得到检 测目标数据库； S4.计算待查询服饰与所述检测目标数据库中的服饰特征向量之间的空间距离， 基于 所述空间距离构建待搭配集， 然后利用服装搭配评 分器计算所述待搭配集与所述待查询服 饰的匹配度得分， 根据所述匹配度得分， 得到搭配 推荐结果。 2.根据权利要求1所述的智能服饰匹配方法， 其特 征在于， 所述S1中， 平 滑处理的方法包括： 通过下列公式， 将one ‑hot编码的所述公开服饰数据集的标签向量映射成新的标签向 量 3.根据权利要求1所述的智能服饰匹配方法， 其特 征在于， 所述S2中， 基于所述多注意力残差网络模型的输出， 将所述多注意力残差网络模型的 Layer1， Layer2， Layer3， Layer4， Pool层输出作为所述特征金字塔的{C1， C2， C3， C4， C5}层， 所 述多注意力残差网络模型 各层输出的通道数分别为25 6， 512， 1024， 2048， 2048； 将所述特 征金字塔的维度统一调整为25 6。 4.根据权利要求3所述的智能服饰匹配方法， 其特 征在于， 所述特征金字塔的维度统一调整为25 6的方法包括： S2.1.先对C5进行1*1卷积核， 将通道数2048调整至256； 再使用卷积核为3*3， Padding为 1的卷积， 将卷积后的输出作为Po ol层； S2.2.Ci(i＝4,3,2,1)同样使用所述S2.1中的两种卷积核， 将得到的特征图作为p ′i， 再 将p′i+1进行2倍的上采样得到的特 征图与p′i相加， 得到采样后的Pi； S2.3.重复所述S2.2， 直到所有采样后的特征图{P1， P2， P3， P4， P5}全部生成， 完成所述特 征金字塔的维度统一调整。权　利　要　求　书 1/2 页 2 CN 114428877 A 25.根据权利要求1所述的智能服饰匹配方法， 其特 征在于， 所述S3中， 构建所述搭配网络， 并对所述搭配网络进行训练的方法包括： 检测出训练用图像中的服饰后， 根据所述CIFA R‑100公开服饰数据集提供的服饰属性， 将所述服饰属性作为语义特征， 同时使用所述多注意力残差网络模型提取所述CIFAR ‑100 公开服饰数据集中的服装的视觉特征， 将所述语义特征和所述视觉特征进行融合， 得到所 述搭配网络； 使用视觉语义损失和困难样本挖掘 损失对所述搭配网络进行训练。 6.根据权利要求5所述的智能服饰匹配方法， 其特 征在于， 所述检测目标 数据库的类别包括上装、 下装、 衬衫、 内衣、 鞋子、 包和配件。 7.根据权利要求1所述的智能服饰匹配方法， 其特 征在于， 所述S4中， 得到所述匹配度得分的方法包括： S4.1.选择任意两张模特服饰图和对应的属性信息； S4.2.基于所述改进的Faster ‑RCNN， 根据检测器得到的目标回归框， 用OpenCV工具对 两张所述模特服饰图进行裁 剪， 去除无关的背景信息； S4.3.将裁剪后的所述模特服饰图重塑至相同大小尺寸后， 使用所述多注意力残差网 络模型对图像进行 特征提取； S4.4.将服饰属性使用BERT预训练模型生成语义特 征向量； S4.5.根据视觉语义嵌入方法， 对两张所述模特服饰图分别进行视觉特征和语义特征 融合后得到的512维度特 征向量进行拼接， 得到1024维度的特 征向量； S4.6.将1024维度的特征向量经过一个多层感知机层后， 得到两张所述模特服饰图中 的服饰的匹配度得分。 8.一种智能服饰匹配系统， 其特征在于， 包括多注意力残差网络单元、 服饰检测模型单 元、 检测目标 数据库单 元和搭配 推荐单元； 所述多注意力残差网络单元用于通过向残差网络添加空间注意力模型、 通道注意力模 型和自注意力模型， 同时， 对CIFAR ‑100公开服饰数据集的标签进行平滑处理， 使用平滑处 理后的所述CIFAR ‑100公开服饰数据集的标签对所述残差网络进行训练， 得到基于多注意 力的多注意力残差网络模型； 所述服饰检测模型单元用于使用所述多注意力残差 网络模型作 为Faster ‑RCNN的特征 提取器， 得到改进的Faster ‑RCNN， 然后基于所述多注意力残差网络模型构建特征金字塔， 基于所述特征金字塔和所述改进的Faster ‑RCNN， 建立基于所述多注意力残差网络模型的 服饰检测模型； 所述检测目标数据库单元用于使用所述改进的Faster ‑RCNN检测出训练用图像中的服 饰， 然后基于所述CIFAR ‑100公开服饰数据集和所述多注意力残差网络模型， 构建搭配网 络， 并对所述搭配网络进 行训练， 利用训练好的所述搭配网络对 所述CIFAR ‑100公开服饰数 据集进行 特征提取， 得到检测目标 数据库； 所述搭配推荐单元用于计算待查询服饰与所述检测目标数据库中的服饰特征向量之 间的空间距离， 基于所述空间距离构建待搭配集， 然后利用服装搭配评分器计算所述待搭 配集与所述待查询服饰的匹配度得分， 根据所述匹配度得分， 得到搭配 推荐结果。权　利　要　求　书 2/2 页 3 CN 114428877 A 3