(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210492264.8 (22)申请日 2022.05.07 (71)申请人 有米科技股份有限公司 地址 510006 广东省广州市番禺区小谷围 街青蓝街26号1701 (72)发明人 陈畅新　钟艺豪　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 江银会 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/75(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01)G06V 10/764(2022.01) G06K 9/62(2022.01) (54)发明名称 基于图像分割的商品识别方法及装置 (57)摘要 本发明公开了基于图像分割的商品识别方 法及装置， 该方法包括： 当检测到存在商品图像 需要进行商品识别操作时， 将商品图像输入到商 品图像主体分割模型中得到对应的目标图像； 将 目标图像输入到图像特征提取模型中得到目标 特征向量； 根据目标特征向量和商品图像特征库 中每一现存 特征向量， 确定与目标特征向量相匹 配的目标现存 特征向量， 根据商品图像特征库对 应的图像特征—商品标识对应关系确定出目标 现存特征向量的商品标识， 作为商品图像的商品 识别结果。 可见， 本发明不仅能够保证商品图像 的识别速度， 还能够有效减少图像背景对商品识 别结果的干扰， 进而提高商品识别结果的准确性 和可靠性以提高商品识别的精 准性， 以及提高商 品识别结果的确定效率。 权利要求书4页 说明书21页 附图3页 CN 114821062 A 2022.07.29 CN 114821062 A 1.一种基于图像分割的商品识别方法， 其特 征在于， 所述方法包括： 当检测到存在待识别商 品图像需要进行商品识别操作时， 将所述待识别商 品图像输入 到预先确定出的商品图像主体分割模型中， 得到所述待识别商品图像中待识别的商品所对 应的目标图像， 所述目标图像与所述待识别商品图像的背景的关联度低于预设关联度阈 值； 将所述目标图像输入到预先构建好的图像特征提取模型中， 得到所述目标图像对应的 目标特征向量； 根据所述目标特征向量和商品图像特征库中每一现存特征向量， 确定与所述目标特征 向量相匹配的目标现存特征向量， 并根据所述商品图像特征库对应的图像特征—商品标识 对应关系确定出所述目标现存特征向量对应的商品标识， 作为所述待识别商品图像对应的 商品识别结果。 2.根据权利要求1所述的基于图像分割的商品识别方法， 其特征在于， 在所述根据 所述 目标特征向量和商品图像特征库中每一现存特征向量， 确定与所述目标特征向量相匹配的 目标现存特 征向量之前， 所述方法还 包括： 对所述目标 特征向量执 行降维操作以更新所述目标 特征向量； 以及， 在所述对所述目标特征向量执行降维操作以更新所述目标特征向量之前， 所述 方法还包括： 确定所述目标特征向量的第 一维度信 息， 并获取商 品图像特征库中所有现存特征向量 对应的第二维度信息； 判断所述第 一维度信 息与所述第二维度信 息是否相匹配， 当判断出所述第 一维度信 息 与所述第二 维度信息不相匹配时， 触发执行所述的对所述目标特征向量执行降维操作以更 新所述目标特征向量的操作； 当判断出所述第一维度信息与所述第二维度信息相匹配时， 触发执行所述的根据所述目标特征向量和商品图像特征库中每一现存特征向量， 确定与所 述目标特征向量相匹配的目标现存特 征向量的操作。 3.根据权利要求2所述的基于图像分割的商品识别方法， 其特征在于， 所述根据 所述目 标特征向量和商品图像特征库中每一现存特征向量， 确定与所述目标特征向量相匹配的目 标现存特 征向量， 包括： 根据所述目标特征向量和商品特征库中每一现存特征向量， 计算所述目标特征向量与 每一所述现存特 征向量的余弦相似度； 判断所有所述余弦相似度中是否存在大于等于预先设定的余弦相似度阈值的至少一 个目标余弦相似度， 当判断结果为是时， 将所有所述 目标余弦相似度对应的相似现存特征 向量确定为与所述目标 特征向量相匹配的目标现存特 征向量。 4.根据权利要求3所述的基于图像分割的商品识别方法， 其特征在于， 所述根据 所述商 品图像特征库对应的图像特征—商品标识对应关系确定出所述目标现存特征向量对应的 商品标识， 作为所述待识别商品图像对应的商品识别结果， 包括： 计算所有所述相似现存特征向量的数量， 并根据所述商品图像特征库对应的图像特 征—商品标识对应关系确定每 个所述相似现存特 征向量对应的商品标识； 根据所述数量以及所有所述相似现存特征向量对应的商品标识， 确定出所述目标现存 特征向量对应的商品标识， 作为所述待识别商品图像对应的商品识别结果；权　利　要　求　书 1/4 页 2 CN 114821062 A 2其中， 所述根据所述数量以及所有所述相似现存特征向量对应的商品标识， 确定出所 述目标现存特征向量对应的商品标识， 作为所述待识别商品图像对应的商品识别结果， 包 括： 当所述数量为1时， 确定所述相似现存特征向量对应的商品标识为所述待识别商品图 像对应的商品识别结果； 当所述数量大于1时， 确定目标相似现存特征向量对应的商品标识为所述待识别商品 图像对应的商品识别结果； 或者， 当所述数量大于1且小于预设数量阈值时， 确定目标相似现存特征向量对应的商品标 识为所述待识别商品图像对应的商品识别结果； 当所述数量大于等于所述预设数量阈值 时， 根据目标相似现存特征向量对应的第一商品标识以及每个剩余相似现存特征向量对应 的第二商品标识， 确定所述待识别商品图像对应的商品识别结果； 其中， 所述目标相似现存特征向量为所有所述相似现存特征向量中与 所述目标特征向 量的余弦相似度最大的相似现存特征向量， 所述剩余相似 现存特征向量是所有所述相似现 存特征向量除所述目标相似现存特 征向量之外的相似现存特 征向量。 5.根据权利要求4所述的基于图像分割的商品识别方法， 其特征在于， 所述根据目标相 似现存特征向量对应的第一商品标识以及每个剩余相似现存特征向量对应的第二商品标 识， 确定所述待识别商品图像对应的商品识别结果， 包括： 判断所有所述第二商品标识中是否存在与所述第一商品标识相同的商品标识； 当判断出所有所述第 二商品标识中存在与 所述第一商品标识相同的商品标识时， 确定 目标相似现存特 征向量对应的商品标识为所述待识别商品图像对应的商品识别结果； 当判断出所有所述第 二商品标识中不存在与所述第 一商品标识相同的商 品标识时， 确 定所述待识别商品图像对应的辅助因子， 并根据所述辅助因子从所述第一商品标识以及所 有所述第二商品标识中选择与所述辅助因子的关联度大于等于预设关联度阈值的目标商 品标识， 确定所述目标商品标识为所述待识别商品图像对应的商品识别结果。 6.根据权利要求5所述的基于图像分割的商品识别方法， 其特征在于， 在所述将所述待 识别商品图像输入到商品图像主体分割模型中， 得到所述待识别商品图像中商品的目标图 像之前， 所述方法还 包括： 基于预先确定出的训练样本数据集对图像分割模型进行训练， 得到商品图像主体分割 模型； 其中， 所述训练样本数据集包括若干张训练用商品图像， 每张所述训练用商品图像为 已分割出图像背景 的商品图像， 且所有所述训练用商品图像包括第一类训练用商品图像， 或者， 所有所述训练用商品图像包括第一类训练用商品图像及第二类训练用商品图像； 其 中， 所述第一类训练用商品图像中的所有第一训练用商品图像的图像背 景分割结果是人工 标注形成的， 所述第二类训练用商品图像中的所有第二训练用商品图像是基于所述第一类 训练用商品图像中的第一训练用商品图像生成的； 以及， 所述第 二类训练用商品图像中的每个第 二训练用商 品图像具体是通过以下方式 生成： 对于所述第 一类训练用商 品图像中的任一第 一训练用商品图像， 根据 该第一训练用商 品图像的标注结果裁剪出该第一训练用商品图像中的商品主体区域图像； 对该商品主体区权　利　要　求　书 2/4 页 3 CN 114821062 A 3