(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210473523.2 (22)申请日 2022.04.29 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 汪浩然　何栋梁　李甫　丁二锐　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 专利代理师 孙翠贤　高莺然 (51)Int.Cl. G06V 10/74(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06F 40/30(2020.01) G06V 10/82(2022.01)G06V 10/80(2022.01) (54)发明名称 图文相似度的确定方法、 装置及电子设备 (57)摘要 本公开提供了一种图文相似度的确定方法、 装置及电子设备， 涉及人工智 能领域， 尤其涉及 深度学习、 图像处理、 计算机视觉技术领域。 该方 法包括： 从目标图像中提取第一图像特征， 以及 从目标文本中提取第一文本特征； 利用预定的概 念表征信息， 分别对目标图像和目标文本的概念 级语义进行表征， 得到第二图像特征和第二文本 特征； 其中， 概念表征信息为用于表示各个指定 概念的概念表征的内容； 基于第一图像特征、 第 二图像特征， 以及第一文本特征和第二文本特 征， 计算目标图像和目标文本之间的相似度。 通 过本方案， 可以提高图文匹配时相似度计算的准 确性。 权利要求书6页 说明书14页 附图4页 CN 114782722 A 2022.07.22 CN 114782722 A 1.一种图文相似度的确定方法， 包括： 从目标图像中提取第一图像特 征， 以及从目标文本中提取第一文本特 征； 利用预定的概念表征信 息， 分别对所述目标图像和所述目标文本的概念级语义进行表 征， 得到第二图像特征和 第二文本特征； 其中， 所述概念表征信息为用于表示各个指 定概念 的概念表征的内容； 基于所述第一图像特征、 所述第二图像特征， 以及所述第一文本特征和所述第二文本 特征， 计算所述目标图像和所述目标文本之间的内容相似度。 2.根据权利要求1所述的方法， 其中， 所述概念表征信 息是根据 各个指定概念的文本向 量组合， 以及用于表示所述各个指定概念之间的相关性的相关性信息， 所生成的。 3.根据权利要求2所述的方法， 其中， 所述各个指定概念为预定语料库中的概念， 所述 相关性信息包括： 在所述预定预 料库中每一个指定概念出现时， 其 他指定概念的出现概 率。 4.根据权利要求3所述的方法， 其中， 在所述预定语料库中每一个指定概念出现时， 其 他指定概念的出现概 率的确定方式包括： 采用预定计算公式， 计算在所述预定预料库中每一个指定概念出现时， 其他指定概念 的出现概 率； 其中， 所述预定计算公式包括： 其中， Pij表示在所述预定预料库中当概念Cj出现时概念Ci的出现概率； Eij表示概念Ci和 概念Cj的在所述预定预 料库中共同出现的次数， Ni表示Ci在所述预定预 料库中的出现次数。 5.根据权利要求2所述的方法， 其中， 所述 概念表征信息的构建方式包括： 将所述各个指定概念的文本向量组合， 以及所述相关性信息输入图卷积网络， 得到所 述概念表征信息； 其中， 所述图卷积网络的第l层计算公式为： 其中， H(0)＝Y， Y表示所述文本向量组合， P为用于表示所述相关性信息的矩阵， D表示P 的度矩阵， 表示P正则化的对称拉普拉斯矩阵， W表示权重矩阵， ρ 表示非线性激活函数， 所 述图卷积网络的最后一层输出Z为所述概念表征信息， Z的第i 行向量Zi表示概念 Ci对应的概 念表征。 6.根据权利要求1 ‑5任一项所述的方法， 其中， 所述利用预定的概念表征信息， 分别对 所述目标图像和所述目标文本的概念级语义进行表征， 得到第二图像特征和第二文本特 征， 包括： 利用预定的概念表征信 息以及预定的特征计算模型， 分别对所述目标图像和所述目标 文本的概念级语义进行表征， 得到第二图像特 征和第二文本特 征； 其中， 所述预定的特征计算模型是基于正样本 图文对和负样本 图文对， 以及所述概念 表征信息， 训练得到的模型。权　利　要　求　书 1/6 页 2 CN 114782722 A 27.根据权利要求6所述的方法， 其中， 所述特 征计算模型的计算公式包括： 其中， 其中， 其中， vC和tC分别表示任 一图像的第二图像 特征， 以及任 一文本的第二文本 特征； Wv和Wt 为参数矩阵； 表示指定概念Ci相对于所述任一图像在概念级语义上的第一重要性得分； 表示指定概念Ci相对于所述任一文本在概念级语义上的第二重要性得分； λ为控制平滑 度的超参 数； Zi、 Zj表示指定 概念Ci、 Cj对应的概念表征； 表示从所述任一图像提 取的图像 特征， tI表示从所述任一文本中提取的文本特征， 和 分别表示Zi和 的转置矩阵， q 表示指定概念的数量。 8.根据权利要求6所述的方法， 其中， 所述第 一图像特征为通过第 一特征提取模型所提 取的， 所述第一文本特 征为通过第二特 征提取模型 所提取到的； 所述第一特征提取模型、 所述第 二特征提取模型以及所述特征计算模型是利用正样本 图文对和负 样本图文对联合训练得到 。 9.根据权利要求8所述的方法， 其中， 所述第一特征提取模型、 所述第二特征提取模型 以及所述特 征计算模型的联合训练方式包括： 获取正样本图文对和负样本图文对； 所述正样本图文对包括第 一样本图像和第 一样本 文本， 所述负 样本图文对 包括第二样本图像和第二样本文本； 分别将所述第一样本 图像和所述第二样本 图像， 输入所述第一特征提取模型， 得到所 述第一样本图像的第一图像特 征以及所述第二样本图像的第一图像特 征； 分别将所述第一样本文本和所述第二样本文本， 输入所述第二特征提取模型， 得到所 述第一样本文本的第一文本特 征和所述第二样本文本的第一文本特 征； 分别利用特征计算模型以及所述概念表征信 息， 计算所述第 一样本图像和所述第 二样 本图像的第二图像特 征， 以及所述第一样本文本和所述第二样本文本的第二图像特 征； 利用所计算得到的各个图像特 征和文本特 征， 计算模型损失； 响应于基于所述模型损失确定各个模型 未收敛， 调整各个模型的参数。 10.根据权利要求9所述的方法， 其中， 所述利用所计算得到的各个图像特征和文本特 征， 计算模型损失， 包括： 将所计算得到的各个图像特征和文本特征， 代入预定的损失函数， 得到模型损失； 其 中， 所述预定的损失函数包括： 权　利　要　求　书 2/6 页 3 CN 114782722 A 3