(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210477986.6 (22)申请日 2022.04.28 (71)申请人 腾讯音乐娱乐科技 （深圳） 有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 魏旭东　洪国伟　董治　姜涛　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 杜维 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/74(2022.01) G10L 25/57(2013.01) (54)发明名称 视频查重方法、 设备、 存储介质及计算机程 序产品 (57)摘要 本申请公开一种视频查重方法、 设备、 存储 介质及计算机程序产品， 该方法包括： 获取N个待 处理视频帧和L个参考视频帧； N个待处理视频帧 是从需进行查重的目标视频中确定的， L个参考 视频帧是从用于进行查重比对的H个参考视频中 确定的； 基于每个待处理视频帧与每个参考视频 帧之间的图像特征相似度， 从L个参考视频帧中 确定出M个参考视频帧作为相似视频帧； 一个相 似视频帧与至少一个待处理视频帧相似； 根据M 个相似视频帧， 从H个参考视频中确定出K个参考 视频作为相似视频； 任一相似视频包含至少一个 相似视频帧； 确定目标视频与各个相似视频之间 的音频特征相似度， 并根据音频特征相似度判定 目标视频与各个相似视频是否重复； 可提高视频 查重效率。 权利要求书3页 说明书22页 附图12页 CN 114863333 A 2022.08.05 CN 114863333 A 1.一种视频查重方法， 其特 征在于， 包括： 获取N个待处理视频帧以及L个参考视频帧； 所述N个待处理视频帧是从需进行查重的 目标视频中确定出的， 所述L个参考视频帧是从用于进 行查重比对的H个参考视频中确定出 的， N、 L以及H均为 正整数； 基于每个待处理视频帧与每个参考视频帧之间的图像特征相似度， 从所述L个参考视 频帧中确定出M个参考视频帧作为相似视频帧； 一个相似视频帧与至少一个待处理视频帧 相似， M∈[1， L]； 根据M个相似视频帧， 从所述H个参考视频中确定出K个参考视频作为相似视频； 任一相 似视频包 含至少一个相似视频帧， K为 正整数； 确定所述目标视频与 各个相似视频之间的音频特征相似度， 并根据所述目标视频与 所 述各个相似视频之间的音频 特征相似度判定所述目标视频与所述各个相似视频 是否重复。 2.如权利要求1所述的方法， 其特征在于， 所述N个待处理视频帧和所述L个参考视频 帧， 是基于同一个抽帧规则分别从所述目标视频和所述H个参 考视频中抽取 出的； 所述根据M个相似视频帧， 从所述H个参考视频中确定出K个参考视频作为相似视频， 包 括： 根据所述M个相似视频帧， 从所述H个参考视频中确定出至少一个候选视频； 所述候选 视频是指包含至少一个相似视频帧的参 考视频； 针对所述至少一个候选视频中的任一候选视频， 根据所述任一候选视频包含的各个相 似视频帧在所述任一候选视频中的位置， 从所述任一候选视频中划分出P个视频片段； 任一 视频片段的首帧和末帧均为相似视频帧， 且所述任一视频片段包含的各个相似视频帧在所 述任一视频片段中的排列顺序， 与所述各个相似视频帧相对应的待处理视频帧在所述目标 视频中的排列顺序相同， P为 正整数； 若所述任一候选视频的P个视频片段中存在至少一个第一视频片段， 则将所述任一候 选视频作为一个相似视频； 其中， 所述第一视频片段是指至少包括第一数量的相似视频帧 的视频片段。 3.如权利要求2所述的方法， 其特征在于， 所述确定所述目标视频与 各个相似视频之间 的音频特征相似度， 包括： 针对所述各个相似视频中的任一相似视频， 从所述任一相似视频对应的各个第 一视频 片段中， 选取包 含相似视频帧数量 最多的第一视频片段作为第二视频片段； 确定所述目标视频中， 与所述第二视频片段相对应的待处 理视频片段； 将所述待处理视频片段与 所述第二视频片段之间的音频特征相似度， 作为所述目标视 频与所述任一相似视频之间的音频 特征相似度。 4.如权利要求1所述的方法， 其特征在于， 所述基于每个待处理视频帧与每个参考视频 帧之间的图像特征相似度， 从所述L个参考视频帧中确定出M个参考视频帧作为相似视频 帧， 包括： 针对所述N个待处理视频帧中的任一待处理视频帧， 确定所述任一待处理视频帧与所 述L个参考视频帧中每 个参考视频帧之间的图像特 征相似度； 将图像特征相似度大于第一相似度阈值且图像特征相似度排序在前的第二数量的参 考视频帧， 作为所述任一待处 理视频帧的相似视频帧。权　利　要　求　书 1/3 页 2 CN 114863333 A 25.如权利要求1所述的方法， 其特征在于， 待处理视频帧与参考视频帧之间的图像特征 相似度是基于待处理视频帧和参考视频帧的图像特征确定出的相似度， 待处理视频帧和参 考视频帧的图像特 征是由优化后的图像特 征提取模型进行图像特 征提取处 理得到的； 所述方法还 包括： 获取训练样本； 所述训练样本包括样本视频帧、 所述样本视频帧对应的标注相似视频 帧、 所述样本 视频帧对应的标注差异视频帧； 调用图像特征提取模型分别提取所述样本视频帧的图像特征、 所述标注相似视频帧的 图像特征以及所述标注差异视频帧的图像特 征； 基于所述样本视频帧的图像特征与 所述标注相似视频帧的图像特征之间的特征距离， 以及所述样本视频帧的图像特征与所述标注差异视频帧的图像特征之 间的特征距离， 计算 模型损失值； 按照减小所述模型损 失值的方向， 优化所述图像特征提取模型的模型参数， 以得到所 述优化后的图像特 征提取模型。 6.如权利要求5所述的方法， 其特 征在于， 所述获取训练样本， 包括： 从样本视频中选取视频帧作为样本 视频帧； 调用所述图像特征提取模型， 提取所述样本视频帧的图像特征， 以及提取所述每个参 考视频帧的图像特 征； 基于所述样本视频帧的图像特征以及所述每个参考视频帧的图像特征， 确定所述样本 视频帧与所述每 个参考视频帧之间的图像特 征相似度； 基于所述样本视频帧与所述每个参考视频帧之间的图像特征相似度， 将所述L个参考 视频帧中， 图像特征相似度大于第二相似度阈值的参考视频帧作为所述样本视频帧对应的 召回视频帧； 将所述样本视频帧对应的召回视频帧中， 内容背景相似且内容主体相似的召回视频帧 添加至第一视频帧集合中， 以及将所述样本视频帧对应的召回视频帧中， 内容背景相似但 内容主体不同的召回视频帧添加至第二视频帧集 合中； 选取所述第 一视频帧集合中的任一召回视频帧作为所述标注相似视频帧， 以及选取所 述第二视频帧集合中的任一召回视频帧作为所述标注差异视频帧， 并基于所述样本视频 帧、 所述标注相似视频帧以及所述标注差异视频帧， 构建所述训练样本 。 7.如权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获取所述每个待处理视频帧的图像特征； 所述每个待处理视频帧的图像特征是由多个 特征提取设备中的第一特征提取设备提取出的， 所述第一特征提取设备是通过消息队列接 收所述目标视频的特 征提取设备， 所述目标视频 是视频分发设备 上传至所述消息队列的； 获取所述每个参考视频帧的图像特征； 任一参考视频帧的图像特征是由多个特征提取 设备中的第二特征提取设备提取出的， 所述第二特征提取设备是通过所述消息队列接收所 述任一参考视频帧所属的参考视频的特征提取设备， 所述任一参考视频帧所属的参考视频 是所述视频分发设备 上传至所述消息队列的； 基于所述每个待处理视频帧的图像特征以及所述每个参考视频帧的图像特征， 确定所 述每个待处理视频帧与所述每 个参考视频帧之间的图像特 征相似度。 8.一种视频查重设备， 其特征在于， 所述视频查重设备包括输入接口和输出接口， 还包权　利　要　求　书 2/3 页 3 CN 114863333 A 3