(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210513388.X (22)申请日 2022.05.11 (71)申请人 中国科学院软件研究所 地址 100190 北京市海淀区中关村南四街 4 号 (72)发明人 张正昊　赵天赐　司凌宇　郑昌文　 (74)专利代理 机构 北京君尚知识产权代理有限 公司 11200 专利代理师 李文涛 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/26(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于长短期时序特征的无监督视频目标分 割方法及系统 (57)摘要 本发明公开一种基于长短期时序特征的无 监督视频目标分割方法及系统， 属于计算机视觉 领域， 通过将当前帧图像和参考帧图像映射到相 同的深层语义空间， 获取两帧空间外观特征； 借 助上一帧的分割掩码在当前帧形成短期时序约 束， 强化目标特征区域并抑制背景区域响应， 保 持目标短时内的视觉一致性； 对当前帧与参考帧 间的长序时序建模， 计算传递进来的当前帧与参 考帧特征图之间的密集匹配， 并通过高斯加权消 除相似像素的匹配杂波， 得到长期时序特征； 融 合时序特征与外观特征形成判别特征， 基于判别 特征在视频语义一致性的条件下完成目标分割。 本发明能够在复杂视频场景中， 尤其在相似物体 干扰场景下， 实现目标的稳定分割。 权利要求书2页 说明书5页 附图4页 CN 114973071 A 2022.08.30 CN 114973071 A 1.一种基于 长短期时序特 征的无监 督视频目标分割方法， 其特 征在于， 包括以下步骤： 输入当前帧图像、 参考帧图像和上一帧分割掩码， 将当前帧图像和参考帧图像映射到 相同的深层语义空间， 获取当前帧空间外观特 征和参考帧空间外观特 征； 以上一帧分割掩码为引导形成目标在 当前帧的空间先验， 对当前帧的空间外观特征进 行重新编码， 得到基于短期时序约束的特 征； 通过基于短期时序约束的特 征与参考帧空间外观特 征计算特 征相似度矩阵； 在基于短期时序约束的特征中找出与参考帧空间外观特征的每个特征向量相似度最 大的位置， 生成以该位置为中心的二维高斯分布， 根据该二维高斯分布为基于短期时序约 束的特征中的全部特 征向量赋予高斯权 重， 得到高斯分布 矩阵； 通过高斯分布矩阵和特征相似度矩阵逐元素相乘， 并执行softmax操作， 得到加权相似 度矩阵； 基于加权相似度矩阵进行维度转换， 得到 长期时序特 征； 融合长期时序特征与基于短期时序约束的特征， 得到判别特征， 基于判别特征对视频 目标进行分割。 2.如权利要求1所述的方法， 其特征在于， 对当前帧空间外观特征进行重新编码的方法 为： 将当前帧图像、 参考帧图像和上一帧分割掩码映射到相同的高、 宽和通道数的特征图 中， 并将当前帧图像和参考帧图像分别与上一帧分割掩码沿通道维度执行拼接操作， 得到 融合目标位置先验信息的外观特 征； 对该外观特征执行卷积操作， 对所有通道信息聚合， 产生融合短期时序信息的空间特 征描述符； 采用sigmoid函数并根据该空间特征描述符， 计算每个像素位置的权重， 形成空间约束 热力图； 将空间约束热力图与当前帧空间外观特征逐通道相乘， 得到基于短期时序约束的特 征。 3.如权利要求2所述的方法， 其特 征在于， sigmo id函数为 4.如权利要求1所述的方法， 其特征在于， 计算特征相似度矩阵的方法为： 对基于短期 时序约束的特 征矩阵与参 考帧空间外观特 征矩阵执 行矩阵乘法， 得到特 征相似度矩阵。 5.如权利要求1所述的方法， 其特征在于， 基于加权相似度矩阵进行维度转换的方法 为： 对加权相似度矩阵与基于短期时序约束的特征执行矩阵乘法操作， 然后进行维度转换 操作。 6.如权利要求1所述的方法， 其特征在于， 融合长期时序 特征与基于短期时序约束的特 征， 经卷积操作， 得到判别特 征。 7.一种基于 长短期时序特 征的无监 督视频目标分割 系统， 其特 征在于， 包括： 空间引导模块， 用于将当前帧图像和参考帧图像映射到相同的深层语义空间， 得到当 前帧空间外观特征和参考帧空间外观特征； 以上一帧分割掩码为引导形成目标在当前帧的 空间先验， 对当前帧空间外观特 征进行重新编码， 得到基于短期时序约束的特 征； 基于高斯修正的非局部注意力计算模块， 用于通过基于短期时序约束的特征与参考帧权　利　要　求　书 1/2 页 2 CN 114973071 A 2空间外观特征计算特征相似度 矩阵； 在基于短期时序约束的特征中找出与参考帧空间外观 特征的每个特征向量相似度最大 的位置， 生成以该位置为中心的二维高斯分布， 根据该二 维高斯分布为基于 短期时序约束的特征中的全部特征向量赋予高斯权重， 得到高斯分布矩 阵； 通过高斯分布矩阵和特征相似度矩阵逐元素相乘， 并执行softmax操作， 得到加强相 似 度矩阵； 基于加强相似度矩阵， 通过维度变换， 得到 长期时序特 征； 时空特征融合模块， 用于融合长期时序特征与基于短期时序约束的特征， 得到判别特 征， 基于判别特 征对视频目标进行分割。 8.如权利要求7所述的系统， 其特征在于， 通过训练数据对所述系统进行训练， 使用优 化器SGD优化调整系统中的网络参数。权　利　要　求　书 2/2 页 3 CN 114973071 A 3