(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211203156.0 (22)申请日 2022.09.29 (71)申请人 奥比中光科技 集团股份有限公司 地址 518063 广东省深圳市南 山区粤海街 道学府路63号高新区联合总部大厦 11-13楼 (72)发明人 莫曜阳　 (74)专利代理 机构 深圳汉世知识产权代理事务 所(特殊普通 合伙) 44578 专利代理师 冷仔 (51)Int.Cl. G06V 10/26(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01)G06V 10/44(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种图像分割模型、 方法、 装置及终端设备 (57)摘要 本申请适用于图像处理的技术领域， 提供了 一种图像分割模型、 方法、 装置及终端设备， 所述 模型包括： 编码器， 用于提取当前帧的语义特征； 解码器， 用于根据当前帧的语义特征和存储在解 码器中的历史特征进行图像分割； 解码器的至少 一个解码器网络层包括帧间特征传递模块； 帧间 特征传递模块， 用于根据当前帧的语义特征和历 史特征得到融合特征， 并将融合特征作为新的历 史特征存储在帧间特征传递模块中。 由于上述方 案充分利用视频数据中相邻帧图像之间的连续 性， 通过当前帧的语义特征和历史特征进行图像 分割处理。 由于当前帧的语义特征和历史特征之 间存在连续性， 故可以很好地抑制图像 分割结果 出现闪烁或抖动的情况。 权利要求书2页 说明书11页 附图8页 CN 115457279 A 2022.12.09 CN 115457279 A 1.一种图像分割模型， 其特 征在于， 包括： 编码器， 用于获取视频 数据中的当前帧， 提取 所述当前帧的语义特 征； 解码器， 用于根据所述当前帧的语义特征和存储在所述解码器中的历史特征进行图像 分割； 所述解码器包括多个解码器网络层， 至少一个所述解码器网络层包括帧间特征传递模 块； 所述帧间特征传递模块， 用于根据所述当前帧的语义特征和所述历史特征得到融合特 征， 并将所述融合特 征作为新的历史特 征存储在所述帧间特 征传递模块中。 2.根据权利要求1所述的图像分割模型， 其特 征在于， 所述帧间特 征传递模块用于： 将输入的特 征分成两份， 得到 子特征x和子特 征y； 拼接所述历史特征和所述子特征x， 得到 融合特征， 并将所述融合特征作为新的历史特 征存储在所述帧间特 征传递模块中； 拼接所述融合特征和所述子特征y， 得到帧间特征， 并将所述帧间特征传递给下一个解 码器网络层或根据所述帧间特 征进行图像分割。 3.如权利要求1至2任意一项所述的图像分割模型， 其特征在于， 所述编码器包括第一 编码器网络层和第二编码器网络层； 所述第一编码器网络层包括第一卷积模块、 第一下采样模块、 第一批量归一化模块和 第一激活函数模块； 所述第二编码器网络层包括至少一个基本块； 其中， 所述基本块包括第二下采样模块 和卷积块， 所述卷积块包括第二卷积模块、 第二批量归一 化模块和第二激活函数模块。 4.如权利要求1至2任意一项所述的图像分割模型， 其特征在于， 所述解码器包括多个 解码器网络层， 所述解码 器网络层 包括第三卷积模块、 上采样模块、 第三批量归一化模块和 第三激活函数模块； 其中， 一个或多个解码器网络层中还 包括帧间特 征传递模块。 5.一种图像分割方法， 其特 征在于， 包括： 获取视频 数据中的当前帧， 提取 所述当前帧的语义特 征； 对所述语义特 征进行预处理和切分处理， 得到子特征x和子特 征y； 将历史特征、 所述子特征x和所述子特征y进行融合处理， 得到帧间特征， 并将所述历史 特征和所述子特 征x的融合特 征作为新的历史特 征进行存 储； 根据所述帧间特 征对所述当前帧进行图像分割， 得到图像分割结果。 6.根据权利要求5所述的图像分割方法， 其特征在于， 所述将历史特征、 所述子特征x和 所述子特征y进行融合处理， 得到帧间特征， 并将所述历史特征和所述子特征x的融合特征 作为新的历史特 征进行存 储， 包括： 将所述历史特征和所述子特征x进行融合处理， 得到 融合特征， 并将所述融合特征作为 新的历史特 征进行存 储； 将所述融合特 征和所述子特 征y进行融合处 理， 得到帧间特 征。 7.一种图像分割的装置， 其特 征在于， 包括： 提取单元， 用于获取视频 数据中的当前帧， 提取 所述当前帧的语义特 征； 切分单元， 用于对所述语义特 征进行预处理和切分处理， 得到子特征x和子特 征y； 融合单元， 用于将历史特征、 所述子特征x和所述子特征y进行融合处理， 得到帧间特权　利　要　求　书 1/2 页 2 CN 115457279 A 2征， 并将所述历史特 征和所述子特 征x的融合特 征作为新的历史特 征进行存 储； 分割单元， 用于根据所述帧间特 征对所述当前帧进行图像分割， 得到图像分割结果。 8.一种如权利要求1所述的图像分割模型的训练方法， 其特 征在于， 包括： 获取若干带有标注信息的数据组作为训练样本集合； 其中， 所述数据组包括历史帧和 当前帧； 将所述历史帧输入待训练图像分割 模型， 得到历史特征并存储在所述待训练图像分割 模型中； 将所述当前帧输入存储有历史特征的所述待训练图像分割 模型中， 得到所述数据组 的 分割结果； 根据所述数据组的分割结果和所述数据组的标注信息计算损失函数值； 根据所述损失函数值对所述待训练图像分割 模型进行迭代优化， 得到目标图像分割 模 型。 9.一种终端设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求5至6 任一项所述的图像分割方法或权利要求8所述的图像分割模型的训练方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求5至6任一项 所述的图像分割方法或权 利要求8所述的图像分割模型的训练方法。权　利　要　求　书 2/2 页 3 CN 115457279 A 3