(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211134330.0 (22)申请日 2022.09.19 (65)同一申请的已公布的文献号 申请公布号 CN 115222946 A (43)申请公布日 2022.10.21 (73)专利权人 南京信息 工程大学 地址 210032 江苏省南京市江北新区宁六 路219号 (72)发明人 陈苏婷　张晓敏　王天语　缪则林　 王航将　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 胡杰 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 113989499 A,2022.01.28 CN 114581670 A,202 2.06.03 CN 112102321 A,2020.12.18 CN 114372968 A,202 2.04.19 CN 114419468 A,202 2.04.29 US 20190 57507 A1,2019.02.21 CN 114372949 A,202 2.04.19 CN 114998725 A,202 2.09.02 CN 112989942 A,2021.0 6.18 唐乾坤等.基 于注意力机制的单阶段目标检 测锚点框 部件感知特 征表达. 《计算机 辅助设计 与图形学学报》 .2020,第32卷(第8 期), (续) 审查员 乔君 (54)发明名称 一种单阶段实例图像 分割方法、 装置以及计 算机设备 (57)摘要 本发明公开了一种单阶段实例图像分割方 法、 装置以及计算机设备， 涉及图像实例分割技 术领域， 首先提取多层次的图像特征信息， 为了 更充分地利用高层特征的语义信息和底层特征 的细粒度特征， 引入自适应特征融合模块计算不 同尺度特征权重并融合， 将融合后的特征送入三 个分支进行实例核预测和掩码分割以及语义类 别预测， 为了突出特征核的位置信息， 引入混合 双注意力机制筛选有效特征核， 然后将生成掩码 与特征核进行映射， 根据实例的分类 分数和相应 的掩码， 确定每个实例的类别与置信度， 阈值筛 选得到最终的分割结果， 为了权衡模 型分割的速 度与精度， 采用二部匹配的策略， 避免矩阵非极大值抑制操作， 大 大提升了分割速度。 [转续页] 权利要求书4页 说明书8页 附图4页 CN 115222946 B 2022.11.25 CN 115222946 B (56)对比文件 Chen SuMi n等.SnipeDet: A ttention- guided pyramidal predicti on kernels for generic object detecti on. 《Pattern Recognition Letters》 .2021,第152卷 Acharya B C等.One-shot Object Detection and Segmentati on Mask usi ng Attention Localization. 《Proce edings of 10th IOE Graduate Co nference》 .2021, Li Y等.Attention-guided un ified network for pan optic segmentati on. 《Proceedings of the IE EE/CVF Conference on Computer Visi on and Pat tern Recognition》 .2019, Li X等.Enhanced bl ind face restorati on with multi-exemplar ima ges and adaptive spatial feature fusi on. 《Proceedings of the IE EE/CVF Conference on Computer Visi on and Pat tern Recognition》 .2020, Songtao Liu等.Learn ing Spatial Fusi on for Single-Shot Object Detecti on. 《arXiv: 1911.09516v2 [cs.CV]》 .2019, 张绪义等.基于轮廓点掩 模细化的单阶段实 例分割网络. 《光学 学报》 .2020,第40卷(第21 期),2/2 页 2[接上页] CN 115222946 B1.一种单阶段实例图像分割方法， 其特 征在于： 包括以下步骤 S1、 输入图像； S2、 采用骨干网络ResNet+FPN提取多层次的图像特征信息， 使用ResNet上四层的特征 图C2、 C3、 C4以及C5， 每层特征图通过1 ×1卷积后与上一层特征上采样后的特征图进行元素 相加， 构建自上而下的特征金字塔结构， 接着每层再通过3 ×3卷积得到特征图P2、 P3、 P4以 及P5； S3、 利用自适应空间特征融合模块将特征金字塔结构中的P3、 P4、 P5特征图融合上下文 细粒度特 征； S4、 设置并行的三个分支， 分别为实例核分支、 掩码分支以及类别分支， 实例核分支用 于在划分成S ×S个网格的增强特征图上预测出包含实例信息的特征核； 掩码分支用于生成 对应特征的掩码图； 类别分支用于生成实例语义类别分数和预测语义类别概 率； S5、 利用混合双注意力模块突出实例特征， 增强实例核分支， 混合双注意力模块包括通 道注意力模块和位置注意力模块； 对组卷积后的特征图进行通道混合操作， 使其通道重新 打乱排序； 将子特 征分别送入通道 注意力模块以及位置注意力模块， 突出实例特 征信息； S6、 实例特征核与掩码图动态卷积生成掩码分割结果， 通过与类别分支预测出的语义 类别概率进行二部匹配得到最终的实例分割结果； 类别分支将不同层级特征进行双线性上采样或下采样统一特征尺寸， 将输入特征图像 划分成S×S个网格， 通过四组3 ×3卷积+GN +ReLu的重复模块， 生成S ×S个C维输出， C表示总 类别数， 对每 个网格进行语义类别概 率的预测； 提出了一个基于DICE的配对分数 ， 如式 （7） 所示， 用于在训练阶段分配正负样 本， 以及为特征图的不同位置分配学习目标， 其中i表示第i个预测 对象， k表示k个ground ‑ truth对象， 由分类分数和掩码的DIC E系数决定， （7） 其中， 是超参数， 用于平衡分类和分割的影响， 表示第k个ground ‑truth实例的类 别标签， 表示第i个预测的类别为 的概率， 分别表示第i个预测实例和第k个 ground‑truth实例的掩码， DIC E系数计算如式 （8） 所示： （8） 其中， 分别表示预测掩码m和真值掩码t中(x,y)处的像素； S7、 得到最终掩码结果以及对象分类结果， 并将其映射至原图像输出最终实例分割图 像。 2.根据权利要求1所述的单阶段实例图像分割方法， 其特征在于： 所述步骤S3中， 自适 应空间特 征融合模块的融合方法包括以下步骤 S3.1、 分别对特征金字塔输出的P2、 P3以及P4进行统一尺寸， 对P2统一尺寸时， 将P3上 采样、 P4上采样与P2统一尺寸； 对P3统一尺寸时， 将P2下采样、 P4上采样与P3统一尺 寸； 对P4权　利　要　求　书 1/4 页 2 CN 115222946 B 3