(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211138798.7 (22)申请日 2022.09.19 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 冯天　张微　马笑文　马梦婷　 沈骏翱　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 傅朝栋　张法高 (51)Int.Cl. G06V 10/26(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于关系型上下文聚合的图像语义分 割方法 (57)摘要 本发明公开了一种基于关系型上下文聚合 的图像语义 分割方法。 本发明针对高分辨率遥感 图像背景复杂， 尺度变化大等问题， 基于关系型 上下文聚合机制， 在图像语义分割任务中引入语 义级多尺度上下文生成器和关系级多尺度上下 文整合器。 本发 明通过语义级多尺度上下文生成 器， 有效地提取图像中每个语义范围内的语义级 上下文信息作为类别表达， 并通过关系级多尺度 上下文整合器， 结合语义内像素与像素之间的关 系与语义间像素与类之间的关系， 为每个像素构 建密集而精确的上下文信息， 从而增强像素的特 征表达能力， 并且减少了背景噪声的干扰。 本发 明为上下文聚合机制在复杂背景图像的分割任 务上提供一种新的解决方案， 并且能够提高相应 图像语义分割的性能。 权利要求书2页 说明书7页 附图3页 CN 115512109 A 2022.12.23 CN 115512109 A 1.一种基于关系型上下文聚合的图像语义分割方法， 其特征在于： 将待语义分割的图 像输入由编码器模块和解码器模块组成的语义分割模型中， 获得语义分割结果； 在所述编码器模块中， 首先通过骨干网络进行特征提取， 得到浅层特征表示和深层特 征表示， 其次对深层特征表示进 行预分类操作， 得到预分类表示， 接着将深层特征表示与预 分类表示输入到类别级多尺度上下文生成器， 得到深层特征表示对应的类别级多尺度上下 文， 然后将预分类表示与深层特征表示及其对应的类别级多尺度上下文输入到 关系级多尺 度上下文整合器， 对深层特征表示进行上下文信息聚合， 将聚合特征与深层特征表示融合 后得到加强后的特征表示， 最终所述编 码器模块将加强后的特征表示与浅层特征表示以及 类别级多尺度上 下文输出到解码器模块作为 解码器模块的模块输入； 所述类别级多尺度上下文生成器以深层特征表示和预分类表示作为输入， 首先通过预 分类表示 获取每个像素的类别概率分布， 利用该类别概率分布获得每个像素属于不同类别 的确定度， 然后针对不同的尺度， 在每个尺度范围内利用该尺度范围内的特征 的确定度作 为权重加权该特征， 从而得到每个尺度内不同语义的类别级特征， 最终将不同尺度内的类 别级特征进行拼接， 从而得到每 个输入的特 征表示所对应的类别级 多尺度特 征表示； 所述关系级多尺度上下文整合器以预分类表示与深层特征表示及其对应的类别级多 尺度特征表示作为输入， 首先通过预分类表示， 计算每个类别内像素之间的类别分布概率 的相似度， 然后再通过深层特征表示与类别级多尺度特征表示， 计算特征表示中的每个像 素与类别级多尺度特征表示之间的相似性， 并通过分布概率的相似度加权该相似性， 从而 获得整合后的像素与类别级多尺度特征表示之 间的相似度， 利用该相似度与类别级多尺度 特征表示相乘并与原深层特 征表示沿通道费按序拼接， 从而获得加强后的特 征表示； 在所述解码器模块中， 首先将加强后的特征表示上采样后与浅层特征表示融合， 得到 融合后的特征表示， 然后在融合后的特征表示与类别级多尺度特征表示之 间运用注意力机 制， 得到加强后的融合特征表 示， 最终通过对加强后的融合特征表示进 行上采样操作， 得到 待分割图像的语义分割结果。 2.如权利要求1所述的基于关系型上下文聚合的图像语义分割方法， 其特征在于， 所述 骨干网络为带有膨胀卷积的Resnet ‑50模型， 且加载image ‑net数据集上学习得到的预训练 权重。 3.如权利要求2所述的基于关系型上下文聚合的图像语义分割方法， 其特征在于， 所述 深层特征表 示从Resnet ‑50的第四个残差单元输出， 浅层特征表示 从Resnet ‑50的第一个残 差单元输出。 4.如权利要求1所述的基于关系型上下文聚合的图像语义分割方法， 其特征在于， 所述 预分类操作由连续的两个1 ×1卷积实现。 5.如权利要求1所述的基于关系型上下文聚合的图像语义分割方法， 其特征在于， 所述 类别级多尺度上 下文生成器中尺度数固定为 4。 6.如权利要求1所述的基于关系型上下文聚合的图像语义分割方法， 其特征在于， 所述 语义分割模型在用于实际语义分割之前， 预 先利用标注后的训练数据进行训练。 7.如权利要求6所述的基于关系型上下文聚合的图像语义分割方法， 其特征在于， 所述 训练数据需进行 数据增强。 8.如权利要求6所述的基于关系型上下文聚合的图像语义分割方法， 其特征在于， 所述权　利　要　求　书 1/2 页 2 CN 115512109 A 2语义分割模型训练采用的损失函数均为交叉熵损失。 9.如权利要求1所述的基于关系型上下文聚合的图像语义分割方法， 其特征在于， 所述 类别级多尺度上下文生 成器中， 将预分类表示中每个像素点的类别概率分布中最大概率减 第二大概 率求得的差值作为该像素点属于该最大概 率对应类别的确定度。 10.如权利要求1所述的基于关系型上下文聚合的图像语义分割方法， 其特征在于， 所 述图像为遥感图像。权　利　要　求　书 2/2 页 3 CN 115512109 A 3