(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211220465.9 (22)申请日 2022.09.30 (71)申请人 芜湖职业 技术学院 地址 241006 安徽省芜湖市银湖北路62号 (72)发明人 单强达　冯子亮　吕丹亚　武轶文　 闫一博　 (74)专利代理 机构 芜湖思诚知识产权代理有限 公司 34138 专利代理师 项磊 (51)Int.Cl. G06V 10/26(2022.01) G06V 20/70(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 20/52(2022.01)G06V 10/82(2022.01) G06V 40/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于内容感知的轻量 化行人分割方法 (57)摘要 本发明公开了一种基于内容感知的轻量化 行人分割方法， 首先从行人分割数据集中获取训 练图片； 通过教师网络中的特征提取模块对高分 辨率和低分辨率图片进行特征提取并融合， 得到 教师网特征图； 将步骤S2中得到的教师网特征图 输入教师网络的行人分割模块进行训练； 利用训 练好的教师网络生成教师网特征图， 并以此引导 以低分辨率图片作为输入的学生网络进行特征 提取， 得到学生网特征图； 将步骤S4中得到的学 生网特征图输入学生网络的行人分割模块进行 训练； 最后从监控摄像头中获取行人图像， 通过 训练好的学生网络对其进行分割， 生成分割结果 图。 本方案具有良好的行人感知和定位能力， 并 且在行人分割精度和速度之间达 到了平衡。 权利要求书3页 说明书7页 附图5页 CN 115546484 A 2022.12.30 CN 115546484 A 1.一种基于内容感知的轻量 化行人分割方法， 其特 征在于： 包括下列步骤： S1、 从行人分割数据集中获取训练图片， 作为高分辨率 图片； 对其尺寸进行缩小， 生成 低分辨率图片； S2、 通过教师网络中的特征提取模块对高分辨率和低分辨率图片进行特征提取并融 合， 得到教师网特 征图Fteacher； S3、 将步骤S2中得到的教师网特征图Fteacher输入教师网络的行人分割模块生成相应的 教师网行 人分割图， 并对教师网络进行训练； S4、 对训练好的教师网络执行步骤S2， 生成教师网特征图Fteacher， 再利用学生网络对低 分辨率图片进行 特征提取， 得到学生网特 征图Fstudent； S5、 将步骤S4中得到的学生网特征图Fstudent输入学生网络的行人分割模块生成相应的 行人分割图， 并利用教师网特 征图Fteacher进行引导对学生网络进行训练； S6、 从监控摄像头 中获取行人图像， 通过训练好的学生网络对其进行分割， 生成分割结 果图。 2.根据权利要求1所述的一种基于 内容感知的轻量化行人分割方法， 其特征在于： 所述 步骤S2包 含以下具体步骤： S21、 采用一种可剪枝的ResNet50网络作为教师网络的特征提取骨干网络； 然后分别对 高分辨率图片和低分辨 率图片进行初步特 征提取； S22、 在高分辨率图片处理过程 中， 将步骤S21中经ResNet50网络第三、 第四与第五阶段 提取出的特征图C3、 C4、 C5分别输入到内容感知特 征金字塔模块中； S23、 在内容感知特征金字塔模块中， 采用一种内容感知上采样模块对金字塔 中的上层 特征图进行处理， 使之尺寸与下层特征图对齐， 然后通过全局注意力机制引导上下两层特 征图进行 特征融合； S24、 高分辨率图片对应的特征图经内容感知特征金字塔处理之后， 生成一个 高分辨率 五层特征图， 记为Fhigh， Fhigh包含五层特 征图； S25、 对低分辨率图片的处理过程与高分辨率图片类似， 采用的是将ResNet50网络第 二、 第三与第四阶段提取出的特征图C ′2、 C′3、 C′4分别输入到所述的内容 感知特征金字塔模 块中； 重复执行步骤S22到步骤S24， 得到对应低分辨率图片的一个低分辨率五层特征图 Flow， Flow包含五层特 征图； S26、 采用CBAM注意力机制中的通道注意力模 块引导Fhigh和Flow进行特征融合， 得到特征 提取模块 最终输出的教师网特 征图Fteacher， 教师网特 征图Fteacher由五层特 征图组成。 3.根据权利要求2所述的一种基于 内容感知的轻量化行人分割方法， 其特征在于： 所述 内容感知特征金字塔中的CAF模块包含两个部 分： 第一部 分是内容感知上采样模块， 将本层 特征图和下层特征图拼接成拼接特征图Fconcat， 用以生成相应的上采样 重组核， 然后利用此 重组核对本层特征图进行上采样， 得到上采样特征图P ′i+1； 第二部分是全局注 意力模块， 采 用拼接特征图Fconcat作为输入， 采用一种全局注意力 结构为上下两层特征分别生相应的注 意力图 和 最后将上下两层的注意力图 和 分别与上采样特征图P ′i+1和下层特 征图Pi进行逐元素相乘， 再将各自生成的结果逐 元素相加完成特 征融合。 4.根据权利要求2所述的一种基于内容感知的轻量化行人分割方法， 其特征在于： 在 CBAM注意力机制中的通道注意力模块 中， 输入为特征图Ps和特征图P ′s‑1， Ps即Fhigh中P3、 P4、权　利　要　求　书 1/3 页 2 CN 115546484 A 2P5、 P6、 P7五层的特征图的任意一个， P ′s‑1即Flow中P′2、 P′3、 P′4、 P′5、 P′6五层的特征图的任意 一个； 上述特征图Ps和特征图P ′s‑1通过Concatenation方法融合后分别使用最大池化和平 均池化处理， 得到的两个结果经第一全连接层后使用ReLU函数激活， 再经第二全连接层后 将各自生成的结果逐元素相加， 通过Softmax函数归一化， 再结合输入的特征图Ps和特征图 P′s‑1进行weighted  sum融合得到相应特征图 教师网特征图Fteacher有五层， 包括对应的 五层的特 征图。 5.根据权利要求2所述的一种基于 内容感知的轻量化行人分割方法， 其特征在于： 所述 步骤S3包 含以下具体步骤： S31、 获取步骤S2中生成的教师网特征图Fteacher的最下层特征图， 对 其进行卷积操作； 然 后在得到的特征图的通道维度上叠加相对位置坐标， 构成含坐标特征图Fperson， 用于最终行 人分割结果的生成； S32、 将步骤S2中生成的教师网特征图Fteacher输入检测头中的若干独立的第一卷积层， 生成行人检测框特 征图Fbox； S33、 将步骤S2中生成的教师网特征图Fteacher输入检测头中的若干独立的第二卷积层， 生成中间特 征图Ftmp； S34、 将行人检测框特征图Fbox和中间特征图Ftmp同时作为特征对齐模块的输入， 经特征 对齐模块处 理后， 生成行 人分割卷积核Fkernel； S35、 将步骤S31中生成的含坐标特征图Fperson与步骤S34 中生成教师网行人分割卷积核 Fkernel进行全卷积 操作， 生成 教师网行 人分割图； S36、 采用损失函数对教师网络进行训练。 6.根据权利要求5所述的一种基于 内容感知的轻量化行人分割方法， 其特征在于： 所述 步骤S36中的损失函数为 Lteacher， 其计算公式如下： Lteacher＝Lfcos+λLmask 其中Lfcos是检测部分 的损失， Lmask是分割掩码生成时的损失， λ是损失间平衡参数； Npos 代表正样本的数量， x， y代表特征图上的所有位置的枚举， px， y代表分类预测分数， 代表 分类的标签值， Lcls代表分类损失， λ1表示损失间平衡因子， 表示正负样本判别函数， 正样本返回1， 负样本返回0； tx， y表示预测的检测框参数， 表示检测框相应的标签值， Lreg 表示检测框损失函数； Mx， y表示预测掩码， 表示标注掩码， Ldice表示Dice  Loss， 是一种 区域相关的损失函数， 具有平衡正负 样本的能力。 7.根据权利要求5所述的一种基于 内容感知的轻量化行人分割方法， 其特征在于： 所述 步骤S4包 含以下具体步骤： S41、 使用训练好的教师网络执 行步骤S2， 生成 教师网特 征图Fteacher； S42、 使用低分辨率图片作为学生网络的输入， 通过学生网络的特征提取模块生成学生 网特征图Fstudent。权　利　要　求　书 2/3 页 3 CN 115546484 A 3