(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210102991.9 (22)申请日 2022.01.27 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 申请人 北京第二外国语学院 (72)发明人 赵海英　向翔　 (74)专利代理 机构 北京世誉鑫诚专利代理有限 公司 11368 专利代理师 仲伯煊 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 一种基于边缘预测的传统文化图像语义分 割方法 (57)摘要 本发明公开了一种基于边缘预测的传统文 化图像语义分割方法， 该方法包括以下步骤： 采 用标签松弛法对图像的像素进行标签松弛化处 理， 进行像素标签的替换； 定义边缘损失， 利用边 缘损失及初始交叉熵损失对模型进行监督训练； 利用边缘预测法确定模糊边缘像素点的类别， 选 取多个标签不确定的模糊边缘像素点； 利用共享 的点分类器对标签不确定的模糊边缘像素点进 行分类， 确定该模糊边缘像素点具体的标签； 将 预测后的模糊边缘像素点的类别和双线性插值 后的标签预测图混合得到最终的精细边缘预测 图。 本发明能够排除标注数据时人工的疏忽以及 边缘模糊带来的标注困难等问题， 具有较好的通 用性， 且能够通过本文的算法实现精细边缘的语 义分割。 权利要求书2页 说明书5页 附图1页 CN 114494698 A 2022.05.13 CN 114494698 A 1.一种基于边缘预测的传统文化图像语义分割方法， 其特征在于， 该方法包括以下步 骤： S1、 采用标签松弛法对图像的像素进行 标签松弛化处 理， 并进行像素 标签的替换； S2、 计算标注图像像素标签的极大似然估计， 定义边缘损失， 并利用边缘损失及初始交 叉熵损失对 模型进行监 督训练； S3、 在模型上采样预测过程中， 利用边缘预测法确定模糊边缘像素点的类别， 并选取多 个标签不确定的模糊边 缘像素点； S4、 利用共享的点分类器对标签不确定的模糊边缘像素点进行分类， 并确定该模糊边 缘像素点具体的标签； S5、 将预测后的模糊边缘像素点的类别和双线性插值后的标签预测图混合得到最终的 精细边缘预测图。 2.根据权利要求1所述的一种基于边缘预测的传统文化图像语义分割方法， 其特征在 于， 所述采用标签松弛法对图像的像素进行标签松弛化处理， 并进行像素标签的替换包括 以下步骤： S11、 在训练过程中， 采用标签松弛法对图像的边缘像素的标签范围进行松弛修改： 选 取每个像素点周围八邻域的像素点作为该像素点的标签松弛范围； S12、 利用松弛过后范围内所有标签的交集 替代初始标注的像素的标签。 3.根据权利要求2所述的一种基于边缘预测的传统文化图像语义分割方法， 其特征在 于， 所述边缘像素表示一个像素点相邻的像素点中有不同的标签， 所述标签松弛法对周围 像素标签与本像素 标签相同的像素点 不会产生影响。 4.根据权利要求2所述的一种基于边缘预测的传统文化图像语义分割方法， 其特征在 于， 所述初始标注的像素 的标签由手工标注得到， 且对于待手工标注的训练集通过采用标 签松弛法修改边缘像素的标签来解决物体边缘模糊带来的标注过程中像素级别精确标注 困难的问题。 5.根据权利要求1所述的一种基于边缘预测的传统文化图像语义分割方法， 其特征在 于， 所述计算标注图像像素标签的极大似然估计， 定义边缘损失， 并利用边缘损失及初始交 叉熵损失对 模型进行监 督训练包括以下步骤： S21、 定义每 个像素点自身标签及其周围八邻域像素 标签的交集 为松弛后的标签图； S22、 计算标注图像 像素标签的极大似然估计， 并定义 边缘损失； S23、 将边缘损失与初始交叉熵损失结合形成最终的代价损失函数， 并将该代价损失函 数用于模型的训练监 督。 6.根据权利要求5所述的一种基于边缘预测的传统文化图像语义分割方法， 其特征在 于， 所述计算标注图像 像素标签的极大似然估计， 并定义 边缘损失包括以下步骤： 定义一个待分类边 缘像素的周边及自身类别分别为A和B； 通过计算A ∪B类别来 替代计算标注图像 像素标签的极大似然估计， 计算公式如下： P(A∪B)＝P(A)+P(B)； 其中， P(*)表示对每 个类别的概 率的softmax计算； 将N定义为一个像素点周围3 *3的窗口， 定义的边 缘损失为：权　利　要　求　书 1/2 页 2 CN 114494698 A 2式中， L为loss损失， boundary为边缘， N表示自然数集， C表示任意点标签和周围八邻域 标签的并集， 当|C|＝1时， 该边 缘损失Lboundary退化为标准的o ne‑hot标签交叉熵损失。 7.根据权利要求1所述的一种基于边缘预测的传统文化图像语义分割方法， 其特征在 于， 所述在 模型上采样预测过程中， 利用边缘预测法确定模糊边缘像素点的类别， 并选取多 个标签不确定的模糊边 缘像素点包括以下步骤： S31、 在模型 上采样预测过程中， 利用边 缘预测法确定模糊边 缘像素点的类别； S32、 在粗糙预测图经过双线性插值后， 利用预定的选点策略选取多个标签不确定的模 糊边缘像素点。 8.根据权利要求7所述的一种基于边缘预测的传统文化图像语义分割方法， 其特征在 于， 所述预定的选点策略为在预测张量中获取每个模糊边缘像素点对于每个类别的概率进 行对数运算， 并且选取最高的两项计算差值， 其中， 差值越高代表该模糊边缘像素点的标签 属于某一类别的确定性更强， 通过 该方法便可实现对 模糊边缘像素点的不确定性的筛 选。 9.根据权利要求1所述的一种基于边缘预测的传统文化图像语义分割方法， 其特征在 于， 所述共享的点分类器为一个三层感知机， 其中， 第一层为输入层， 第二层为隐藏层， 第三 层为输出层， 用于 输出预测的点的类别， 且不同层之间采用全连接的方式进行关联。 10.根据权利要求1所述的一种基于边缘预测的传统文化图像语义分割方法， 其特征在 于， 所述利用共享的点分类器对标签不确定的模糊边缘像素点进行分类， 并确定该模糊边 缘像素点具体的标签之前还 包括采用随机点采样的方式对 共享的点分类 器进行训练。权　利　要　求　书 2/2 页 3 CN 114494698 A 3