(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210094172.4 (22)申请日 2022.01.26 (71)申请人 中南大学 地址 410000 湖南省长 沙市麓山 南路932号 (72)发明人 蒋朝辉　刘金狮　曹婷　何瑞清　 余金花　桂卫华　 (74)专利代理 机构 长沙朕扬知识产权代理事务 所(普通合伙) 43213 专利代理师 马家骏 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种半监 督混合训练语义分割方法及系统 (57)摘要 本发明公开了一种半监督混合训练语义分 割方法及系统， 通过采集高度重叠的颗粒图像 RGB数据集， 并对颗粒图像RGB数据集进行标注， 获得带标签数据和无标签数据， 基于编解码框架 的分割算法建立预分割模型， 并采用带标签数据 对预分割模型进行训练， 获得粗分割模型， 采用 粗分割模型对 无标签数据进行识别， 获得粗分割 结果， 并基于粗分割结果获得伪标签， 基于伪标 签和带标签数据， 对粗分割模型进行训练， 获得 精分割模型以及基于精分割模型， 对高度重叠的 颗粒图像进行图像 分割， 解决了现有对堆叠颗粒 图像分割精度低的技术问题， 通过基于凸包的伪 标签生成算法， 实现了对堆叠颗粒图像的高精度 分割， 并且能够大幅提升颗粒的结构完整性， 减 少欠分割的程度。 权利要求书2页 说明书10页 附图4页 CN 114549834 A 2022.05.27 CN 114549834 A 1.一种半监 督混合训练语义分割方法， 其特 征在于， 所述方法包括： 采集高度重叠的颗粒图像RGB数据集， 并对颗粒图像RGB数据集进行标注， 获得带标签 数据和无 标签数据； 基于编解码框架的分割算法建立预分割模型， 并采用带标签数据对预分割模型进行训 练， 获得粗分割模型； 采用粗分割模型对无标签数据进行识别， 获得粗分割结果， 并基于所述粗分割结果获 得伪标签； 基于伪标签和带 标签数据， 对粗分割模型进行训练， 获得精分割模型； 基于精分割模型， 对高度重 叠的颗粒图像进行图像分割。 2.根据权利要求1所述的半监督混合训练语义分割方法， 其特征在于， 对颗粒图像RGB 数据集进行 标注， 获得 带标签数据包括： 标注出颗粒图像RGB数据集中颗粒图像的颗粒边 缘； 将颗粒图像 中的颗粒边缘、 颗粒缝隙以及其他非颗粒区域合并， 作为背景， 并将颗粒的 内部区域作为前 景目标， 获得 带标签数据； 将带标签数据分为第一带 标签数据、 第二带 标签数据和第三带 标签数据。 3.根据权利要求2所述的半监督混合训练语义分割方法， 其特征在于， 采用带标签数据 对预分割模型进行训练， 获得粗分割模型 具体为： 采用第一带 标签数据对预分割模型进行训练， 获得粗分割模型。 4.根据权利要求1 ‑3任一所述的半监督混合训练语义分割方法， 其特征在于， 基于所述 粗分割结果获得伪标签包括： 在粗分割结果中提取重 叠的颗粒 连通域； 提取颗粒 连通域的凸包和凸缺陷， 并基于凸包和凸缺陷提取 特征点； 对特征点进行匹配， 并根据匹配结果获得分割线段； 将分割线段与粗分割结果进行叠加， 获得伪标签。 5.根据权利要求4所述的半监督混合训练语义分割方法， 其特征在于， 提取颗粒连通域 的凸包和凸缺陷， 并基于凸包和凸缺陷提取 特征点包括： 选取凸缺陷 中所对应的轮廓点的最远点作为特 征点， 且特 征点的计算公式为： 其中， Vn表示第n个凸包中的特征点集， m表示凸包中有m个凸缺陷， i表示第i个凸缺陷， pn,i表示第n个凸包中第i个凸缺陷上的轮廓点， Cn表示第n个凸包， d(pn,i,Cn)表示轮廓点pn,i 到对应的凸包Cn的边的欧氏距离 。 6.根据权利要求5所述的半监督混合训练语义分割方法， 其特征在于， 对特征点进行匹 配， 并根据匹配结果获得分割线段包括： 对特征点进行匹配， 且 对特征点进行匹配的计算公式为：权　利　要　求　书 1/2 页 2 CN 114549834 A 2其中， Xi表示第i个特征点的匹配系数， 匹配系数具体 是指第i个特征点与其他特征点的 匹配可能性的最大值， vi表示第i个特征点， vj表示第j个特征点， i≠j， Vn表示第n个凸包中 的特征点集， d(vi,vj)表示vi与vj的欧氏距离， A(vi,vj)表示两条线段形成的夹角， 其中一条 线段由特征点vi与 和 的中点形成， 另一条由特征点vj与 和 的中点形成， 表 示第n个凸包的第i个凸缺陷的轮廓起点， 表示第n个凸包的第i个凸缺陷的轮廓终点， 表示轮廓起点 到对应的轮廓终点 的欧氏距离， λ1, λ2表示调节整体几何指 标大小的实验参数， l()表示由两点形成的分割线段， ∠表示由两条线段 形成的夹角； 计算每个特征点的匹配系数， 并将匹配系数与预设的匹配阈值进行对比， 若匹配系数 大于匹配阈值， 则通过生成两点线段的方式连接两个特征点， 如果小于匹配阈值， 则跳过该 点， 依此循环完成对所有特 征点的匹配， 从而获得分割线段。 7.根据权利要求6所述的半监督混合训练语义分割方法， 其特征在于， 基于伪标签和带 标签数据， 对粗分割模型进行训练， 获得精分割模型 具体为： 基于伪标签和第二带 标签数据， 对粗分割模型进行训练， 获得次精分割模型； 基于第三带 标签数据， 对次精分割模型进行训练， 获得精分割模型。 8.根据权利要求7所述的半监督混合训练语义分割方法， 其特征在于， 对粗分割 模型进 行训练以及对次精分割模型进行训练的损失函数的计算公式为： Loss(Y)＝LCE(L)+λ·LCE(P)， 其中Y表示所有样本， Loss(Y)表示总体的损失函数， L表示带标签数据集， LCE(L)表示用 带标签数据集训练 的交叉熵损失函数， P表示无标签数据集， λ表示训练参数， LCE(P)表示通 过无标签数据集训练的交叉熵损失函数。 9.根据权利要求8所述的半监督混合训练语义分割方法， 其特征在于， 获得精分割模型 之后还包括： 通过mIOU评价精分割模型的精度， 并且用欠分割度评价指标评价分割结果的欠分割程 度。 10.一种半监 督混合训练语义分割 系统， 所述系统包括： 存储器(100)、 处理器(200)以及存储在存储器(100)上并可在处理器(200)上运行的计 算机程序， 其特征在于， 所述处理器(200)执行所述计算机程序时实现上述权利要求 1至9任 一所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114549834 A 3