(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211168478.6 (22)申请日 2022.09.16 (71)申请人 山东科技大 学 地址 266590 山东省青岛市黄岛区前湾港 路579号 (72)发明人 滕升华　金玲敏　李佐勇　 (74)专利代理 机构 青岛锦佳专利代理事务所 (普通合伙) 37283 专利代理师 朱玉建 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/42(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 骨髓细胞图像 分割方法、 计算机设备以及可 读存储介质 (57)摘要 本发明公开了一种基于对抗训练的半监督 双分支骨髓细胞图像分割方法、 计算机设备以及 可读存储介质。 该方法首先设计包含浅层和深层 双分支架构 的分割网络， 其中， 深层分支采用简 化的Efficientnetv2网络来提取全局特征， 浅层 分支采用宽通道的卷积块来提取细 节特征； 将高 分辨率的细节特征和低分辨率的全局特征进行 多尺度融合， 实现细节特征和全局特征的互补； 其次判别网络对分割预测结果和真实标签进行 有效区分， 通过对抗训练使分割预测结果更接近 真实标签， 还利用判别网络进行半监督学习， 推 测出无标签图像 分割预测结果中的可靠区域， 将 其作为伪标签监督分割网络。 本发 明减少了训练 过程中对有标签图像的依赖， 仅利用少量有 标签 图像实现对骨髓细胞的精确分割。 权利要求书3页 说明书11页 附图8页 CN 115527031 A 2022.12.27 CN 115527031 A 1.基于对抗训练的半监 督双分支骨髓细胞图像分割方法， 其特 征在于， 包括如下步骤： 步骤1.收集骨髓细胞图像， 将骨髓细胞图像划分为训练集、 验证集和测试集； 在训练过 程中， 将训练集数据分为有标签图像和无 标签图像两 部分； 步骤2.搭建基于对抗训练的半监 督双分支骨髓细胞图像分割模型； 其中， 搭建的半监 督双分支骨髓细胞图像分割模型包括分割网络以及判别器网络； 分割网络包括双分支结构、 特 征聚合模块以及第一上采样模块； 双分支结构包括 一个深层分支和一个浅层分支； 深层分支包括第一卷积模块、 FMBConv模块、 MBConv模块和自适应平均池化模块； 第一 卷积模块、 FMBCo nv模块、 MBCo nv模块以及自适应平均池化模块依次连接； 浅层分支由第二卷积模块、 第三卷积模块、 第四卷积模块以及第五卷积模块组成； 其 中， 第二卷积模块、 第三卷积模块以及第四卷积模块依次连接； FMBConv模块的输出与第四卷积模块的输出相加后与第五卷积模块的输入端相连； 自适应平均池化模块与第五卷积模块的输出端分别连接 至特征聚合模块； 特征聚合模块、 第一上采样模块以及判别器网络依次相连； 判别网络采用全卷积神经 网络， 其输入为分割网络预测结果或经 过one‑hot编码的真实标签， 输出为置信度图； 步骤3.基于对抗训练的半监 督双分支骨髓细胞图像分割模型训练； 首先使用有标签图像进行监督训练， 基于对抗训练 的半监督双分支骨髓细胞图像分割 模型由交叉熵损失和对抗损失来训练， 分割网络和判别网络参数 联合更新； 然后使用无标签图像进行半监督训练， 利用判别网络发现无标签分割预测结果的可靠 区域， 并将其作为伪标签来 监督分割网络， 完成半监 督学习过程； 步骤4.利用训练好的模型对待分割的骨髓细胞图像进行图像分割， 得到图像分割结 果。 2.根据权利要求1所述的半监 督双分支骨髓细胞图像分割方法， 其特 征在于， 所述步骤3中， 输入图像在分割网络中的处 理过程为： 在深层分支， 输入图像依次通过第一卷积模块、 FMBConv模块、 MBConv模块以及自适应 平均池化模块， 完成深层分支的全局上 下文特征提取； 在浅层分支， 输入图像依次经过第二卷积模块、 第三卷积模块和第 四卷积模块进行三 次下采样， 第四卷积模块的输出与FMBCo nv模块的输出相加， 实现低级特 征互补； 相加后的特征输入至第五卷积模块完成浅层 分支的特征提取， 通过特征聚合模块来融 合深层分支和相加后的浅层分支的互补信息， 捕获多尺度的特 征信息； 最后， 通过第一上采样模块的上采样 操作将特 征图映射到原 始图像尺寸。 3.根据权利要求1所述的半监 督双分支骨髓细胞图像分割方法， 其特 征在于， 所述FMBCo nv模块包括第六 卷积模块、 第七卷积模块、 第八卷积模块以及第一SE模块； 其中， 第六 卷积模块、 第一SE模块以及第七卷积模块依次连接； 第六卷积模块和第八卷积模块的输入端与FMBConv模块的输入端相连； 第七卷积模块 的输出与第八卷积模块的输出相加后作为FMBCo nv模块的输出； 第六卷积模块和第八卷积模块采用3 ×3的卷积核， 第七卷积模块采用1 ×1的卷积核。 4.根据权利要求1所述的半监 督双分支骨髓细胞图像分割方法， 其特 征在于，权　利　要　求　书 1/3 页 2 CN 115527031 A 2所述MBConv模块包括第九卷积模块、 第十卷积模块、 第一深度卷积模块以及第二SE模 块； 第九卷积模块、 第一深度卷积模块、 第二SE模块以及第十卷积模块依次连接； 第九卷积模块的输入端与MBCo nv模块的输入端相连； 第九卷积模块的输入与第十卷积模块的输出相加后作为MBCo nv模块的输出； 第九卷积模块和第十卷积模块采用1 ×1的卷积核， 第 一深度卷积模块采用3 ×3的卷积 核。 5.根据权利要求1所述的半监 督双分支骨髓细胞图像分割方法， 其特 征在于， 所述特征聚合模块包括第一层结构、 第二层结构、 乘法模块以及SUM模块； 第一层结构包括第二深度卷积模块、 第十一卷积模块、 第三深度卷积模块以及第十二 卷积模块； 该第一层结构上的各个卷积模块均采用3 ×3的卷积核； 深层分支的输出端分别连接至第 二深度卷积模块和第十一卷积模块的输入端， 浅层分 支的输出端分别连接 至第三深度卷积模块和第十二卷积模块的输入端； 第二层结构包括第十三卷积模块、 平均池化模块、 第二上采样模块以及第十四卷积模 块； 其中， 第十三卷积模块以及第十四卷积模块均采用1 ×1的卷积核； 第二深度 卷积模块的输出端与第十三卷积模块的输入端相连， 第十一卷积模块的输出 端与平均池化模块的输入端相连， 第十二卷积模块的输出端与第二上采样模块相连； 第三深度卷积模块的输出端与第十四卷积模块的输入端相连； 第二上采样模块 为4倍上采样； 乘法模块有两个， 分别为第一乘法模块和第二乘法模块； 第十三卷积模块的输出端与第 二上采样模块的输出端连接至第 一乘法模块的输入端， 第十四卷积模块的输出端与平均池化模块的输出端连接 至第二乘法模块的输入端； 第一乘法模块和第二乘法模块的输出 连接至SUM模块上。 6.根据权利要求1所述的半监 督双分支骨髓细胞图像分割方法， 其特 征在于， 所述全卷积神经网络由5层卷积层组成； 各层卷积核的大小为4 ×4， 步长为2， 其中， 前四层 卷积层后都有Leaky  ReLU激活函数， 在卷积层后不进行池化和批归一 化操作， 最后通过 上采样操作恢复图像尺寸。 7.根据权利要求1所述的半监 督双分支骨髓细胞图像分割方法， 其特 征在于， 所述步骤3中， 判别网络的损失函数LD如公式(1)所示： LD＝‑(∑h， w(1‑yn)log(1‑D(G(Xn))(h， w))+ynlog(D(Yn)(h， w)))  (1) 其中， yn表示判别网络的输入， yn＝0则表示判别网络的输入来自分割网络预测结果， yn ＝1则表示判别网络的输入来自真实标签； Xn表示输入的骨髓细胞图像， 维度为H ×W×3的彩色图像， G(Xn)为分割网络的分割预测 结果， 维度为H ×W×C， 其中， C表示分割类别数； D(G(Xn))表示将分割网络的预测结果送到判别网络的输出， 得到H ×W×1的置信度图， 置信度图表示分割预测结果中更近真实标签的区域； Yn表示经过one‑hot编码的真实标签； D(Yn)(h， w)是one‑hot编码后的真实标签向量在Yn在位置(h， w)的置信度图。 8.根据权利要求7 所述的半监 督双分支骨髓细胞图像分割方法， 其特 征在于， 所述步骤3中， 对于有标签图像进行监督训练， 分割网络的损失函数 由Lce和Ladv加权组权　利　要　求　书 2/3 页 3 CN 115527031 A 3