(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210524653.4 (22)申请日 2022.05.13 (71)申请人 电子科技大 学长三角研究院 （湖州） 地址 313000 浙江省湖州市西塞山路819号 科技创新综合体B1幢 (72)发明人 骆春波　张赟疆　刘翔　罗杨　 孙文健　 (74)专利代理 机构 成都东恒知盛知识产权代理 事务所 (特殊普通合伙) 51304 专利代理师 李英 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06T 7/73(2017.01)G06V 10/74(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于视角辅助的摄影体位识别和体表 解剖标志检测两阶段 方法 (57)摘要 本发明公开了一种基于视角辅助的摄影体 位识别和体表 解剖标志检测两阶段方法， 包括以 下步骤： S1： 对2 3种摄影体位进行重新 分组， 生成 视角标签； S2： 基于ImageNet数据集预训练后的 网络模型作为初始化权重， 训练体位分类阶段网 络； S3： 基于ImageNet数据集预训练后的网络模 型作为初始化权重， 训练体表 解剖标志检测阶段 网络； S4： 将数据集中的待测数据输入到优化后 的两个阶段的网络中； S5： 将两组热力图解码为 坐标， 使用平均高斯相似度评估这两组坐标； S6： 将高检测性能标志点种类序列作为先验信息， 对 两组热图进行选择处理， 输出坐标结果。 本发明 自动化处理水平提高， 可以极大地降低放射科技 术人员的工作量和感 染风险。 权利要求书2页 说明书6页 附图1页 CN 114972854 A 2022.08.30 CN 114972854 A 1.一种基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方法， 其特征在于， 包括以下步骤： S1： 对23种摄 影体位进行重新分组， 生成视角标签； S2： 基于ImageNet数据 集预训练后的网络模型作为初始化权重， 训练包含主干网络、 摄 影体位分支、 视角分类分支和体表解剖标志检测的摄 影体位分类阶段网络； S3： 基于ImageNet数据集预训练后的网络模型作为初始化权重， 训练体表解剖标志检 测阶段网络； S4： 将数据集中的待测数据输入到优化后的两个阶段的网络中， 得到摄影体位分类结 果、 体表解剖标志热图； S5： 将两组热力图解码为坐标， 使用平均高斯相似度评估这两组坐标， 得到高检测性能 标志点种类序列； S6： 将高检测性能标志点种类序列作为先验信息， 对步骤S4中得到两组热图进行选择 处理， 输出坐标 结果。 2.如权利要求1所述的基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方 法， 其特征在于， 步骤S1中通过对23种摄影体位进行分析， 根据图像中的人体的视角， 即人 体朝向与摄 像机之间的相对角度， 对23种摄 影体位进行重新的分组。 3.如权利要求1所述的基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方 法， 其特征在于， 步骤S2中将人体边界框的高度或宽度扩展到固定的纵横比， 比例为高度： 宽度＝4： 3， 从图像中裁剪边界框， 然后将其调整为固定尺 寸为384像素 ×288像素作为输入 图像， 图像输入到摄影体位阶段的网络中， 主干网络使用HRNetV2 ‑W48， 提取四种分辨率的 特征图N41∈RN*ω*H/4*W/4， N42∈RN*2ω*H/8*W/8， N43∈RN*4ω*H/ 16*W/16， N44∈RN*8ω*H/32*W/32， w设置为48， H、 W为输入图像的高和宽 。 4.如权利要求1所述的基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方 法， 其特征在于， 步骤S2中视角分类分支的结构为： 首先将N41， N42， N43， N44送入ResNet的瓶颈 层， 使它们的通道分别增加到128、 256、 512和1024； 然后使用具有256个通道和步长为2的3 ×3卷积对高分辨率特征图进行下采样， 然后与次高分辨率的特征图进行相加以融合为低 级特征； 重复这个过程3次后， 得到1024个通道的最小分辨率特征图； 然后通过1 ×1卷积层 将特征图通道的数量增加到2048个； 最后本发明将特征图依次通过平均池化层和全连接层 以获得视角6分类的结果。 5.如权利要求1所述的基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方 法， 其特征在于， 步骤S2中摄影体位分类 分支是摄影体位分类阶段的主分支， 采用类似于视 角分类分支的网络结构， 不同的是增加了压缩系数为8的SE模块对不同分辨率的特征图进 行特征重标定， 首先， 将SE模块插入到通道增加为128的最高分辨率的特征图后， 进行最高 分辨率特征图通道的调整； 其次， 将SE模块分辨加在高分辨率特征图降采样后与次级分辨 率特征图进行相加融合得到的次级分辨率特征图后， 进行多种分辨率特征融合后的重标 定； 最后， 将S E模块加在通过1 ×1卷积得到通道数为2048的最低分辨率特征图之后， 进行分 类之前的最后一次通道特征重标定； 最后 将重标定后的特征图依次通过平均池化层和全连 接层以获得摄 影体位23分类的结果。 6.如权利要求1所述的基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方权　利　要　求　书 1/2 页 2 CN 114972854 A 2法， 其特征在于， 步骤S2中视角分类分支的损失为Lposcls， 使用交叉熵损失； 摄影体位分支的 损失为Langcls， 使用交叉熵损失； 体表解剖标志检测分支的损失为Llandmark， 使用均方差损失； 训练阶段的损失设置为： L＝0.00001*Lposcls+0.00001*Langcls+Llandmark (1) 使用随机旋转和随机尺度放缩两种方法进行图像数据增强， 随机旋转范围为 ±45度， 随机尺度范围为 ±35％， 基于迁移学习的思想， 在数据集中的训练集上使用ImageNet上预 训练好的网络模 型进行模型迁移， 使用Adam优化器进行训练优化， 基本学习率设置为1e ‑3， 并在第70个和第10 0个时期分别下降到1e ‑4和1e‑5， 训练过程在1 10个epoc h内结束。 7.如权利要求1所述的基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方 法， 其特征在于， 步骤S3中体表解剖标志检测阶段包括以下步骤： 将人体边界框的高度或宽度扩展到固定的纵横比， 比例为高度： 宽度＝4： 3， 从图像中 裁剪边界框， 然后将其调整为固定尺寸为384像素 ×288像素作为输入图像， 图像输入到摄 影体位阶段的网络中， 首先由HRNetV2 ‑W48作为主干网络， 提取四种分辨率的特征图N41， N42， N43， N44； 然后将N41通过1×1卷积预测80通道的热图。 使用Llandmark作为本阶段的损失函 数， 训练阶段的数据增强方法、 预训练模型和优化器选择同摄 影体位分类阶段相同。 8.如权利要求1所述的基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方 法， 其特征在于， 步骤S4中体表解剖标志热图包括步骤S2中摄影体位分类阶段网络输出的 体表解剖标志热图1和步骤S3中体表解剖标志检测阶段网络 输出的体表解剖标志热图2。 9.如权利要求1所述的基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方 法， 其特征在于， 步骤S5中使用平均高斯相似度评估这两组坐标， 该坐标表示如下： 式中， i为标志点种类的索引； dj是算法对第i种体表解剖标志的第j个标志点(每种人体 实例中每种 标志点仅会出现一次)的预测坐标， 与相应的真值坐标之间的欧式距离； s为尺 度因子， 是第j个i类关键点所在的人体实例边 界框的面积的大小； κi是控制第i种体表解剖 标志衰减速度的常量； N 为测试图片中i类标志点的总数。 10.如权利要求1所述的基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方 法， 其特征在于， 步骤S 6中选择处理及坐标提取包括以下步骤： 使用摄影体位分类阶段的摄 影体位分类结果过滤体表解剖标志热图2， 如果过滤后的体表解剖标志热图2中的不为0的 通道对应的序号里包含高检测性能标志 点种类序列， 则将这些序号对应的体表解剖标志热 图2中的通道 替换为这些序号对应的体表解剖标志热图1 中的通道； 最后， 根据式(2)处理前 述处理后的体表解剖标志热图2， 得到最终的检测坐标。权　利　要　求　书 2/2 页 3 CN 114972854 A 3