(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210089212.6 (22)申请日 2022.01.25 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 张东　池才龙　 (74)专利代理 机构 深圳市创富知识产权代理有 限公司 4 4367 专利代理师 高冰 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/82(2022.01)G06T 7/73(2017.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 一种基于横纵坐标解耦与偏移量修正的2D 人体姿态估计方法 (57)摘要 本发明公开了一种基于横纵坐标解耦与偏 移量修正的2D人体姿态估计方法， 所述方法包括 对输入图像进行特征提取， 然后对 得到的特征图 构建一个二 分支网络来分别提取横、 纵坐标的相 关特征， 从而对横、 纵坐标进行解耦； 其中， 对每 一个网络分支再构建一个位置分类器和一个并 行的偏移量回归器分别得到关节点的位置与相 应的相对偏移量， 再利用相对偏移量对相应的位 置坐标进行修正细化， 从而 得到精确的人体关节 点横坐标、 人体关节点纵坐标。 权利要求书1页 说明书6页 附图2页 CN 114581941 A 2022.06.03 CN 114581941 A 1.一种基于横纵坐标解耦与偏移量修正的2D人体姿态估计方法， 其特征在于， 所述方 法包括对输入图像进行特征提取， 然后对得到的特征图构建一个二分支网络来分别提取 横、 纵坐标的相关特征， 从而对横、 纵坐标进 行解耦； 其中， 对每一个网络 分支再构建一个位 置分类器和一个并行的偏移 量回归器分别得到 关节点的位置与相应的相对偏移 量， 再利用 相对偏移量对相 应的位置坐标进行修正细化， 从而得到精确的人体关节点横坐标、 人体关 节点纵坐标。 2.根据权利要求1所述的基于横纵坐标解耦与偏移量修正的2D人体姿态估计方法， 其 特征在于， 将图像输入至Re  sNet‑50骨干网络， 假设待估计的人体主要关节点个数为K， 则 网络的最后通过1x1的卷积层输出K张特征图， 即特征图的尺寸为K ×Hf×Wf， 每张特征图分 别表征一个人体关节点的信息 。 3.根据权利要求1所述的基于横纵坐标解耦与偏移量修正的2D人体姿态估计方法， 其 特征在于， 构建一个二分支的网络对得到的每张特征图进行关节点横、 纵坐标特征进行解 耦， 即两个分支分别提取特征图中横、 纵坐标相关的特征， 其中， 每个网络 分支均利用K个尺 寸为3x 3、 步长为1、 填充为1的卷积核分别对K张特征图进行逐深度卷积， 将特征图进行批 归一化并通过ReLU激活函数； 每个网络分支保证了输出特征图在尺寸上与输入特征图一 致， 即输出 特征图尺寸 也为K×Hf×Wf。 4.根据权利要求1所述的基于横纵坐标解耦与偏移量修正的2D人体姿态估计方法， 其 特征在于， 解耦得到的横坐标相关的K ×Hf×Wf的特征图， 将每张特征图分别 重组成一维的 向量， 即得到K个Hf·Wf维的特征向量， 再 分别通过两个全连接层， 将特征向量的维度均映射 为与输入图像的宽相同， 即分别输出K个Wi维的位置编码向量 与K个Wi维的偏移量编码向量 其中， 第k个位置编码向量 中每一维的值表示在输入图像中该列的位置是第k个 关节点横坐标的置信度， 而第k个偏移 编码向量 中每一维的值表示该位置与第k个关节点横坐标的相对偏移量。 同 理 ，纵 坐 标 网 络 分 支 输 出 的 是 K 个 关 节 点 的 纵 坐 标 位 置 编 码 向 量 与偏移量编码向量 5.根据权利要求1所述的基于横纵坐标解耦与偏移量修正的2D人体姿态估计方法， 其 特征在于， 从输出的位置编 码向量与偏移 量编码向量可以解码出关节点的坐标， 首先对第k 个关节点横坐标的位置编码向量输入至softmax函数进行概率归一化， 然后 分别使用标准 差为σ1和σ2的一维高斯滤波器对模型输出的位置编码向量与偏移量编码向量分别进行平 滑， 其中， 在位置编码向量取最大激活值的位置， 可以得到第k个关节点粗略的离散横坐标 值 即 再通过第k个关节点的偏移量编码向量得到位置 相应 的偏移量 即 以此来对粗糙的关节横坐标 进行调整， 并增加其小数的 部分， 得到关节点精确的横坐标 纵坐标 再利用第k个关节点的横、 纵坐 标的位置编码向量与偏移量编码向量可以解码得到该关节在输入图像上的坐标值为 权　利　要　求　书 1/1 页 2 CN 114581941 A 2一种基于横纵坐 标解耦与偏移量修正的2D人体姿态估计方 法 技术领域 [0001]本发明涉及人体姿态估计的技术领域， 其中涉及 一种基于横纵坐标解耦与偏移量 修正的2D人体姿态估计方法。 背景技术 [0002]近年来， 人体姿态估计领域吸引了许多研究者的关注。 人体姿态估计是指从给定 的图像或视频中检测出人体主要关节点的位置， 是动作识别和人机交互等高级任务的基 础， 具有广泛的应用前景。 随着卷积神经网络的发展， 人体姿态估计领域涌现出许许多多优 秀的模型， 从技术流派而言可分为基于热力图回归的方法与基于数值坐标回归的方法， 而 其中占主导地位的是基于热力图回归的方法。 尽管基于热力图回归的方法使 人体姿态估计 领域获得了显著的发展， 但现有的大部 分基于热力图回归的深度神经网络模型中仍然存在 着量化效应的问题， 量化效应包括两个方面： 一方面是 由于模型输出热力图的尺寸与输入 图像的尺寸不匹配， 导致输入与输出之间存在着量化效应； 另一方面是指从热力图解码出 来的数值坐标为离散值， 相比于连续的真值而言丢失了小数部分， 这些问题都将不可避免 地对估计精度造成影响。 [0003]现有的对于第一个问题的解决方法， 通常是通过在模型的最后加入反卷积层 来增 大输出热力图的尺寸， 从而缩小输入输出在尺寸上 的差异， 但反卷积操作会带来大量的计 算开销， 这在计算资源有限的设备上并不高效。 对于第二个问题的解决方法， 现有的方法一 般是在模型生成的热力图上， 将最大峰值的位置往第二峰值的方向偏移 四分之一个像素， 相当于对热力图解码得到的坐标 ±0.25， 但这种方法是经验性的， 并不精确； 另外， 还有研 究者提出利用二 维偏移量图的形式来预测关节点坐标的相对偏移量， 以此对热力图解码得 到的坐标进行修正， 但网络额外输出 的二维偏移量图会带来较大 的计算量， 且该方法在低 分辨率输入条件下鲁棒 性较差。 [0004]综合来说， 现有的解决姿态估计模型中的量 化效应的方法主 要的问题是： [0005]1、 利用反卷积操作增大热力图的操作 会带来大量的计算开销， 这在 计算资源有限 的设备上并不高效。 [0006]2、 依靠经验性 地对热力图解码得到的坐标 ±0.25， 得到的结果并不精确。 [0007]3、 以二维偏移量图的形式来预测关节点坐标的相对偏移量， 不仅会增加较大的计 算量， 而且在低分辨 率输入条件下的估计精度较低。 发明内容 [0008]鉴于现有技术的不足， 本发明旨在于提供一种基于横纵坐标解耦与偏移量修正的 2D人体姿态估计方法， 可以在克服上述方法缺点的前提下消除基于热力图回归的2D人体姿 态估计模型中量 化效应， 从而提升姿态估计的精度。 [0009]为了实现上述目的， 本发明采用的技 术方案如下： [0010]一种基于横纵坐标解耦与偏移量修正的2D人体姿态估计方法， 具有经过预处理后说　明　书 1/6 页 3 CN 114581941 A 3