(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211126226.7 (22)申请日 2022.09.16 (65)同一申请的已公布的文献号 申请公布号 CN 115223023 A (43)申请公布日 2022.10.21 (73)专利权人 杭州得闻天下 数字文化科技有限 公司 地址 311100 浙江省杭州市余杭区良渚街 道莫干山路2 988号1号楼 2-22 (72)发明人 艾得闻　王天杨　张依白　陈松灵　 (74)专利代理 机构 北京兴智翔达知识产权代理 有限公司 1 1768 专利代理师 李泽中 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/774(2022.01)G06T 7/73(2017.01) G06T 7/292(2017.01) (56)对比文件 CN 113762177 A,2021.12.07 CN 113762177 A,2021.12.07 CN 112991458 A,2021.0 6.18 CN 113163175 A,2021.07.23 CN 113516703 A,2021.10.19 CN 113283373 A,2021.08.20 CN 110689008 A,2020.01.14 CN 111429514 A,2020.07.17 CN 112950769 A,2021.0 6.11 CN 112379773 A,2021.02.19 WO 20202 28217 A1,2020.1 1.19 李明磊.图像与视频中的手型分割. 《中国博 士学位论文全文数据库 信息科技 辑》 .2020,第 2020年卷(第02期),第I138- 65页. 刘家祥.基 于深度学习的三维手势估计方 法. 《万方数据库》 .202 2,第1-88页. (续) 审查员 田子茹 (54)发明名称 基于立体视觉和深度神经网络的人体轮廓 估计方法及装置 (57)摘要 本申请提供一种基于立体视觉和深度神经 网络的人体轮廓估计方法及装置， 涉及人工智能 领域， 解决现有人体轮廓估计精度不高的问题。 该方法包括： 获取多个相机对采集区域进行同步 采集得到的多个图像； 采集区域包括目标物体， 图像中包含目标物体； 将多个图像 分别输入到全 卷积神经网络得到每个图像的图像特征； 根据相 机参数将每个图像特征反 投影至三维空间， 得到 每个图像中目标物体的三维空间特征， 对多个图 像中目标物体的三维空间特征进行融合得到该 目标物体的三维特征体； 将融合得到的目标物体 的三维特征体输入到三维卷积网络中， 输出目标物体在三维空间中的位置； 根据目标物体在三维 空间中的位置， 构建目标物体在空间中的骨骼热 图。 [转续页] 权利要求书3页 说明书10页 附图2页 CN 115223023 B 2022.12.20 CN 115223023 B (56)对比文件 林依林 等.基 于级联特 征和图卷积的三维 手部姿态估计算法. 《液晶与显示》 .202 2,第37卷 (第6期),第73 6-745页. Haibo Qiu 等.Cros s View Fusi on for 3D Human Pose Estimati on. 《arXiv: 1909.0120 3v1》 .2019,第1-10页. Tianxu Xu 等.A Review: Po int Cloud- Based 3D Human Jo ints Estimati on. 《sensors》 .2021,第1- 32页.2/2 页 2[接上页] CN 115223023 B1.一种基于立体视觉和深度神经网络的人体轮廓估计方法， 其特征在于， 所述方法包 括： 在采集区域的周围部署多个相机， 不同相机对应不同视角， 所述多个相机360度全覆盖 所述采集区域； 其中， 所述在采集区域的周围部署多个相机包括： 将所述多个相机分别 部署在多个预设位置上， 获取所述多个相机在所述多个预设位置 上采集的多帧图像； 对所述多帧图像进行追踪目标检测得到包 含目标物体的多个目标区域； 根据所述目标物体的预设物理尺寸以及覆盖所述目标物体的至少一个目标区域的像 素尺寸， 确定所述 目标物体的目标物理尺寸， 根据多个所述 目标物体的目标物理尺寸确定 所述多个相机的覆盖面积； 根据所述多个相机的覆盖面积以及所述多个预设位置， 构建目标函数、 相机覆盖面积 重叠约束条件、 以及相机监控角度约束条件； 根据所述目标函数、 相机覆盖面积重叠约束条件、 以及相机监控角度约束条件求解监 控相机布局模型， 得到最优监控相 机布局方案； 其中所述最优监控相 机布局方案用于指示 所述多个相机的最优部署位置； 获取多个相机对采集区域进行同步采集得到的多个图像； 所述采集区域包括目标物 体， 所述图像中包 含所述目标物体； 将所述多个图像分别输入到全卷积神经网络得到每个图像的图像特征， 其中， 所述多 个图像为同步 好的多个相机在同一时刻采集到的； 根据相机参数将每个图像特征反投影至三维空间， 得到每个图像中所述目标物体的三 维空间特征， 对所述多个图像中所述目标物体的三维空间特征进 行融合得到所述目标物体 的三维特 征体； 将融合得到的所述目标物体的三维特征体输入到三维卷积网络中， 输出所述目标物体 在三维空间中的位置； 根据所述目标物体在三维空间中的位置， 构建目标物体在空间中的骨骼热图； 其中， 针对每一个目标物体， 所述根据 所述目标物体在三维空间中的位置， 构建目标物 体在空间中的骨骼热图， 包括： 根据所述目标物体的体素特征点在三维空间中的位置， 对采集到的所述多个图像进行 剪切； 其中剪切后的图像包 含所述目标物体； 将剪切后的多个图像输入到全卷积神经网络， 得到剪切后的图像中所述目标物体的体 素特征， 根据所述 目标物体的体素特征构造三维网格， 其中三维网格由所述 目标物体的体 素特征点的三维特 征点构成； 对不同视角下的所述目标物体的体素特征点的三维特征点进行融合， 将融合后的三维 特征点输入到三维卷积神经网络得到所述目标物体的体素 特征点的精细三维坐标； 根据所述目标物体的体素特征点的精细三维坐标， 构建所述目标物体在空间中的骨骼 热图。 2.根据权利要求1所述的方法， 其特 征在于， 所述体素特征点包括所述目标物体的身体上的多个节点、 脸上的多个节点、 左手的多权　利　要　求　书 1/3 页 2 CN 115223023 B 3