(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211135777.X (22)申请日 2022.09.19 (71)申请人 上海方联技术服务有限公司 地址 202162 上海市崇明区陈家镇层海路 888号3号楼1968室(上海智慧岛数据 产业园) (72)发明人 苏星　周筱璇　李路平　 (74)专利代理 机构 北京知果之信知识产权代理 有限公司 1 1541 专利代理师 苏利 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/10(2017.01) G06V 10/26(2022.01) G06V 10/75(2022.01)G06V 10/774(2022.01) (54)发明名称 MEP设备的三维建模 方法、 装置、 存储介质及 电子装置 (57)摘要 本申请公开了一种MEP设备的三维建模方 法、 装置、 存储介质及电子装置。 该MEP设备的三 维建模方法包括： 获取MEP设备的二维图像训练 集； 将待建模图像输入使用所述二维图像训练集 训练的语义分割模型， 预测得到掩码图； 对待建 模图像进行深度估计， 生成初始点云模型； 通过 融合掩码图与初始点云模型完成三维空间的语 义标注， 形成三维语义点云模型。 本申请解决了 数据量庞大， 冗余高、 噪声多， 且存储和处理成本 高， 以及计算量庞大、 计算成本高、 容易丢失色彩 信息， 且数据标注工作量大和训练效果差的技术 问题。 权利要求书2页 说明书8页 附图3页 CN 115457208 A 2022.12.09 CN 115457208 A 1.一种MEP设备的三维建模方法， 其特 征在于， 包括： 获取MEP设备的二维图像训练集； 将待建模图像输入使用所述 二维图像训练集训练的语义分割模型， 预测得到掩码图； 对待建模图像进行深度估计， 生成初始点云模型； 通过融合掩码图与初始点云模型完成三维空间的语义标注， 形成三维语义 点云模型。 2.根据权利要求1所述的三维建模方法， 其特 征在于， 获取二维图像训练集包括： 接收采用单目相机拍摄得到的M EP设备视频； 在MEP设备视频中抽取 得到关键帧； 对所有关键帧进行去畸变处 理， 得到若干二维图像； 给若干二维图像进行 标注， 得到二维图像训练集。 3.根据权利要求2所述的三维建模方法， 其特征在于， 给若干二维图像进行标注， 得到 二维图像训练集包括： 通过labelme 软件， 使用显著标注和全局标注相结合的方式对若干二维图像进行 标注； 将标注后的二维图像存为JSON文件； 将JSON文件转换为VOC格式的二维图像训练集。 4.根据权利要求1所述的三维建模方法， 其特 征在于， 所述语义分割模型的训练包括： 将二维图像训练集分为训练集和验证集； 将训练集输入Mobi leNetv2和De eplabV3+相结合的语义分割模型中进行训练； 将验证集输入Mobi leNetv2和De eplabV3+相结合的语义分割模型中进行验证。 5.根据权利要求1所述的三维建模方法， 其特征在于， 对待建模图像进行深度估计， 生 成初始点云模型包括： 将取帧采集到的待建模图像使用SfM算法匹配特征点， 进行点云的稀疏重建并计算出 相机的位姿； 基于SfM算法的计算结果， 使用MVS算法对图像中的大量像素进行匹配、 重建， 得到初始 点云模型。 6.根据权利要求1所述的三维建模方法， 其特征在于， 通过融合掩码图与初始点云模型 完成三维空间的语义标注， 形成三维语义 点云模型包括： 将带有语义标签的掩码图与初始点云模型构建 关联关系， 以寻找对应 像素点； 对时空不一致的语义标签通过贝叶斯概率更新方法进行整合， 为同一个图像的像素点 确定唯一标签； 将像素点的唯一标签映射到其对应的初始点云模型的点上， 生成三维语义 点云模型。 7.根据权利要求6所述的三维建模方法， 其特征在于， 将带有语义标签的掩码图与初始 点云模型构建 关联关系， 以寻找对应 像素点包括： 通过文件信息将每张掩码图与待建模图像编号； 根据待建模图像关联的图像投影姿态， 计算掩码图的投影中心， 还原出相机参数； 对每个点， 根据其原投影图像编号和相机编号找到对应掩码图； 根据三维点和 投影信息， 找到对应掩码图中的对应像素点， 完成一个点到多张照片多 个像素点的映射。 8.一种MEP设备的三维建模 装置， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 115457208 A 2获取模块， 用于获取M EP设备的二维图像训练集； 训练预测模块， 用于将待建模图像输入使用所述二维图像训练集训练的语义分割模 型， 预测得到掩码图； 深度估计模块， 用于对待建模图像进行深度估计， 生成初始点云模型； 融合模块， 用于通过融合掩码图与初始点云模型完成三维空间的语义标注， 形成三维 语义点云模型。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 程序， 其中， 所述计算机程序被设置为运行时执行所述权利要求 1至7中任一项 所述的MEP设 备的三维建模方法。 10.一种电子装置， 包括： 存储器和处理器， 其特征在于， 所述存储器中存储有计算机程 序， 其中， 所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7中任一项所 述的MEP设备的三维建模方法。权　利　要　求　书 2/2 页 3 CN 115457208 A 3