(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211296877.0 (22)申请日 2022.10.21 (71)申请人 苏州轻棹科技有限公司 地址 215100 江苏省苏州市相城区高铁新 城青龙港路66号领寓商务广场1幢21 层2101-2108室 (72)发明人 陈东　 (74)专利代理 机构 北京慧诚智道知识产权代理 事务所 (特殊普通合伙) 11539 专利代理师 戴燕 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/26(2022.01) G06V 10/75(2022.01)G06V 10/762(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于参考图像重组目标点云的处理方 法和装置 (57)摘要 本发明实施例涉及一种基于参考图像重组 目标点云的处理方法和装置， 所述方法包括： 获 取第一点云、 第一参考图像； 进行点云分割得到 多个目标点 云； 进行目标语义分割得到多个目标 图像； 对目标点云与目标图像进行相关度估计； 将大于相关度阈值的相关度组成相关度集合； 将 集合中最大相关度对应的目标图像作为匹配图 像； 将匹配同一个目标图像的目标点云聚为第一 目标点云集合； 统计第一目标点云集合的目标点 云数量； 将目标点云数量大于1的第一目标点云 集合记为第二目标点云集合； 对第二目标点云集 合进行目标点云重组。 通过本发 明可基于参考图 像对被过度分割的目标点云进行融合重组， 达到 减少过度分割的目的。 权利要求书2页 说明书10页 附图2页 CN 115471808 A 2022.12.13 CN 115471808 A 1.一种基于参 考图像重组目标点云的处 理方法， 其特 征在于， 所述方法包括： 获取第一 点云和对应的第一 参考图像； 对所述第一 点云进行点云 分割处理得到多个第一目标点云； 对所述第一 参考图像进行目标语义分割处 理得到多个第一目标图像； 对所述第一目标点云与各个所述第一目标图像的相关度进行估计生成对应的第一相 关度； 并将大于预设的相关度阈值的所述第一相关度提取出来组成对应的第一相关度集 合； 并将所述第一相关度集合中最大相关度对应的所述第一目标图像作为当前所述第一目 标点云的匹配图像； 将所述匹配图像为同一个所述第一目标图像的一个或多个所述第一目标点云聚为一 类组成对应的第一目标点云集合； 并对各个所述第一目标点云集合的所述第一目标点云的 数量进行统计生成对应的第一数量； 并将所述第一数量大于1的所述第一 目标点云集合记 为对应的第二目标点云集 合； 对各个所述第二目标点云集 合进行目标点云重组 处理。 2.根据权利要求1所述的基于参考图像重组目标点云的处理方法， 其特征在于， 所述对 所述第一目标点云与各个所述第一目标图像的相关度进行估计生成对应的第一相关度， 具 体包括： 对所述第一目标点云各点的三维点云坐标做从点云坐标到像素坐标的坐标转换处理 得到对应的第一点云像素坐标， 并由得到的所有 所述第一点云像素坐标 组成对应的第一点 云像素坐标集 合； 在所述第一参考图像上根据 各个所述第 一点云像素坐标集合进行像素点描计， 并对当 前所述第一点云像素坐标集合的像素点覆盖区域进行凸包绘制处理生成对应的第一凸包； 并对当前所述第一凸包与各个所述第一目标图像的重合度进行计算生成对应的第一重合 度； 并将所述第一重合度作为对应的所述第一相关度。 3.根据权利要求1所述的基于参考图像重组目标点云的处理方法， 其特征在于， 所述对 各个所述第二目标点云集 合进行目标点云重组 处理， 具体包括： 步骤31， 在当前所述第二目标点云集合中任选一个所述第一目标点云作为当前点云； 并将其他所述第一目标点云都标记为 其他点云； 步骤32， 对各个所述其他点云进行遍历； 遍历时， 将当前遍历的所述其他点云作为对应 的当前其他点云； 对所述当前点云的各点与所述当前其他点云的各点的点间距进 行计算生 成对应的第一点间距； 从得到的所有所述第一点间距中取最小值作为对应的第一最短距 离； 若所述第一最短距离小于预设的最短距离阈值则将所述当前其他点云标记为与所述当 前点云对应的匹配点云； 遍历结束时， 对所述当前点云对应的所述匹配点云的数量进行统 计生成对应的第二数量； 步骤33， 对所述第二数量是否大于0进行判断； 若所述第二数量为0， 则将所述当前点云 标记为孤立点云； 若 所述第二数量大于0， 则对所述当前点云和对应的一个或多个所述匹配 点云进行点云融合并将得到的融合 点云作为 新的所述第一目标点云； 步骤34， 对所述第二目标点云集合中的所述第 一目标点云的数量重新统计生成对应的 第三数量； 并对所述第二目标点云集合中的所述孤立点云的数量进行 统计生成对应的第四 数量；权　利　要　求　书 1/2 页 2 CN 115471808 A 2步骤35， 当所述第三数量不为1且所述第四数量不等于(第三数量 ‑1)时， 返回步骤31； 当所述第三数量 为1或所述第四数量 等于(第三数量 ‑1)时， 结束所述目标点云重组 处理。 4.一种用于执行权利要求1 ‑3任一项所述的基于参考图像重组目标点云的处理方法的 装置， 其特征在于， 所述装置包括： 获取模块、 点云预处理模块、 图像预处理模块、 相关度处 理模块和目标点云重组模块； 所述获取模块用于获取第一 点云和对应的第一 参考图像； 所述点云预处 理模块用于对所述第一 点云进行点云 分割处理得到多个第一目标点云； 所述图像预处理模块用于对所述第一参考图像进行目标语义分割处理得到多个第一 目标图像； 所述相关度处理模块用于对所述第一目标点云与各个所述第一目标图像的相关度进 行估计生成对应的第一相关度； 并将大于预设的相关度阈值的所述第一相关度提取出来组 成对应的第一相关度集合； 并将所述第一相关度集合中最大相关度对应的所述第一目标图 像作为当前 所述第一目标点云的匹配图像； 所述目标点云重组模块用于将所述匹配图像为同一个所述第一目标图像的一个或多 个所述第一目标点云聚为一类组成对应的第一目标点云集合； 并对各个所述第一目标点云 集合的所述第一目标点云的数量进行统计生成对应的第一数量； 并将所述第一数量大于1 的所述第一目标点云集合记为对应的第二目标点云集合； 并对各个所述第二目标点云集合 进行目标点云重组 处理。 5.一种电子设备， 其特 征在于， 包括： 存 储器、 处理器和收发器； 所述处理器用于与所述存储器耦合， 读取并执行所述存储器中的指令， 以实现权利要 求1‑3任一项所述的方法步骤； 所述收发器与所述处 理器耦合， 由所述处 理器控制所述收发器进行消息收发。 6.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机指 令， 当所述计算机指 令被计算机执行时， 使 得所述计算机执行权利要求 1‑3任一项所述的方 法的指令 。权　利　要　求　书 2/2 页 3 CN 115471808 A 3