(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210870173.3 (22)申请日 2022.07.22 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 崔林艳　赖嵩　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 专利代理师 安丽　顾炜 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/26(2022.01) G06V 10/56(2022.01) G06V 10/82(2022.01) (54)发明名称 一种稀疏视角输入下的快速辐射场重建方 法 (57)摘要 本发明涉及一种稀疏视角输入下的快速辐 射场重建方法， 通过计算轮廓图的边缘像素在空 间中的位置， 计算得到待重建目标的轴对齐包围 盒； 对轴对齐包围盒进行体素化， 同时为每个体 素顶点分配待优化的体素置信度和可学习的体 素特征向量作为该局部区域的三维表 示； 每个体 素顶点的体素置信度， 通过将体素顶 点投影到各 个输入图像的轮廓图中进行可视视角数的计算， 初始化体素置信度； 对输入RGB图像进行体绘制， 通过重建光度误差损失和全微分误差损失对体 素顶点的体素置信度和体素特征向量 以及多层 感知机进行优化， 得到了场景的辐射场表示； 对 于优化过程， 通过周期性的进行体素裁剪来不断 精细化辐射场的几何估计， 得到更加精细的辐射 场表示。 权利要求书3页 说明书8页 附图1页 CN 115170741 A 2022.10.11 CN 115170741 A 1.一种稀疏视角输入下的快速辐射场重建方法， 其特 征在于， 包括以下步骤： (1)将稀疏视角输入 的RGB图像进行前景背景分割， 得到每张输入图像的轮廓图， 通过 计算所述轮廓图的边 缘像素在空间中的位置， 得到一个待重建目标的轴对齐包围盒； (2)对步骤(1)中的轴对齐包围盒进行体素化， 将包围盒划分成大小相等的体素， 同时 为每个体素顶点分配一个待优化的体素置信度和 一个体素特征向量作为体素的局部三维 场景属性表示， 体素置信度用于计算空间中任意点中的待查询的采样点的体密度从而得到 场景的几何表示， 体素特征向量与一个共享权重的多层感知机用于计算空间中任意点中的 待查询的采样点的颜色辐射， 从而组成场景的外观 表示； (3)对步骤(2)中的体素置信度进行初始化， 通过将体素顶点投影到每张输入图像的轮 廓图中进行该体素顶点的可视视角数， 即该体素顶点被输入视角观察到的数量的计算， 再 依据可视视角数初始化该体素所对应的体素置信度， 得到体素顶点的体素置信度初始值； 通过引入体素置信度初始化， 加速辐射场的重 建， 同时也避免空白区域内浮云的产生， 提升 辐射场的重建精度； (4)对输入的RGB图像进行逐像素的体绘制， 体绘制中每个像素所对应光线上每个查询 点所需要的体密度， 通过相邻体素顶点的体素置信度初始值进行插值计算； 光线上每个查 询点的颜色辐 射首先通过相邻体素顶点的体素特征向量进行插值得到查询点对应的特征 向量， 再将查询点对应的特征向量输入多层感知机解码得到查询点所需的颜色辐 射， 再对 该像素所对应光线上所有的查询点的颜色辐 射进行以体密度为权重的累积得到该像素的 颜色绘制； 针对图像中的每个像素都进行上述绘制过程， 得到绘制的RGB图像， 通过最小化 绘制的RGB图像与稀疏视角输入图像的重建光度误差损失和全微分损失迭代优化步骤(2) 中每个体素顶点的体素置信度和体素 特征向量以及共享权 重的多层感知机； (5)在步骤(4)的迭代优化过程中， 通过周期性的进行体素裁剪不断精细化辐射场的几 何估计， 同时避免多余的辐射场查询， 提升辐射场的重 建效率， 最终得到表示场景几何的体 素置信度估计和表示场景外观的体素特征向量和多层感知机， 完成稀疏视角输入下的辐射 场的重建。 2.根据权利要求1所述的一种 稀疏视角输入下的快速辐射场重建方法， 其特征在于： 所 述步骤(1)具体实现如下： (11)针对输入的RGB图像I＝{I1,…,IN}， 使用阈值分割的方法对前景和背景进行分割， 得到对应的轮廓图S＝{S1,…,SN}， 同时初始化一个空集P， 作为轮廓图边缘像素点在空间中 坐标点的集 合； (12)对于每一张RGB图所提取的轮廓图Sn， 提取边缘M1个边缘像素点 对于 每一个边缘像素点， 通过该轮廓Sn对应的相机视角的相机光心发射一条通过该边缘像素点 的光线r， 在光线r上均匀进行采样， 得到M2个采样点 对于， 将每一个采样点 投影到剩下的N ‑1张轮廓图中， 若该采样点 能位于所有剩余的轮廓图内， 则将该采样点 添加到集 合P中； (13)统计集合P中的所有采样点在各个方向上坐标的极大值和极小值作为轴对齐包围 盒八个顶点的坐标值， 得到待重建目标的轴对齐包围盒。 3.根据权利要求1所述的一种 稀疏视角输入下的快速辐射场重建方法， 其特征在于： 所权　利　要　求　书 1/3 页 2 CN 115170741 A 2述步骤(2)具体实现如下： 为了实现了对空间中任意点中的待查询的采样点进行体密度和颜色辐射的查询， 采用 三线性插值的方法实现了连续的辐射场表示， 计算方法如下： σ ＝g(ReLU(γ1,…,γ8)) f＝g(f1,…,f8) 其中， σ 表示待 查询的采样点的体密度， f表示待 查询的采样点对应的特征向量， γ1,…, γ8和f1,…,f8分别表示待查询的采样点的八个最近邻的体素所存储的体素置信度和 体素 特征向量， ReLU表 示激活函数， g表 示三线性插值函数； 对于待查询的采样点的颜色辐射， 采 用一个含有四个隐藏层的64维多层感知机进行回归： c＝MLP(h(f),h(d) h(f)＝[si n( π f),cos( π f), …,sin(2L‑1π f),cos(2L‑1π f)] h(d)＝[si n( π d),cos( π d), …,sin(2L‑1π d),cos(2L‑1π d)] 其中， c表示待查询的采样点的颜色辐射， MLP表示多层感知机， d表示待查询的采样点 的被观察方向， h表示位置编码函数， 用于将输入映射到高维空间， 以此来增强多层感知机 捕捉高频细节的能力， L表示 位置编码函数h所需要的超参数。 4.根据权利要求1所述的一种 稀疏视角输入下的快速辐射场重建方法， 其特征在于： 所 述步骤(3)具体实现如下： 对于每一个体素顶点V＝{V1,…,VK}， 将其投影到步骤(1)所获得的输入数量为N的轮廓 图S＝{S1,…,SN}中， 统计位于轮廓图内部的数量M， 则该体素顶点的体素置信度初始值 γinit的计算方式为： 通过上述初始化， 将不满足轮廓 一致性的体素去除， 为重建提供一个 紧凑的初始形状， 从而避免了在大部分空白区域内的辐射场查询， 加速 了辐射场的重建。 5.根据权利要求1所述的一种 稀疏视角输入下的快速辐射场重建方法， 其特征在于： 所 述步骤(4)中对输入RGB图像进行体绘制， 通过最小化绘制的RGB图像与稀疏视角输入图像 的重建光度误差损失和全微分误差损失对体素顶点的体素置信度和体素特征向量以及多 层感知机进行优化， 具体实现如下： 对输入的RGB图像进行体绘制， 首先通过最小化绘制图像与稀疏视角输入图像的重建 光度误差损失Lphoto对辐射场表示进行优化， 优化目标为： 其中， R表示一组随机在图像轮廓内采样的光线， r表示一条随机采样的光线， C(r)表示 光线r所对应像素的颜色值， 表示进行体 绘制后预测的像素颜色值， 通过在一条光线上 均匀采样点并以每个采样点的体密度为权重累积所有采样点的颜色辐 射绘制该像素的颜 色： 权　利　要　求　书 2/3 页 3 CN 115170741 A 3