(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221084318 8.0 (22)申请日 2022.07.18 (71)申请人 中山大学·深圳 地址 518107 广东省深圳市光明新区光明 街道华夏路和润家园3 栋501 申请人 中山大学 (72)发明人 郭裕兰　陈铭林　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 梁嘉琦 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/73(2017.01) G06T 7/90(2017.01) G06V 10/46(2022.01)G06V 10/75(2022.01) (54)发明名称 基于多球面场景表达的新视角图像生成方 法、 装置和设备 (57)摘要 本发明公开了基于多球面场景表达的新视 角图像生成方法、 装置和设备， 方法包括： 首先采 集场景图像集合； 接着对所述场景图像集合中所 有图像进行图像位姿估计， 获取所有图像的位姿 信息； 然后根据所述场景图像集合中各个图像的 位姿信息， 建模得到多球面场景模型； 最后根据 所述多球面场景模型， 生 成任意新视角下的目标 图像。 本发 明提高了图像生 成效率和图像生成质 量， 可广泛应用于图像处 理技术领域。 权利要求书2页 说明书10页 附图1页 CN 115205463 A 2022.10.18 CN 115205463 A 1.基于多球面场景表达的新视角图像生成方法， 其特 征在于， 包括： 采集场景图像集 合； 对所述场景图像集 合中所有图像进行图像位姿估计， 获取 所有图像的位姿信息； 根据所述场景图像集 合中各个图像的位姿信息， 建模得到多球面场景模型； 根据所述多球面场景模型， 生成任意 新视角下的目标图像。 2.根据权利要求1所述的基于多球面场景表达的新视角图像生成方法， 其特征在于， 所 述采集场景图像集 合， 包括： 根据预设的运动轨迹， 通过相机拍摄目标场景的场景视频； 或者， 以围绕目标物体运动 的运动轨 迹， 通过相机拍摄目标物体周边的目标场景的场景视频； 按照预设的时间 间隔， 从所述场景视频中逐帧提取图像， 得到场景图像集 合。 3.根据权利要求1所述的基于多球面场景表达的新视角图像生成方法， 其特征在于， 所 述对所述场景图像集 合中所有图像进行图像位姿估计， 获取 所有图像的位姿信息， 包括： 提取所述场景图像集 合中各个图像的特 征点以及各个特 征点的描述子； 根据各个特 征点的描述子， 计算任意两个特 征点之间的匹配关系； 根据所述任意两个特 征点之间的匹配关系， 计算各个图像之间的位姿关系； 通过光束法平差对所有图像的位姿信息进行全局优化， 得到每个图像的位姿信息， 进 而得到带位姿图像集 合。 4.根据权利要求1所述的基于多球面场景表达的新视角图像生成方法， 其特征在于， 所 述根据所述场景图像集 合中各个图像的位姿信息， 建模得到多球面场景模型， 包括： 根据针孔相机模型成像原理， 以拍摄相机的位置作为射线起点， 以指向成像平面对应 像素位置的方向作为 射线方向， 生成各个图像中每 个像素点对应的射线； 根据所述每个像素点对应的射线， 获取每条射线上任意采样点的点属性信息； 其中， 所 述点属性信息包括采样点的密度和采样点的颜色； 根据每条射线的点属性信息， 计算各 条射线的射线颜色值； 根据各条射线的射线颜色值以及各条射线对应的图像像素值， 进行目标函数的优化， 并根据优化后的目标函数构建得到多球面场景模型。 5.根据权利要求4所述的基于多球面场景表达的新视角图像生成方法， 其特征在于， 所 述根据所述每 个像素点对应的射线， 获取每条射线上任意采样点的点属性信息， 包括： 将三维场景表示为多个具有相同球心但不同半径的球面， 并配置所述三维场景的最大 范围以及各个球面的半径值； 其中， 每个球面使用一张二 维图像来表示； 所述二维图像中每 个像素存储有密度和颜色球谐函数系 数； 其中， 所述颜色球谐函数用于计算各个像素点的 颜色值； 从所述各条射线上均匀采样多个采样点， 并确定各个采样点在对应两个球面上的最近 邻点； 通过线性插值法获取 所述最近邻点的点属性信息； 根据所述 最近邻点的点属性信息， 计算所述采样点的点属性信息； 将各个二维图像叠加后形成一个三维体素， 进而确定每条射线上任意采样点的点属性 信息。 6.根据权利要求4所述的基于多球面场景表达的新视角图像生成方法， 其特征在于， 所权　利　要　求　书 1/2 页 2 CN 115205463 A 2述根据每条射线的点属 性信息， 计算各条射线的射线颜色值这一步骤中， 所述射线颜色值 的计算公式为： 其中， 表示射线r的颜色值； Ti表示累加透过率； σi表示采样点i的密度； δi表示是相 邻采样点之间的距离； ci表示采样点 i的颜色； Ns表示采样点的总个数。 7.根据权利要求1所述的基于多球面场景表达的新视角图像生成方法， 其特征在于， 所 述根据所述多球面场景模型， 生成任意 新视角下的目标图像， 包括： 给定新视角下的相机位姿， 计算 新视角图像中每 个像素对应的射线； 在射线上进行采样， 获取射线上每 个采样点的属性， 然后法计算该射线的颜色值； 将射线的颜色值赋予对应 像素上， 最终形成新视角下图像。 8.基于多球面场景表达的新视角图像生成装置， 其特 征在于， 包括： 第一模块， 用于采集场景图像集 合； 第二模块， 用于对所述场景图像集合中所有图像进行图像位姿估计， 获取所有图像的 位姿信息； 第三模块， 用于根据所述场景图像集合中各个图像的位姿信息， 建模得到多球面场景 模型； 第四模块， 用于根据所述多球面场景模型， 生成任意 新视角下的目标图像。 9.一种电子设备， 其特 征在于， 包括处 理器以及存 储器； 所述存储器用于存 储程序； 所述处理器执行所述程序实现如权利要求1至7中任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述存储介质存储有程序， 所述程序被处 理器执行实现如权利要求1至7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115205463 A 3