(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210868418.9 (22)申请日 2022.07.22 (71)申请人 北京微视威信息科技有限公司 地址 100089 北京市海淀区紫竹院路81号 院3号楼6层6 08室 (72)发明人 米杰　国计武　董立龙　 (74)专利代理 机构 北京博雅睿泉专利代理事务 所(特殊普通 合伙) 11442 专利代理师 马铁良 (51)Int.Cl. G06T 17/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 自由视点合 成的实时绘制方法、 电子 设备及 可读存储介质 (57)摘要 本发明公开了一种自由视点合成的实时绘 制方法、 电子设备及可读 存储介质， 该方法包括： 接收观察目标场景的目标视点； 获取预存的目标 场景在参考视点上的第一绘制数据； 根据目标视 点与参考视点间的相机坐标转换关系， 将第一绘 制数据转换为目标场景在目标视点上的第二绘 制数据； 绘制数据包括： 表示在所对应视点的观 察方向上的颜色变化量的N个基函数值， 以及所 对应视点的一组空间图层中每一空间图层的图 像数据， 空间图层的图像数据包括空间图层中每 一空间点的图像数据， 空间点的图像数据包括透 明度、 基础颜色值和与N个基函数一一对应的N个 颜色系数； 根据所述第二绘制数据绘制出对应于 所述目标视点的目标图像； 以及， 输出所述目标 图像。 权利要求书2页 说明书12页 附图4页 CN 115512038 A 2022.12.23 CN 115512038 A 1.一种自由视点 合成的实时绘制方法， 包括： 接收观察目标场景的目标视点； 获取预存的所述目标场景在参 考视点上的第一绘制数据； 根据所述目标视点与参考视点间的相机坐标转换关系， 将所述第 一绘制数据转换为所 述目标场景在所述目标视点上 的第二绘制数据； 其中， 绘制数据包括： 所对应视点的N个基 函数值， 以及所对应视点的一组空间图层中每一空间图层的图像数据， 所述基函数值表示 在所对应视点的观察方向上的颜色变化量， 所述一组空间图层沿着所对应视点的观察方向 按不同深度值平行设置， 所述空间图层的图像数据包括所述空间图层中每一空间点的图像 数据， 所述空间点的图像数据包括透明度、 基础 颜色值和N个颜色系数， 所述N个颜色系数与 N个基函数一 一对应； 根据所述第二绘制数据绘制出对应于所述目标视点的目标图像； 输出所述目标图像。 2.根据权利要求1所述的方法， 其中， 所述根据所述第 二绘制数据绘制对应于所述目标 视点的目标图像， 包括： 根据所述第二绘制数据， 按照设定的合成操作绘制对应于所述目标视点的目标图像； 其中， 所述 合成操作表示 为： 其中， C(w,h)代表目标图像的像素点(w,h)的颜色值， D代表所述目标视点的第二组空 间图层的图层数目， a(d,w,h)代表所述第二组空间图层中第d个空间图层的空间点(w,h)的透 明度， a(i,w,h)代表所述第二组空间图层中第i个空间图层的空间点(w,h)的透明度， c(d,w,h)代 表所述第d个空间图层的空间点(w,h)的颜色值， 第d个空间图层 对应的深度值随着d 的增大 而减小； 颜色值c(d,w,h)由目标视点的N个基函数、 第d个空间图层的空间点(w,h)的基础颜色 值和N个颜色系数确定 。 3.根据权利要求2所述的方法， 其中， 所述第d个空间图层的空间点(w,h)的颜色值 c(d,w,h)表示为： 其中， Hn代表所述目标视点的第n个基函数， 代表所述第d个空间图层的空间点 (w,h)的基础颜色值， 代表所述第d个空间图层的空间点(w,h)的第n个颜色系数。 4.根据权利要求1所述的方法， 其中， 所述空间点的图像数据为与观察方向无关的数 据。 5.根据权利要求1至4中任一项所述的方法， 其中， 所述第一绘制数据中每一空间点的权　利　要　求　书 1/2 页 2 CN 115512038 A 2图像数据通过预设的第一模型获得， 所述第一绘制数据的N个基函数值通过预设的第二模 型获得； 在通过所述第一模型获得所述第一绘制数据中任一空间点的图像数据时， 所述第 一模型的输入信息包括该 空间点的位置坐标和对应该 空间点的第一场景特征； 在通过所述 第二模型获得所述第一绘制数据的N个基函数值时， 所述第二模型 的输入信息包括所述参 考视点的观察方向和对应所述观察方向的第二场景 特征。 6.根据权利要求5所述的方法， 其中， 第一绘制数据中任一空间点对应的第一场景特 征， 按照设定的融合方式融合多帧第一图像的对应于该 空间点的第一图像特征得到； 其中， 所述多帧第一图像为沿多个视点观察目标场景得到的已知图像， 所述多帧第一图像与所述 多个视点 一一对应， 所述多个视点包括所述 参考视点； 所述第二场景特征按照所述融合方式融合所述多帧第一图像的对应于所述参考视点 的观察方向的第二图像特 征得到。 7.根据权利要求5所述的方法， 其中， 所述第 一模型和所述第 二模型由训练样本集合中 的训练样本训练得到， 所述训练样本集 合包括对应不同场景的训练样本 。 8.根据权利要求5所述的方法， 其中， 所述第一模型为6层的多层感知机结构， 和/或， 所 述第二模型为两层MLP网络结构。 9.一种电子设备， 包括存储器和处理器， 所述存储器用于存储可执行的计算机程序； 处 理器， 用于根据所述计算机程序的控制运行所述电子设备， 以执行根据权利要求1至8 中任 一项所述的实时绘制方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质上存储计算机程序， 所述计算 机程序在被处 理器执行时实现如权利要求1至8中任一项所述的实时绘制方法。权　利　要　求　书 2/2 页 3 CN 115512038 A 3