本发明涉及计算机图形学领域,特别涉及一种基于压缩符号距离场的三维重建方法、系统、设备和介质。
背景技术:
1、在计算机图形学和计算机视觉领域,实现逼真的新视角合成(novel viewsynthesis,nvs)和精确的几何重构一直是长期的关键目标。3d高斯喷溅(3dgaussiansplatting,3dgs)作为一种替代隐式表示法和特征网格基表示法的方法,在nvs中因其能够实时产生高分辨率的逼真视图而显得尤为引人注目。3dgs的发展迅速,已经在抗锯齿渲染、材料建模、动态场景重构和可动画化头像创建等领域得到了广泛的应用。然而,由于3d高斯体素模型在完整角度辐射上的设计与表面的薄层特性相冲突,它在捕获复杂几何结构上有所不足,导致3dgs难以在无限边界场景中实现准确的几何重构,致使其在重建大规模场景时精确度欠佳。因此,需要提供一种基于压缩符号距离场的三维重建方法、系统、设备和介质。
技术实现思路
1、本发明提供一种基于压缩符号距离场的三维重建方法。改善了现有技术实现大规模场景重建时精确度不高的问题。
2、本发明提供的一种基于压缩符号距离场的三维重建方法,包括:获取待重建场景的不同视角图像及对应视角的相机位姿,生成三维点云;对所述三维点云进行辐射场建模和可微分渲染处理,得到辐射场;其中,所述辐射场中包括多个二维高斯点,每个二维高斯点对应一个点云;从所述辐射场中分别提取各个二维高斯点的参数,构建对应的面元;基于高斯包围盒优化算法和动态规划的深度扭曲反向传播算法,对各个面元进行性能优化和深度调整,得到优化后的面元;基于压缩符号距离场,从所有优化后的面元中提取其中的三维网格模型,并依据提取的所有三维网格模型构建对应的三维场景。
3、于本发明一实施例中,所述对所述三维点云进行辐射场建模和可微分渲染处理,得到辐射场,包括:对所述三维点云进行辐射场建模,生成初始的辐射场;其中,初始的所述辐射场包括多个二维高斯点,每个二维高斯点对应一个点云;初始化各个二维高斯点的参数,并基于可微分渲染法,对各个二维高斯点的参数进行调整,得到优化后的辐射场。
4、于本发明一实施例中,所述从所述辐射场中分别提取各个二维高斯点的参数,构建对应的面元,包括:从所述辐射场中提取各个二维高斯点的参数,构建对应的初始的面元;对各个初始的面元进行透视校正和渲染处理,得到最终的面元。
5、于本发明一实施例中,所述对各个初始的面元进行透视校正和渲染处理,得到最终的面元,包括:对各个初始的面元进行透视投影和校正处理,得到校正后的面元;对各个校正后的面元基于光线-椭圆相交法,调整面元的坐标,得到调整后的面元;对各个调整后的面元进行反走样处理,得到反走样后的面元;对各个反走样后的面元进行光栅化处理,得到最终的面元。
6、于本发明一实施例中,所述基于高斯包围盒优化算法和动态规划的深度扭曲反向传播算法,对各个面元进行性能优化和深度调整,得到优化后的面元,包括:基于各个面元的不透明度,计算各个面元的高斯包围盒的半径;初始化各个面元的深度和权重,计算各个面元的深度损失;依据各个深度损失,将对应面元的深度和权重进行优化,得到对应的优化后的面元。
7、于本发明一实施例中,所述高斯包围盒的半径为其中,α为不透明度,r为高斯包围盒的半径。
8、于本发明一实施例中,所述基于压缩符号距离场,从所有优化后的面元中提取其中的三维网格模型,并依据提取的所有三维网格模型构建对应的三维场景,包括:依据预设的网格点在不同优化后的面元中的深度,确定网格点的截断符号距离,生成符号距离场;使用行进立方体算法从所述符号距离场中提取等值面,得到各个优化后的面元对应的三维网格模型;将所有的三维网格模型合并为整体三维网格模型,根据所述整体三维网格模型构建对应的三维场景。
9、于本发明一实施例中,所述依据预设的网格点在不同优化后的面元中的深度,确定网格点的截断符号距离,生成符号距离场,包括:对预设的所有网格点进行归一化处理;对于每一个网格点:通过逆变换将网格点映射至世界坐标系;依据网格点在不同优化后的面元中的深度,确定网格点的截断符号距离;汇总每一个网格点的截断符号距离,得到符号距离场。
10、于本发明一实施例中,还提供了一种基于压缩符号距离场的三维重建系统,所述系统包括:数据获取模块,用于获取待重建场景的不同视角图像及对应视角的相机位姿,生成三维点云;辐射场构建模块,用于对所述三维点云进行辐射场建模和可微分渲染处理,得到辐射场;其中,所述辐射场中包括多个二维高斯点,每个二维高斯点对应一个点云;面元建模模块,用于从所述辐射场中分别提取各个二维高斯点的参数,构建对应的面元;优化模块,用于基于高斯包围盒优化算法和动态规划的深度扭曲反向传播算法,对各个面元进行性能优化和深度调整,得到优化后的面元;重建模块,用于基于压缩符号距离场,从所有优化后的面元中提取其中的三维网格模型,并依据提取的所有三维网格模型构建对应的三维场景。
11、于本发明一实施例中,还提供一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现上述任一项所述的基于压缩符号距离场的三维重建方法。
12、于本发明一实施例中,还提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被计算机的处理器执行时,使计算机执行上述任一项所述的基于压缩符号距离场的三维重建方法。
13、本发明提出的一种基于压缩符号距离场的三维重建方法,通过获取待重建场景的多视角图像和对应的相机位姿,生成三维点云,并通过这些点云构建辐射场,在辐射场中的每个二维高斯点可以表征对应点云的位置和属性信息,由此得到对应的面元。这些面元通过高斯包围盒优化和动态规划的深度扭曲反向传播算法进行性能优化和深度调整,不但可以实现无边界场景重建,还能确保面元可以更加贴合真实图像的物理属性和视觉特征。然后通过压缩符号距离场方法,根据这些优化后的面元,实现三维场景的重建。通过这种方式提升了三维场景重建的精确度和视觉质量,可以实现大范围或无边界场景的三维重建。
1.一种基于压缩符号距离场的三维重建方法,其特征在于,所述方法包括:
2.根据权利要求1所述的基于压缩符号距离场的三维重建方法,其特征在于,所述对所述三维点云进行辐射场建模和可微分渲染处理,得到辐射场,包括:
3.根据权利要求1所述的基于压缩符号距离场的三维重建方法,其特征在于,所述从所述辐射场中分别提取各个二维高斯点的参数,构建对应的面元,包括:
4.根据权利要求3所述的基于压缩符号距离场的三维重建方法,其特征在于,所述对各个初始的面元进行透视校正和渲染处理,得到最终的面元,包括:
5.根据权利要求1所述的基于压缩符号距离场的三维重建方法,其特征在于,所述基于高斯包围盒优化算法和动态规划的深度扭曲反向传播算法,对各个面元进行性能优化和深度调整,得到优化后的面元,包括:
6.根据权利要求5所述的基于压缩符号距离场的三维重建方法,其特征在于,所述高斯包围盒的半径为其中,α为不透明度,r为高斯包围盒的半径。
7.根据权利要求1所述的基于压缩符号距离场的三维重建方法,其特征在于,所述基于压缩符号距离场,从所有优化后的面元中提取其中的三维网格模型,并依据提取的所有三维网格模型构建对应的三维场景,包括:
8.根据权利要求7所述的基于压缩符号距离场的三维重建方法,其特征在于,所述依据预设的网格点在不同优化后的面元中的深度,确定网格点的截断符号距离,生成符号距离场,包括:
9.一种基于压缩符号距离场的三维重建系统,其特征在于,所述系统包括:
10.一种电子设备,其特征在于:所述电子设备包括:
11.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,当所述计算机程序被计算机的处理器执行时,使计算机执行权利要求1至8中任一项所述基于压缩符号距离场的三维重建方法。