当前高斯泼溅(3D Gaussian Splatting)技术路线与工具全景

当前高斯泼溅(3D Gaussian Splatting)技术路线与工具全景

你手机扫两分钟、云端算三分钟、浏览器 60 帧跑起来的「照片级 3D 场景」,底层就是 3D Gaussian Splatting。它 2023 年才发表,2026 年已经长成一条从手机拍摄到 Web 发布的完整工具链,还进了 glTF 和 3D Tiles 两套国际标准。

高德的 3D 城市世界模型 ABot-Earth0.5 用 3DGS 直接训练,Voxelmaps 给圣何塞做的实时数字孪生也靠它。这篇把这条技术线拆开——先讲清楚技术路线有哪些主要方法,再给一张工具全景:商用/开源,各按数据建模、数据切片、数据可视化三类。

为什么 3DGS 替掉了 NeRF

把技术路线之前,先补一个背景:3DGS 为什么成了 2023 年以后 3D 重建的默认答案。一句话,它用显式的高斯团打掉了 NeRF 的隐式神经场

两者是同一道题的两种答案。NeRF 用隐式 MLP 网络把场景编码进网络权重里,渲染时沿光线步进采样,训练一个高质量场景要 40 多个小时,渲染也很难实时。3DGS 改用一个显式的高斯体集合——每个高斯带位置、协方差、不透明度和球谐颜色——渲染直接变成光栅化式的 splatting,训练约 40 分钟,1080p 下 100 帧每秒起步。质量上两者相当,速度差距是数量级的。

一个典型的 3D 场景由 100 万到 500 万个各向异性高斯组成。它们和 NeRF 共享同一个 α 混合的图像形成模型,只是渲染算法完全不同——所以「实时」从论文里的形容词变成了产品的默认值。

一张技术路线图

3DGS 的技术演进大致分六个分支。先给一张总览,再逐条展开:

在这里插入图片描述

一句话点评:经典管线已经稳定,动态 4D 是 2026 年最拥挤的赛道,压缩是产业落地的命门,大场景是基建,生成编辑在冒头,标准化决定这条技术能不能进 GIS 和 Web 的存量生态。 下面按分支拆。

技术路线一:经典 3DGS 与基础管线

原始论文(Kerbl 等人,SIGGRAPH 2023)的管线今天仍是绝大多数工具的默认路径,三步:

  • 初始化:用 COLMAP 做 Structure-from-Motion,拿它输出的稀疏点云和相机参数当初始值。这一步只依赖稀疏点,不需要稠密深度,避开了传统多视角立体在无纹理、反光、薄结构上的坑。
  • 优化:梯度下降调每个高斯的四个属性——位置、协方差(由缩放和旋转参数化)、不透明度、球谐颜色。损失是 L1 加 D-SSIM,默认 3 万步迭代,一张图通常 40 分钟内收敛。
  • 自适应密度控制:欠重建的区域克隆高斯,过重建的拆分,透明度低的删掉。这让高斯数量在优化过程中自己长出来。

这套管线被完整实现成开源项目(graphdeco-inria 官方实现、gsplat、Nerfstudio),也是几乎所有手机 App 的云端后端。这一分支已成熟,没人在经典静态重建上再做文章了——注意力全在下面几个分支。

技术路线二:动态 / 4D

动态场景是 2026 年论文最密集的方向。两条老路线打底:

  • 结构引导(warping)路线:维护一套「规范 3D 高斯」,再用形变场预测每一帧的位置变化。代表有 Dynamic 3DGS、E-D3DGS、STG、Gaussian-Flow。优点是天生的时间对应关系,适合语义和跟踪;缺点是一帧一帧查形变场开销大,高频运动容易糊。
  • 高斯中心(gaussian-centric)路线:把时间直接编成第 4 维,代表 4D-GS、4DRotorGS。结构简单,但把「物理运动」和「瞬态外观」糊在一套表征里。

2026 年最大的突破是打破「一套表征什么都干」的假设。Multi4D(ECCV 2026)提出三态竞争式分配:静态高斯管时不变骨架、持久动态高斯管可跟踪的运动主体、瞬态高斯管只活几帧的高频外观残差——三个子集共享光栅化,谁解释得好谁就少被建冗余。结果只用 165k 动态高斯(对比 4DGS 的 4215k,少 25 倍) 就达到更好画质,模型存储从 2.6GB 降到 214.7MB,训练从 5.5 小时缩到 1.2 小时。

同一批方向还有:SharpTimeGS 给每个高斯学一个「生命期」参数,从表示层解开静/动纠缠;Flow Splatting 和 Flow4DGS-SLAM 用光流做类别无关的动静分解,把 SLAM 建图从每步 110 秒压到 6 秒;Mango-GS 用稀疏控制节点跑时间 Transformer,149.5 FPS、存储 60MB;MoGaF 把高斯按物体运动模式分组做自回归外推——从「内插重建」走向「时空预测」。

判断:动态 4D 已经能跑,但每条路都有取舍。 要可跟踪、要保真、要实时、要省存储,四选三;生产项目目前仍以静态为主,动态多用于数字人和特定场景。

技术路线三:压缩与轻量化

一个场景吃 700MB 显存是常态,这是 3DGS 产业化的头号拦路虎。2026 年有了第一篇系统综述 SUCCESS-GS,把效率方法分成两刀:

  • 参数压缩:量化、码本、学习式表示。典型如把属性从浮点压到定点,或建码本共享。
  • 结构重构:剪枝、稠密化控制、锚点式重构(用少量锚点管理一片高斯)。LightGaussian、Mobile-GS、FastGS、TurboGS、SafeguardGS 都是这一路。

最狠的代表是 L4DRotorGS(CVPR 2026),专治「长动态场景」这个又大又占显存的场景:分层+桶结构给压缩创造条件,因子化协方差量化加残差码本量化解决运动尺度跨 10 个数量级的数值崩溃。结果压缩比最高 22.3×、码率低于 1MB/s、500+ FPS 实时渲染——已经够移动端带宽受限的部署。

判断:压缩这层直接决定 3DGS 能不能上移动端、能不能规模化交付。 静态场景的剪枝+量化已经相当成熟,动态场景的压缩还在论文阶段。

技术路线四:大场景

房间尺度搞定之后,城市级、街区级怎么办。两条路:

  • 分块 + 空间变形:受 Block-NeRF/Mega-NeRF 启发,把大场景切成块分别训练,用空间变形(NDC、反球面透视)处理无界场景。
  • out-of-core 训练:TideGS(ICML 2026)能在显存之外训练超过 10 亿个高斯原语,UrbanGS 专攻几何准确的大场景重建,FilterGS 做无遍历的并行滤波和自适应缩小,给 LOD 用。

判断:大场景是 3DGS 进军 GIS 和自动驾驶的门槛,2026 年刚到「能跑」的临界点。 高德 ABot-Earth 那种公里级直出,是拿「3DGS 直接训练 + 海量数据」做的另一种回答。

技术路线五:生成与编辑

这是把 3DGS 从「重建现实」带向「凭空生成」的分支。DreamGaussian(ICLR 2024 oral)用 SDS 蒸馏让高斯直接长出来,再抽取带纹理网格做 UV 空间精修——图生 3D 压到约 2 分钟,比 DreamFusion 快约 10 倍。延伸的 GaussianDreamer、DreamGaussian4D 分别做文生和 4D 生成。

编辑这边,LangSplat(CVPR 2024)把语言特征嵌进高斯场,支持开放词表的语义查询,比隐式语言场的 LERF 快约 199 倍——「找出所有的树」这种查询变成了实时操作。GIR(Gaussian Inverse Rendering)把材质和光照解耦,能做物理正确的重打光;GaussianEditor 擅长高频交互编辑。论文综述点出的前沿很克制:在语义理解、物理准确、交互速度三者间找平衡,还没人同时做到。

判断:生成与编辑是最热但最不成熟的支线。 生成适合快速出内容,编辑适合营销和数字人,正经工程用的还是重建。

技术路线六:标准化

这条最容易忽略,却是 2026 年最关键的产业信号。3DGS 在一路往国际标准里长:

  • glTF KHR_gaussian_splatting 扩展:2026 年 2 月进入候选发布阶段,NVIDIA、Google、Adobe、Cesium 都已对齐。它把泼溅存成点图元,不支持 3DGS 的渲染器能优雅回退成稀疏点云。
  • KHR_gaussian_splatting_compression_spz:采用 Niantic 开源的 SPZ 压缩格式,量化 + gzip,比标准 PLY 小最多 90%。SPZ 2.0.0 用归一化四元数编码旋转,改进了天线、电力线这类线性地物的精度;SPZ 4(2026 年 5 月)比原始 PLY 小约 10 倍、压缩快 3-5 倍、取消了 1000 万点的上限。
  • 3D Tiles 2.0:OGC 在 2026 年 6 月 30 日到 7 月 23 日就拟议的 3D Tiles 2.0 社区标准征求公众意见,高斯泼溅被列为次要范围,主要范围以 glTF 2.1 为基线。MPEG、Khronos、Niantic、Metaverse Standards Forum 也在做统一的基准与评估规范。

判断:标准化是 3DGS 从「图像学玩具」变成「空间数据格式」的投名状。 进了 glTF 意味着 Web 原生可用,进了 3D Tiles 意味着地理参考和流式加载——这正是 065 里 GIS+AI 生态能接住 3DGS 的前提。

一张工具全景图

工具按用户的坐标拆:商用/开源 × 数据建模/数据切片/数据可视化。先给全景,再逐类展开:

在这里插入图片描述

一句话:建模是选择最多的环节,切片是 2026 年变化最大的环节(标准在这),可视化是门槛最低的环节(Web 免费跑起来)。 下面逐类给代表工具。

工具详解:数据建模

建模 = 采集 + 重建(训练),产出 .ply/.splat/.spz 文件。开源

  • COLMAP:不是 3DGS 工具,是所有管线的上游——SfM 出稀疏点和相机参数,官方实现和几乎所有工具都吃它的输出。
  • graphdeco-inria/gaussian-splatting:原始论文官方实现,你要复现 3DGS 本身就看它。
  • gsplat(Nerfstudio 团队):高性能可微光栅化引擎,Python 编写,约 5200 星。内存优化的 CUDA 内核能把训练显存比标准实现低最多 4 倍,4GB 显存的 GPU 就能跑。
  • Nerfstudio:训练框架层,把整套训练体验做成了可配置、可扩展的工程。
  • Lichtfeld Studio:GPL-3.0 的自由软件,Postshot 的免费替代,完全本地离线训练,能读 RealityScan/COLMAP 的导出。

商用

  • Polycam:iPhone/iPad 上 LiDAR + 3DGS 的默认选择。五种模式含 LiDAR 房间扫描、摄影测量、Gaussian Splat(录视频云端出 .ply/.splat)。LiDAR 精度 1-2cm,Web 查看器能流畅播 100MB 级 .splat,Pro 约 100-150 美元/年。短板:玻璃镜面要处理、免费版受限。
  • Luma AI:消费级里画质公认最好。任意手机视频上传,云端约 1 分钟内出片,主打网页「电影感飞越」,还带 Genie 2 文生 3D。Pro 30 美元/月。短板:完全云端、导出格式少。
  • Kiri Engine:免费层最慷慨——无限扫描、无限免费导出、无水印。四种模式(照片/LiDAR/无特征物体 NeRF/3DGS),Pro 79.99 美元/年还带 3DGS Mesh 双输出(泼溅+网格)。适合做游戏资产和 3D 打印。
  • Scaniverse(Niantic):完全免费无限制,设备端训练(iPhone 14 Pro 及以上,1-3 分钟采集、3-10 分钟训练),导出 GLB/USDZ/PLY,还输出压缩的 .spz。隐私敏感、离线、快速迭代选它。
  • RealityScan(Epic)+ Postshot(Jawset):专业桌面两件套。RealityScan 做相机对齐和位姿估计(3 分钟出 190 万稀疏点),Postshot 做高斯训练和优化,还带 Pose Quality 按位姿可靠性加权。有论文实测:RealityScan 位姿 + Postshot 训练,质量明显好过 Postshot 内部对齐——两件套对存档级质量值得。
  • Cesium ion(Bentley iTwin Capture):上传源照片,平台自动重建为网格、点云或 3DGS 切片集,Web 界面和 REST API 都行。2026 年 6 月起不用先出网格,直接生成高斯泼溅。和 GIS 生态咬合最紧。
  • 大疆 DJI Terra:无人机航拍采集,适合室外大场景。

选型建议:手机+免费+隐私 → Scaniverse;画质优先 → Luma AI;要网格资产 → Kiri Engine;要 LiDAR 精度和户型图 → Polycam;专业存档/室外大场景 → RealityScan+Postshot 或 DJI Terra;要 GIS 级地理参考 → Cesium ion。

工具详解:数据切片

切片 = 处理、压缩、格式转换、切 LOD、发布。这层 2026 年变化最大,标准都落在这。

开源

  • SuperSplat(PlayCanvas,MIT):浏览器端的 3DGS 编辑器/查看器,约 9100 星,2026 年 6 月还在更新(v2.27.4)。拖进 PLY 就能清理(去浮点、裁剪)、优化、发布。支持 PLY/SPLAT,SPZ 部分支持;Studio 版能做标注、热点、相机飞越和 WebXR。
  • SplatTransform CLI(SuperSplat 附带):命令行工具,在 PLY/SPLAT/SOGS/KSPLAT/CSV 间批量转换、过滤、合并,还能生成碰撞网格。
  • SPZ 格式族(Niantic 开源):SPZ 4 是当前主流压缩目标,小约 10 倍,浏览器直接流式加载。

商用 / 标准侧

  • Cesium 3D Tiles + GS(2026 年 4 月 27 日发布):把 3DGS 正式纳入 3D Tiles——3D Tiles 做空间索引、glTF 做数据载荷,大规模 GS 数据集能像地形和摄影测量一样做 LOD 流式传输。CesiumJS 1.139 和 Cesium for Unreal v2.23.0(2026 年 3 月)率先实现,CesiumJS 1.144(2026 年 8 月 1 日)修了一堆 SPZ 解码崩溃和 1600 万泼溅以上的 WebGL 问题。
  • 3D Tiles 2.0 / glTF 扩展:OGC 2026 年 6-7 月就 3D Tiles 2.0 征求公众意见;glTF KHR_gaussian_splatting 是切片落地的格式底座。
  • Cesium ion:不用本地工具,上传照片直接出地理参考的 GS 切片集,能和 Cesium World Terrain 叠加。

选型建议:本地小场景清理 → SuperSplat(免费浏览器);要格式互转/自动化 → SplatTransform CLI;要 GIS 级流式加载和 LOD → Cesium 3D Tiles / ion;要最小体积交付 → SPZ 4。

工具详解:数据可视化

可视化 = 查看器 + 运行时渲染(Web/游戏引擎)。

开源

  • gsplat.js(Hugging Face 维护):TypeScript 库,API 像 three.js 但专攻 GS。SPLAT.Scene/SPLAT.WebGLRenderer 几分钟就能把 .splat 渲染进网页,约 1600 星,配 Vite 用。
  • GaussianSplats3D(mkkellogg):three.js 生态最流行的 GS 渲染器,发明了 .ksplat 流式优化格式。
  • Spark.js(World Labs,MIT,2026 年 4 月发布 2.0):支持 LoD Splat Tree、.RAD 流式格式、GPU 虚拟内存分页,主打大场景 Web 渲染。
  • three.js 原生:2026 年官方新增了原生 GS3D 加载和 WebGPU 渲染器,直接支持 SPZ 3/4、SPLAT、KSPLAT、PLY、glTF——浏览器一等人态。
  • NanoGS(Unreal,Tim Chen,MIT,2026 年 3 月 19 日):第一个「Nanite 风格」的 GS LOD 插件,用屏幕空间误差选 LOD、压缩、GPU 加速排序。RTX 2070 上帧率提升约 4 倍。
  • UnityGaussianSplatting(aras-p,MIT):Unity 的参考实现。
  • SuperSplat:本身也是免费查看器。

商用:Luma AI 的网页飞越、Polycam 的 Web 查看器、CesiumJS/Cesium for Unreal(GIS 场景)、PlayCanvas 引擎(与 SuperSplat 原生集成)。

性能门槛参考(2026 年中端硬件实测):RTX 3060 级别配 SPZ 4 压缩,100 万高斯稳定 60fps;100 万高斯在 RTX 3070 上约占 180-220MB 显存、每帧 3-8ms。交付规范:移动端控制在 300 万高斯以内,桌面端 500 万以内。4GB 显存就能跑通整套训练。

一条完整工作流

把上面三链串起来,给你一条从手机到发布的零成本路径:

在这里插入图片描述

这条链全程免费、无云端依赖、4GB 显存可跑。想要更高质量,把建模换成 Luma AI(云端画质最好)或 RealityScan+Postshot(存档级);想要 GIS 级发布,把可视化换成 Cesium ion。

结论

3DGS 的技术路线判断收束成四句:

  1. 经典静态重建已成熟,别再纠结算法,纠结选型。 官方实现、gsplat、Nerfstudio 三件套足够绝大多数项目。
  2. 动态 4D 能跑但没到通用,压缩是 2026 的主战场。 一个场景 700MB 显存是常态,22× 压缩、<1MB/s 码率的成果已经把移动端铺路铺到脚下。
  3. 生成与编辑是想象力最贵的地方,也是离生产最远的地方。 语义理解、物理准确、交互速度,三选二。
  4. 标准化决定命运。 glTF 扩展 + SPZ + 3D Tiles 2.0 让 3DGS 从图像学玩具变成空间数据格式——这才是它能接住高德 ABot-Earth、Cesium 数字孪生那批应用的底层原因。

工具侧一句话收束:建模选型最多、切片看标准、可视化门槛最低——从 Scaniverse 拍、SuperSplat 清、gsplat.js 上 Web,一条免费链路今晚就能跑通你的第一个实景 3D 场景。

我上一篇的 GIS+AI 全景和这篇是姊妹篇:那边讲产业做到哪一步,这边讲 3DGS 这条核心线怎么选。你正在用的 3DGS 工具链是哪套?建模、切片、可视化各用的什么?评论区报配置,我按评论继续深挖。想先搞懂动态 4D、压缩还是大场景,也评论区告诉我。觉得这份全景值得留着的,点赞收藏,方便回头查工具和参数。

参考来源

  • Kerbl et al.《3D Gaussian Splatting for Real-Time Radiance Field Rendering》(SIGGRAPH 2023 / ACM TOG 42(4)):https://ar5iv.labs.arxiv.org/html/2308.04079v1
  • SUCCESS-GS: Survey of Compactness and Compression for Efficient Static and Dynamic Gaussian Splatting(arXiv 2512.07197):https://tldr.takara.ai/p/2512.07197
  • Multi4D: High-Fidelity Dynamic Gaussian Splatting via Multi-Level Competitive Allocation(ECCV 2026):https://arxiv-org.ezproxy.obspm.fr/html/2606.22197v1
  • Layered 4D-Rotor Gaussian Splatting: A Compressed Representation for Long Dynamic Scenes(CVPR 2026):https://openaccess.thecvf.com/content/CVPR2026/html/Xu_Layered_4D-Rotor_Gaussian_Splatting_A_Compressed_Representation_for_Long_Dynamic_CVPR_2026_paper.html
  • Cesium《Introducing 3D Gaussian Splats with Hierarchical Level of Detail Using 3D Tiles》(2026-04-27):https://cesium.com/blog/2026/04/27/3d-gaussian-splats-lod/
  • OGC 就拟议 3D Tiles 2.0 社区标准征求公众意见:https://www.ogc.org/requests/ogc-seeks-public-comment-on-proposed-3d-tiles-2-0-community-standard-work-item/
  • DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation(ICLR 2024 oral):https://huggingface.co/buckets/huggingchat/papers-content/tree/2309/2309.16653.md
  • PlayCanvas SuperSplat(MIT 浏览器端 3DGS 编辑器):https://github.com/playcanvas/supersplat
  • gsplat.js 开源项目教程:https://blog.gitcode.com/c81c8ee5d8ed987bec194461dd37904a.html
  • THE FUTURE 3D《Gaussian Splatting Software Tools Compared (2026)》:https://www.thefuture3d.com/blog/gaussian-splatting-software-tools-compared-2026/
  • 3D Gaussian Splatting & Photogrammetry 2026 Deep Dive:https://www.youngju.dev/blog/culture/2026-05-16-3d-gaussian-splatting-photogrammetry-2026-nerfstudio-postshot-luma-genie-polycam-apple-object-capture-realitycapture-deep-dive.en
  • Top3D《Gaussian Splatting 走向可玩:2026 年游戏引擎全景指南》:https://www.top3d.ai/zh/learn/gaussian-splatting-playable-game-engines-2026
  • Postshot v1.0.324 发布:https://radiancefields.com/postshot-releases-v1.0.324
  • KIRI Engine《Best Free 3D Scanner Apps (2026)》:https://www.kiriengine.app/blog/Best_Free_3D_Scanner_Apps_2026
  • Emerging Standards for Gaussian Splatting in 3D Content Representation(GetMobile 2026):https://www.semanticscholar.org/paper/Emerging-Standards-for-Gaussian-Splatting-in-3D-An-Chen-Mao
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

luckystar513~

感谢你的认可!希望对您有用~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值