计算机视觉最不卷的方向：三维重建学习路线梳理

提到计算机视觉（CV），大多数人脑海中会立马浮现出一个字：“卷”。卷到什么程度呢？2022年秋招CV工程师岗位数下降了16%，但求职人数增加了23%，求职人数与招聘岗位的比例达到了恐怖的15:1，大部分CV领域的求职者都转向了开发或者产品运营岗位。

为什么这么卷呢？因为2D视觉的算法大部分都开源了，并且深度学习的理论没有门槛，经典的YOLO等物体检测算法基本人人都了解，差异化不大。但是，与2D视觉形成明显对比的是，3D视觉领域依然处于供需平衡的状态，尤其是三维重建方向，更是供不应求。当下三维重建快速发展，在自动驾驶高精地图、AR、娱乐等产业落地广泛。但三维重建方向融合了计算机视觉、计算机图形学、图像处理等多门学科的知识，是一套非常复杂的工程系统，涉及知识点甚多，入门门槛较高，并且国内并没有完整的书籍、教程作为学习资料，使得大部分同学入门即放弃。

图1 三维重建效果图

经典三维重建系统的整个pipeline从相机标定、基础矩阵与本质矩阵估计、特征匹配到运动恢复结构（SFM），从SFM到稠密点云重建、表面重建、纹理贴图。熟悉SFM的工程师已经是行业内的佼佼者，能掌握稠密点云重建与表面重建的工程师更是凤毛麟角。

图2 经典三维重建系统pipeline

三维重建是当下计算机视觉的一个研究热点，虽然从业者们会给新人提供很多意见和建议，但三维重建的学习路线还是会因人而异，这要取决于个人的背景知识、兴趣和职业目标。对于初学者，三维重建基础的学习路线大概包括以下几个方面：

• 数学基础知识：线性代数、微积分、优化理论等是三维重建的基础知识，建议入门者先花时间学好这些数学基础知识。
• 计算机图形学：三维重建需要理解计算机图形学中的基本概念和技术，例如多边形网格、曲面拟合和光照模型等。
• 多视图几何：学习多视图几何是三维重建的核心。了解基础的三维几何知识以及相机模型、基本矩阵、本质矩阵和三维重建中的三角化等概念。
• 点云处理和重建：点云是三维重建中最基本的表示形式之一，需要学习点云的采集、去噪、配准和重建等技术。
• 深度学习：近年来，深度学习技术在三维重建中的应用越来越广泛。学习深度学习的基本原理和常用模型，如CNN、PointNet和GAN等，可以让你在三维重建领域有更好的表现。

最后，基于图像的三维模型重建是非常偏重工程实践的研究任务，它涉及到多个学科，知识分散不系统，因此会给初学者带来极大挑战。大家可以尝试在现有的三维重建数据集上进行实验和调试，或自己创建一些数据集，以便更好地理解和应用三维重建技术。

现也将深蓝学院开设的『基于图像的三维重建』在线课程的推荐资料分享给大家，希望有所帮助。资料主要包括：

针对初学者

书籍I Multiple View Geometry in Computer Vision (Second Edition)

书籍II Computer Vision Algorithms and Applications

针对具备一定基础的同学

三维重建的每个基础模块挑选了1-2篇代表性文献，强烈建议阅读以下相关的原著文献， 这些文献是经过时间检验非常经典的文献，这将大大提升你们的科研和工程能力。 这些文章包括：

运动恢复结构SFM

Hierarchical SFM

• 《Structure-and-Motion Pipeline on a Hierarchical Cluster Tree》

这篇论文提出了一种基于分层聚类树的结构和运动恢复方法，用于从多张图像中估计场景中的点和相机的3D位置和姿态。

在这个方法中，首先使用特征点检测和匹配算法来确定相邻图像之间的点对，然后使用这些点对来计算相机之间的运动和点的3D位置。然后，通过对点进行聚类并构建分层聚类树来对场景进行建模，从而可以更准确地估计点的3D位置和姿态。

这篇论文的主要贡献在于将分层聚类树引入到三维重建中，提出了一种新的方法来估计点的3D位置和姿态。该方法具有较高的精度和鲁棒性，适用于从大量图像中重建复杂的三维场景。该论文的方法和思想在三维重建领域中得到广泛应用，成为了多视图几何和三维重建的基础方法之一。

Incremental SFM

• 《Photo Tourism：Exploring Photo Collections in 3D》

这篇论文介绍了一种基于计算机视觉和计算机图形学技术的方法，利用从互联网上获取的大量图片，生成高质量的三维重建模型，从而实现对不同场景的浏览和探索。

具体来说，该方法通过将大量的图片投影到三维场景中，自动识别图片之间的相同特征点，并利用这些特征点计算相机位置和姿态，进而估计每张图片的三维位置。通过将所有图片的三维位置进行优化和整合，最终生成一个高质量的三维重建模型。

这篇论文对三维重建领域产生了深远的影响。它提出的方法不仅能够生成高质量的三维重建模型，而且可以在大规模的图片集上运行，并且不需要人工干预。这使得人们可以利用互联网上的大量图片，快速地生成三维场景，并在其中进行虚拟探索和导航。此外，该方法还启发了许多后续的研究，如结合深度学习的三维重建方法、多视角图像合成等，推动了三维重建领域的发展。

• 《Towards Linear-time Incremental Structure from Motion》

这篇论文提出了一种新的算法来加速三维重建的过程。该算法称为“Linear-time Incremental Structure from Motion”（简称LIMO）。

在传统的三维重建算法中，通常需要先对所有图像进行特征提取、匹配、三角化等操作，然后再进行优化，以得到最终的三维重建结果。这个过程往往十分耗时，尤其是当图像数量较大时，计算量会呈指数级增长。

LIMO算法通过将这个过程分解成多个步骤，并通过一些技巧来减少计算量，从而实现了线性时间的增量三维重建。具体来说，它采用了基于几何约束的两步法来处理每个新的图像，从而避免了对所有图像进行处理的开销，并且可以在新的图像到来时，快速更新整个三维重建结果。

该论文的算法在性能上优于许多传统的三维重建算法，能够在更短的时间内处理更多的图像，并且能够处理非常大的数据集。因此，它对于三维重建领域的研究和实际应用都有着重要的影响。

稠密重建

• 《Accurate Multiple View 3D Reconstruction Using Pathch-Based Stereo for Large-Scale Scenes》

这篇论文主要介绍了一种用于大规模场景的准确多视角三维重建方法。该方法基于基于图像的渐进三角测量（Incremental Triangulation），使用基于路径的立体匹配（Patch-Based Stereo）来提高几何约束的准确性。与传统方法相比，该方法能够减少估计误差，并在具有大量图像的情况下提高效率。

该论文的主要贡献在于提出了一种有效的多视角三维重建方法，可以处理大规模的场景，并能够更准确地恢复物体的几何形状。该方法还具有高效的计算能力，因此可以应用于实际的应用中，例如建筑物重建、虚拟现实、医学影像学等。许多后续的研究工作基于该论文提出的方法进行了改进和拓展，使得多视角三维重建的准确性和效率得到了进一步的提高。

• 《Accurate, Dense, and Robust Multiview Stereopsis》

该论文提出了一种多视角的立体视觉算法，用于从多个图像中恢复场景的三维结构。该算法首先通过特征点匹配建立多个视角之间的对应关系，然后使用基础矩阵估计技术来计算每个视角之间的相对姿态。接着，通过三角测量技术将多个视角的二维图像坐标转化为三维点云，最终通过密集匹配算法得到稠密的深度图。

该算法相对于以往的三维重建算法具有更高的精度、更高的密度和更强的鲁棒性，因此被广泛应用于计算机视觉、机器人、虚拟现实等领域，并成为了当前三维重建领域的基础算法之一。

这篇论文对于三维重建领域的发展产生了深远的影响，推动了三维重建算法从传统的基于单个图像的方法向基于多个图像的方法发展，并开创了多视角立体视觉的新时代。同时，该算法的核心思想也被广泛应用于其他领域，如图像匹配、视觉SLAM等。

• 《Multi-View Stereo for Community Photo Collections》

这篇论文的主要内容是提出了一种基于社区照片集合的多视角立体重建方法。该方法可以从一个大规模的非结构化图像集合中，自动地恢复三维场景的形状和外观，同时还能够重建出高质量的纹理和表面细节。该方法基于多视角几何的原理，通过匹配多个视角的图像来估计场景的深度和表面法向量，最终生成高质量的三维模型。

这篇论文对三维重建领域的影响非常大，它的方法为处理大规模非结构化图像集合提供了一种全新的思路，也为三维重建的自动化和高效性提供了重要的基础。该方法在实践中已被广泛应用于各种领域，例如建筑、文化遗产保护、虚拟现实等等。此外，该论文还为三维重建领域的后续研究提供了重要的参考和启示。

表面重建

• 《High Accuracy and Visibility-Consistent Dense Multiview Stereo》

这篇论文是一篇关于多视角立体视觉的论文，旨在提出一种高精度和可见性一致性的密集多视角立体视觉方法。具体来说，它提出了一种新的深度图优化方法，该方法考虑了三个方面的约束：像素亮度一致性、相邻像素深度一致性和视图可见性一致性。该方法可以在充分利用多视角信息的同时，克服传统立体视觉方法中由于光照、纹理等因素引起的错误匹配问题。

这篇论文对三维重建领域的影响非常大，因为它提出了一种新的方法来解决立体视觉中的问题，该方法可以提高三维重建的精度和可靠性。它的创新之处在于它考虑了多个约束条件，这些约束条件可以帮助减少错误匹配和噪声，从而提高重建的准确性。此外，该方法还可以处理复杂的场景，包括多个不同角度的光照和纹理，从而使其在实际应用中更加具有实用性。因此，这篇论文被广泛引用和应用于计算机视觉和机器人领域，为三维重建和虚拟现实等领域的研究和应用提供了重要的参考。

• 《Poisson Surface Reconstruction》

该论文介绍了一种基于点云数据的三维重建算法，可以将离散的、不规则的点云数据转换为光滑的三维曲面模型。

具体而言，该算法使用泊松方程来重建曲面模型。它首先将点云数据转换为密集的体网格表示形式，然后通过求解泊松方程来计算一个标量场，并在此基础上计算法向量和曲率。最后，通过等值面提取技术来生成三维曲面模型。

该算法有许多优点，包括能够处理大规模点云数据、具有高质量的输出结果、能够保持细节信息和形状特征等。因此，它已被广泛应用于三维重建、计算机图形学、计算机视觉和机器人等领域。

这篇论文在三维重建领域产生了很大的影响，并被认为是三维重建领域的经典论文之一。许多后续的研究工作都建立在这篇论文的基础上，包括改进算法的速度和精度、扩展到多种类型的输入数据、应用于更广泛的应用场景等。

纹理贴图

• 《Let There Be Color! - Large-Scale Texturing of 3D Reconstructions》

是一篇关于三维重建和纹理映射的论文。该论文提出了一种新的方法，能够在大规模三维重建中对模型进行自动纹理贴图，从而提高重建模型的视觉效果。

该论文的主要贡献在于：将传统的纹理映射方法与现代计算机视觉技术相结合，通过对大规模重建数据集的分析和学习，自动地将高质量的纹理贴图应用到三维模型中。

具体而言，该方法使用了大规模图像检索技术来寻找与三维模型相匹配的图像，并利用这些图像来进行纹理映射。该方法还能够自动检测和修复纹理贴图中的缺陷，从而获得更加真实的纹理映射结果。

该论文的方法已经在许多实际的应用中得到了验证，例如在建筑重建、文物保护和虚拟现实等领域中。该方法不仅能够提高重建模型的视觉效果，还能够为更高级别的三维分析和应用奠定基础。

总之，这篇论文对三维重建领域产生了积极的影响，为三维重建的高效纹理映射提供了新的思路和方法。

相关网站

我们也提供一些相关的网站，这些网站是一些比较著名的开源系统。

计算机视觉三维重建配套资料整理好了＋人工智能学习路线图指南