法國LIGM實驗室的研究人員已開發了一種新穎的技術，可以由真實場景周圍捕獲的圖像集合快速創建高度逼真的3D網格模型。他們的方法被稱為SuGaR，通過以一種獨特的方式采用神經表示和計算幾何技術，可以在短短幾分鐘內重新構建詳細的三角形網格模型。這項功能可以為創作者、教育工作者和專業人員提供一種更易于訪問的途徑，以便在許多應用環境充分利用3D模型。

本文將介紹這種方法的獨特之處以及它對其他AI項目意味著什么。

3D重建的挑戰

重建真實環境的準確3D模型長期以來一直是一項艱巨的任務，需要專門的設備、精心編排的捕獲流程和大量的手動后期處理。激光掃描設備和結構光深相機可以直接捕獲幾何掃描，但仍存在緩慢、昂貴和笨重的缺點。

基于運動結構的攝影測量方法由相機圖像生成稀疏的3D點云，但光由這些點云生成干凈、詳細的表面模型就非常困難了。雖然質量很出眾，但最先進的神經輻射場即使在現代GPU上也需要持續數小時乃至數天的渲染密集型優化周期，才能將其體積場景表示轉換成實用的表面網格。

因此，雖然模擬、教育、數字化和創意媒體等領域的許多下游用例都必然會從易于訪問的高質量3D場景表示中受益匪淺，但對大多數人來說，捕獲和開發方面仍面臨極大的障礙。

新穎地結合技術

本文介紹了SuGaR方法。SuGaR方法將新興的神經場景表示與傳統的計算幾何算法相結合，克服了這些挑戰，并提供了一種獨特的快速且易于訪問的3D建模途徑。

該技術立足于最近一種基于神經粒子的場景表示方法：3D高斯潑濺。通過優化上百萬個微小的3D高斯基元的方向、尺寸、放射及其他屬性，最準確地再現一組輸入相機圖像，高斯潑濺可以在短短幾分鐘內重建生動的場景神經渲染。

經過優化后，獨立的高斯粒子仍然是非結構化的。SuGaR的關鍵創新在于引入了一種新的訓練過程，該過程鼓勵顆粒在保留細部的同時符合表面。這種對齊便于將粒子當成結構化的點云進行重建。

利用這種點結構，SuGaR隨后執行一種名為泊松表面重建的計算技術，直接由對齊的粒子高效地生成網格。同時處理數百萬個粒子會得到一個詳細的三角模型，而這是傳統技術難以實現的。

從本質上講，SuGaR將大量的計算負載轉移到一個快速的、可擴展的前端點云結構中。這將所需的渲染密集型工作負載由最終網格生成轉移到別處，從而使快速構建模型成為可能。

驗證效果

研究人員通過實驗證明了SuGaR在廣泛的公共數據集上快速構建高質量模型的效果，這些數據集涉及室內場景、室外景觀、詳細結構、鏡面、照明變化及其他建模挑戰。

圖1. 使用SuGaR的渲染（a）和重新構建的網格（b）的兩個示例。常規地圖（c）有助于直觀地顯示幾何形狀

示例包括由Mip-NeRF360數據集重建復雜室內環境的建筑模型的詳細網格，以及由Tank & Temples數據集生成車輛和建筑物等結構的生動網格。

與現有的最先進的神經和混合重建技術進行定量和定性比較表明，SuGaR提供了顯著加快的網格創建速度，渲染質量和幾何精度可以媲美所需計算資源多得多的方法。論文作者表示：“我們的方法在由3D高斯潑濺檢索3D網格方面要快得多，而3D高斯潑濺本身就比NeRF快得多。正如我們的實驗表明的那樣，我們通過將高斯函數綁定到網格上所進行的渲染獲得了比以前基于網格的解決方案更高的質量。”

論文作者還強調了其方法的速度：“使用我們的方法，檢索這樣一個可編輯的網格進行逼真的渲染只需幾分鐘，同時提供了更好的渲染質量，而使用SDF方面最先進的方法也需要數小時。”

結論

SuGaR技術顯著改善了3D模型重建。像激光掃描這樣的傳統方法既昂貴又復雜，雖然神經輻射場具有高質量，但速度慢且耗費大量資源。SuGaR通過將神經場景表示與計算幾何相結合改變了這種情況。它先使用一種名為3D高斯潑濺的方法來創建神經渲染，然后它對齊這些粒子，讓其行為如同結構化的點云。這是下一步的關鍵：使用泊松表面重建將這些粒子轉換成詳細的網格。這個過程更快，因為它將繁重的計算移到了最開始。

SuGaR已經在各種數據集上進行了測試，可處理室內和室外場景等不同的挑戰。它不僅比NeRF更快，還保持了高質量和準確性。這使得創建詳細的3D模型更快速、更易于訪問，這對于模擬、教育和媒體等領域的應用而言很了不起。