基于計算機視覺的三維重建技術綜述

徐超+李喬

摘要：單目視覺三維重建技術是計算機視覺三維重建技術的重要組成部分，其中從運動恢復結構法的研究工作已開展了多年并取得了不俗的成果。目前已有的計算機視覺三維重建技術種類繁多且發展迅速，本文對幾種典型的三維重建技術進行了分析與比較，著重對從運動恢復結構法的應用范圍和前景進行了概述并分析其未來的研究方向。

關鍵詞：計算機視覺；三維重建；單目視覺；從運動恢復結構法

中圖分類號：TP391 文獻標識碼：A 文章編號：1007-9416（2017）01-0054-03

計算機視覺三維重建技術是通過對采集的圖像或視頻進行處理以獲得相應場景的三維信息，并對物體進行重建。該技術簡單方便、重建速度較快、可以不受物體形狀限制而實現全自動或半自動建模。目前計算機視覺三維重建技術廣泛應用于包括醫學系統、自主導航、航空及遙感測量、工業自動化等在內的多個領域。

本文根據近年來的國內外研究現狀對計算機視覺三維重建技術中的常用方法進行了分類，并對其中實際應用較多的幾種方法進行了介紹、分析和比較，指出今后面臨的主要挑戰和未來的發展方向。本文將重點闡述單目視覺三維重建技術中的從運動恢復結構法。

1 基于計算機視覺的三維重建技術

通常三維重建技術首先需要獲取外界信息，再通過一系列的處理得到物體的三維信息。數據獲取方式可以分為接觸式和非接觸式兩種。接觸式方法是利用某些儀器直接測量場景的三維數據。雖然這種方法能夠得出比較準確的三維數據，但是它的應用范圍有很大程度上的限制。目前的接觸式方法主要有CMMs、Robotics Arms等。非接觸式方法是在測量時不接觸被測量的物體，通過光、聲音、磁場等媒介來獲取目標數據。這種方法的實際應用范圍要比接觸式方法廣，但是在精度上卻沒有它高。非接觸式方法又可以分為主動和被動兩類。

1.1 基于主動視覺的三維重建技術

基于主動視覺的三維重建技術是直接利用光學原理對場景或對象進行光學掃描，然后通過分析掃描得到的數據點云從而實現三維重建。主動視覺法可以獲得物體表面大量的細節信息，重建出精確的物體表面模型；不足的是成本高昂，操作不便，同時由于環境的限制不可能對大規模復雜場景進行掃描，其應用領域也有限，而且其后期處理過程也較為復雜。目前比較成熟的主動方法有激光掃描法、結構光法、陰影法等。

1.2 基于被動視覺的三維重建技術

基于被動視覺的三維重建技術就是通過分析圖像序列中的各種信息，對物體的建模進行逆向工程，從而得到場景或場景中物體的三維模型。這種方法并不直接控制光源、對光照要求不高、成本低廉、操作簡單、易于實現，適用于各種復雜場景的三維重建；不足的是對物體的細節特征重建還不夠精確。根據相機數目的不同，被動視覺法又可以分為單目視覺法和立體視覺法。

1.2.1 基于單目視覺的三維重建技術

基于單目視覺的三維重建技術是僅使用一臺相機來進行三維重建的方法，這種方法簡單方便、靈活可靠、使用范圍廣，可以在多種條件下進行非接觸、自動、在線的測量和檢測。該技術主要包括X恢復形狀法、從運動恢復結構法和特征統計學習法。

（1）X恢復形狀法。若輸入的是單視點的單幅或多幅圖像，則主要通過圖像的二維特征（用X表示）來推導出場景或物體的深度信息，這些二維特征包括明暗度、紋理、焦點、輪廓等，因此這種方法也被統稱為X恢復形狀法。這種方法設備簡單，使用單幅或少數幾張圖像就可以重建出物體的三維模型；不足的是通常要求的條件比較理想化，與實際應用情況不符，重建效果也一般。

（2）從運動恢復結構法。若輸入的是多視點的多幅圖像，則通過匹配不同圖像中的相同特征點，利用這些匹配約束求取空間三維點的坐標信息，從而實現三維重建，這種方法被稱為從運動恢復結構法，即SfM（Structure from Motion）。這種方法可以滿足大規模場景三維重建的需求，且在圖像資源豐富的情況下重建效果較好；不足的是運算量較大，重建時間較長。

目前，常用的SfM方法主要有因子分解法和多視幾何法兩種。1）因子分解法。Tomasi和Kanade[1]最早提出了因子分解法。這種方法將相機模型近似為正射投影模型，根據秩約束對二維數據點構成的觀測矩陣進行奇異值分解，從而得到目標的結構矩陣和相機相對于目標的運動矩陣。該方法簡便靈活，對場景無特殊要求，不依賴具體模型，具有較強的抗噪能力；不足的是恢復精度并不高。2）多視幾何法。通常，多視幾何法包括以下四個步驟：①特征提取與匹配。特征提取是首先用局部不變特征進行特征點檢測，再用描述算子來提取特征點。Moravec[2]提出了用灰度方差來檢測特征角點的方法。Harris[3]在Moravec算法的基礎上，提出了利用信號的基本特性來提取圖像角點的Harris算法。Smith等人[4]提出了最小核值相似區，即SUSAN算法。Lowe[5]提出了一種具有尺度和旋轉不變性的局部特征描述算子，即尺度不變特征變換算子，這是目前應用最為廣泛的局部特征描述算子。Bay[6]提出了一種更快的加速魯棒性算子。特征匹配是在兩個輸入視圖之間尋找若干組最相似的特征點來形成匹配。傳統的特征匹配方法通常是基于鄰域灰度的均方誤差和零均值正規化互相關這兩種方法。Grauman等人[7]提出了一種基于核方法的快速匹配算法，即金字塔匹配算法。Photo Tourism系統在兩兩視圖間的局部匹配時采用了基于近似最近鄰搜索[8]的快速算法。②多視圖幾何約束關系計算。多視圖幾何約束關系計算就是通過對極幾何將幾何約束關系轉換為基礎矩陣的模型參數估計的過程。Longuet-Higgins[9]最早提出多視圖間的幾何約束關系可以用本質矩陣在歐氏幾何中表示。Luong[10]提出了解決兩幅圖像之間幾何關系的基礎矩陣。與此同時，為了避免由光照和遮擋等因素造成的誤匹配，學者們在魯棒性模型參數估計方面做了大量的研究工作，在目前已有的相關方法中，最大似然估計法、最小中值算法、隨機抽樣一致性算法三種算法使用最為普遍。③優化估計結果。當得到了初始的射影重建結果之后，為了均勻化誤差和獲得更精確的結果，通常需要對初始結果進行非線性優化。在SfM中對誤差應用最精確的非線性優化方法就是光束法平差。光束法平差是在一定假設下認為檢測到的圖像特征中具有噪音，并對結構和可視參數分別進行最優化的一種方法。近年來，眾多的光束法平差算法被提出，這些算法主要是解決光束法平差有效性和計算速度兩個方面的問題。Ni[11]針對大規模場景重建，運用圖像分割來優化光束法平差算法。Engels[12]針對不確定的噪聲模型，提出局部光束法平差算法。Lourakis[13]提出了可以應用于超大規模三維重建的稀疏光束法平差算法。④得到場景的稠密描述。經過上述步驟后會生成一個稀疏的三維結構模型，但這種稀疏的三維結構模型不具有可視化效果，因此要對其進行表面稠密估計，恢復稠密的三維點云結構模型。近年來，學者們提出了各種稠密匹配的算法。Lhuillier等人[14]提出了能保持高計算效率的準稠密方法。Furukawa[15]提出的基于面片的多視圖立體視覺算法是目前提出的準稠密匹配算法里效果最好的算法。

綜上所述，SfM方法對圖像的要求非常低，魯棒性和實用價值非常高，可以對自然地形及城市景觀等大規模場景進行三維重建；不足的是運算量比較大，對特征點較少的弱紋理場景的重建效果比較一般。

（3）特征統計學習法。特征統計學習法是通過學習的方法對數據庫中的每個目標進行特征提取，然后對目標的特征建立概率函數，最后將目標與數據庫中相似目標的相似程度表示為概率的大小，再結合紋理映射或插值的方法進行三維重建。該方法的優勢在于只要數據庫足夠完備，任何和數據庫目標一致的對象都能進行三維重建，而且重建質量和效率都很高；不足的是和數據庫目標不一致的重建對象就很難得到理想的重建結果。

1.2.2 基于立體視覺的三維重建技術

立體視覺三維重建是采用兩臺相機模擬人類雙眼處理景物的方式，從兩個視點觀察同一場景，獲得不同視角下的一對圖像，然后通過左右圖像間的匹配點恢復出場景中目標物體的三維信息。立體視覺方法不需要人為設置相關輻射源，可以進行非接觸、自動、在線的檢測，簡單方便，可靠靈活，適應性強，使用范圍廣；不足的是運算量偏大，而且在基線距離較大的情況下重建效果明顯降低。

2 分析與比較

隨著上述各個研究方向所取得的積極進展，研究人員開始關注自動化、穩定、高效的三維重建技術的研究。表1是各種計算機視覺三維重建技術的分析與比較。

3 面臨的問題和挑戰

SfM方法目前存在的主要問題和挑戰是：

（1）魯棒性問題：SfM方法魯棒性較差，易受到光線、噪聲、模糊等問題的影響，而且在匹配過程中，如果出現了誤匹配問題，可能會導致結果精度下降。

（2）完整性問題：SfM方法在重建過程中可能由于丟失信息或不精確的信息而難以校準圖像，從而不能完整地重建場景結構。

（3）運算量問題：SfM方法目前存在的主要問題就是運算量太大，導致三維重建的時間較長，效率較低。

（4）精確性問題：目前SfM方法中的每一個步驟，如相機標定、圖像特征提取與匹配等一直都無法得到最優化的解決，導致了該方法易用性和精確度等指標無法得到更大提高。

針對以上這些問題，在未來一段時間內，SfM方法的相關研究可以從以下幾個方面展開：

（1）改進算法：結合應用場景，改進圖像預處理和匹配技術，減少光線、噪聲、模糊等問題的影響，提高匹配準確度，增強算法魯棒性。

（2）信息融合：充分利用圖像中包含的各種信息，使用不同類型傳感器進行信息融合，豐富信息，提高完整度和通用性，完善建模效果。

（3）使用分布式計算：針對運算量過大的問題，采用計算機集群計算、網絡云計算以及GPU計算等方式來提高運行速度，縮短重建時間，提高重建效率。

（4）分步優化：對SfM方法中的每一個步驟進行優化，提高方法的易用性和精確度，使三維重建的整體效果得到提升。

4 結語

計算機視覺三維重建技術在近年來的研究中取得了長足的發展，其應用領域涉及工業、軍事、醫療、航空航天等諸多行業。但是這些方法想要應用到實際中都還要更進一步的研究和考察。計算機視覺三維重建技術還需要在提高魯棒性、減少運算復雜度、減小運行設備要求等方面加以改進。因此，在未來很長的一段時間內，仍需要在該領域做出更加深入細致的研究。

參考文獻

[1]Tomasi C， Kanade T. Shape and motion from image streams： a factorization method - full report on the orthographic case[J]. International Journal of Computer Vision， 1992， 90（21）： 9795-9802.

[2]Morevec H P. Towards automatic visual obstacle avoidance[C].// Proc of the 5th International Joint Conference on Artificial Intelligence， 1977： 584.

[3]Harris C. A combined corner and edge detector[C].// Proc of Alvey Vision Conference， 1988： 147-151.

[4]Smith S M， Brady J M. SUSAN： a new approach to low level image processing[J]. International Journal of Computer Vision， 1997， 23（1）： 45-78.

[5]Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision，2004，60（60）：91-110.

[6]Bay H， Ess A， Tuytelaars T， et al. Speeded-up robust features （SURF）[J]. Computer Vision and Image Understanding，2008，110（3）：346-359.

[7]Grauman K， Darrell T. Pyramid match hashing： Sub-linear time indexing over partial correspondences[C].// Proc of IEEE Conference on Computer Vision and Pattern Recognition， 2007： 1-8.

[8]Mount D M， Arya S. ANN： A library for approximate nearest neighbor searching[C].// Proc of The 14th Annual ACM-SIAM Symposium on Discret Algorithms， 2010.

[9]Longuet-Higgins H C. A computer algorithm for reconstructing a scene from two projections[J]. Nature， 1981， 293（5828）： 133-135.

[10]Luong Q T. Matrice fondamentale et autocalibration en vision par ordinateur[J]. Paris， 1992.

[11]Ni K， Steedly D， Dellaert F. Out-of-Core bundle adjustment for large-scale 3D reconstruction[C].// Proc of IEEE International Conference on Computer Vision， 2007： 1-8.

[12]Engels C， Stewénius H， Nistér D. Bundle adjustment rules[C].// Proc of Symposium on Photogrammetric Computer Vision， 2006： 266-271.

[13]Lourakis M I A， Argyros A A. SBA： a software package for generic sparse bundle adjustment[J]. Acm Transactions on Mathematical Software， 2009， 36（1）： 26-30.

[14]Lhuillier M， Quan L. A quasi-dense approach to surface reconstruction from uncalibrated images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2005， 27（3）： 418-433.

[15]Furukawa Y， Ponce J. Accurate， dense， and robust multiview stereopsis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（8）： 1362-1376.