古建筑視覺三維重建系統設計與實現

陳占軍 林姚宇 龔詠喜 王耀武 顧照鵬

1(哈爾濱工業大學(深圳)建筑學院 廣東 深圳 518055)2(哈爾濱工業大學(深圳)深圳市城市規劃與決策仿真重點實驗室 廣東 深圳 518055)3(騰訊科技(深圳)有限公司 廣東 深圳 518052)

0 引 言

Marr視覺計算理論[1]將計算機視覺分成自上而下三個階段，從最初的原始數據即二維圖像到最終對三維環境的表達經歷了三個階段處理，事實上這也是三維重建過程的三個階段。從二維圖像恢復三維物體可見表面的幾何結構即三維重建是計算機視覺研究的主要目的之一。

基于視覺的三維重建[2-3]即結合多視角幾何理論和視覺算法理論，運用立體匹配[4]、語義目標分割[5]及相關優化算法[6]等從若干幅二維圖像計算物體或場景的位置、形狀等幾何信息，恢復其三維模型。而二維圖像上每一點的位置與空間物體表面相應點的幾何位置有關，這些位置的相互關系則由攝像機成像幾何模型所決定。總的來說，實際意義上的基于圖像特征視覺的三維重建過程包括三個步驟：(1) 二維圖像特征匹配，即從不同視角的圖像中檢測對應同一空間點的二維圖像特征點，包括SIFT特征[7]、Harris特征[8]、SURF特征[9]等，并進行特征匹配；(2) 攝像機標定[10]即計算攝像機的位置姿態包括內參數矩陣和外參數矩陣；(3) 根據上述圖像匹配和攝像機標定的結果，獲取物體可見部分的三維空間結構。

視覺系統的研究是計算機視覺研究發展的趨勢，針對實際應用需求開展三維重建系統的研究具有重要價值。由于古建筑多為木質結構，并且輔以彩繪和雕刻，通常結構復雜精巧，使得對其保護面臨巨大挑戰。對中國古代建筑進行三維數字化保護是對中國建筑精髓傳承和文物保護的重要手段。近年來，基于圖像視覺的三維重建技術在古建筑和文物的數字化保護方面的應用需求越來越多，其中一個主要應用是對古建筑的數字化建模研究。屠大維等[11]提出了一套古建筑中文物的數字化三維重建系統，即結合攝像機拍攝圖像和線激光掃描的方法，并對系統測量誤差進行標定和補償，實現了文物的三維數字化。杜國光等[12]結合了3DSMax和SketchUp人工圖形學建模方法，通過構建古建筑的基礎模型，進行三維模型檢索，再結合三維重建最終獲取古建筑的三維結構。康停軍等[13]采用GIS、三維激光掃描技術對歷史建筑進行信息采集、表達，不僅獲取了歷史建筑的點云數據和三維模型，還制作了歷史建筑的平面、立面、剖面及大樣圖，建立了基于“一張圖”的歷史建筑信息化管理及應用體系。

上述針對古建筑的三維重建方法分別應用了激光掃描、人工圖形學建模、測繪等復雜技術或采集手段。由于激光掃描涉及到比較昂貴的設備成本，測繪手段則受古建筑現場地理環境的制約，而人工圖形學的預先建模方法更是制約了古建筑三維重建模型的自動生成。以上方法的缺點都或多或少地限制了現實中古建筑的三維數字化應用需求的實現。

本文設計并實現的古建筑視覺三維重建系統面向古建筑的三維數字化應用需求，應用視覺三維重建技術，實現從多幅不同視角的且無序的古建筑圖像序列到三維模型的自動生成，通過初始特征提取和匹配、攝像機位置姿態計算、圖像面片匹配及紋理映射計算等過程得到最終三維重建結果，整個過程無須人工干預。與其他古建筑的三維重建或三維數字化方法相比，本文貢獻在于：(1) 本文系統運行之前無須對攝像機參數進行預先標定，也無須預先校正原始圖像序列[14]；(2) 三維重建過程中對攝像機位置姿態和稀疏三維點云的計算都進行了優化，減少了匹配錯誤和誤差累計，從而提高了三維重建的準確率；(3) 無須預先人工建模，且系統設計和實現的成本低，操作簡單、可實施性強，只需要一臺單反攝像機采集圖像序列，就能獲得視覺效果較好、場景真實感較強的古建筑三維重建效果，系統應用范圍較廣，基本滿足目前古建筑數字化的需求。

1 系統設計

1.1 算法框架

與室內場景圖像相比，室外的古建筑場景圖像的三維重建系統一直是計算機視覺領域的一個技術難題。其算法設計關鍵是在有效恢復場景深度信息的前提下，實現整個三維重建過程的自動化，同時結合優化過程提高攝像機參數計算的準確性和三維重建視覺效果。

1.2 算法步驟

本系統設計運用的算法步驟如下：

步驟1用單個攝像機進行拍攝，采集獲取不同視角的古建筑的多幅圖像；

步驟2對古建筑圖像序列進行特征提取，并進行特征匹配，得到種子匹配點；

步驟3以圖像序列中的種子匹配點為基礎，在種子點的鄰域內進行擴散，獲取數量更多的新匹配點；

步驟4根據上述特征匹配的結果，計算圖像拍攝時刻的攝像機位置姿態和古建筑的稀疏三維點云；

步驟5根據圖像拍攝時刻的攝像機位置姿態和古建筑的稀疏三維點云，利用多視角立體匹配算法獲取古建筑稠密三維點云；

步驟6根據古建筑稠密三維點云，生成古建筑三角面片模型；

步驟7利用古建筑三角面片模型，根據三維點與圖像的匹配關系，計算紋理映射并生成古建筑三維模型。

步驟1利用定焦攝像機從不同角度采集古建筑的多幅圖像，攝像機的運動方向要保持水平移動，保證每一個圖像細節至少有兩幅圖像覆蓋。步驟2提取SIFT特征，并進行匹配得到種子匹配點。步驟3采用文獻[15]方法對種子匹配點進行擴散，得到準稠密匹配點。

步驟4包含以下4個子步驟，其中S表示古建筑圖像集合，Ps表示三維點云集合，S1表示已計算的攝像機位置姿態的圖像集合，Q為攝像機姿態集合。

(1) 利用文獻[16]的標定法計算定焦攝像機內參數K。

(2) 選取匹配點最多的兩幅圖像I0、I1，令I0的姿態為T0，T0=[I,0]，其中I為三階單位陣，0為三維列向量，利用八點算法[17]，計算I0和I1之間的相對剛體變換T1，將I0和I1加入集合S1；利用T0、T1及圖像匹配結果，應用三角測量原理計算立體匹配圖像的深度值，從而得到三維空間點，將三維點加入集合Ps；將T0和T1加入集合Q。

(3) 對于S-S1中的其他圖像Ii，查找Ii與S1中圖像匹配點最多的圖像Ij，獲取Ii與Ij的匹配點集Pij，根據已重建三維點的位置，計算Ii相對于I0的剛體變換Ti，同時計算Ii與S1中其他圖像的匹配點的三維位置并加入集合Ps，將Ti加入集合Q。

(4) 對于所有計算獲得的攝像機姿態集合Q及三維點集合Ps，利用Kümmerle等[18]提出的G2o通用圖優化算法對非線性重投影誤差函數進行優化，最小化Ps中每個點Pi在對應圖像上的重投影誤差，以此減少誤差積累對三維重建結果的影響，獲取最優的攝像機姿態集和稀疏三維點集。

算法步驟4的具體流程見圖1。

圖1 攝像機位置姿態和古建筑稀疏三維點云的計算流程

步驟4的子步驟(4)為了提高Bundle Adjustment優化算法的效率，采用了G2o圖優化算法，對于每一個攝像機姿態和三維點，建立圖中對應的節點，對每一個三維點與對其可見的攝像機姿態之間建立對應的邊，利用G2o算法對以下目標函數進行優化：

(1)

式中：m和n分別為集合Q和集合Ps的元素個數；aj為第j幅圖像的攝像機姿態，bi為第i個空間三維點；π表示第j幅圖像的投影方程即π(aj,bi)=KTj(bi)；xij表示第i個三維點在第j幅圖像上的圖像坐標。

步驟5根據攝像機的位置姿態T0，T1,…,Tn和稀疏三維點云，利用PMVS算法[19]計算獲取古建筑的稠密三維點云Pd。步驟5主要包括3個子步驟：(1) 初始化特征匹配，即利用每幅圖像的特征點生成稀疏面片的過程。對于圖像Ii，以及其對應的光心O(Ii)，其中的特征點f，通過允許有兩個像素誤差的極線約束找到它在其他圖像中的同種類型的特征點f′，構成匹配點對(f,f′)。再用這些匹配點對使用三角化的方法生成一系列三維空間點，將這些點按照距離O(Ii)從小到大順序排列，依次嘗試生成面片，直到成功獲得一系列的稀疏面片。(2) 面片生成和擴展，目標是在每個圖像網格中至少重建一個面片，方法是從已有的面片出發，在其附近的空白空間搜索滿足一定條件的鄰域圖像塊集合，不斷進行迭代，生成新的面片，直至面片重建完成。(3) 面片過濾，主要引入了兩個過濾方法以濾除錯誤的面片。第一個過濾方法依賴于可見一致性；第二個方法是正則化操作，即對于每個面片p，首先獲取在其所有可見圖像I(p)中p所在或相鄰的圖像網格中所有的面片。如果獲取的面片中p的鄰域所占比例低于一定值(如25.0)，則認為p為外點并將其濾除。通過步驟5可以生成分布較為均勻的古建筑稠密三維點云。

步驟6根據古建筑的稠密三維點云及其法向量，利用泊松表面重建算法[20]構建三角網格，通過對模型的指示函數進行逼近及提取等值面得到一個閉合的三角化近似表面，生成古建筑三角網格面片模型。

步驟7應用了Waechter等[21]的方法，利用攝像機姿態、三角網格和圖像信息，應用一種輕微變形的均值平移算法來檢查視圖的一致性，通過視圖剔除、遮擋物消除等操作優化視圖的選擇，合并面片冗余信息，以此減少紋理映射錯誤，從而恢復古建筑的三維紋理模型。

2 系統實現

根據系統算法步驟將系統分成圖2中的各模塊來實現。系統中各模塊和算法功能使用C++語言編程實現。模塊1輸入不同視角拍攝的古建筑圖像序列，根據建筑場景規模大小和建筑復雜度，一般需要攝取采集幾十幅到幾百幅圖像不等；模塊2實現原始二維圖像序列的特征點的檢測和匹配，通過提取SIFT特征點，并建立描述子進行特征匹配，得到圖像序列的初始公共種子匹配點，接著對種子匹配點進行匹配擴散，獲得圖像序列的準稠密匹配點。

圖2 系統設計各模塊

模塊3根據模塊2的圖像特征匹配結果，計算攝像機的位置姿態即攝像機內參數矩陣，這里采用了文獻[16]的標定方法來實現；同時，根據本系統算法的步驟4，計算得到古建筑的稀疏三維點云；之后，調用G2o圖優化算法的開源框架對攝像機的位置姿態和稀疏三維點云進行優化，以此減少累計誤差帶來的重建錯誤。模塊4利用PMVS多視角立體匹配算法實現古建筑稠密三維點云生成。模塊5根據模塊4的稠密點云結果，運用泊松表面重建算法構建三角網格，生成三角面片模型。模塊6根據上一模塊計算結果，進行紋理映射，實現生成帶紋理的古建筑三維重建模型。

系統各模塊之間的數據和接口調用使用Python語言編程實現。為了呈現直觀且全視角觀看的古建筑三維重建模型，本系統還設計了三維模型生成的運行界面，使用PyQT5來實現，程序運行界面設計如圖3所示。

圖3 古建筑三維重建系統設計界面

3 實 驗

根據古建筑數字化需求和項目研究目標，對深圳市的三個具有代表性的古建筑進行了現場圖像拍攝，分別為深圳赤灣中華神海、深圳南頭古城牌樓和深圳赤灣天后宮。本節給出了利用本文設計的系統而實現的上述三個古建筑場景的三維重建結果。系統實驗場景運行的PC平臺配置如下：Windows 10操作系統，Intel(R) Core(TM) i7-7700HQ 2.80 GHz CPU，8 GB內存。圖4是將拍攝的82幅不同角度的深圳赤灣中華神海古建筑圖像(分辨率為5 472×3 648)運用本系統進行三維重建得到的結果，包括原始圖像、三維重建點云、紋理映射的三維模型、三維重建面片模型。圖5則是根據不同視角拍攝的162幅深圳南頭古城牌樓的圖像序列(分辨率為4 032×3 024)而重建的三維模型結果。圖6是本系統輸入287幅深圳赤灣天后宮古建筑圖像序列(分辨率為5 472×3 648)進行三維重建的結果。

圖4 深圳赤灣中華神海三維重建結果

圖5 深圳南頭古城牌樓三維重建結果

圖6 深圳赤灣天后宮三維重建結果

表1給出了上述三組實驗(深圳南頭古城牌樓、深圳赤灣中華神海、深圳赤灣天后宮)的運行時間和三維重建模型運行的結果數據，包括圖像匹配和稀疏點云重建時間、稠密點云重建時間、三維點數、面片數及頂點數等。

表1 三座不同古建筑的三維重建運算時間及重建數據

可以看出，實驗運行時間主要消耗在稠密點云重建這一階段。而系統前面階段如圖像匹配和稀疏點云重建，以及后面階段如三角網格構建和三角面片模型生成，都只占運行總時間的一小部分。對于輸入近百幅甚至是幾百幅的圖像序列，由于室外場景物體較多、建筑復雜度較高、原始輸入圖像數量多、圖像分辨率高等特點，重建得到的三維點云數、頂點數以及面片數量都非常巨大，從而在普通硬件配置的PC機上要進行較長時間的運算，但這是可以理解和接受的。總體來看，三組古建筑場景實驗的三維重建效果在視覺上和準確性上都是較良好的。

為了將本系統應用的G2o圖優化算法運行時間與傳統的SBA優化算法時間進行對比，實驗還對深圳赤灣中華神海、深圳南頭古城牌樓、深圳赤灣天后宮這三組古建筑場景三維重建的優化算法運行時間進行了對比，如圖7所示。兩個優化算法的PC平臺配置都與以上實驗相同。從圖7可見，對于深圳赤灣中華神海、深圳南頭古城牌樓、深圳赤灣天后宮三組場景，G2o優化算法比SBA優化算法的運算時間分別減少了29.5%、25.4%、26.8%。

圖7 三組場景的G2o優化算法與SBA優化算法運行時間對比

可以看出，系統對于不規則且復雜的古建筑場景得到的三維重建效果都比較良好。在重建精度方面，由于古建筑場景中的某一個單獨物體或其中某一部分的三維重建精度較高，但對于其他部分卻比較低。因此，當前大量文獻中報道的室外大場景特別是大型古建筑的重建方法均沒有進行定量評價。本系統主要是面向古建筑的三維數字化應用需求，實驗中未給出三維重建的精度定量評價，也未與其他三維重建方法在重建精度方面進行比較。一方面是由于三維重建的場景對象不同，所選取的都是不同的方法；另一方面是由于沒有合適的古建筑的三維重建精度評價體系，所以很難進行定量比較。

4 結 語

通過單臺攝像機對古建筑二維圖像序列攝取、圖像特征點檢測和匹配、攝像機位置姿態計算、三維點云計算、紋理映射計算及優化算法等步驟實現了基于視覺的古建筑的三維重建系統。通過實驗結果可以看出，本文系統能夠獲得視覺效果良好、較強真實感的古建筑三維結構模型。

本文系統設備成本低、操作簡單而可靠、實施性較高，能廣泛應用于室外復雜的古建筑場景，對于古建筑數字化保護的研究和技術開發人員具有一定的參考價值。未來工作旨在提高古建筑三維重建系統的運算效率和重建精度，以及從不規則的古建筑三維重建模型中恢復其規則的CAD模型。