基于運動恢復結構三維重建的應用與研究進展

王巧麗，徐增波，張 玲

(上海工程技術大學 紡織服裝學院，上海 201620)

三維重建一直是計算機視覺、圖形學、醫學及信息科學等領域研究的熱點，如在視覺方面的人工智能、無人駕駛、虛擬現實[1]；在醫學治療中利用CT三維重建技術對病情的診斷[2]。采用基于不同視角的二維圖像進行三維重建的方法憑借其設備成本低、條件約束少和建模精度高等優勢迅速成為一個熱點研究方向[3]，而運動恢復結構(Structure From Motion，SFM)是該技術的關鍵內容，基于此，本文系統地闡述了基于SFM三維重建技術的研究現狀，影響其建模精度的理論基礎，該技術的原理、方法對比及在各領域的應用，并提供了該技術在服裝領域的應用新思路。

1 三維重建概述

1.1 主流的三維重建方法

目前三維重建主要有3種方法[4]：第1種是使用三維建模軟件創建三維模型，常用軟件如3dsMax、Maya等，此方法成本低，但耗時大且模型較粗糙。第2種是通過三維掃描設備獲取目標模型，該設備一般采用激光、結構光及紅外深度傳感等技術，這種重建方法掃描快速且精準度高，但設備價格高昂、體積大，因而無法實現對目標物體隨時隨地進行數據采集。第3種是基于圖像的三維重建，其主要思想是通過手機或攝像機拍攝不同視角的二維圖像，來重建物體或場景的三維模型。相較于前2種建模方法，該方法只需要普通的RGB攝像頭來采集圖像或視頻，人力物力資源消耗少，在室內和室外均能使用，極大地彌補了三維掃描儀不便攜帶和受環境約束多的缺點，因此，近年來采用SFM技術進行三維重建的應用越來越廣泛。

1.2 基于SFM三維重建國內外現狀

基于多視圖三維重建的研究最早起源于20世紀70年代發達國家，Longuet-Higgins[5]提出該研究后，眾多研究者紛紛開始對其進行更深一步的研究。早期的SFM技術在進行重建時，需對攝像機提前進行標定(即計算攝像機的內外參數)，才可以輸出場景三維結構的信息。文獻[6]在圖像采集過程中基于Kurppa原理實現了攝像機自動標定方法。

國內學者在近20年里對基于多視圖的三維重建技術取得了一定的研究成果。王楠[7]基于SFM原理，將改進的隨機抽樣一致(Random Sample Consensus，RANSAC)算法應用到匹配點優化和建筑物的三維重建中，最終恢復出攝像機的相對位姿及三維場景位置信息。李永露[8]以大型無人機航拍影像作為數據輸入，綜合改進SFM算法和其他三維重建開源技術構建出了無人機影像三維重建原型系統，該系統能自動處理人機影像的各種數據，可有效滿足一定的大型無人機航拍影像三維重建模型的需求。張昕[9]在基于視頻序列的三維模型重建研究中，優化了傳統特征匹配方法，最后創建出不同角度的地球儀和愛因斯坦雕塑的稠密點云模型。

2 基于SFM重建的理論基礎

基于SFM重建的理論基礎主要有攝像機成像原理、多視圖幾何及相機標定等，本文主要從影響基于SFM建模精度的因素出發，對相機標定和光束平差法兩方面進行闡述。

2.1 相機標定

從二維圖像中映射出物體的空間坐標系值，需知道相機的參數，而相機的參數要通過相機標定來求得，精確的相機標定對后續計算三維空間坐標系的精準度有著直接影響。目前，相機標定方法可分為傳統標定方法和自標定方法[10]。

2.1.1 傳統標定方法

傳統標定的方法是通過標定物上三維坐標點與拍攝圖像點之間的對應關系進而得到相機內參數。目前常用一張二維黑白棋盤作為標定板，標定精度較高。常用的標定方法有張正友標定法[11]和基于徑向約束(Radial Alignment Constraint，RAC)的兩步標定法[12]。

2.1.2 攝像機自標定法

攝像機自標定法的原理是通過多幅圖像之間的幾何約束關系來確定相機的內參數。該方法不需要特定的參照物，對采集環境要求不高，但較傳統標定物作參照的方法精度低，常用于精度要求不高的大規模場景重建中。自標定方法有基于Kruppa方程自標定法[6]和分層逐步標定法[13]。傳統標定法和自標定法的對比如表1所示。

表1 傳統標定法和自標定法對比

2.1.3 張正友標定法

張正友標定法[11]的原理是以二維棋盤格作為參照模板的標定方法，通過拍攝不同角度的棋盤格標定板圖像序列，進而從圖像中提取出棋盤格特征點，利用這些特征點與三維空間中對應點的坐標關系求出攝像機的內外參數，從而實現相機標定。該標定法彌補了傳統標定法中高精度標定物操作繁瑣的不足，同時比自標定方法精度高，因此，該方法被廣泛應用于相機標定中。

2.2 光束平差法

在利用SFM原理進行三維重建時，由于噪聲點的干擾，出現累計誤差，常用最小二乘解決最優解的問題。光束平差法[14]即 Bundle Adjustment(BA)本質上是一種非線性最小二乘優化方法，該方法的原理是使反投影像點(三維點經估計透視投影矩陣反投影回圖像上后得到的點)到真實像點的距離最小。距離越小，即估計透視投影矩陣和三維點坐標的誤差越小，該法原理函數見式(1)：

雖然銀行界人士紛紛表示不存在“暴利”，多數專家也認為短時間來對比各行業的盈利差距并不科學，但是，在目前國內外實體經濟不景氣，特別是廣大中小企業生存艱難的大背景下，銀行業利潤的高歌猛進著實讓人覺得有點不太正常。筆者認為，銀行業當前利潤與實業企業利潤冰火兩重天，是一種“畸高”，是不可持續的，需要對其進行深入研究，從而實現我國銀行業的穩健經營和國民經濟的協調發展。

(1)

式中：M為透視投影矩陣；P為三維點；pij為真實像點；p(Mij,Pij)為反投影像點；E(M,P)為真實像點和反投影像點之間的距離。BA的目的是使真實像點和反投影像點之間的距離最小化，通過該方法減少誤差積累，求解魯棒性能顯著提高。

3 基于SFM重建的原理和方法

3.1 基于SFM重建的原理

基于SFM重建的基本原理是通過采集設備(手機或相機)的位置移動，對靜態場景拍攝不同視角的圖像序列，求解相機的位置和姿態，進而恢復場景的三維信息[15]。

圖1 運動恢復結構的基本原理

基于SFM算法進行三維重建的基本原理可以描述為:首先采集不同視角的視頻序列或圖像序列并進行特征點檢測和匹配，同時保留滿足幾何約束的匹配；然后執行SFM方法來恢復攝像機的內外參數，并由三角化得到三維點坐標，最后使用BA進行優化。

目前SFM在三維場景的重建中有其局限性，一般用于場景靜止或較少剛性運動而相機運動條件下的深度恢復，為提高重建精度和效率，提出以下拍攝要求：①選擇有良好紋理的背景，避免拍攝完全無紋理的場景(如白墻、白桌子)；②在光照均勻的條件下拍攝圖像，避免在光線變化太明顯時拍攝(如陰天)；③避免在目標物體及場景中高動態的運動時拍攝，如人手臂、上半身的晃動、場景中有搖動的樹枝等；④為保證重建的模型精度更高，需獲取目標物體全方位視角的圖像，以確保重要信息不丟失，因而，需要對目標物體采集至少3 張不同視角的圖像。

3.2 主流的SFM重建的方法

根據SFM過程中圖像添加先后順序不同，將SFM重建方法分為3種，分別為：增量式(Incremental SFM)、全局式(Global SFM)、混合式(hybrid SFM)[16]。

3.2.1 增量式SFM

圖2 增量式SFM技術流程圖

3.2.2 全局式SFM

全局式SFM和增量式SFM的原理類似，最大的不同點是該方法一次性加入所有圖像，進而完成對所有圖像的重建。

3.2.3 混合式SFM

混合式SFM是增量式SFM和全局式SFM 2種方法的疊加[18]，其原理是先利用全局式SFM得到相機的外參，再用增量式SFM求解相機的位置，最后利用三角定位恢復場景三維信息，同時利用BA對重建模型進行優化。

綜上所述，全局式SFM彌補了增量式SFM的誤差大和效率低的不足，但比增量式SFM的建模精度較低，混合式SFM在求解位移矩陣時容易出現誤差，增量式方法因重建精度高而應用更廣泛。

3.3 基于SFM重建的應用

由于SFM方法重建出的模型精準度高、建模效率快，進而應用在各個領域，本文主要從大型建筑物重建、人體模型重建、農作物重建及醫療方面闡述。

3.3.1 建筑物重建

李聰聰[19]使用大型無人機對某大學建筑物正面拍攝不同視角的圖像集，采用增量SFM 法恢復每個相機的參數，同時用BA優化，采用多視圖立體視覺(Multi View System，MVS)重建稠密點云，再用浮動尺度表面重建算法(Floating Scale Surface Reconstruction，FSSR)[20]重建場景的表面網格模型，最終重建出完整的建筑物正面的表面模型,重建模型逼真。另外基于SFM原理對城市街區的重建、無人機攝影的農村房屋的重建及古建筑破損修復的重建等。

3.3.2 人體模型重建

張照[21]在基于SFM的人體模型三維重建關鍵技術研究中，使用攝像機對3個目標人體拍攝不同視角的圖像序列，重構出效果逼真的人體模型，重建精度高。

3.3.3 農作物重建

吳丹[22]在對水稻三維重建中采用SFM技術，采集不同生長時期高度不同的玉米植株在不同視角下圖像序列，實現對單珠玉米的三維重建，同時利用 ICP 算法實現高大玉米植株拼接重建。

3.3.4 醫療方面

李震一[23]在運動恢復理論的基礎上，計算出攝像機內外部參數，最終完成基于血管圖像的三維重建，為后續獲得增強現實效果的醫學奠定了基礎。王洋等[24]用相機拍攝牙齒序列圖像，采用運動恢復結構(SFM)和多視圖面片(Patch-based Multi-view Stereo，PMVS)2種方式結合的方法，完成了基于多視圖面片的牙模三維重建。另外基于SFM的重建在沙堆內尺寸測量、多尺度床河工模型結構的三維重構、江水涌潮時變化的三維重建、園林果樹的三維結構重建等方面也有所應用。

4 結束語

本文通過對比分析傳統三維建模技術的優缺點，得出傳統三維模型重建存在建模粗糙、設備成本高等問題，而基于SFM進行三維重建的方法具有成本低、建模精度高且受環境約束少等優勢,成為目前三維重建技術研究的熱點。該方法在三維人體建模方面也有應用，目前手機已成為人們隨身攜帶的必備工具，可以考慮通過手機對人體進行視頻拍攝的方式采集全方位視角的人體圖像，基于SFM三維重建技術實現三維人體模型重建，并對該模型完成人體尺寸的測量，可以考慮開發一款三維人體測量技術的APP或小程序，滿足顧客隨時隨地測體的需求，對消費者的量身定制和服裝企業團體定制具有實用的價值意義。