集群技術下的實景三維建模

何雁如，徐敬海，秦 駿

(南京工業大學測繪科學與技術學院，江蘇 南京 211816)

無人機產業近十年在我國取得了蓬勃發展，在測繪地理信息行業也在逐漸發生著演變。由單鏡頭單角度發展到多鏡頭多角度[1]，由獲得正射影像延伸到獲得傾斜影像，一步步向多鏡頭傾斜攝影測量過渡。傾斜攝影測量的到來為實景三維建模提供了可能性。當前，圍繞傾斜攝影測量構建實景三維模型，眾多研究人員已開展許多富有成效的研究，如文獻[2—4]闡述了在無人機多角度傾斜攝影中使用Smart3D自動化快速三維建模的流程并應用在城市、水利BIM、地質勘查等工程中；文獻[5—6]針對自動建模后的模型，研究了單體重建與精細化處理以獲得更逼真的實景三維模型；文獻[7—8]改變了傳統五鏡頭，利用小型多鏡頭或單鏡頭航攝儀進行傾斜攝影測量構建實景三維模型；文獻[9]提出了利用空中傾斜攝影結合地面測量可對環境進行有效監測。總體上現有研究較好地促進了傾斜攝影測量技術的發展，在自動化建模流程與應用、模型精細化處理與優化及傾斜攝影測量硬件優化幾個方面進行的研究較多。

隨著無人機續航能力與相機分辨率的大幅提升，傾斜攝影測量已經成熟應用于大測區范圍(如一個片區/城市)，伴隨而來的是不斷增多的相片數量與對相片質量的要求，普通PC機已很難滿足這類測區在自動建模時的需求，有時即使選購配置高性能的工作站也不得不面對計算資源的局限性。集群技術的出現為普通PC機進行大測區范圍的自動建模提供了支撐，然而如何恰當運用集群技術于實景三維建模過程仍值得探討與研究。本文將對集群在三維建模中的應用模式進行探討，并研究集群背景下的實景三維建模技術，旨在通過應用多臺普通PC機集群建立測區的實景三維模型，降低生產成本。

1 集群技術在實景三維建模中的應用模式

1.1 基于物理并行計算的集群

集群是將多臺同構或異構的計算機通過高性能網絡或局域網連接起來并協同完成特定任務的計算機群，它們對外部的表現就像一個系統在工作。高性能計算集群(high-perfomance clusters，HPC)是網絡GIS中常用的集群方式[10-13]。一種簡易的HPC系統硬件由主節點(服務節點)、一系列從節點(客戶節點)和連接到它們的交換機及網絡線組成，其中主節點是集群控制器和外部網關。它負責管理和控制從節點并對外進行通信，從節點執行從主節點分配來的任務。這樣通過獨立的計算機和高速網絡搭建的整個集群本質上像一臺計算機，執行傾斜攝影測量建模任務時，由集群操作系統(分布式計算平臺)完成任務分解傳遞給主節點，主節點安排各從節點作為計算節點接收子任務，各子任務之間并行計算(如圖1(a)所示)，并在子任務計算結束后，完成計算結果合并。

從傾斜攝影測量角度看子任務之間無邏輯關聯，純粹是為了集群操作系統調度方便，因此，這種集群模式為純物理意義上的并行計算集群。相比購買昂貴的高性能工作站，這種集群除了成本優勢，還具有很好的擴展性、高可用性、易管理性，一旦需要更多的處理能力只需增加一定數量的服務器或普通電腦即可[12]，是較為成熟的集群模式。然而，目前這種模式雖然理解起來容易，但在實際應用中由于子任務劃分在底層，不易控制，在傾斜攝影測量中實現較困難，且此集群模式的運算能力的擴展比較麻煩，需增加特定的硬件，相關傾斜攝影測量商業軟件中運用該模式的軟件還比較少。

1.2 基于邏輯并行計算的集群

基于邏輯并行計算的集群是基于物理并行計算的集群在傾斜攝影測量中的延展。由于在傾斜攝影測量建模過程中，測區空三解算與自動建模任務是可劃分的，因此，基于邏輯并行計算的集群，在測區空三解算與自動建模過程中，將原本由集群操作系統完成的子任務分解交給軟件從邏輯上進行人工劃分。Bentley公司的ContextCapture Center軟件是這種模式的代表，目前已在生產中取得了一些應用。

該軟件是在其前Smart3D Capture技術的基礎上發展起來的一種新的軟件解決方案[14]，可使簡單的照片生產成高分辨率的三維模型，且無需任何人工干預。軟件包含Master、Setting、Engine、Viewer等幾個主要的模塊。其中Master是一個非常友好的人機交互界面，相當于一個管理者，它創建任務，管理任務，監視任務的進度等；Setting是一個中間媒介，它主要是幫助Engine指向任務的路徑；Engine即是引擎端，只負責對所指向的Job Queue中的任務進行處理，可以獨立于Master打開或關閉；Viewer則可預覽生成的三維場景和模型[15]。ContextCapture Center 4.4軟件在基于邏輯并行計算的集群下，由主機的Master替代了物理并行計算集群模式中的集群操作系統進行任務劃分，分成多個子任務塊，將由主節點進行的任務分配現交給Job Queue，建立“先到先行”的工作隊列，進行任務分配，副機的Engine接收分配的子任務塊并完成并行計算(如圖1(b)所示)。

圖1 集群在三維建模中的應用模式

這種集群模式下各子任務塊之間互相獨立，結果互不影響，在物理上已屬于多個任務，嚴格意義上來說，這種集群模式甚至可以認為是一種偽集群。但該種模式相比較上一種模式，從傾斜攝影測量建模的流程上看，帶有邏輯關聯性，且在實現時具有一定的優點，如建模過程中可隨時增加或減少建模計算機(硬件可以熱插拔)；對建模計算機軟硬件要求相對低；各任務塊之間的計算結果互不影響，可以隨時停止與繼續。該模式可彌補物理并行計算集群模式下擴展麻煩的缺點，也可增加建模效率，降低生產成本。

1.3 基于ContextCapture的實景三維集群建模流程

ContextCapture Center 4.4在邏輯并行計算集群下分配計算任務以及確保模型精度擁有自己的一套實景三維建模工作流程如圖2所示。在該流程中，由于計算機硬件資源限制且ContextCapture Center 4.4無法對相片進行自動分塊，因此首先需要在主機的Master中對大量相片預處理，并在工程中建立多個Block，再將相片分Block導入后由工作隊列Job Queue將多個Block分配到多臺副機的Engine上，進行空三解算，為保證合并后空三結果的穩定性，還需在空三解算前進行精度控制。空三結果合并后指定切片大小，則可由ContextCapture的Master自動切片，最后，Job Queue將多個Tile按先到先行的隊列分配到Engine上面構建實景三維模型。

圖2 基于集群的實景三維建模流程

從該工作流程可以看出，本質上這種集群建模模式是通過人為劃分具有邏輯意義的子測區(子塊/block)，并通過將子測區的任務交由不同的普通電腦進行空三解算。并將空三解算結果進行合成后，再將測區劃分為小的切片交由不同普通電腦完成建模。由于子測區的劃分，可減少每次空三解算和建模對硬件計算資源的需求，從而能實現多臺普通電腦對大測區的建模。然而帶來的問題是如何合理地劃分子測區，以及如何控制由于劃分子塊所帶來的建模精度，這些已成為此建模模式需要解決的關鍵問題。下面結合工程案例對此問題進一步探索。

2 工程概況

某測區位于江蘇省南京市浦口區，東至浦口大道，北至沿山大道中段，西至七里路，南至浦珠南路，測區面積約2 km2，呈長形，南北長約2220 m，東西寬約920 m。地形復雜，多為丘陵，植被豐富，建筑物錯落分布。本工程使用Dji Matrice 600電動多旋翼無人機，并搭載了五鏡頭傾斜相機進行外業測繪，航測使用的無人機平臺與搭載傳感器參數見表1。該測區共執行了12個架次的飛行任務，航向重疊度80%，旁向重疊度70%，共60條航帶，獲取航片15 000余張。實驗室的單臺工作站可以完成約6000張航片的自動建模工作，面對該工程的航片數，工作站的內存與處理能力仍然存在瓶頸，需要搭建集群環境運用多臺計算機聯合計算。

實驗室擁有多臺普通PC機，內存8 GB，CPU主頻2.4 Hz，GPU顯存1 MB，這些PC機由交換機連接，組成局域網搭建集群環境。有效存儲空間最大的PC機為主機，航片存儲于主機上，網絡映射存儲盤。這些PC機上均安裝有ContextCapture Center 4.4軟件，主機使用Master、Engine模塊，副機使用Engine模塊，修改主機的任務提交目錄，修改副機的任務提交目錄與主機一致。值得注意的是，在計算機集群環境中使用ContextCapture Center 4.4，需要使用通用命名約定路徑來設置輸入、輸出及工程文件。待工程提交計算任務后，便可在任務序列監視器中檢查運算引擎端數量及各Engine執行情況。

3 子塊劃分與精度控制

3.1 子塊劃分

在基于Smart3D Capture的邏輯并行計算集群環境下，子塊劃分的合理性直接影響著整個任務的計算效率與計算精度，如果劃分太少，計算機硬件資源仍然顯得不夠，如果劃分過多，一是對現有的計算資源是一種浪費，二是需要多次精度控制，影響效率。如何對任務進行更為合理高效的劃分，需要找到一個平衡點，結合本次工程航攝的實際情況，本文從計算資源荷載量(P1)、計算效率(P2)、計算精度(P3)3方面，提出以下5個劃分參考原則：

表1 無人機平臺與搭載傳感器參數

(1) 起降點原則(P3)。在地形高起伏地區，起降點的不同可能會根據實際情況改變飛行高度與姿態角，空三解算中，不同起降點不建議放在一塊解算。本次航測的起降點見圖3位置，共計4個起降點。根據起降點位置規劃了相應的子測區(見表2)，測區與測區之間疊加重疊航線，為避免不同測區對空三結果的影響，不同起降點的測區應劃塊分別解算空三。

表2 無人機起降點信息

(2) 飛行高度原則(P3)。飛行高度不同的航片如果不存在重疊度，合并計算易失敗。該測區地形起伏大，建筑物眾多，起降點高程相差大(見表2)，不同的測區起飛高度根據起降點高程與測區建筑物高度作了相應調整，飛行高程不同的航測區域不可合并解算。

(3) 建筑物密度/植被密度原則(P2)。為保證建筑物建模效果，建筑物密集區航片重疊率要求較高，而植被密集區點云匹配較困難，易失敗，往往需要補測，根據建筑物/植被情況分塊解算，有助于提高解算效率。該測區南部建筑物較密集，北部以丘陵地帶為主，多植被，應分開解算。

(4) 最大計算量原則(P1)。本次三維自動建模任務采用的計算機為普通8 GB內存PC機，經多次測試，單臺8 GB內存PC機處理航片數不宜超過3000張。

(5) 航線角度原則(P2、P3)。為保證航片參數一致性，航線角度的不同影響著航片劃分方向。本測區整體呈長形，航線規劃選擇橫向可減少往返起降點的距離，因此空三解算任務以橫向劃分為宜。

綜合以上參考原則，對本測區進行空三解算子塊劃分，如圖3，(a)為3號起降點植被密集低洼區，(b)為2號起降點丘陵區，(c)為4號起降點丘陵區，(d)為4號起降點建筑物密集區，(e)、(f)均為1號起飛點建筑物密集區，由于航片量超3000張，特劃分成兩個子塊。

圖3 空三解算子塊劃分

3.2 精度控制

在常規實景三維建模中，帶有POS數據的航片甚至可不進行精度控制，但在集群環境下，執行各子測區空三結果合并后，雖然每個塊都進行過空三解算，但塊與塊之間沒有建立起聯系。在地形起伏較大的區域，易出現精度問題，與實際位置誤差較大，模型模糊，難以滿足建模需求，如圖4(a)所示出現“雙屋頂”現象。

圖4 精度控制前后模型效果對比

要解決該問題可通過精度控制，減小模型坐標與實際坐標的差值。因此，本文布設了地面控制點以控制集群模式下生產的模型精度，參照《1∶500 1∶1000 1∶2000地形圖航空攝影測量外業規范》(GB/T 7931—2015)并結合傾斜攝影測量實際情況，根據各子測區范圍大小，分別布設4～5個控制點，共計24個地面控制點(如圖5所示)，經精度控制后不同分區的空三解算精度均得到了提升，見表3。合并后生產的實景三維模型改善了模型與實際誤差較大及模型模糊的問題(如圖4(b))。

表3 不同分區增加控制點前后空三解算(RMS of distances to rays)精度

m

4 模型精度評價

為驗證實景三維模型的精度控制是否有效，模型精度是否滿足生產需要，還需檢測三維建模精度。三維建模精度包括平面位置精度和高度精度[16]，一般是通過量測模型上檢查點的三維坐標與外業實測值進行比對，并作為檢查指標。本文在測區均勻布設了15個檢查點(如圖5所示)，精度統計見表4。

圖5 測區地面控制點與檢查點分布

由表4可以看出，該測區實景三維模型精度符合《三維地理信息模型數據產品規范》(CH/T 9015—2012)，滿足該測區的建模需求。經多臺PC機集群計算，快速建立了某測區實景三維模型(如圖6所示)，該模型效果良好，建筑物清晰，模型精度符合測區要求，但由于該測區地形復雜，高差較大，植被覆蓋廣，使得點云匹配效果較差，部分水面、植被遮擋區域、屋檐下方、光線反射區域存在空洞，還需人工修補，模型效果仍有待提升。

表4 某測區實景三維模型精度統計 m

圖6 某測區實景三維模型

5 結 語

無人機續航能力的大幅提升使大測區傾斜攝影測量的應用成為可能，但是計算資源的稀缺性大大限制了大測區實景三維建模的發展，集群的出現為普通PC機執行大測區實景三維建模帶來了契機。本文研究了集群在實景三維建模中的兩種應用模式，并結合工程案例，使用普通PC機替代高性能工作站，探討了基于邏輯并行計算的集群模式下實景三維自動化建模的兩大問題：如何充分利用計算資源劃分建模任務以提高建模效率，如何確保集群下的實景三維模型的精度。在劃分建模任務方面，本文提出了子塊劃分參考5大原則以確保子塊劃分的合理性；在確保模型精度方面，本文根據測區情況增加了地面控制點，控制了模型精度，大大減小了模型生產中精度問題帶來的影響。結果表明，基于邏輯并行計算集群下多臺PC機聯合自動建模完成的實景三維建模精度符合精度要求，突破了計算資源限制，能夠滿足大測區范圍實景三維建模的需求，可運用于城市、大型工程、工業園區等的實景三維模型構建中。但是模型中還存在少量空洞，還需在后期對集群下的模型精細化與模型優化進一步研究。