鄉(xiāng)村區(qū)域建筑物自動三維建模方法研究

龍北平，劉錕銘，李 政

（1.江西省煤田地質局測繪大隊,江西 南昌 330001；2.西南交通大學 地球科學與環(huán)境工程學院,四川 成都 611756）

智慧鄉(xiāng)村建設是智慧中國建設的前提,也是推進社會主義生態(tài)文明建設和新農村建設的重要舉措,而鄉(xiāng)村信息化建設是完善智慧鄉(xiāng)村建設的基礎。其中,重建鄉(xiāng)村區(qū)域建筑物的三維模型是鄉(xiāng)村信息化建設的重要組成部分,有助于鄉(xiāng)村輔助規(guī)劃、建設、調查確權、精準扶貧等工作的開展。隨著遙感技術的不斷發(fā)展,利用無人機、衛(wèi)星等平臺可快速獲取并更新鄉(xiāng)村區(qū)域的遙感影像,因此基于已有的海量遙感影像,如何快速、準確、自動地恢復鄉(xiāng)村區(qū)域建筑物的三維場景具有重要意義。

目前,國內外學者對重建建筑物的三維模型作了大量研究,大體分為3類:①在傳統(tǒng)三維建模軟件中根據地物的幾何造型直接生成；②借助專有設備對目標地物進行三維掃描；③利用計算機視覺原理,通過拍攝目標地物的多方位照片來恢復三維模型。上述方法大多需要耗費大量的人力物力,不能實現(xiàn)自動化處理。鄉(xiāng)村區(qū)域建筑物具有分布零散、結構簡單、形狀單一等特點,且鄉(xiāng)村區(qū)域建筑物的三維模型不需要過于精細化的表達。面對海量和實時更新的遙感影像數(shù)據,如何快速自動地重建鄉(xiāng)村區(qū)域建筑物的三維模型是本文研究的重點。

本文提出了一種遷移學習支持下的鄉(xiāng)村區(qū)域建筑物自動三維建模方法。具體工作流程如圖1所示,首先利用遷移學習法構建建筑物解譯模型,檢測出研究區(qū)內的建筑物并標記位置信息；再利用Canny算子[1]檢測建筑物輪廓,并引入約束條件的Hough變換[2-3]提取建筑物輪廓；最后根據建筑物輪廓,利用參數(shù)化建模的方法重建建筑物的三維模型。

圖1 遷移學習支持下的建筑物自動三維建模方法工作流程圖

1 理論方法

1.1 遷移學習法

遷移學習是指利用一個情景中已學到的內容去改善另一個情景的泛化情況。在遷移學習中,學習器必須執(zhí)行兩個或多個不同任務。遷移學習模型具有較強的表達能力,是深度學習的一種,可通過遷移已有知識來解決目標領域中僅有少量甚至沒有標簽樣本數(shù)據的問題。隨著深度學習的發(fā)展,遷移學習也逐漸受到了關注[4]。

在經典機器學習框架下,分類模型的學習需要給定足夠的訓練數(shù)據,如在圖像識別領域,對圖像進行分類識別時,需手工標注大量圖像數(shù)據,并將這些數(shù)據輸入機器學習算法得到分類模型實現(xiàn)分類,必然會耗費大量人力物力,且新數(shù)據的標注非常昂貴；如果沒有足夠的訓練樣本就很難訓練出一個較好的特征子集或分類器。遷移學習的目標是通過一個現(xiàn)有環(huán)境中學到的知識幫助未知新環(huán)境中的任務學習。該方式無需訓練數(shù)據與測試數(shù)據具有嚴格假設的同分布[5-6],首先在已有分類數(shù)據集中預訓練模型,再移除預訓練模型的頂層神經網絡,然后利用目標任務數(shù)據集重新訓練一個輸出層,獲得新類別的權重,即可獲得一個適用于目標任務的分類模型。該方法可縮短模型訓練時間,提高工作效率[7]。

目前帶標注的自然圖像庫較多,如典型的ImageNet庫,由斯坦福大學標注完成,包含百萬級別的標注圖像,其中有超過1 500萬張帶標簽的高分辨率圖像,這些圖像被劃分為超過2.2萬個類別,是圖像識別領域最大的標注圖像庫。在ImageNet庫上學習圖像特征提取方法,再采用遷移學習機制可獲得建筑物預訓練模型。

本文基于遷移學習法構建的建筑物解譯模型框架如圖2所示,其中源任務是原始深度學習方法中的場景分類,通過將源任務的網絡參數(shù)和結果優(yōu)化后轉移到目標任務中,實現(xiàn)了建筑物分類模型的構建。

圖2 特征遷移學習法的建筑物信息提取框架

針對特征學習階段,本文采用加州大學伯克利分校計算機視覺研究小組預訓練好的ImageNet分類模型[8],其中包含5個卷積網絡層和3個全連接層。在特征遷移階段,利用構建的建筑物樣本庫對模型前5個卷積層和FC6層參數(shù)進行了調優(yōu),并選擇FC6層的輸出作為建筑物特征,然后將調優(yōu)后得到的特征作為SVM的訓練輸入,構建建筑物解譯模型。本文對建筑物解譯模型FC6層輸出進行了可視化,采用t-SNE數(shù)據降維的方法[9]將高維數(shù)據在二維空間上進行展示。t-SNE可視化結果如圖3所示。本文將4 096維度的特征向量按照t-SNE方法映射到二維空間中,得到遷移學習特征的分布圖。由圖3中紅色圓圈區(qū)域可知,通過遷移學習法,建筑物樣本已出現(xiàn)了明顯集聚現(xiàn)象,可認為原始影像庫訓練學習得到的特征提取方法在自然影像和建筑物影像間找到了內在的映射關系。遷移學習法可應用于影像中建筑物的準確檢測。

圖3 t-SNE可視化

1.2 Canny算子

Canny算子是一種多級邊緣檢測算法,具有信噪比高、邊緣定位準確和有效抑制產生虛假邊緣等優(yōu)點。Canny算子邊緣檢測的主要流程為:

1）為了減少噪聲對邊緣檢測的影響,利用高斯濾波器平滑圖像,如式（1）所示,其中σ為高斯濾波的標準差，代表圖像的平滑程度。

2）利用Sobel等梯度算子計算圖像上的梯度幅值和方向,梯度幅值為方向為tan-1(gx/gy)。

3）為了進一步消除非邊緣點的噪聲,同時細化邊緣,需對梯度幅值進行非極大值抑制,即沿著該點梯度方向,比較前后兩個點的幅值大小,若該點大于前后兩點,則保留,若該點小于前后兩點,則設置為0。

4）雙閾值算法檢測和邊緣連接,設置兩個閾值T1、T2,T1先驗值為圖像整體灰度級分布的70%,且T1數(shù)值是T2數(shù)值的1.5～2倍。當灰度值大于T1時,灰度設置為255；當灰度值小于T2時,灰度設置為0；當灰度值在T1、T2之間時,搜索該像素周圍的八像素灰度值,若搜索的八像素灰度值均不為255,表明該點為孤立的局部極大值點,灰度值設置為0,否則設置為255。重復操作該步驟,直到全部判斷完畢。

1.3 約束條件下的Hough變換

Hough變換是一種采用表決原理的參數(shù)估計技術。其原理是利用圖像空間和Hough參數(shù)空間的點線對偶性,將圖像空間中的檢測問題轉換到參數(shù)空間。為了充分利用圖像的梯度幅值信息,首先利用Canny算子對圖像進行邊緣檢測,然后將檢測出的邊緣點像素坐標作為已知點,對應的梯度幅值作為各點的權值,采用加權最小二乘法不斷擬合該直線。具體流程為:

1）在圖像坐標空間中,經過點(x,y)的直線表示為:

式中,a為斜率；b為截矩。

誤差方程為:

2）通過計算邊緣點的坐標范圍確定直線的位置和長度L。

3）設定直線長度閾值為C,圖像像素大小為A×B,端點像素值為D。當直線L＞C時,且該邊緣點坐標包含在中，直線保留；否則去除。

2 實驗結果與分析

本文以江西省南昌市進賢縣鐘陵鄉(xiāng)農場改造項目為依托,選取進賢縣鐘陵鄉(xiāng)地區(qū)的無人機遙感影像作為實驗數(shù)據。該地區(qū)屬于山地丘陵地帶,建筑物分布較散、結構單一。外業(yè)數(shù)據獲取采用Nikon D810數(shù)碼相機,相對航高為500 m,航向重疊度為70%,旁向重疊度為50%,影像的地面分辨率約為0.05 m,共獲取原始照片數(shù)據814張。

2.1 建筑物樣本庫構建

樣本是目標解譯模型構建的基礎。首先收集不同分辨率的各鄉(xiāng)村區(qū)域遙感影像,再利用目視解譯的方法采集不同類型的樣本,并存儲為標準格式,最后形成建筑物樣本庫。本文為實驗區(qū)建立的建筑物樣本庫如圖4所示,其中正樣本4 500個,負樣本8 000個。

圖4 篩選后的建筑物樣本庫示例數(shù)據

2.2 建筑物檢測與精度分析

建筑物樣本庫構建完成后,再利用卷積神經網絡（CNN）學習得到的建筑物解譯模型對目標區(qū)域進行建筑物檢測。

部分區(qū)域檢測結果如圖5所示。為了驗證解譯模型識別的準確度,本文利用人工目視解譯的方法標識出該區(qū)域的全部建筑物,其中綠色表示檢測成功,藍色表示未檢測成功,紅色表示檢測錯誤,即將非建筑物檢測為建筑物。實驗區(qū)域8 km2的1 539棟建筑物檢測情況如表1所示,可以看出,遷移學習支持下的建筑物解譯模型整體準確率可達85%,表明該方法具有較好的魯棒性和有效性。

表1 遷移學習支持下的實驗區(qū)建筑物檢測情況

圖5 建筑物檢測結果

2.3 建筑物輪廓檢測與提取

本文利用遷移學習解譯模型從實驗區(qū)域中檢測出建筑物,再選擇具有代表性的建筑物進行建筑物輪廓檢測和提取實驗。圖6a為選取的建筑物；圖6b為Canny算子檢測結果,閾值T1取125,閾值T2取50；圖6c為有約束性條件的Hough變換提取的建筑物輪廓,建筑物輪廓用紅線表示；圖6d為輪廓線與原始影像的疊加效果,可以看出,Canny算子可以很好地反映出建筑物輪廓和細節(jié),約束性條件下的Hough變換可有效排除其他地物的干擾,通過條件約束和線性擬合,可準確提取建筑物輪廓。

圖6 建筑物輪廓檢測與提取結果

2.4 建筑物三維模型重建

快速重建三維模型的方法包括兩種:①利用建筑物輪廓,按照指定高度直接生成三維模型,建筑物的結構信息通過紋理展示；②將建筑物輪廓轉換為長寬等參數(shù),采用參數(shù)化建模方法[10]重建三維模型,屋頂紋理采用建筑物頂面圖片,房屋側面紋理根據需求添加。第二種方法的重建效果如圖7所示。

圖7 建筑物三維模型重建效果

2.5 效率對比

本文從建模效率和成本兩個方面,將該方法與傳統(tǒng)人工建模方法進行對比分析,結果如表2所示,可以看出,在建筑物密集程度一般的鄉(xiāng)村區(qū)域,人工建模方法采用人機交互式繪圖,每天可生產20～30個,每km2的生產成本為0.6萬元；而本文方法則可自動化完成整個建模過程,主要成本為外業(yè)獲取側面紋理的費用。傳統(tǒng)的人工建模速度慢,后期成果修改繁瑣,可重復利用性不高；而鄉(xiāng)村區(qū)域建筑物自動三維建模方法可批量生產地物模型,有效減少了人力物力的投入,較大地提高了工作效率。

表2 人工建模方法與本文方法的對比

3 結 語

本文首先利用遷移學習法實現(xiàn)了實驗區(qū)內的建筑物快速檢測；再利用Canny算子對檢測結果進行建筑物輪廓的進一步提取,并結合約束性條件下的Hough變換算法獲得了建筑物輪廓信息；最后采用參數(shù)化建模的方法實現(xiàn)了鄉(xiāng)村區(qū)域建筑物的三維模型重建。實驗結果表明,本文方法具有效率高、自動化程度好的優(yōu)點,能實現(xiàn)鄉(xiāng)村區(qū)域三維場景的快速重建,為鄉(xiāng)村規(guī)劃、整治與精準扶貧等工作的開展提供有效支持。