基于并聯卷積神經網絡的無人機遙感影像建筑區域測量

黃艷暉，向環麗，余榮春

(1.廣西工業職業技術學院，南寧 530001；2.廣西財經學院，南寧 530007)

0 引言

建筑是城市的重要組成部分，遵循統一規劃原則進行開發，滿足人們生產和生活的需要。為了給道路建設、移動路線規劃、城市線路布局等工作提供有效參考，需要對目標建筑區域進行測量。由于建筑通常具有體積大、高度較高等特征，因此給建筑區域的測量工作帶來較大難度。為解決這一問題，采用無人機遙感影像來執行對進駐區域的測量工作。

無人機遙感影像建筑區域測量主要利用無人機遙感技術來收集空間遙感信息。無人機遙感技術結合了無人機、遙感、遙控、通信、差分定位等技術，實現了國土資源和自然環境等遙感信息獲取自動化的應用技術。由于其機動、快速、經濟等優點，無人機遙感技術正逐漸從研發到實用，是未來發展的重要方向。現階段發展較為成熟的無人機遙感影像建筑區域測量方法主要包括：基于多通道數據融合的無人機遙感影像區域測量方法、基于多尺度圓周頻率濾波的區域測量方法以及基于卷積注意力的區域測量方法。然而上述方法在實際應用過程中存在區域測量誤差大的問題，其主要原因是現有方法難以在無人機遙感影像中精準識別建筑區域，因此引入并聯卷積神經網絡算法。

卷積神經網絡[1]是一種前向神經網絡，屬于深度學習算法的一種。卷積神經網絡[2-3]具有表征學習特性，能夠根據其自身的層次結構對輸入的信息進行不變性的分類。卷積神經網絡模擬了生物的視覺機制，既可以進行有監督學習，也可以進行無監督學習。其隱藏層中的卷積核參數分享和層間連接的稀疏特性，使其可以學習格點化的特性，具有穩定的效果，并且不需要附加的特性工程需求。通過多個卷積神經網絡的并聯連接，形成一種神經網絡的新連接形式。與傳統算法相比，并聯卷積神經網絡[4]能夠同時迭代兩組數據，具有更高的工作效率。將其應用到無人機遙感影像建筑區域測量方法的優化設計工作中，有望提高建筑區域的測量精度。

1 無人機遙感影像建筑區域測量方法設計

所設計的無人機遙感影像建筑區域測量方法運行原理是利用構建的并聯卷積神經網絡從無人機遙感影像中提取特征，通過識別并檢測遙感影像中建筑區域，進而得出影像中建筑區域面積。結合無人機影像的成像參數，得出目標環境內建筑區域的實際面積測量結果。

1.1 獲取無人機遙感影像

無人機遙感影像的獲取工作可以分為兩個環節，分別為無人機航線的規劃以及實時影像的采集。具體的無人機遙感影像的獲取過程如圖1所示。

圖1 無人機遙感影像獲取流程圖

在考慮無人機遙感影像采集對象的地面分辨率大小和相機像元尺寸等因素的情況下，設置無人機的航行高度，具體的設置結果可以表示為：

(1)

式中，f和λ分別為無人機搭載相機鏡頭的焦距和分辨率，C為相機的像元尺寸，haltitude為待測量建筑區域的平均海拔高度。在此基礎上，確定無人機航行的各個測點位置。無人機采取蛇形航行方式，處于無人機的第i個測點的位置確定結果可以表示為：

(2)

其中：(xi，yi)為無人機規劃航線中的第i個節點，(x0，y0)為無人機的初始位置坐標，Lx和Ly分別對應的是無人機搭載相機拍攝圖像的長度和寬度，Eportrait和Etransverse分別為無人機處于縱向航行狀態或橫向航行狀態。將所有無人機航行節點按照時間順序進行連接，得出無人機拍攝遙感影像的路徑規劃結果。根據無人機的航行速度，確定機載相機的工作頻率，最終采集得出的無人機遙感影像可以表示為：

(3)

其中：a和b分別為無人機遙感影像的行數和列數，t為遙感影像的采集時刻，Z(·)表示遙感影像像素函數。按照上述方式可以得出無人機航行全路線上的遙感影像獲取結果。

1.2 初始無人機遙感影像預處理

為了確保無人機遙感影像中建筑區域的識別效果，從而間接提高建筑區域的測量精度，需要對初始獲取的無人機遙感影像進行預處理[5]。預處理步驟包括：運動補償、圖像融合拼接、圖像去霧、圖像增強等。由于無人機遙感影像是隨時間變化的動態圖像，需要采用逐幀輸出的方式將動態影像轉換成二維靜態圖像，并通過動態補償降低由于無人機運動導致的圖像模糊問題。圖像動態補償的操作原理是：確定靜態圖像采集時無人機的運動方向和速度，通過無人機航行速度與圖像采集時間的乘積，計算遙感影像中各個像素點的模糊偏移量，在此基礎上對初始遙感影像中所有像素點按照相反方向移動，移動量與模糊偏移量計算結果一致，由此完成對初始無人機遙感影像的運動補償操作。為確保一幅靜態圖像中能展示目標環境中的所有建筑區域，需要對輸出的所有靜態圖像進行二維拼接與融合處理。首先判斷連續兩個靜態圖像中是否存在重疊區域，即利用公式(4)計算圖像中兩個像素塊之間的相似度。

(4)

其中：p和q為連續兩個無人機遙感靜態圖像中的任意兩個圖像塊，r(j)為圖像塊j的像素值，j1、j2和j3為圖像塊中的任意3個像素點。若公式(4)的計算結果高于0.9，則認為p、q對應圖像相同，即兩者為重疊區域。根據公式(4)的計算結果，對圖像中的重疊部分進行分割、刪除處理。采用加權平均融合[6]的方式對其進行拼接融合，具體的處理結果可以表示為：

Ir(x，y)=

(5)

上式中It1和It2分別為t1和t2時刻對應的無人機遙感影像，ωt1和ωt2為圖像It1和It2的權值系數。按照上述方式得出圖像的融合拼接結果，并對其進行去霧處理，無人機遙感圖像的去霧過程可以量化表示為：

(6)

其中：δ和μ分別為大氣光矢量和全局透射率，Ir(x，y)和IDefogging(x，y)分別表示無人機遙感圖像的融合結果和去霧處理結果[7]。從公式(6)中可以看出，要實現對初始圖像的去霧處理，需要確定變量δ和μ的具體取值，上述變量的計算公式如下：

(7)

上式中|δ|為大氣光矢量模，υ為大氣光矢量方向。將相關的變量計算結果代入到公式(6)中，即可完成對初始無人機遙感影像的去霧操作[8]。最終利用公式(7)對圖像進行增強處理，得到初始無人機遙感影像預處理結果，具體如下。

(8)

式中，β(i)和β(j)分別圖像中任意兩個像素點的亮度，d(i，j)為距離度量函數。按照上述流程對無人機遙感影像中的所有像素點進行運算處理，由此完成初始遙感影像的預處理操作。

1.3 構建并聯卷積神經網絡

為了支持并聯卷積神經網絡算法的運行，構建相應的并聯卷積神經網絡，其基本組成結構如圖2所示。

圖2 并聯卷積神經網絡結構圖

圖3 并聯卷積神經網絡訓練流程圖

從圖2中可以看出，通過多個結構類似的卷積神經網絡的并聯，得出并聯卷積神經網絡結構。單一卷積神經網絡[9]中卷積層是特征提取層，它利用隨機初始化的卷積核，在圖像的左上角處對圖像進行卷積，直到完成圖像的全部遍歷。從數學上講，并聯卷積神經網絡的卷積過程為：

gconvolution=fact(ψconvolutiong0+bconvolution+Ienhance)

(9)

式中，g0為卷積層的輸入值，ψconvolution和bconvolution分別為卷積核和偏置，fact為卷積函數。

公式(9)的處理結果即為卷積神經網絡[10]中池化層的輸入數據。池化層是對圖像塊進行池化處理[11]的技術，也被稱為下采樣處理。它可以看作是對圖像塊進行的二次抽取，可以采用平均池化、最大池化等處理技術。它的本質是通過對卷積所得到的特征進行聚合統計，從而降低運算量。池化處理過程如下：

gPooling=fact(down(gconvolution))

(10)

其中：down()為池化處理函數。通過對多個卷積神經網絡輸出結果的有機融合，得出最終的并聯卷積神經網絡輸出結果為：

(11)

式中，gi-out和?i分別為第i個并聯卷積神經網絡的輸出值及其權重，nb為并聯的卷積神經網絡數量[12]。將上述卷積神經網絡組成部分按照相應的邏輯關系進行連接，得出并聯卷積神經網絡結構。

1.4 利用并聯卷積神經網絡算法提取遙感影像特征

利用構建的并聯卷積神經網絡進行訓練迭代，提取無人機遙感影像的輪廓特征。采用激活函數增加非線性因素，使得圖像的復雜性得到更好的表達，并結合損失函數和優化算法，使訓練效果達到最佳。然后再用校驗集合優化網絡，最終將最優的訓練模型用于無人機遙感影像的特征提取[13]。并聯卷積神經網絡采用了端對端的訓練方法，這種訓練方法可分成前向傳播和后向傳播。前向傳播即不斷卷積、池化、上采樣，最后獲得影像特征并輸出；后向傳播是把這些數據進行定量化，然后根據特定的算法修正參數，使下一步的正向傳播和真實值差別變得更小，如此循環往復，直到滿足一定的條件(比如達到最大訓練輪數或精度不再提高)。

經過并聯卷積神經網絡的前向傳播，得出的輸出結果如下：

OP=fn(…..(f2(f1(I(x，y)?1)?2)…..)?n)

(12)

式中，fi和?i分別為第i層的運行函數和權重。而并聯卷積神經網絡[14]的反向傳播采用最小化誤差的方法，對各網絡的權重、偏差等進行了相應的更新，具體的更新過程如下：

(13)

式中，α為學習率，Δ?i和Δbi分別為權重和偏置的變化量。經過多次前向與反向傳播，當滿足最大迭代次數要求時，輸出結果即為無人機遙感影像特征的提取結果。遙感影像邊緣點特征可以量化表示為：

(14)

按照上述方式可以得出遙感影像中所有邊緣點的提取結果，將所有并聯卷積網絡的輸出結果進行融合[15]，得出遙感影像邊緣特征的提取結果，將其標記為τ。

1.5 識別無人機遙感影像建筑區域

根據并聯卷積神經網絡[16]算法提取出的無人機遙感影像邊緣特征，確定影像中所有的建筑區域，以此作為建筑區域的測量目標。無人機遙感影像中的區域識別過程是影像特征匹配的過程。在影像匹配過程中，匹配度量是一種衡量圖像相似性的度量。當兩個像素點的匹配度量符合門限條件時，它們就被認為是一種近似的方法。圖像匹配測量的結果對圖像的匹配效果有很大的影響。所以，正確地匹配度量[17-18]對于圖像的匹配是非常關鍵的。采用相關系數法對無人機遙感影像的提取特征進行匹配，該方法的運行原理是：度量基準影像與當前影像對應區域像素特征值的協方差除以各自的方差，該方法可以降低特征值大小本身對于相似性距離計算的影響，無人機遙感影像建筑區域識別結果為：

(15)

式中，τ0為遙感影像中建筑區域邊緣的標準特征，m為提取的特征點數量。若公式(15)的計算結果s高于閾值s0，則說明當前區域為建筑區域；否則認為當前區域不屬于建筑區域，由此完成無人機遙感影像的建筑區域識別工作。

1.6 實現無人機遙感影像建筑區域測量

在確定無人機遙感影像中的建筑區域之后，可以通過建筑區域面積計算和映射轉換兩個步驟來得出無人機遙感影像建筑區域的測量結果。遙感影像中建筑區域的面積測量結果可以表示為：

(16)

式中，Limage和Wimage分別為遙感影像建筑區域的長度和寬度，上述變量可通過統計建筑區域內的像素點數量直接得出，另外變量Nj為無人機遙感影像中識別的建筑區域數量。由此得出無人機遙感影像對應環境中建筑區域的實際測量結果為：

SArchitecture=Simage×γ×s

(17)

其中：γ為遙感影像與實際環境之間的比例系數，將公式(16)的計算結果代入到公式(17)中，得出結果即為無人機遙感影像區域的測量結果。

2 測量精度性能測試實驗分析

為了測試優化設計的基于并聯卷積神經網絡的無人機遙感影像建筑區域測量方法的測量精度性能，采用白盒與對比方法相結合的方式，設計性能測試實驗。白盒測試原理是：在已知無人機遙感影像建筑區域實際面積的情況下，計算所提方法輸出結果的測量誤差，從而驗證其在測量精度性能方面的優勢。而對比方法是通過設置多個實驗對比項，對相同的精度性能測試指標進行對比，體現出所提方法在精度性能方面的優勢。

2.1 選擇建筑區域研究對象

此次實驗選擇某市所有管轄區域作為研究對象，該市占地總面積為562 km2，轄區內包含5個鄉鎮，城鎮化率能夠達到27.4%。市內建筑主要包括：居民建筑、公共建筑等多種類型，建筑區域面積約為344 km2，除建筑外還包含森林、河流、山、耕地等。

2.2 準備建筑區域無人機遙感影像樣本

此次實驗選擇型號為大疆DJI Air 2S的無人機作為獲取遙感影像樣本的硬件設備，該無人機中內置一個2 000萬像素攝像頭，該攝像頭支持5.4 k/30 fps 高清視頻。另外，在無人機設備上安裝1個存儲空間為1 TG的內存卡，該設備主要用來存儲攝像頭實時采集的遙感影像，并按照拍攝的時間順序進行存儲，同時該內存卡具有遠程通信功能，即可以根據需要將實時采集的遙感影像傳輸給地面終端。無人機[19]具有避障功能和自動采集功能，抗風等級能夠達到5級，一塊電池的續航時間能夠達到40分鐘左右。準備的無人機需要通過校正才能使用，通過采集一定數量且均勻分布的地面控制點GCP，使用二元N次多項式來近似描述遙感原始圖像的幾何畸變過程，將失真的遙感影像與相應的地面控制點GCP相結合，得到相應的地面控制點GCP，從而得到遙感影像與基準影像或地圖的對應關系[20]。通過對圖像進行重新取樣，可以獲得新的坐標，從而達到對遙感圖像進行幾何修正的目的。在選擇的建筑區域環境中，規劃校正無人機的航行路線，并設置遙感影像的采集參數，獲得無人機遙感影像樣本的采集結果。根據遙感影像的采集條件，將樣本分為無霧影像和有霧影像兩種類型，建筑區域無人機遙感影像樣本的準備情況如圖4所示。

圖4 無人機遙感影像樣本示意圖

通過多次拍攝與篩選，保證準備的無人機遙感影像滿足測量質量要求，設定無人機遙感影像的拍攝比例尺為1：2 000。

2.3 輸入并聯卷積神經網絡算法運行參數

優化設計的無人機遙感影像建筑區域測量方法以并聯卷積神經網絡作為技術支持，因此配置的實驗環境需滿足并聯卷積神經網絡的運行條件，并對相關的運行參數進行設置。設置并聯卷積神經網絡的初始學習率為0.000 1，批處理大小為32，網絡模型的學習率每33輪變為其0.1倍，每個卷積神經網絡的最大訓練次數為1 000輪。

2.4 描述建筑區域測量方法運行與測試過程

選擇Tensor Flow工具作為并聯卷積神經網絡算法的運行支持，使用的TensorFlow版本是1.10，Keras版本是2.2.0，在內存32 G的服務器上進行訓練。在配置的實驗環境中，進行優化設計建筑區域測量方法的開發，并在測量程序中創建新項目并選取無人機遙感影像樣本進行導入。修改 POS資料、重新命名影像，設定適當的攝像機參數，進行影像樣本的預覽，并核對影像排列方向、航帶內交疊等因素，確保影像與 POS數據正確后，再導入影像數據。經過影像預處理、特征提取、區域識別等步驟，得出建筑區域的測量結果。圖5展示的是有霧條件下無人機遙感影像的建筑區域測量輸出結果。

圖5 有霧條件下無人機遙感影像建筑區域測量結果

按照上述方式可以得出無霧條件下的建筑區域測量結果。實驗中設置傳統的基于多通道數據融合的無人機遙感影像區域測量方法和基于多尺度圓周頻率濾波的區域測量方法作為實驗對比方法，按照上述流程得出對比方法輸出的建筑區域測量結果。通過多次實驗取平均值的方式完成建筑區域測量操作。將3種方法輸出的區域測量結果與研究區域的實際數據進行比對，得出測量精度性能的測試數據。

2.5 設置建筑區域測量精度測試指標

此次實驗設置建筑區域測量誤差作為量化測試指標，其數值結果為：

εS=|SArchitecture-Sactual|

(18)

公式(18)中變量Sactual為建筑區域的實際面積值，SArchitecture的具體取值由公式(17)計算得出。最終計算得出建筑區域測量誤差越大，證明對應方法的測量精度越差。

2.6 測量精度性能測試實驗結果與分析

2.6.1 有霧環境下的測量精度性能測試結果

根據3種方法輸出結果數據的統計，得出有霧環境下建筑區域測量性能的測試結果，如表1所示。

表1 有霧環境下區域測量精度性能測試數據表

將表1中的數據代入到公式(19)中，計算得出兩種對比方法的平均區域測量誤差分別為0.81 km2和0.48 km2，優化設計基于并聯卷積神經網絡的無人機遙感影像建筑區域測量方法的平均測量誤差為0.14 km2。

2.6.2 無霧環境下的測量精度性能測試結果

按照相同的數據統計方式，可以得出無霧環境下的測量精度性能測試結果，如表2所示。

表2 無霧環境下區域測量精度性能測試數據表

通過公式(18)的計算，得出兩種對比方法建筑區域測量誤差的平均值分別為0.43 km2和0.26 km2，所提方法的平均測量誤差為0.04 km2。通過縱向對比可以看出，相同的建筑區域測量方法在無霧環境下的測量精度更高。綜合上述兩種環境下的無人機遙感影像，所提方法的區域測量方法的誤差始終低于對比方法，即所提方法在測量精度方面具有明顯優勢。

3 結束語

無人機遙感技術是將無人機和遙感技術相結合的一種新技術。它利用無線電控制無人機實現對其的操控，具有在城市規劃、建筑區域測量等方面的重要應用價值。并聯卷積神經網絡算法的支持為無人機遙感影像建筑區域測量方法的優化設計提供了幫助，能夠提高測量精度。但是，由于無人機遙感技術本身的局限性，在進行測繪工作時，需要充分發揮其自身優點，并對其進行合理的改造與設計，以更好地、更廣泛地運用于測繪工作，推動中國測繪事業的健康發展。