基于無人飛行器圖像的地面目標高度測量研究

倪虹霞，呂曉麗

(長春工程學院電氣與信息工程學院，長春 130000)

1 引言

隨著科學技術的進步，對于地面目標持續監控的需求日益增加，在軍事領域如坦克和移動導彈發射車的偵察，農林業如動植物保護與災害預警，電力行業如通信網絡、電力線和輸電塔的服務中斷或停電干預等等[1]。傳統的人工檢查容易受到人為錯誤的影響，并且效率低下，同時也使檢查人員面臨來自天氣、地形甚至野生動物的威脅[2]。航空遙感為這些問題提供了解決方案，航空遙感監控成本更低、更方便用戶、更省時、更安全。近年來，利用數字遙感(digital aerial imagery,DAI)或機載激光雷達，以立體圖像匹配或以點云數據，產生的數字表面模型(digital surface model,DSM)與數字高程模型(digital elevation model,DEM)計算地面目標高度。但立體圖像對匹配所產生的DSM模型，常因地勢影響而降低測量精度，應用機載激光雷達可獲取三維點云數據，并可進行地面目標估計，然而機載激光雷達的點云密度不足，難以產生準確的DEM供林分高度模型(canopy height model,CHM)進行估計，使得機載激光雷達技術無法普及。而衛星遙感的重新訪問時間不利于獲取新的圖像，且衛星獲取圖像的空間分辨率和光譜分辨率很低。

無人機(unmanned aerial vehicles,UAV)航拍技術發展迅速，因其具有飛行成本較低、高機動性等特性，另飛行高度較低可取得高解析度的圖像為空間數據采集和地面目標監測提供了一種經濟有效的靈活[3]。且現今又可以應用圖像密集匹配技術進行三維結構重建，產生點云數據。本文為空間數據采集和地面目標監測提供了一種經濟有效的靈活解決方案，這種方案滿足了對感興趣圖像的高空間、時間和光譜分辨率的要求。

2 相關工作

立體匹配是將2個圖像中的每個像素相協調的過程。場景的深度取決于視差圖，良好的立體匹配算法可以通過視差圖精確計算深度圖[4]。然而，由于無紋理區域的遮擋和存在，立體匹配算法的視差分配是困難的。立體匹配方法通常被分類為全局或局部[5]。基于區域或“窗口”，本地方法快速且計算效率高。全局方法基于特定的能量函數，需要大量的計算成本[6]。最近開發的密集匹配方法提供了在更短的時間內實現精確和密集點云的可能性[7]。與其他空中傳感器相比，無人機的低空能力也允許比其他空中傳感器更慢的工作速度。因此，UAV可能產生錯誤的視差，并且不能定位每個圖像中幾何上不相同的對應點[6]。DSM使用基于三角測量的插值來計算由被遮擋區域和無紋理區域的模糊度引起的高度差異[8]。為了更好地進行3D深度重建，表面應該是連續的并且完全紋理化。通過無人機圖像對輸電線路進行監測，與傳統的手動技術相比，本文所提出的基于測量視差圖的圖切算法，在掃描功率傳輸極附近的正確路徑時，能夠降低成本，具有更好的性能。

3 設備和方法

3.1 無人機數據采集

本文選擇的感興趣區域為位于云南省西雙版納景洪市大渡崗鄉的輸電線路和輸電塔附近的植被和樹木。這個地區是一個多云的雨林環境，由于天氣條件可能每5 min變化一次。由于天氣的限制，數據采集的優化時間窗口是從06∶30到07∶30。地面采樣距離(ground sample distances,GSD)根據無人機的高度而變化。本文在15 km2的區域內使用了15 cm GSD的標度，高度為700 m，用于掃描。選定區域(通行權)包含20個標有T1-T20(見圖1)的輸電塔，位于茂密的森林山脈，丘陵和非均勻地形中。

圖1 使用無人機獲得的感興趣區域的數據集剪裁圖像

3.2 圖像檢測和分類方法

由于從感興趣的區域獲得的無人機圖像大小超過1 GB，為了減少處理時間，將圖像分成4個相等的分段，每個分段包含4個輸電塔。由于立體匹配算法需要經過正射校正的圖像來計算視差圖，因此對每個片段執行正射校正，之后將所提出的GC立體匹配算法來計算視差圖。基于校正的推斷估計對象高度，使用性能、準確度和召回率度量標準將地面實況高度與估計高度進行比較。圖2為圖像檢測和分類方法流程圖。

圖2 基于無人機的圖像檢測和分類方法流程圖

3.3 無人機圖像的正射校正

本文從關注區域獲得了14個地面控制點(ground control points,GCP)。表1總結了所調查的14個輸電塔的經度和緯度坐標。與正射校正處理之后的其他區段相比，圖像區段#1具有較小的均方根誤差值。第一個立體提供了實際地面控制點到圖像點的最佳精確映射(見圖3)。圖像段#4產生較高的均方根誤差值，且實際地面控制點未能與圖像坐標點良好匹配。將所提出的立體匹配算法應用于立體圖像的正射校正，用于對象高度的視差圖估計。

3.4 改進GC方法

本文采用GC生成是立體匹配視差圖或深度圖。Boykov和Kolmogorov[9]證明了基于能量最小化的GC算法比傳統的推送可靠方法快2～5倍。使用Potts模型，GC最大限度地減少了分割、對象識別和形狀重建的能量成本。本文提出的GC算法使用GC能量最小化函數。在此基礎上，通過Kolmogorov和Zabih[10]提出的近似公式，將對稱圖像用于立體對，對每對像素使用二進制標記，而不是將標簽分配給單個像素。如果像素對在立體集中具有相同的對應關系，則在最終的視差圖中為其分配標簽“1”；如果沒有，則指定“0”標簽。Boykov等[11]利用擴展移動算法對能量最小化函數進行了類似的工作，該算法通過將能量函數轉化為圖上的一個最小割集問題來迭代最小化能量函數，然后在每次迭代時對圖進行切分以解決問題。基于GC的立體匹配對應算法派生出的擴展移動算法[12]，在Kolmogorov和Zabih能量函數(F)的基礎上，定義不同的能量函數為：

E(f)=Edata(f)+Eocc(f)+Esmooth(f)+

Eunique(f)+Eorder(f)

(1)

式(1)中：E為能量；E(f)為能量函數；data、occ、smooth、unique、order為5種函數的能量項。該方程顯示了5個能量項，每個能量項都匹配不同的目標結構。數據項(Edata)衡量匹配對的準確度；遮擋項(Eocc)使遮擋像素的數量最小化；平滑項(Esmooth)消除了圖像中的不規則性；唯一性項(Eunique)標識每個立體圖像中的奇異像素，最后一項(Eorder)對立體對之間的約束進行排序。后者是對現存能量函數的一種補充，用于立體匹配的計算。

3.5 排序約束

“排序約束”作為能量最小化函數，增強了立體匹配問題(如遮擋、無紋理區域和深度不連續)的解的確定，它還有助于優化匹配立體圖像像素的能量最小化功能，對置換圖像中立體像素之間的對應唯一性施加有序約束。在GC算法中，不使用二元像素標記，而是利用子模能量技術對圖像進行視差估計。在航空圖像數據集中，無人機圖像的視差值因為大量的偏移值，需要對其視差圖進行離散標記。其中Eorder(f)為：

(2)

如果一個像素在立體對中包含多個對應圖像的值，它將分配一個強制配置唯一性的懲罰：如果配置不是唯一的，則為‘無窮’；如果不是唯一的，則為‘NULL’。因此，它表示為：

(3)

式(3)中：p是圖像中像素的強度向量，Np是所有相鄰像素對的集合。由于被遮擋像素的數目是非活動分配數的仿射函數，因此任何非活動分配都會受到懲罰K的懲罰，計算不活動分配的數目。因此，被遮擋像素越少，遮擋項就越小。Eocc(f)在相應的立體對中對每個被遮擋像素的總能量函數添加一個常量值，以便：

(4)

如果其參數為真，F=1，否則F=0。

數據項和平滑項均基于子模塊技術定義。在使用立體對時，排序項和子模方法獲得了更好的視差圖。基于GC圖像分割的前景和背景之間最小切割為最佳方法，其中每個邊緣分配一個權重之間的源和終端。前景和背景分割之間的權重由方程(5)和(6)得到：

ViF=-λlogFB(i)

(5)

ViF=-λlogFF(i)

(6)

其中:ViF和ViB分別是前景和背景權重；FB(i)和FF(i)是像素包含的概率(背景和前景)。λ是平滑度懲罰(λ值越大，視差圖越平滑)；K是遮擋懲罰。本文中，K=15和λ=1生成了最佳視差圖。像素之間的權重定義如下：

Vij=e-1/2π2‖Ci-Cj‖

(7)

式(7)中，Ci-Cj為色差，Ci-Cj=0，Vij=1且Ci-Cj=big。

(8)

在實驗中，一元項表示主能量函數的數據項，成對函數表示相鄰像素之間的平滑值。為了計算數據和平滑項能量函數最小化的代價，目標是使用子模二次偽布爾函數來最小化基于GCS的能量函數。

(9)

其中，相鄰像素(yi和yj)和a,b,c,d的成對相鄰標記的能量函數是可用于識別成本的非負權重。

(10)

切口具有2個標簽(Pi，Pj)：Source(S)和接收器(T)(參見圖3)，其中k、m和p是節點的非負容量成本。流量不應超過每個節點的容量。圖3中顯示了Cut1,Cut2,Cut3,Cut4這4個削減。割集1和割集3將源和匯從節點Pi和Pj中分離出來。此外，割集2將2個節點彼此隔離，而割集4不允許從源到接收器的任何流，包括節點。

圖3 使用帶有源(S)和接收器(T)的2條邊的潛在GC示意圖

目標：我們希望發展k,m,p的能力來抵消位視Ψij(0,0),Ψij(0,1),Ψij(1,0)andΨij(1,1)中的δ，其中

k+δ=a=Ψij(0,0)

(11)

m+δ=b=Ψij(0,1)

(12)

p+δ=c=Ψij(1,0)

(13)

k+p+δ=d=Ψij(1,1)

(14)

上述關系整理得到：

(d-δ)+(a-δ)+δ=c

(15)

a-c+d=δ

(16)

因此，利用子模定理[11]，容量是非負的。在子模塊性條件下，當使用δ時，出現以下關系：

k=d-δ≥0→c-a≥0

(17)

m=b-δ≥0→b+c-a-d≥0

(18)

其中式(17)和式(18)是具體的圖形條件和公式。方程(19)是基于條件p=a-δ≥0→c-d≥0的基本子模結構。

Ψij(0,1)+Ψij(1,0)≥Ψij(0,0)+Ψij(1,1)

(19)

為了構造2個相鄰像素的成對項，函數以不同的矩陣形式分解，有:

(20)

(21)

3.6 視差圖生成

通過計算一幅圖像中特征的位置與其在第二圖像中的對應位置之間的像素級距離，從立體圖像中計算深度地圖，從而生成視差圖[13]。構造深度圖的過程中，因為差異較大的像素更接近攝像機，而差異較小的像素被進一步移除。

圖4顯示左、右相機圖像，圖像集中在0(右)和0′(左)。因此，三維深度點可以從坐標(x0，y0，z0)中根據從圖表[14]獲取的下列關系來計算。通過求解方程(22)和(23)，得到Z0的值，其中Z0的值依賴于分母因子，稱為視差值。

圖4 立體相機圖像模型示意圖

(22)

(23)

由方程(22)和(23)，得到方程(24),即：

(24)

3.7 查準率和召回率

查準率和召回率是模式識別和數據檢索中最常用的評價指標，取決于相關的分類標準。查準率被定義為檢索到的元素數與實例中相關元素總數的比率。將該算法與現有的GC算法[15]、動態規劃算法[16]、后向傳播算法[17]、SGM技術[9]以及基于面積的絕對差和(SAD)、平方差和(SSD)和歸一化互相關(NCC)算法進行了比較。為了比較視差圖在深度圖(近輸電極附近植被高度)方面的性能，本文對所有的無人機獲得的感興趣區域的數據集進行了研究。

召回率被定義為實例的相關元素數與檢索到的元素數之間的比率。該算法利用輸電塔的真實高度(地面真值)和估計/計算的高度結果計算召回率，并與現有的視差圖估計算法進行比較[18]。將輸電塔的真實高度與地面高度測量相比較定義查準率。檢測/估計輸電塔高度應小于10%的閾值，以提高敏感度和召回率。因此，對估計值設置10%的閾值。查準率、召回率和準確率計算公式為：

(25)

(26)

(27)

4 實驗結果

采用立體匹配算法對無人機圖像進行目標高度測量，其中視差圖的計算采用了基于子模能量原理的帶排序約束的GC算法[19]。圖5顯示了從感興趣的區域剪裁的立體圖像片段，它們分別是左和右，并帶有圓圈標記的輸電塔。計算高度時考慮了4個分段。每一段都有4根帶有傳輸線的輸電塔。

圖5(a)、圖5(b)為第1段的立體圖像，圖5(c)、圖5(d)為第2段的立體圖像，圖5(e)、圖5(f)為第3段的立體圖像，圖5(g)、圖5(h)為第4段的立體圖像。

圖5 基于感興趣區域無人機圖像視差圖計算的立體圖像

計算測量功率極高的所有4個部分的視差圖結果表明，第1段中具有不同點的更精確的視差圖，這與其他部分相比產生了更多的匹配點(見圖6(a))。第2段和第4段的視差圖顯示了立體區域中的一些遮擋和紋理變化，其中深度不連續獲得的視差值在特定點上被錯誤地匹配。第3段視差圖顯示了更正確的視差估計，特別是對于紋理和遮擋區域(見圖6(c))。

GC算法基于感興趣區域的無人機立體圖像測量視差圖如圖6所示。為了計算離散視差圖，需要在分割圖像基礎上通過前景和背景的分離來迭代求解這一問題。根據傳感器值及其波長的位移，估計出功率極高的深度圖。物體的深度與立體圖像之間的位移值成反比，與2個傳感器之間的波長或位移成正比。從無人機傳感器獲取的立體圖像具有較大的位移和較大的視差精度，這也取決于從無人機傳感器獲取的特定幀。

圖6(a)為第1段視差圖，圖6(b)為第2段視差圖，圖6(c)為第3段視差圖，圖6(d)為第4段視差圖。

圖6 基于感興趣區域的無人機立體圖像測量視差圖

第1個視差從左向右開始，在視差圖上突出顯示輸電塔和線路(見圖6)，其中第1段清楚地顯示了電力線和輸電塔(Tower#1-4)。第3段對遮擋區輸電線路(Tower#9-12)的視差圖進行了清晰的估計。

本文提出的算法和現有算法(GC、DP、BP和SGM)的準確性、精確性和召回率的定量比較包括4個不同片段的SSD、SAD和NCC[23]。本文提出的算法對所有4個片段都取得了很好的效果。圖7表明第1段的視覺視差圖精度最高，達到91%。圖8表明第1個立體聲圖像段的精度和回憶值很高，但第2段的精度相對較低，立體圖像的查準率和召回率也較低，這在輸電塔5-8的視差圖上是可預見的。

圖7 基于排序約束的GC方法與現有匹配算法的第1個立體片段視覺視差直方圖

圖8 基于排序約束的GC方法與現有匹配算法的第2個立體片段視覺視差直方圖

與第2和第4段相比，第3個立體圖像段顯示了較高的精度，但相對于第1段(見圖9)則相對較低。這些定量精度值支持視覺視差圖的結果(Tower#8-12)在第3立體圖像分割。第4段的精度值低于所有其他段(見圖10)，其結果通過視差圖進行了可視化驗證。結果表明，與現有算法相比，該算法獲得的高程匹配值較高，具有較高的靈敏度和召回率，從而保證了系統對高程測量的可靠性和穩定性。

圖9 基于排序約束的GC方法與現有匹配算法的第3個立體片段視覺視差直方圖

圖10 基于排序約束的GC方法與現有匹配算法的第4個立體片段對比

本文提出方法在輸電塔高度估計之后可以估計輸電線路附近植被和樹木的高度。感興趣區域的三維視圖提供了輸電塔附近植被和樹木的地面真實高度，如圖11所示。本文提出算法計算了所選圖像的視差圖，并在圖12(c)、圖12(d)中用黑色標記了這些物體的計算差異[21-22]。圖13顯示了在準確性、查準率和召回性方面對高度估計的比較。

圖11 地面真值：從整個區域得到的感興趣區域的三維視圖

圖12 包含輸電塔附近的植被和樹木的小區域的立體圖像和視覺視差圖

圖13 基于提出的具有排序約束的GC方法的準確性，精度和召回率與現有匹配算法視覺視差直方圖

結果表明，這是一種可靠的輸電線路檢測系統，能夠準確地檢測輸電線路走廊內的障礙物(植被和樹木)。與輸電塔相比，樹高估計和植被蝕刻具有更高的逼近值。因此，本文提出的匹配方法適用于基于無人機立體圖像的電力線和輸電塔附近植被和樹木高度的測量，避免了未來電氣危害的威脅。

5 結論

提出了一種利用數字表面模型和基于無人機立體圖像的立體匹配算法。利用基于無人機立體圖像的GC算法測量視差圖和計算電線桿高度。與基于區域和全局立體匹配算法相比，該算法具有更高的精度。與現有的立體匹配算法相比，提出的立體匹配算法引入了排序約束，增強了GC算法的性能，提高了航拍圖像視差圖的精度。通過測量多個電塔不同裁剪后的地面真實數據對所有參數的靈敏度和召回率。與傳統航拍圖像相比，傳統航拍圖像存在限制，尤其是運營成本較高，無人機在監測樹木和植被附近的電線桿時是更好的選擇。

通過無人機圖像監測輸電線路在掃描電線桿附近的“正確路徑”時提供了更好的解決方案。可幫助電力管理公司克服法律障礙，降低成本，更好地履行其社會和商業責任。