無人機圖像去霧與特征匹配算法研究

鄔春學，萬志港

（上海理工大學 光電信息與計算機工程學院，上海 200093）

0 引言

無人機遙感以其低成本，靈活性有效的彌補了衛星遙感的周期長、成本高的缺點，現已廣泛應用于應急救險、海岸線巡檢、軍事探查等領域［1］。尤其在應急救險場景中，無人機發揮著十分重要的作用，但無人機在高空飛行時易受霧氣影響，獲取的圖像存在能見度低、顏色信息明顯衰弱的問題，使得圖像在特征匹配過程中出現了較大的配準誤差，甚至無法進行特征匹配，極大的影響著后續圖像拼接的流程。因此，如何消除霧氣對無人機圖片的影響，提高特征匹配正確率成為圖像拼接技術研究的熱點問題。

1 相關工作

目前，比較成熟的圖像去霧算法分為兩類：一類是基于圖像復原的圖像去霧算法，如：He［2］在大氣散射模型的基礎上引入了暗通道先驗理論對圖像的大氣光值與折射率進行預估，能夠快速高效的去除霧氣，該算法在圖像去霧領域具有里程碑意義，對后續研究影響巨大；趙［3］等使用支持向量機的方法對大氣光進行校驗，并基于塊偏移方法計算折射率，提高了大氣光預測的準確性并消除了光暈現象；Li［4］等提出的基于閾值的天空分割算法，彌補了暗通道算法在大面積白色區域，如天空區域算法失效的缺陷。另一類是基于圖像增強的圖像去霧算法，如：基于Retinex 理論中的SSR 算法，該算法使用高斯模糊來評估入射光，容易產生光暈現象；Jobson［5］提出一種選取多尺度所得觀測點值的加權均值作為最終值的MSR（Multi-Scale Retinex）算法，降低了圖像產生光暈的機率；此外，隨著深度學習網絡的發展，出現了基于卷積神經網絡的Dehaze-Net 與AOD-Net等去霧網絡，在去霧效果方面具有良好的性能，但深度學習使用的訓練數據是人工增霧生成的圖像，在真實有霧圖像中性能有限。

基于特征點匹配的圖像拼接技術是使用最為廣泛的方案，目前常用的特征匹配算法SIFT、SURF、ORB、KAZE 和AKAZE 算法。其中，SIFT、SURF、KAZE 使用的是浮點型描述符，ORB 與AKAZE 使用的是二進制描述符，二進制描述符在特征匹配時速度快，但配準的準確率較低。近期，Suarez［6］提出Belid 二進制描述子，使用Belid 與替代ORB 算法中的brief 特征描述子，能夠提高10%以上的配準率，但配準的準確率始終低于SIFT 算法。SIFT 算法是現有特征匹配算法中魯棒性最高的，并具有良好的尺度不變性，但在匹配中仍存在著一定的錯誤匹配點，對圖像配準具有不良的影響。

針對無人機圖像受霧氣干擾導致的能見度低、顏色衰減與特征匹配過程中存在錯誤點干擾的問題，本文首先對暗通道先驗算法進行改進，消除霧氣對無人機圖像的干擾；其次，提出一種基于幾何相似性的特征匹配算法，提高特征點的匹配率；最后，將兩種算法結合，拼接出去霧后的全景圖像。

2 圖像去霧算法

2.1 大氣散射模型

現有的霧退化模型中，大氣散射模型在圖像去霧領域是廣泛認可的一種模型，其表達式為

其中，I（x）表示有霧圖片；J（x）表示要恢復的原無霧圖像；J（x）t（x）是直接衰減項，表示光線在大氣中進行散射而衰減；A（1-t（x））代表大氣光模型；A是全球大氣光成分；t（x）是大氣折射率。

2.2 暗通道先驗去霧算法

暗通道先驗理論是對大量的清晰無霧的圖像進行深入研究，統計其無霧特征的規律，得出的一種理論，暗通道理論可以描述為

其中，JC（y）為J的某一顏色通道；Ω（x）代表以x為中心的矩形窗口；Jdark（x）為圖像的暗通道；min（c∈r，g，b）代表像素x在r、g、b3 個顏色通道的最小值分量；min（y∈Ω（x））代表使用半徑為15×15 的窗口對最小值分量進行濾波操作。

暗通道先驗理論認為，在非天空區域，總存在一些像素點，其至少在一個顏色通道上具有非常低的像素值，并且像素值約等于0。該理論可描述為

暗通道先驗理論假設大氣光已知，利用大氣光對大氣光散射模型進行歸一化處理，并假設在局部范圍內透射率是不變的，則根據暗通道先驗理論得出透射率t（x）

其中，w設定為0.95，根據大氣散射模型，選取前0.1%的像素值最大的作為候選點，選取其中的最大值作為大氣光A，并設置透射率的閾值t0為0.1。

將大氣光與透射率代入式（1），最終生成無霧圖像J（x）可描述為

因此，基于暗通道先驗的圖像去霧算法具體內容為：

（1）根據暗通道先驗理論計算出有霧圖像對應的暗通道圖Jdark；

（2）根據暗通道圖Jdark估算大氣光與透射率；

（3）通過大氣散射模型復原生成無霧圖像J（x）。

暗通道算法能夠快速穩定的消除霧氣對圖像的干擾，但仍存在以下缺陷：

（1）大氣光值在天空區域與濃霧區域的取值單一，這些區域不適用于暗通道理論，使用暗通道理論進行圖像復原時，圖像容易出現塊效應甚至失真現象［7］；

（2）圖像復原后生成的無霧圖像顏色偏暗，對比度低，可視性差［8］。

2.3 改進的圖像去霧算法

本文針對暗通道去霧算法處理大面積天空區域具有光暈效應以及去霧后顏色偏暗的問題，在暗通道的基礎上，引入了亮通道的概念，通過對圖像的亮通道進行加權得到加權亮通道圖，進而估算出大氣光值，并對圖像進行伽馬變換用以增強圖像亮度。

亮通道先驗思想與暗通道思想正好相反，在RGB 任意一個通道中，總會存在一個通道的值比較大，并且此時的像素x近似于無霧圖像的大氣光，亮通道理論可描述為

則亮暗通道加權公式可描述為

其中，Adark代表暗通道的大氣光，Alight代表亮通道的大氣光。

伽馬變換是圖像處理領域中常用的技術手段，能夠較好的解決圖像存在的曝光不足或過足的問題，通過對輸入圖像灰度值進行伽馬變換，能夠解決暗通道去霧造成的圖像亮度過低的問題［9］。伽馬變換對圖像的非線性操作，本質上是對圖像進行增強操作，使得圖像的曝光符合人類視覺系統的感受，伽馬變換可描述為

其中，r代表歸一化后的圖像像素；c代表像素的原始值；γ代表對歸一化的像素進行指數變換；s為最終的像素值。

基于現有的亮通道與暗通道理論，本文提出了一種結合暗通道先驗理論的亮通道先驗加權的圖像去霧算法，并對去霧后的圖像進行圖像增強操作，具體流程為：

（1）計算有霧圖像對應的暗通道與亮通道，并選取前0.1%的最大像素值作為大氣光Adark與Alight；

（2）根據亮暗通道加權估計出大氣光值A并基于暗通道去霧算法計算出透射率t（x）；

（3）使用伽馬變換進行圖像增強操作，提升圖像亮度；

（4）生成無霧圖像。

3 誤匹配篩除算法

3.1 KNN 特征匹配算法

KNN（K-Nearest Neighbor）算法是一種理論成熟的機器學習算法。該算法的主要思想：假定一個樣本在其特征空間的k個臨近的樣本都屬于同一分類領域，并具有該領域的相近的特征，因此可以通過臨近的樣本之間的距離對目標樣本進行分類［10］。

KNN 算法的主要步驟：首先，計算樣本點之間的距離；其次，對每個待測樣本點到其他樣本點之間的距離排序，選取k個距離最小的樣本點；最后，對k個樣本點的類別進行比較，將測試樣本點放入k個點中占比最高的那一類中。

在圖像配準過程中，由于特征點數目較多，通常采用KNN 算法獲取正確匹配點對，比較特征點的最近鄰與次近鄰之間的距離比例是否超過預定閾值t，超過就剔出此點對，否則就保留此點對。因此，KNN算法具有易理解，易實現的優點，但是KNN 算法在一定程度上屬于近似解算法，算法選取的是近似的答案，在一定程度上存在著固定誤差。

3.2 改進的特征匹配算法

傳統的KNN 算法將最近鄰與次近鄰的距離比例作為考量指標進行誤匹配篩除，通常情況下，仍然會存在一些誤匹配點未配篩除。如圖1 所示，使用SIFT 特征算法進行特征提取與匹配，存在著誤匹配情況，很明顯最左邊的特征點所在區域在右邊圖中不存在，因此這個點匹配結果是錯誤的，但基于KNN 的圖像匹配算法未能篩除。因此，需要提升誤匹配點篩除的精度。

圖1 基于KNN 的匹配結果圖Fig.1 Matching results based on KNN

本文基于幾何相似性原理，提出了一種圖像誤匹配篩除改進算法，幾何相似性原理認為在兩個待拼接圖像重合區域，存在兩個多邊形在幾何上相似，則基準圖像I0必存在某些點構成的幾何圖形，在待配準的圖像I1中，對應的匹配點存在相似的幾何關系，即I0與I1中對應點構成的邊的縮放比例值r0幾乎相等，此外，其他點到幾何圖形頂點的距離也應該符合一定的比例。基于這一原理，提出了一種改進的誤匹配篩除算法，具體內容如下：

（1）從SIFT 特征匹配點中，選取3 對可以構成兩對相似三角形的特征點對，選取3 對特征點中的任意一對作為基準點對（p1，p2）；

（2）計算出相似三角形點對之間的縮放比例r0；

（3）選取未篩除過的SIFT 匹配點對（q1，q2），計算其到基準點（p1，p2）的距離，并計算出距離之間的比例r。如果r等于r0，則保留該匹配對，否則刪除該匹配對并重復執行（3），直到所有的點對都被標記。

4 實驗結果與分析

本文做了兩個實驗，分別為圖像去霧實驗與改進的特征匹配錯誤點篩除實驗，兩個實驗都在一臺操作系統為win10，開發平臺為matlab2016a，處理器為Intel Core i7-10750H CPU 2.60 GHz，8 G 內存的筆記本電腦上進行。

4.1 圖像去霧實驗

根據本文提出的基于亮通道加權的去霧算法進行實驗。在通用的數據集上進行實驗，在取得良好的實驗效果時，應用于無人機圖像中，本文的無人機有霧圖像均為實景拍攝，拍攝地點為上海理工大學，在真實數據集上進行去霧實驗，使得算法的效果更為直觀、公正。

首先，本文挑選了一些公用數據集中的有霧圖像，以及無人機實際拍攝的圖像，如圖2 和圖3 所示。

圖2 公開有霧圖像集Fig.2 Public image set with fog

圖3 無人機有霧圖像Fig.3 Fog image of UAV

4.1.1 公開數據集去霧結果

為了體現本文改進算法的優越性，在公開數據集上分別采用暗通道去霧算法和本文改進的去霧算法進行去霧效果對比，對比結果如圖4 所示。

圖4 公開數據集去霧結果Fig.4 Public data set defogging results

通過圖4 能夠清晰的發現，在基于公開的數據集中，暗通道去霧算法生成的圖片具有顏色偏暗，對比不明顯，且在天空區域存在光暈現象，本文的改進算法，消除了天空區域的光暈顯著，并使得圖像顏色信息更加豐富，對比度更加明顯，更符合人類視覺系統的感知。

4.1.2 無人機圖像去霧結果

為了證明本文改進算法的優越性與魯棒性，本文在真實獲取的無人機圖像數據集上分別采用暗通道去霧算法和本文去霧算法進行去霧效果對比，對比結果如圖5 所示。

圖5 無人機數據集去霧結果Fig.5 UAV data set defogging results

通過對比，能夠清晰的發現：暗通道去霧后圖像整體偏暗，尤其是在河流區域最為明顯，而本文算法顏色、亮度更為符合視覺系統感知，能夠緩解暗通道去霧算法顏色偏暗的問題。

4.2 改進誤篩除特征匹配算法實驗

4.2.1 特征匹配實驗數據

特征匹配實驗分別采用公開數據集圖像與無人機拍攝圖片進行特征點誤篩除實驗，如圖6 和圖7所示。

圖6 公開數據集Fig.6 Public data set

圖7 無人機圖像數據集Fig.7 UAV image data set

4.2.2 特征匹配實驗視覺評價

為了證明本文改進特征匹配算法的優越性與魯棒性，本文在公共數據集與無人機圖像數據集上分別采用KNN 算法和改進的誤篩除算法進行特征匹配對比，對比結果如圖8～圖11 所示。

圖8 基于KNN 的特征匹配圖Fig.8 Feature matching diagram based on KNN

圖9 改進的誤篩除算法效果圖Fig.9 Effect diagram of improved error screening

圖10 基于KNN 的特征匹配圖Fig.10 Feature matching diagram based on KNN

圖11 改進的誤篩除算法效果圖Fig.11 Effect diagram of improved error screening

通過對比特征匹配效果圖發現：在基于KNN 算法進行匹配的算法，在圖8 左側的天空區域有明顯的誤匹配點對；在圖7 中，左圖下側房屋在右側圖像是不存在的，但是在圖10 中卻存在匹配點，而本文改進的算法剔出了這些誤匹配點。實驗證明，改進后的匹配算法，能夠有效的消除這些誤匹配點，提高配準質量。

5 結束語

為了解決無人機圖像受霧氣干擾導致的能見度低、顏色衰減與特征匹配過程中存在錯誤點干擾的問題，本文對兩個流程進行優化。去霧方面，本文從傳統的暗通道去霧算法入手，剖析了暗通道先驗算法存在的一些問題，采用結合亮通道先驗信息消除暗通道去霧算法遺留的光暈問題，并使用伽馬變換解決去霧圖像顏色偏黑的問題，做到了盡最大可能去消除霧氣對無人機圖像的干擾；特征匹配方面，針對傳統的KNN 算法錯誤點篩除時精度較低的問題，本文提出一種基于幾何相似性的特征匹配算法，經過實驗對比證明，本文提出的特征匹配算法能夠有效消除誤匹配點，提高特征點的匹配質量。