RAISR算法在遙感圖像超分辨率重建中的可行性

卜麗靜，吳文玉，張正鵬

(遼寧工程技術大學 測繪與地理科學學院，遼寧 阜新 123000)

0 引言

近年遙感技術迅猛發展，遙感圖像的應用領域越來越廣泛。但在圖像獲取過程中，由于成像硬件、環境、平臺等方面的影響，都會造成圖像分辨率的下降[1]。由于從硬件方面改善圖像分辨率花費較高，所以利用軟件手段提高圖像質量備受關注，其中超分辨率重建技術是一個主要的研究熱點。

超分辨率圖像重建是指由同一場景的低分辨率退化圖像或圖像序列，重建出一幅或多幅清晰的高分辨率圖像[2]。單幀圖像的超分辨率重建是指只有一幅低分辨率輸入圖像的超分辨率重建[3]。該技術可以提高航空、航天遙感圖像的空間分辨率，從而提高目標監測與識別的精度[4]，可以應用到監測森林火災[5]、監測糧食作物的健康狀況[6]、防盜監控和交通監控[7]等方面，對軍用和民用領域都具有十分重要的意義[8]。目前，圖像超分辨率重建方法可以分為基于插值、基于重建、基于學習的方法。綜合國內外的研究可以看出，基于學習的重建算法已經成為此領域的主流算法，其重建效果遠遠高于其他算法[9]。但其仍存在一些問題，如先驗階段學習復雜、處理過程耗時長、處理后圖片存在偽影噪聲等影響質量的因素，圖像視覺效果不理想等。為避免這些缺點，RAISR[10]算法在以往基于學習的基礎模型上對濾波器管理、去除偽影、增加視覺效果等方面加以優化，其速度比目前的主流算法如A+類算法，快1到2個數量級，并且內存要求極低，這對數據量極大的遙感圖像處理具有重要意義。

本文首次引用并優化RAISR算法，首先在原算法基礎上，針對遙感圖像建筑物邊界出現模糊以及振鈴效應等問題，對RAISR濾波器參數進行優化；其次為了增加結果中的邊緣等細節信息，在訓練過程中增加了對訓練集圖像的處理；最后使用多組遙感數據集訓練，對遙感圖像進行超分辨率重建實驗，探討了優化RAISR算法的可行性。

1 圖像成像模型和學習方法超分辨率重建框架

1.1 圖像成像模型

遙感圖像的成像(降質)是指高分辨率遙感圖像x經過模糊、降采樣、噪聲等退化過程得到低分辨率遙感圖像Z的過程[11]，如式(1)所示。

Z=DsHx+V

(1)

式中：Z∈RM×N是低分辨率遙感圖像；x∈RMs×Ns是原始高分辨率遙感圖像；s為放大系數；V為噪聲；H∈RMNs2×MNs2為降質矩陣；Ds∈RMN×MNs2為下采樣算子。在圖像超分辨率處理中，目標是從已知的度量Z中恢復未知的底層圖像x。

1.2 基于學習的超分辨率重建框架

基于學習的方法是近年來超分辨率算法中的研究熱點。現有的基于學習的單幀圖像超分辨重建方法可以分為5類：基于k-近鄰(k-NN)學習、基于流形學習、基于超完備字典學習、基于實例回歸和基于深度學習[12]。大部分基于學習的超分辨率算法主要分以下3步，流程如圖1所示。

圖1 學習方法流程圖

1)構建訓練集。獲取HR(高分辨率)圖像，按照降質模型，進行降質，生成對應的LR(低分辨率)圖像，產生訓練集。其中，降質模型不固定，如進行線性降質處理。

2)學習階段。根據HR圖像的低頻部分和高頻部分的對應關系，對圖像分塊，通過一定算法進行學習，獲得先驗知識，建立學習模型。

3)升級階段。以輸入的LR塊為依據，在建立好的訓練集中搜索最匹配的濾波器，最終形成HR圖像。

2 RAISR遙感圖像超分重建原理

2.1 RAISR算法框架

RAISR是Google在2016年推出的一項圖像超分辨率新算法，它的優勢是速度快而且可以避免產生混疊效應[13]。RAISR屬于基于實例回歸的方法，主要步驟分為學習階段和升級階段，其核心思想是在學習階段，基于LR和HR訓練圖像塊對學習一組濾波器；在升級階段，輸入LR圖像進行雙線性插值，通過在圖像塊上應用預先學習的濾波器，來提高插值圖像質量。其中，應用哈希機制對濾波器進行存儲與應用。為避免超分辨率重建后的HR圖像出現偽像，對HR圖形統計變換混合。學習和升級過程如圖2所示。

圖2 RAISR算法流程圖

2.2 RAISR算法中的關鍵問題

RAISR算法在以往基于學習的基礎模型上，針對先驗階段的學習復雜、數據量少、處理過程耗時長、處理后圖像效果不理想、超分圖像結構發生重大改變等問題，在濾波器計算、分類、存儲，以及圖像后處理等方面加以改進。

1)濾波器的選取。濾波器的選取依據是應用最小二乘法，求得訓練集中LR圖像的雙線性插值圖像與HR圖像之間的歐幾里得距離最小化的矩陣。如式(2)所示。

(2)

式中：i=1，2，…，L；h∈Rd×d是d×d大小的濾波器；Ai∈RMN×d2是由LR圖像的雙線性插值圖像提取的大小為d×d的小塊組成的矩陣，每個小塊在矩陣中形成一行；矢量bi∈RMN由來自HR圖像的像素組成，對應于LR圖像的雙線性插值圖像塊的中心坐標。

矩陣A的大小由圖片像素多少決定，RAISR為避免A過大、濾波器計算復雜度過高，采用2種方法控制。方法一，提取訓練圖像上部分可用圖像塊，通過像素數量的減少，控制A、b的大小；方法二，重建求解濾波器公式。以一個濾波器為例，如公式(3)所示。

(3)

2)濾波器的分類。本文按圖像塊的位置、角度、強度、相干性，對濾波器進行分類。

LR圖像經過插值方法實現上采樣，其中插值方法以及放大倍數都將影響濾波器的類型。以簡單雙線性插值為例，在每個軸上放大2倍，原LR圖像的每個像素插值為4個像素，對應于插值位置的不同，有4種不同的插值內核。對應不同插值內核，濾波器也需要分成4組。由于插值內核種類與像素位置有關，超分辨率重建過程中可根據像素位置的不同，調用不同類型濾波器進行圖像處理(圖3、圖4)。

圖3 在學習階段應用4種濾波器技術路線圖

圖4 在升級階段應用4種濾波器技術路線圖

通過利用每個像素的周圍梯度來計算角度、強度和相干性，即對于第k個像素，考慮位于k1，…，kn的所有像素。基本方法是計算2×n矩陣，該矩陣由第k個像素周圍的水平和垂直梯度和組成，表示為式(4)。

(4)

(5)

強度用最大特征值的平方根計算，局部梯度用較小的特征值的平方根計算。這2個特征值組合成一個稱為“相干性”的無單位量度[14]。相干值的范圍從0到1，表示為式(6)。

(6)

3)濾波器的存儲及優化。濾波器采用哈希機制存儲。哈希表(Hash table)，又稱散列表，是根據關鍵碼(key)直接訪問數據的數據結構。它通過一個關鍵碼的函數將所需的數據映射到表中的位置，來訪問數據，以加快查找速度。這個映射函數叫作散列函數，存放記錄的數組叫作散列表。

基于該算法對遙感圖像進行超分辨率處理，需要學習大量濾波器。若對這些濾波器進行簡單儲存，在構造和使用過程中搜索量巨大，相比于其他算法運算速度緩慢，如基于稀疏的方法或基于神經網絡的算法。針對這一問題，可以應用聚類的方法。然而，聚類導致算法總體復雜性增加。因此，本文采用高效的哈希方法存儲濾波器，其中將哈希表的關鍵碼設置為圖像塊的位置、角度、強度、相干性。

濾波器組的穩定性與訓練圖像塊數據量的大小有關系，同時圖像塊存在相同、相似的情況，每個圖像塊也可以進行4個90°旋轉和4個鏡像90°旋轉。由于每個原始圖像塊生成8個圖像塊，因此可有效地將8倍的信息用于學習，該變換簡稱為8×變換。

4)超分圖像結構優化。為避免超分后圖像結構發生重大改變，提出一種后處理混合方法，即在最后階段，應用基于統計變換的邊緣檢測混合方法。統計變換是一種非參數變換，主要用來表征圖像的局部結構特征，能夠比較好地檢測到圖像中的邊緣特征。具體過程為：計算雙線性插值圖像的統計變換值，將統計變換值中1出現的頻率作為權重，根據權重判斷邊界，進行替換。

2.3 遙感圖像特征分析及參數優化

由于RAISR算法起源于自然圖像處理，原訓練集以自然圖像為主，本文以遙感光學圖像為研究對象，探討算法的可行性。遙感衛星的飛行高度一般在600 km以上，是在距地表幾百公里以外的星下點獲取圖像，從俯視的角度拍攝地球表面上的地物信息。因此，遙感圖像和自然圖像在成像內容和地物特征方面有很多差異。遙感圖像反映的信息內容主要有波譜信息、空間信息和時間信息；它的成像幅寬比普通自然圖像大，探測范圍大尺度小、包含地物類別多、地物特征復雜，如居民地建筑、河流、森林等。而且，遙感圖像包括的類別較多，如光學圖像、SAR(synthetic aperture radar)圖像、夜光遙感圖像等。自然景物圖像拍攝的場景范圍小、尺度大，以生活場景為主要內容，如街道、人物、車輛等。

基于以上不同，本文在用RAISR算法進行超分辨率重建時提出3個方面的優化。

1)構建4組高分辨率遙感圖像訓練集。訓練集圖像來源于UC Merced數據集和合肥地區地物數據集。UC Merced數據集包含21類場景圖像，每一類有100張，圖像大小為256像素×256像素，像素分辨率為0.30 m。這些圖像是從美國地調局收集的、全國各個城市地區的大型圖像中手動提取的。合肥地區地物數據集總包含5類場景圖像，每類有100張，圖像大小為256像素×256像素，像素分辨率為2.38 m。這些圖像是從合肥地區的谷歌影像手動提取的。

2)為增強重建后圖像的邊緣和紋理信息，減小振鈴效應，優化濾波器的設置。原RAISR算法部分參數設置如下：濾波器大小11×11、梯度計算鄰域9×9、角度分類24、相關性分類3、強度分類3。該實驗訓練階段的基本思路為：將4組訓練數據集利用雙三次插值生成低分辨率圖像，構成高低分辨率圖像對，通過前文所述原理，生成4組濾波器。對第1組濾波器的高分辨率圖像進行銳化處理，使濾波器帶有內置銳化效果，同時更改濾波器與梯度計算鄰域為7×7和5×5，生成第5組濾波器；更改濾波器與梯度計算鄰域大小為5×5和3×3，生成第6組濾波器；更改角度分類為12，生成第7組濾波器；更改角度分類為36，生成第8組濾波器。

3)針對訓練集的高分辨率圖像本身存在一些細小干擾會導致超分辨率重建后的圖像引入更多噪聲的問題，增加對訓練集高分辨率圖像的銳化處理。本文采用USM(unsharp mask)方法進行銳化。該方法可以去除一些細小的干擾細節和噪聲，比一般直接使用卷積銳化算子得到的圖像銳化結果更加真實可信[15]。見式(7)。

y(n，m)=x(n，m)+λz(n，m)

(7)

式中：x(n，m)為輸入圖像；y(n，m)為輸出圖像；z(n，m)為校正信號，一般是通過對x進行高通濾波獲取；λ是用于控制增強效果的一個縮放因子，本文λ設置為0.3。

3 本文方法超分辨率重建實驗

3.1 實驗數據集構建

實驗采用UC Merced土地使用數據集和合肥地區地物分類數據集為訓練集。測試圖像包括：分辨率為0.30 m的UC Merced土地使用數據集原圖和下采樣圖像、分辨率為0.60 m的QuickBird遙感衛星圖像、分辨率為2.38 m的合肥地區地物分類數據集buildings類圖像、分辨率為10 m的Spot 3遙感衛星圖像。訓練集詳細參數見表1。

表1 4種訓練集的參數

3.2 實驗相關參數

測試階段分為仿真實驗和真實實驗，測試圖像首先應用雙線性插值放大2倍；然后利用訓練完成的濾波器對圖像進行超分辨率重建；最后對超分辨率圖像進行結構優化。同時，對比其他超分辨率方法進行質量評價，評價指標為PSNR、SSIM、結構熵、能量梯度及視覺效果，并分析超分效果及原因。

3.3 仿真數據對比實驗

該實驗的基本思路為：選取10幅UC Merced土地使用數據集的2倍下采樣圖像作為測試集，分辨率為0.6 m，應用雙線性插值，以及訓練集生成的5個濾波器對圖像進行超分辨率重建，生成9組圖像。選取一組圖像展示，如圖5所示。超分辨率重建過程完成后，以原始的高分辨率圖像作為參考圖像，與6幅超分辨率成果圖進行質量評價(表2)，并分析影響重建效果的因素。

圖5 不同濾波器超分辨率重建細節對比圖

表2 不同濾波器超分辨率重建質量評價

應用以上方法，對圖像進行超分辨率重建，通過對超分辨率結果進行定性定量評價，可以發現：①運用雙線性插值對圖像進行超分辨率重建，重建圖像模糊邊緣平滑，色彩對比度小，像素無明顯位移，整體質量低于其他組；②運用濾波器1對圖像進行超分辨率重建，重建結果圖像清晰邊緣明顯，相比雙線性插值圖像質量明顯提升，可恢復更多細節信息，色彩對比度適中，接近原高分圖像，像素無明顯位移，存在少量振鈴效應；③運用濾波器5對圖像進行超分辨率重建，圖像質量最高，圖像清晰邊緣更明顯，有效減少振鈴效應；④運用其他濾波器對圖像進行超分辨率重建，重建效果一般。總結原因：RAISR可有效提高超分圖像質量；訓練集越大，超分辨率效果越好；選用同類地物圖像構建訓練集，重建效果更理想；訓練圖像經過銳化、去噪、濾波器參數調優，可有效提高超分辨率效果。

3.4 真實衛星數據對比實驗

利用濾波器5，對不同分辨率圖像進行超分辨率重建，然后進行質量評價，并分析影響重建效果的因素。各圖像原圖、雙線性插值圖及超分辨率結果圖如圖6至圖9所示。

圖6 0.30 m分辨率圖像實驗結果

圖7 2.38 m分辨率圖像實驗結果

圖8 0.60 m分辨率圖像實驗結果

圖9 10 m分辨率圖像實驗結果

應用以上圖像進行超分辨率重建，通過對結果進行定性、定量評價對比(表3)，可發現：①圖像1和圖像3重建結果的圖像清晰，邊緣明顯，可恢復細節信息，像素無明顯位移，偽影較少，重建效果較好，且圖像3的重建質量提升百分比更高；②圖像2的邊緣明顯，可恢復細節信息，但圖像邊緣出現白點，存在振鈴效應明顯，定性評價差，重建效果一般；③由于原圖像模糊，圖像4重建結果模糊，邊緣平滑，無明顯細節信息，重建效果不理想。總結原因：

表3 4幅圖像超分辨率重建質量評價

RAISR可有效提高超分辨率圖像質量；圖像3重建結果與訓練集圖像分辨率更接近，重建效果最理想。

4 結束語

本文主要探討了RAISR算法在衛星遙感圖像的超分辨率重建的可行性。實驗采用了多組高分辨率遙感圖像作為訓練集，對不同分辨率的遙感圖像進行超分辨率重建，對比了不同方法、不同條件下實驗處理結果，并進行了定性、定量評價。實驗結果表明：

1)優化的RAISR算法可應用于遙感圖像重建，其重建結果清晰、細節信息恢復較好、重建速度較快，相較于未優化的RAISR算法，可有效減小振鈴效應。

2)應用優化的RAISR算法重建圖像，訓練集所含圖像數量越多，重建效果越理想；訓練集圖像與重建圖像結構越相似，重建效果越理想；訓練集圖像與重建后圖像的分辨率越接近，重建效果越理想；重建圖像的噪聲越少，重建效果理想。

3)運用優化的RAISR算法對圖像進行超分辨率重建，所用時間較少。

4)RAISR算法抗噪性差，不適宜直接對含有較多噪聲的圖像進行超分辨率重建。