遙感影像融合AIHS轉換與粒子群優化算法

陳應霞，陳 艷,劉 叢

1. 華東師范大學計算機科學與軟件工程學院，上海 200062； 2. 長江大學計算機科學學院，湖北 荊州 434023； 3. 上海理工大學光電信息與計算機工程學院，上海 200082

Pan-sharpening是遙感影像融合技術中的一個重要分支，它是將不同來源同一對象的影像數據采用某種算法將影像中所包含的信息互補的數據進行有機結合產生新影像的技術，該技術在目標識別、計算機視覺、遙感、軍事及智慧城市等領域有著廣泛的應用，是當前遙感圖像處理研究的熱點。它可以分為3個層級：像素級、特征級和決策級，其中像素級是特征級和決策級的基礎，也是目前主流的Pan-sharpening方法。本文研究的是基于像素級的Pan-sharpening方法。

目前，像素級Pan-sharpening方法大致分為3類。第1類是CS方法，也稱之為組件替代法，如亮度-色度-飽和度(IHS)[1]、自適應亮度-色度-飽和度(AIHS)[2]、GramSchmidt[3-4]、Brovey[5]等。此類方法能獲得較好的空間信息，但它們通常會產生光譜失真。第2類是多分辨率分析(MRA)方法[6]，如Wavelet[7]和Contourlet[8]等。與第1類方法不同，它是將全色圖像(PAN)的高頻細節加入到低空間分辨率的多光譜圖像(LMS)中，同時對全色圖像(PAN)進行采樣，然后將采樣圖像與相應波段的多光譜圖像(MS)進行Pan-sharpening。雖然MRA方法能在一定程度上減少光譜失真，但它卻產生了空間退化現象，如混疊效應等[9]。第3類是近年來出現的基于變分的Pan-sharpening方法。該類方法首先建立一個總的能量泛函，然后對其進行優化，其最優化結果即對應著最佳的Pan-sharpening質量[10]，如P+XS[11]、VWP和AVWP[12]、SRIF[13]、文獻[14]中的變分法等。它是Pan-sharpening領域的一個重大創新，但也存在一些缺陷，如在總能量函數優化過程中，其控制系數無法自動尋優，以至容易陷入局部最優，從而可能無法保證得到全局最優解。

為了解決以上問題，研究人員將上述Pan-sharpening方法與目前熱門的群體智能優化方法相結合。如文獻[15]提出了基于遺傳算法(GA)的像素級加權平均法，他們將遺傳算法和小波變換進行結合，試驗結果表明與不使用遺傳算法的方法相比，使用遺傳算法的融合方法能得到更好的融合質量。文獻[16]將亮度-色度-飽和度(IHS)與組合差分進化算法(CODE)進行結合，通過設置合理的進化算子和適應度函數，并對控制參數進行全局自動尋優，從而獲得了最佳的Pan-sharpening效果。從現有的研究成果來看，目前基于智能優化的Pan-sharpening方法大多集中在空間域方面，而基于變換域的研究則相對較少。基于傳統亮度-色度-飽和度(GIHS)的改進方法[2]和文獻[14]中的變分Pan-sharpening以及文獻[16]中的兩個假設：①Pan-sharpening圖像和原始MS圖像具有相同的光譜信息；②Pan-sharpening圖像與PAN圖像包含的幾何信息保持一致。本文提出了一種基于變換域的自適應亮度-色度-飽和度(AIHS)轉換和粒子群算法(PSO)相結合的Pan-sharpening方法，稱之為PAIHS。試驗結果表明，該方法可以獲得優化的自動控制參數，并在優化控制參數的約束下，利用AIHS轉換可以獲得優良質量的Pan-sharpening圖像。

1 目標函數

傳統亮度-色度-飽和度(GIHS)轉換方法雖是一種計算高效且能獲得高空間信息的融合方法，但它并不能很好地獲得高光譜信息且會出現光譜失真現象，因此在提出方法之前需要做一些相關的工作以提高融合圖像的保真度。

1.1 相關工作

1.1.1 改進自適應系數

M=(M1，M2，…，Mc，…，MC)(c=1,2,…,C)，表示多光譜圖像M有C個波段，Mc是第c個波段的多光譜圖像，Mc(x,y)是Mc中位置為(x,y)的一個像素；P表示為全色圖像(PAN)；F=(F1,F2,…,Fc,…,FC)由多個未知的Pan-sharpening圖像組成。

MS圖像M的亮度分量I可以與MS圖像之間建立一個線性關系[2,16]，這個關系描述為

I=∑cαcMc

(1)

式中，當多光譜圖像為紅、綠、藍(RGB)三色時，αc的值為1/3。而事實上，大多數多光譜圖像是由RGB和一個紅外共4個波段組成，因此可以用αc=1/C表示4個及以上的多光譜圖像的系數[16]。

由于亮度-色度-飽和度轉換到紅、綠、藍(IHS-RGB)是用PAN圖像的分量替換MS圖像中I分量，因此，除去在替換過程中產生的誤差以及由于圖像本身存在的噪音和冗余信息外，MS圖像的I波段的所有信息可以被全色圖像所代替[2,16]，并結合式(1)，于是有

P≈∑cαcMc

(2)

式中，αc為未知系數。為了計算系數a，可以對函數G(a)進行最小化

λ∑c(max(0,-αc))2

(3)

式中，P(x)表示PAN圖像處理函數；另外由于系數a非負，因此采用拉格朗日乘子λ來增加a的非負約束，目的是保證能獲得較為理想的解[2]。

1.1.2 增強邊緣保真度

由于IHS方法只對R、G、B3個分量進行轉換和融合，導致4個及4個以上波段的圖像在融合處理過程中會丟失很多的空間信息和光譜信息，尤其圖像邊緣的空間信息易丟失。解決這一問題，可以從PAN圖像中提取邊緣信息，然后與MS圖像進行相應的Pan-sharpening，從而獲得融合圖像Fc[2,16]，描述如式(4)

Fc(x,y)=Mc(x,y)+h(x,y)(P(x,y)-I(x,y))

(4)

式中，h(x,y)是邊緣檢測函數，其定義為

(5)

式中，ε是一個很小的非零值；P(x,y)是PAN圖像在(x,y)處的梯度；η是表示梯度大小的一個參數，其目的是形成邊緣并控制圖像的平滑度[2]。

1.2 目標函數設置

結合改進后的IHS方法[16-17]和文獻[10,14]提出的Pan-sharpening變分模型，可以確立目標函數，然后優化這個目標函數來找重構最佳融合圖像。

由于多光譜圖像融合旨在結合全色圖像PAN的空間細節和多光譜圖像MS的光譜信息，得到空間分辨率和光譜分辨率兼優的高質量多光譜Pan-sharpening影像F[16,18]，故F空間域中的細節信息主要來自于PAN圖像，而其光譜維的波段信息主要來自MS圖像[10,14,16]，因此可以作以下2個假設：

(1) 保持空間信息策略。在式(2)中，描述的是MS圖像與PAN圖像之間的線性關系，這種組合約束對于提高融合圖像的質量作用并不大，因此需要對其作進一步改進，建立PAN圖像與Pan-sharpening圖像F之間的關系，目的是盡可能地保留PAN圖像的空間信息，從而提高融合圖像的空間質量。文獻[16]設計了PAN圖像可以近似為Pan-sharpening圖像F中每個波段圖像的線性組合，即通過組合Pan-sharpening得到的圖像F的全部波段的空間結構信息可以恢復成高分辨率PAN圖像的細節信息，這種關聯約束能很好地提高圖像F的空間分辨率，但忽略了IHS轉換過程中可能存在的光譜信息丟失，于是有

P≈∑cθcFc+δ

(6)

式中，δ表示光譜信息丟失量；θc為未知系數且0≤θc≤1，其目的是約束空間分辨率的保真度。

(2) 保持光譜信息策略。式(6)是為了豐富Pan-sharpening圖像F的邊緣幾何信息，在一定程度上能提高融合圖像的空間分辨率，但由于在第1個假設中，已經對空間質量進行了很好地約束，足以保證了Pan-sharpening圖像F的空間分辨率，因此，還需要對圖像F的光譜質量進行約束，從而避免出現光譜失真現象。文獻[16]設計了MS圖像可以近似看作Pan-sharpening圖像F中的每個波段圖像經過空間卷積操作后得到的采樣圖像的組合，即利用空間濾波濾除融合影像中的PAN結構信息后保留了多光譜圖像的主要成分，但它忽略了采樣過程中可能存在的空間信息丟失，于是有

Mc(x,y)≈∑i,jK(i,j)Fc(x-i,y-j)+φ

(7)

式中，φ表示空間信息丟失量；K為3×3的未知卷積模型。

這兩個假設是基于遙感圖像Pan-sharpening的基本原理，是在文獻[10,14]等基礎上演化而來，并在文獻[16]中已得到了相關驗證，其目的依舊是分別建立Pan-sharpening圖像F與全色圖像PAN以及與多光譜圖像MS之間的關聯約束。因此，根據這2個假設并結合式(3)可以確立需要優化的目標函數為

(8)

式中，第1部分即對應的是上述第1個假設，目的是保證Pan-sharpening圖像F的空間質量；第2部分對應的是上述第2個假設，目的是保證Pan-sharpening圖像F的光譜質量[16]。其中，1/C具有平衡作用，協同參數(α,θ,k)促使目標函數(8)向著最優解的方向快速收斂，從而確保獲得最佳的Pan-sharpening結果。另外，圖像F的最優值依據AIHS轉換通過式(4)求得。

2 粒子群優化

2.1 粒子群算法

粒子群算法(PSO)采用群體智能優化策略，通過種群內粒子間的合作與競爭機制進行全局尋優從而獲得全局最優解。該算法是由文獻[19]首次提出來的。

在D維空間中，設定種群規模為NP，粒子i的位置表示為xi=(xi1,xi2,…,xiD)，粒子i的速度表示為vi=(vi1,vi2,…,viD)，f(xi)為適應度函數，pbesti=(pi1,pi2,…,piD)表示第i個粒子經歷過的最佳位置，gbesti=(g1,g2,…,gD)表示所有粒子的全局最佳位置，并設定在第d(1≤d?D)維的粒子位置變化范圍限定在[Xmin,d,Xmax,d]，粒子速度變化范圍限定在[-Vmax,d,Vmax,d]。

(1) 粒子i的第d維速度更新公式

(9)

(2) 粒子i的第d維位置更新公式

(10)

2.2 編碼方式及種群初始化

編碼的主要工作是將Pan-sharpening模型中的未知數映射成粒子的表達形式，常用的編碼方式有二進制編碼和實數編碼。根據式(8)可知，需要求解的參數為{a1,a2,a3},{θ1,θ2,θ3}以及{K(1,1),K(1,2),K(1,3),K(2,1),K(2,2),K(2,3),K(3,1),K(3,2),K(3,3)}，因此本文采用實數編碼的方式更為合理且算法的運行效率更高，其編碼方式如圖1所示。

注：種群中的每個染色體(粒子)是隨機生成的。圖1 染色體編碼方式Fig.1 The chromosome coding mode

2.3 技術流程

經過編碼和初始化后，通過設定合理的算法收斂條件，并采用粒子群算法來優化式(8)，不斷地迭代求解，從而可以獲得全局最優解，即獲得最佳控制參數和最優的Pan-sharpening圖像。本文所采取的技術路線如圖2所示。

圖2 技術流程Fig.2 The technology

2.4 PAIHS算法

這里主要介紹圖2中的PAIHS部分，其基本算法流程如算法1所示。

算法1 PAIHS基本算法流程

輸入：LMSM，PANP，c1，c2，r1，r2，w；

步驟1：根據AIHS和2個假設條件確定優化目標函數f(x)。

步驟2：設定粒子種群規模NP，粒子的維數D，算法的終止條件FES；設定xi∈[Xmin,d,Xmax,d]，vi∈[-Vmax,d,Vmax,d]；確定粒子編碼方式，隨機初始化種群，產生一組包含(α,θ,k)的解集合。

步驟3：根據F=AdaptiveIHS(M,P,α)計算融合圖像F。

步驟4：對初始種群中的個體xi進行評估f(xi)min

H(α,θ,K)=∑x,y{|P(x,y)-∑cθcFc(x,y)+δ|p+

步驟6：比較每個粒子的適應度值f(xi)和它的個體最優值pbesti，若當前值particle(i).Posit優于個體最優值pbesti，則設particle(i).Posit為新的個體最優值。

步驟7：比較每個粒子的最佳適應度值和全局最優粒子的位置gbesti，若當前值particle(i).Best.Position優于全局最優粒子，則當設前值particle(i).Best.Position為新的全局最優粒子。

步驟8：計算評價指標R=imagemetrics(M,P,F)。

步驟9：判斷代數FES是否已到達最大代數，如果已經到達，結束算法。否則轉向步驟(3)。

輸出：Pan-sharpening圖像F；定量評價指標值R。

3 試驗及對比分析

目前Pan-sharpening質量的評估方法有兩種：主觀評價方法和客觀評價方法。主觀評價法即根據人的視覺感知、大腦分析等機能特征對圖像色彩、亮度、形狀等作出一系列判斷，并作出相應的分析和決策，也稱之為視覺分析法。它是一種直觀、簡單靈活的判斷方法，但該方法具有一定的片面性，因為觀察者對色彩、亮度、模糊度、重影等現象的感知程度、理解能力、分析能力的不同，作出的判斷結論可能存在一定的差異，這并不利于得到準確的評價結果。因此，除了進行主觀評價外，還需要選取比較可靠的客觀評價指標來進行定量計算，該方法也稱之為定量分析方法。本文除了進行主觀的視覺對比和分析外，還選取了CC[21]、ERGAS[21-22]、QAVE[23-24]、RASE[25]、RMSE[21]、SAM[14]、SID[16,26]這7個參數指標來進行客觀評價。

3.1 視覺對比及分析

從整體視覺效果來看，圖3—圖5中的所有Pan-sharpening方法都能很好地將PAN圖像的空間信息與MS圖像的光譜信息集成到一起。相對于PAN圖像而言，所獲得Pan-sharpening圖像F的解譯能力都有了很大程度的提高，能夠比較容易地分辨出圖像F中的地物顏色和亮度等特征；相對于原MS圖像，圖像F中增添了大量的空間細節紋理信息，使得地物信息更為豐富。

圖3采用了分辨率較高的MS圖像，試驗結果發現Pan-sharpening后的圖像在視覺分析上辨別度不高，除PCA方法所得的圖像顏色變紅而失真明顯外，其他3種方法所產生的圖像在肉眼上難以分辨差異。于是在圖4和圖5中，采用了分辨率較低的MS圖像進行試驗，其視覺效果就產生了明顯差異，對比及分析如下：

(1) 雖然Wavelet和AIHS方法所獲得的圖像在細節上表現最為豐富，但樹木等地物存在明顯顆粒感，出現了重影現象。

(2) 通過對比，不難發現Brovey方法所獲得的圖像是這5種方法中視覺效果最差的，如圖4和圖5中的樹、道路和建筑物等都成團狀、很模糊，基本看不清地物輪廓和紋理特征。

(3) 與PAN圖像仔細對比，發現PCA方法獲得的圖像中間區域有較小程度的細節信息丟失，另外圖像中的樹木也有輕微模糊現象，而且整個圖像偏亮，對比度也存在失真，因此存在光譜失真現象。

通過對圖3—圖5的視覺對比和分析，能直觀地發現PAIHS方法得到的融合圖像整體平滑、清晰、無明顯重影和模糊現象。因此，在視覺上該方法是這5種方法中Pan-sharpening質量最好的。

3.2 定量對比及分析

表1—表3是基于AIHS、Wavelet、PCA、Brovey及PAIHS的Pan-sharpening 5種方法的試驗結果，其中的參考值和最好的評價指標值用粗體表示，其定量分析和比較如下。

圖3 Pan-sharpened結果比較Fig.3 Comparison of Pan-sharpened results

圖4 Pan-sharpened結果比較Fig.4 Comparison of Pan-sharpened results

定量指標CCERGASQAVERASERMSESAMSID參考值0 0 1 0 0 0 0 AIHS0.00061.00450.99844.04184.27670.04990.0018Wavelet0.00360.77260.99343.08803.26740.54430.0021PCA0.11152.57590.985910.381910.98510.46910.0074Brovey0.006412.46100.854733.673735.63032.28670.0033PAIHS0.00020.11490.99990.46230.48920.00610.0002

圖5 Pan-sharpened結果比較Fig.5 Comparison of Pan-sharpened results

定量指標CCERGASQAVERASERMSESAMSID參考值0 0 1 0 0 0 0 AIHS0.05457.31160.947628.803831.19564.19380.2017Wavelet0.17017.43090.873029.262331.69226.80510.2172PCA0.42519.00910.755536.530739.56416.74510.0472Brovey0.293310.84840.804250.074254.23221.34030.0474PAIHS0.02692.03050.99567.99008.65341.03770.0465

表3 圖5的Pan-sharpening的定量指標結果

(1) 表1、表2中，PAIHS方法的各項指標值是5種方法中最好的。表3中，PAIHS方法的SAM值、SID值略差于Brovey方法，但是優于AIHS方法、Wavelet方法、PCA方法相應的指標值；除SAM值和SID值外，PAIHS方法的其他幾種指標值仍是所有方法中最好的。因此，再一次印證了PAIHS方法的效果是最好的。

(2) 表1中，Brovey方法除CC值和SID值不是最差的外，其他5個指標值均是所有方法中最差的。表2中，Brovey方法的CC值優于Wavelet方法，但不及PCA方法；其SAM值略好外，QAVE值和SID值也比較居中，Brovey方法的ERGAS值、RASE值和RMSE值仍是所有方法中最差的。表3中的數值分布與表2類似。因此Brovey方法是所有方法中最差的，這與視覺分析得到Brovey方法是最差這一結論是一致的。

(3) 通過比較表1—表3發現，AIHS、Wavelet、PCA 3種方法的指標值時好時壞，比較中庸。3個表中，PCA方法的ERGAS值比另外兩種方法的ERGAS值差，PCA方法的QAVE值除在表1和表2中也是3種方法中最差的，而ERGAS值和QAVE值是光譜失真的評價指標，這與視覺上得到的對比度失真、圖像整體亮度偏亮的結論是相吻合的。

通過主觀分析和客觀評價參數的對比，可以發現PAIHS方法比其他4種融合方法好。另外，在試驗中也得出一個結論：種群規模設置越大，迭代次數越Pan-sharpening質量越好。

4 結 論

本文提出了一種Pan-sharpening方法，稱之為PAIHS。該方法基于自適應亮度-色度-飽和度(AIHS)轉換和變分Pan-sharpening框架及2個假設，同時確定了優化目標函數，然后采用粒子群優化算法進行優化，目的是尋找全局最優控制系數，確保能較好地保持原MS圖像的光譜信息和PAN圖像的空間細節信息，從而獲得最佳質量的Pan-sharpening圖像。另外，文中將提出的方法與目前主流的Pan-sharpening方法通過3幅遙感圖像進行試驗對比。試驗結果表明，本文方法所得的融合圖像在光譜特性的保持能力和空間細節信息的表現方面都有更好的效果，是一種有效且可行的Pan-sharpening方法。