基于細(xì)節(jié)信息提取的全色與多光譜圖像融合方法

王 歐，羅小波

基于細(xì)節(jié)信息提取的全色與多光譜圖像融合方法

王 歐，羅小波

（重慶郵電大學(xué) 空間大數(shù)據(jù)智能技術(shù)重慶市工程研究中心，重慶 400065）

全色（Panchromatic, Pan）圖像與多光譜（Multi-spectral, MS）圖像融合的目的是生成具有高空間分辨率的多光譜圖像。為了進(jìn)一步提升融合圖像的質(zhì)量，提出一種基于細(xì)節(jié)信息提取的融合方法。首先，使用滾動(dòng)引導(dǎo)濾波器與差值運(yùn)算分別獲取Pan與MS的高頻分量。其次，采用自適應(yīng)強(qiáng)度-色度-飽和度（Adaptive Intensity-Hue-Saturation，AIHS）變換處理MS的高頻分量與經(jīng)像素顯著性檢測(cè)后Pan的高頻分量，生成對(duì)應(yīng)的強(qiáng)度分量（Intensity，I），再將Pan與I作差值運(yùn)算獲取細(xì)節(jié)圖像。接著，采用引導(dǎo)濾波器計(jì)算Pan與MS的高頻分量的差值，得到殘差圖像。最后，利用最速下降法將細(xì)節(jié)圖像與殘差圖像注入到原始的MS圖像中獲得最終融合結(jié)果。實(shí)驗(yàn)結(jié)果表明，本文所提算法得到的融合圖像能夠取得較好的主觀視覺效果，且客觀定量評(píng)價(jià)指標(biāo)較優(yōu)。

AIHS變換；引導(dǎo)濾波；滾動(dòng)引導(dǎo)濾波；遙感圖像融合

0 引言

隨著衛(wèi)星傳感器技術(shù)的不斷發(fā)展，遙感數(shù)據(jù)獲取能力進(jìn)一步提升。受限于成像機(jī)理，衛(wèi)星很難獲得同時(shí)具有高空間分辨率和高光譜分辨率的遙感圖像[1]。當(dāng)下，大多數(shù)衛(wèi)星都能同時(shí)提供單波段的全色圖像和多波段的多光譜圖像。全色圖像具有較高的空間分辨率和較低的光譜分辨率，而多光譜圖像具有較低的空間分辨率和較高的光譜分辨率。為了更好地集成兩類圖像的互補(bǔ)信息，可以通過全色銳化（Pansharpening）的技術(shù)對(duì)其進(jìn)行融合，以獲取具有高空間分辨率的多光譜圖像。融合后的圖像在精準(zhǔn)農(nóng)業(yè)、資源調(diào)查、環(huán)境監(jiān)測(cè)、軍事國防等領(lǐng)域可以發(fā)揮重要作用[2]。

全色銳化主要有3種方式[3]：基于成分替換的方法（Component Substitution，CS）、基于多分辨率分析的方法（Multiresolution Analysis，MRA）以及基于變分優(yōu)化的方法（Variational Optimization，VO）。其中，CS方法的基本思想是通過從PAN圖像中提取高頻細(xì)節(jié)信息并將其注入到MS圖像中[4]，其代表性算法有：主成分分析法、施密特正交化方法等。通常，此類方法具有較低的時(shí)間復(fù)雜度但卻容易引起光譜畸變，其原因在于該類融合算法未充分考慮光譜信息的保留問題。基于MRA的方法首先使用金字塔或小波變換將原圖像分解到多個(gè)尺度，然后采用恰當(dāng)?shù)娜诤弦?guī)則對(duì)各個(gè)尺度的子帶圖像進(jìn)行融合，最后利用逆變換得到融合圖像[5]，其代表性算法有：à trous小波變換、非下采樣輪廓波變換等。從整體上來看，由于此類方法考慮了圖像中地物的各向異性，因此該類方法通常能夠保持較好的光譜信息，然而其融合結(jié)果的質(zhì)量嚴(yán)重依賴于融合規(guī)則、分解層數(shù)與方向數(shù)。基于VO的模型是一種重要的全色銳化方法[6]，它通常包含能量泛函的設(shè)計(jì)與求解兩部分，其代表性算法有：P+XS、交替變分小波融合算法等。該類方法雖有較好的保真度，但其計(jì)算過程復(fù)雜且時(shí)間成本較高。

為了提取精細(xì)的空間結(jié)構(gòu)信息，本文在考慮了多光譜圖像在不同波段間存在差異性的基礎(chǔ)上提出一種基于細(xì)節(jié)信息提取的融合方法。該方法首先通過滾動(dòng)引導(dǎo)濾波器提取低頻圖像，并利用差值運(yùn)算獲取高頻細(xì)節(jié)圖像；接著采用自適應(yīng)強(qiáng)度-亮度-飽和度（Adaptive Intensity-Hue-Saturation，AIHS）算法與差值運(yùn)算獲取初始細(xì)節(jié)圖，再借鑒引導(dǎo)濾波器所具有的特征轉(zhuǎn)移特性提取細(xì)節(jié)殘差圖；最后通過最速下降法將所有的細(xì)節(jié)圖都注入到原多光譜中生成高保真的融合圖像。

1 相關(guān)理論

1.1 AIHS變換

IHS變換法可以對(duì)多光譜圖像的空間信息和光譜信息進(jìn)行有效分離。其基本原理為：將多光譜圖像從RGB空間投影到IHS空間，其中代表原RGB圖像的亮度分量，也就是空間結(jié)構(gòu)信息分量，而和兩個(gè)分量共同表示MS圖像的光譜信息。其亮度分量可以通過下式進(jìn)行估算[7]：

式中：代表多光譜圖像的波段數(shù)；的取值通常為1/[8]；MS代表多光譜圖像的第個(gè)通道。然而，盡管該方法能夠很好地提取空間細(xì)節(jié)信息但卻忽略了光譜信息丟失問題。因此，為了進(jìn)一步解決光譜失真問題，有學(xué)者使用了AIHS[9]的方法，通過結(jié)合全色圖像，其可以由如下方程獲得：

式中：代表全色圖像。當(dāng)求解出自適應(yīng)因子后，最終融合結(jié)果可以表示為：

F＝MS＋(3)

式中：F代表第個(gè)波段的融合結(jié)果圖像；為與的差值。

1.2 引導(dǎo)濾波

引導(dǎo)濾波（Guided Filter，GF）是一種基于局部線性模型的濾波方法。與其他種類的濾波處理方式不同，它著重于將導(dǎo)向圖像的特征注入到輸入圖像中[10]。因此，GF不僅可以保留原輸入圖像的總體特征，還可以起到增強(qiáng)邊緣細(xì)節(jié)的作用。目前，它已經(jīng)廣泛應(yīng)用于許多圖像處理場(chǎng)景，例如圖像融合與細(xì)節(jié)增強(qiáng)等[11]。在數(shù)學(xué)表達(dá)上，給定輸入圖像和引導(dǎo)圖像，則輸出圖像可以表示為：

式中：GF(×)代表引導(dǎo)濾波操作；為濾波窗口大小。

1.3 滾動(dòng)引導(dǎo)濾波

滾動(dòng)引導(dǎo)濾波（Rolling Guidance Filter, RGF）是Zhang[12]等提出的一種具有尺度感知能力的高效濾波器。相對(duì)于引導(dǎo)濾波器和雙邊濾波器而言，它不僅具有邊緣保持的特性還兼具尺度感知功能。其整體工作流程可以分為兩個(gè)步驟：小尺度結(jié)構(gòu)平滑和大尺度結(jié)構(gòu)邊緣恢復(fù)[13]。

1）小尺度空間結(jié)構(gòu)信息平滑過程：使用高斯濾波器過濾圖像的小結(jié)構(gòu)信息，如輪廓、紋理等。對(duì)輸入圖像與輸出圖像，則其實(shí)現(xiàn)過程可以寫成如下形式：

式中：為歸一化因子；代表以像素為中心點(diǎn)的相鄰像素集合；是鄰域塊中的像素點(diǎn)；s為空間標(biāo)準(zhǔn)差，其取值控制著濾波尺度大小。

2）大尺度結(jié)構(gòu)邊緣迭代恢復(fù)過程：使用雙邊濾波器經(jīng)次迭代逐步恢復(fù)空間細(xì)節(jié)信息，其迭代過程如下所示：

式中：f＋1為次迭代邊緣恢復(fù)后得到的輸出圖像；f為經(jīng)式(8)得到的濾波結(jié)果；r為高斯函數(shù)在灰度域的權(quán)重參數(shù)。結(jié)合公式(8)～公式(11)，可以將滾動(dòng)引導(dǎo)濾波的迭代濾波過程歸納為如下形式：

式中：RGF(×)代表滾動(dòng)引導(dǎo)濾波操作。

2 融合步驟與框架

本文所提算法的流程圖如圖1所示，其具體步驟為：

1）考慮到MS圖像的不同波段間存在一定差異性，假設(shè)MS圖像的波段數(shù)為，為了方便后續(xù)處理，首先將Pan圖像構(gòu)造成維圖像，其中任意維圖像均與原Pan圖像相同。

2）將1）中的維Pan圖像與MS圖像進(jìn)行逐波段直方圖匹配可以得到經(jīng)直方圖匹配后的維Pan圖像，記作Pans。

3）將Pans與原多光譜圖像利用式(12)進(jìn)行迭代濾波獲得低通圖像PanL與MSL，接著通過差分運(yùn)算獲取各自的高頻細(xì)節(jié)分量，其計(jì)算方式如下：

PansL＝RGF(Pans,s,r,) (13)

MSL＝RGF(MS,s,r,) (14)

PansH＝Pans－PansL(15)

MSH＝MS－MSL(16)

式中：PansH代表Pans的高頻細(xì)節(jié)分量；MSH代表MS的高頻細(xì)節(jié)分量。

4）將PansH經(jīng)像素顯著性判斷法獲取精細(xì)的單波段細(xì)節(jié)圖像PanH，受啟發(fā)于多分辨率分析模型中系數(shù)絕對(duì)值取大的融合規(guī)則，本文將顯著性判斷法定義為：

式中：x, y為圖像PanH的橫縱坐標(biāo)；max(abs(×))代表絕對(duì)值取大運(yùn)算。而后將PanH與經(jīng)式(16)運(yùn)算獲得的MSH通過式(1)與式(2)估算出高頻亮度分量IH。

5）提取PanH相對(duì)于H額外擁有的細(xì)節(jié)信息init，其實(shí)現(xiàn)過程可以通過下式表示：

式中：代表第個(gè)波段，其取值范圍為1～。

6）由于引導(dǎo)濾波器具有優(yōu)秀的細(xì)節(jié)轉(zhuǎn)移特性，本文利用引導(dǎo)濾波器與差值運(yùn)算提取多級(jí)細(xì)節(jié)殘差Res，再結(jié)合Res與經(jīng)式(18)獲取的初始細(xì)節(jié)信息圖init得到最終的細(xì)節(jié)圖final，其數(shù)學(xué)表達(dá)如下：

式中：F為第個(gè)波段的融合結(jié)果；D是經(jīng)細(xì)節(jié)增強(qiáng)后的細(xì)節(jié)圖。由于通過步驟3）消除了低頻信息影響后，融合結(jié)果圖像與原多光譜圖像具有相同的光譜特征，因此在步驟4）中通過AIHS算法估算高頻亮度分量H時(shí)求得的自適應(yīng)因子不必更新[14]。其中，D可以通過式(23)中的最速下降法[15]聯(lián)合式(24)中的最小化差異函數(shù)進(jìn)行估算：

式中：為步長；初始時(shí)D(0)取值為final。

8）獲得細(xì)節(jié)增強(qiáng)后的細(xì)節(jié)圖D后。根據(jù)式(3)，其融合結(jié)果可以改寫為下式：

F＝MS＋D(25)

式中：F代表具有高空間分辨率的多光譜圖像；MS與D分別代表原多光譜圖像與最終細(xì)節(jié)圖的第個(gè)波段。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證所提算法的有效性，分別從GeoEye1、WV2、WV3上選擇4組數(shù)據(jù)進(jìn)行融合實(shí)驗(yàn)。并通過直觀視覺與客觀評(píng)價(jià)兩個(gè)方面對(duì)各個(gè)融合算法進(jìn)行有效評(píng)估。由于缺乏真實(shí)參考圖像進(jìn)行定量評(píng)價(jià)，因此本實(shí)驗(yàn)遵循Wald協(xié)議[16]，將經(jīng)下采樣再上采樣的MS圖像與下采樣的Pan圖像作為輸入，再將原MS圖像作為參考圖像。其中，本實(shí)驗(yàn)中全色圖像大小為256×256像素，多光譜圖像大小為64×64像素，重采樣方法為雙三次插值法，其權(quán)重參數(shù)分別設(shè)置為：s＝2.2，r＝1.2，＝4，＝16，＝0.01。

本文選擇8種經(jīng)典、主流的融合算法與所提算法進(jìn)行對(duì)比，分別為：亮度-色度-飽和度調(diào)制法、調(diào)制傳遞函數(shù)與廣義拉普拉斯金字塔相結(jié)合的方法（Modulation Transfer Function_Generalized Laplacian Pyramid，MTF-GLP）、局部參數(shù)估計(jì)的帶相關(guān)空間細(xì)節(jié)融合法（Band Dependent Spatial Detail with Local Parameter Estimation，BDSD）、比值變換（Brovey Transform，BT）、非下采樣輪廓波變換與稀疏表示相結(jié)合的方法（Non-subsampled Contourlet Transform and Sparse Representation，NSCT-SR）、亮度平滑濾波調(diào)制（Smoothing Filter-based Intensity Modulation，SFIM）、雙樹復(fù)小波變換融合法（Dual-tree Complex Wavelet Transform，DTCWT）以及基于上下文決策的多尺度分析方法（Context-Based Decision，CBD）。為了更好地體現(xiàn)本文所提方法的效果，8種對(duì)比算法的實(shí)驗(yàn)參數(shù)均設(shè)置為最佳。所有實(shí)驗(yàn)均在Windows10操作系統(tǒng)下Matlab 2016軟件中完成，并在具有32GB RAM且CPU為Intel（R）3.70GHz的電腦中運(yùn)行。

3.1 主觀評(píng)價(jià)

圖2、圖3為WV3數(shù)據(jù)融合結(jié)果圖像，分別記為WV3-Ⅰ、WV3-Ⅱ，圖4為GeoEye1圖像的融合結(jié)果，WV2數(shù)據(jù)的融合結(jié)果如圖5所示。從圖2～圖5(d)中可以看到，由IHS變換融合方法獲得的結(jié)果圖像能夠保持較好的空間結(jié)構(gòu)，但其色調(diào)偏暗，說明該算法丟失了較多原多光譜圖像的光譜特征從而導(dǎo)致了全局性的光譜扭曲。由SFIM算法獲得的融合圖像在圖3(e)、圖4(e)中均能取得不錯(cuò)的視覺效果，對(duì)比度鮮明且層次感較好，然而通過對(duì)比圖2(c)中的參考圖像可以看出，圖2(e)中的水體邊緣處存在明顯的偽影，而圖5(e)與原MS圖像相比則存在明顯的光譜失真現(xiàn)象。BDSD算法獲得的融合結(jié)果雖然能夠較好地保留空間細(xì)節(jié)信息，但從圖2(f)處的綠色植被處可以看到此處存在輕微的光譜信息丟失問題，而圖5(f)中的道路兩側(cè)則存在過度銳化問題，其原因在于該算法從Pan圖像中提取了較多的空間細(xì)節(jié)信息。對(duì)于BT算法而言，通過圖2～圖5(g)可以看出在4組實(shí)驗(yàn)結(jié)果中都出現(xiàn)了局部性的光譜失真，如圖4(g)中偏深藍(lán)色的規(guī)整田地塊及圖5(g)中呈紫色的道路側(cè)。

DTCWT算法從總體上看表現(xiàn)一般，從圖2(h)中可以明顯看到其綠色植被的顏色整體偏淡，圖5(h)的融合質(zhì)量略優(yōu)于IHS算法，但光譜失真依然嚴(yán)重。由NSCT-SR算法融合得到的結(jié)果輪廓模糊、清晰度較低且出現(xiàn)了全局性光譜畸變，通過目視解譯看來，其融合結(jié)果質(zhì)量相比于DTCWT算法更差。由MTF-GLP和CBD算法得到的融合結(jié)果都在一定程度上提高了原多光譜圖像的空間分辨率，且并未出現(xiàn)明顯的光譜失真現(xiàn)象，其融合圖像的信息相對(duì)豐富且不存在明顯結(jié)構(gòu)性誤差，通過圖5(j)和圖5(k)中的建筑物頂部和道路兩側(cè)的色調(diào)可以看出，CBD算法能夠更多地保留光譜信息，因此CBD算法相對(duì)穩(wěn)定。本文算法如圖2～圖5(l)所示，由圖2(l)中可以看出地物邊界信息飽滿，整體色調(diào)保持較好，無明顯振鈴效應(yīng)。圖3(l)空間信息保持良好，但在操場(chǎng)與房頂處丟失了部分光譜信息，視覺效果相對(duì)較優(yōu)。圖4(l)在光譜保真方面較優(yōu)，相比于CBD算法而言，本文算法沒有細(xì)節(jié)信息注入過度的風(fēng)險(xiǎn)。圖5(l)的空間細(xì)節(jié)清晰度較高，相比其他算法而言，圖5(l)保持了多光譜圖像的絕大部分光譜特征，且在空間細(xì)節(jié)的提升方面仍具有競(jìng)爭(zhēng)力。總體來說，本文提出的方法在細(xì)節(jié)信息改善與光譜信息保真方面表現(xiàn)良好。

圖2 WV3-Ⅰ 融合結(jié)果

圖3 WV3-Ⅱ 融合結(jié)果

圖4 GeoEye1融合結(jié)果

圖5 WV2融合結(jié)果

3.2 客觀評(píng)價(jià)

為了客觀地評(píng)價(jià)各個(gè)融合結(jié)果的準(zhǔn)確性，本文采用空間相關(guān)系數(shù)（Spatial Correlation Coefficient，SCC）、結(jié)構(gòu)相似性（Structure Similarity Index，SSIM）、相對(duì)平均光譜誤差（Relative Average Spectral Error，RASE）、相對(duì)無量綱的全局誤差（Erreur Relative Globale Adimensionnelle de Synthese，ERGAS）、光譜角映射（Spectral Angle Mapper，SAM）、通用圖像質(zhì)量指數(shù)（Universal Image Quality Index，UIQI）、相關(guān)系數(shù)（Correlation Coefficient，CC）、均方根誤差（Root Mean Squared Error，RMSE）、峰值信噪比（Peak Signal to Noise Ratio，PSNR）9個(gè)指標(biāo)在空間、光譜和整體一致性上對(duì)各融合算法進(jìn)行定量評(píng)價(jià)。表1～表4分別對(duì)應(yīng)圖2～圖5的客觀評(píng)價(jià)結(jié)果。為了方便觀察，將表中每一列的最優(yōu)評(píng)價(jià)結(jié)果以加粗形式展示。

表1 WV3-Ⅰ的定量評(píng)價(jià)結(jié)果

表2 WV3-Ⅱ的定量評(píng)價(jià)結(jié)果

其中，表1和表2是WV3衛(wèi)星的定量評(píng)價(jià)結(jié)果。從表中可以看出，BT算法在SAM指標(biāo)上總能取得最優(yōu)值，但在RASE等指標(biāo)上卻沒有明顯優(yōu)勢(shì)，說明該算法在光譜保持方面還有待提高。IHS變換法在絕大部分指標(biāo)上均未取得較好的效果，說明其保真性整體偏差。CBD、SFIM以及MTF-GLP融合算法整體表現(xiàn)較好，通過SCC與ERGAS可以看出這些算法空間結(jié)構(gòu)維持較好且光譜扭曲度較低，但它們?nèi)杂羞M(jìn)一步提升的空間。通過SCC與SSIM指標(biāo)可以看出BDSD算法能夠保持較好的細(xì)節(jié)信息，但ERGAS較大，說明光譜特征保持力較差。對(duì)于NSCT-SR算法而言，其在SAM上表現(xiàn)一般，而在其余指標(biāo)的表現(xiàn)與BT算法整體相當(dāng)。本文算法雖在SAM指標(biāo)上表現(xiàn)一般，但在ERGAS、RASE等衡量光譜信息的指標(biāo)上表現(xiàn)良好，因此從總體上看來，本文算法可以提高多光譜的空間分辨率，同時(shí)由于本算法消除了低頻分量的影響，所以能在一定程度上克服光譜扭曲問題。

表3、表4分別為GeoEye1與WV2兩組遙感圖像關(guān)于上述幾種融合方法的定量評(píng)價(jià)。從這兩個(gè)表中可以看出，本文所提方法除了在WV2數(shù)據(jù)的SCC指標(biāo)上取得次優(yōu)值外，在其余指標(biāo)上均取得最優(yōu)值，這也與主觀視覺評(píng)價(jià)相符。從整體來看，MTF-GLP算法能在GeoEye1數(shù)據(jù)上取得次優(yōu)值，而BDSD算法能在WV2上取得次優(yōu)值，以此說明這兩種算法并不具有較強(qiáng)的魯棒性。通過以上各個(gè)評(píng)價(jià)指標(biāo)也可以看出，BT、IHS以及NSCT-SR算法總體結(jié)果偏差，說明它們都在不同程度上丟失了光譜或細(xì)節(jié)信息。從RASE等指標(biāo)來看，CBD算法可以在一定程度降低光譜扭曲度，但是該算法在CC、SSIM等可以對(duì)圖像的空間、光譜信息進(jìn)行綜合衡量的指標(biāo)上并不具有明顯優(yōu)勢(shì)。從UIQI、PSNR等指標(biāo)可以看到，由SFIM算法得到的融合圖像富含豐富的信息，但其在空間結(jié)構(gòu)保持方面仍有待提高。NSCT-SR融合算法在CC、SSIM兩個(gè)指標(biāo)上表現(xiàn)偏差，說明與參考圖像相比，其整體相關(guān)度偏低，同時(shí)，通過RASE及SCC可以分析出，該方法容易出現(xiàn)光譜失真、細(xì)節(jié)信息不豐富的問題。綜上所述，相比其它融合算法而言，本文所提方法更具優(yōu)勢(shì)。

表3 GeoEye1的定量評(píng)價(jià)結(jié)果

表4 VW2的定量評(píng)價(jià)結(jié)果

4 結(jié)論

本文提出一種基于細(xì)節(jié)信息提取的遙感圖像融合方法。考慮到多光譜圖像波段之間的差異性，本文首先以多光譜圖像的波段數(shù)為基準(zhǔn)將全色圖像構(gòu)造成多波段圖像，再將多波段的全色圖像與多光譜圖像進(jìn)行逐波段直方圖匹配以降低光譜失真。隨后，通過RGF與AIHS算法提取多級(jí)細(xì)節(jié)圖，接著利用GF逐波段提取殘差。最后通過最速下降法獲取增強(qiáng)細(xì)節(jié)圖并注入到原多光譜圖像中得到最終融合結(jié)果。本文將所提算法與8種經(jīng)典、主流算法在GeoEye1、WV2及WV3三個(gè)數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)，其實(shí)驗(yàn)結(jié)果表明，本文算法在主觀評(píng)價(jià)與客觀指標(biāo)上均有一定優(yōu)勢(shì)，能夠在提高空間分辨率的同時(shí)較好地維持光譜特征。

[1] 王芬, 郭擎, 葛小青. 深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合[J]. 遙感學(xué)報(bào), 2021, 25(6): 1244-1256. WANG F, GUO Q, GE X Q. Pan-sharpening by deep recursive residual network[J]., 2021, 25(6): 1244-1256.

[2] 李樹濤, 李聰妤, 康旭東. 多源遙感圖像融合發(fā)展現(xiàn)狀與未來展望[J]. 遙感學(xué)報(bào), 2021, 25(1): 148-166.

LI S T, LI C Y, KANG X D. Development status and future prospects of multi-source remote sensing image fusion[J]., 2021, 25(1): 148-166.

[3] MENG X, SHEN H, LI H, et al. Review of the pansharpening methods for remote sensing images based on the idea of meta-analysis: practical discussion and challenges[J]., 2019, 46: 102-113.

[4] 陳毛毛, 郭擎, 劉明亮, 等. 密集卷積殘差網(wǎng)絡(luò)的遙感圖像融合[J]. 遙感學(xué)報(bào), 2021, 25(6): 1270-1283.

CHEN M M, GUO Q, LIU M L, et al. Pan-sharpening by residual network with dense convolution for remote sensing images[J]., 2021, 25(6): 1270-1283.

[5] YANG Y, LU H, HUANG S, et al. Pansharpening based on joint-guided detail extraction[J]., 2021, 14: 389-401.

[6] YANG Y, WAN C, HUANG S, et al. Pansharpening based on low-rank fuzzy fusion and detail supplement[J]., 2020, 13: 5466-5479.

[7] TU T M, HUANG P S, HUNG C L, et al. A fast intensity–hue–saturation fusion technique with spectral adjustment for IKONOS imagery[J]., 2004, 1(4): 309-312.

[8] 陳應(yīng)霞, 陳艷, 劉叢. 遙感影像融合AIHS轉(zhuǎn)換與粒子群優(yōu)化算法[J]. 測(cè)繪學(xué)報(bào), 2019, 48(10): 1296-1304.

CHEN Y X, CHEN Y, LIU C. Joint AIHS and particles swarm optimization for pan-sharpening[J]., 2019, 48(10): 1296-1304.

[9] Rahmani S, Strait M, Merkurjev D, et al. An adaptive IHS pan-sharpening method[J]., 2010, 7(4): 746-750.

[10] 王威, 張佳娥. 基于引導(dǎo)濾波和shearlet稀疏的遙感圖像融合算法[J].計(jì)算機(jī)工程與科學(xué), 2018, 40(7): 1250-1255.

WANG W, ZHANG J E. A remote sensing image fusion algorithm based on guided filtering and shearlet sparse base[J]., 2018, 40(7): 1250-1255.

[11] JIAN L, YANG X, WEI W, et al. Pansharpening using a guided image filter based on dual-scale detail extraction[J/OL]., 2018: 1-15,https://doi.org/ 10.1007/s12652-018-0866-4.

[12] ZHANG Q, SHEN X, XU L, et al. Rolling guidance filter[C]//, 2014: 815-830.

[13] 陳峰, 李敏, 馬樂, 等. 基于滾動(dòng)引導(dǎo)濾波的紅外與可見光圖像融合算法[J]. 紅外技術(shù), 2020, 42(1): 54-61.

CHEN F, LI M, MA L, et al. Infrared and visible image fusion algorithm based on the rolling guidance filter[J]., 2020, 42(1): 54-61.

[14] LI Q, YANG X, WU W, et al. Pansharpening multispectral remote‐sensing images with guided filter for monitoring impact of human behavior on environment[J]., 2018, 33(4): e5074.

[15] Kalpoma K A, Kawano K, Kudoh J I. IKONOS image fusion process using steepest descent method with bi-linear interpolation[J]., 2013, 34(1-2): 505-518.

[16] Wald L, Ranchin T, Mangolini M. Fusion of satellite images of different spatial resolutions: assessing the quality of resulting images[J]., 1997, 63(6): 691-699.

Panchromatic and Multispectral Images Fusion Method Based on Detail Information Extraction

WANG Ou，LUO Xiaobo

(Chongqing Engineering Research Center of Space Big Data Intelligent Technology, Chongqing University of Posts and Telecommunications, Chongqing 400065, China)

The fusion of panchromatic images (Pan) and multi-spectral images (MS) is designed to generate multi-spectral images with high spatial resolution. A fusion method based on detailed information extraction is proposed to improve the quality of the fused images. First, the high-frequency components of Pan and MS are obtained by a rolling guidance filter and margin calculation, respectively. Second, the adaptive intensity-hue-saturation (AIHS) transform is used to process the high-frequency components of MS and Pan, determined by the pixel significance, to generate the corresponding intensity component (I, intensity). Then, the difference between Pan and I is calculated to obtain the detailed image. Then, the residual image is obtained by calculating the difference between the high-frequency components of Pan and MS with a guided filter. Finally, the detailed and residual images are integrated with the original MS image using the steepest descent method to obtain the final fusion result. The experimental results demonstrate that the fused images obtained by the proposed algorithm can achieve better subjective visual effect. Simultaneously, the objective evaluation indicators are better.

AIHS transform, guided filter, rolling guidance filter, remote sensing image fusion

TP751

A

1001-8891(2022)09-0920-09

2022-01-04；

2022-02-09 .

王歐（1994-），男，碩士，主要從事遙感圖像融合相關(guān)方面研究。E-mail:1004553012@qq.com。

羅小波（1975-），男，博士，教授，主要從事遙感圖像處理、城市熱紅外遙感和生態(tài)環(huán)境監(jiān)測(cè)等研究。E-mail: luoxb@cqupt.edu.cn。

國家自然科學(xué)基金資助項(xiàng)目（41871226）；重慶市高技術(shù)產(chǎn)業(yè)重大產(chǎn)業(yè)技術(shù)研發(fā)項(xiàng)目（D2018-82）。