改進(jìn)的Welsh顏色遷移算法在GF-2圖像融合中的應(yīng)用

尹 峰， 曹麗琴， 梁 鵬

(1.湖北省國(guó)土資源研究院,武漢 430071； 2.武漢大學(xué)印刷與包裝系,武漢 430079)

改進(jìn)的Welsh顏色遷移算法在GF-2圖像融合中的應(yīng)用

尹 峰1， 曹麗琴2， 梁 鵬1

(1.湖北省國(guó)土資源研究院,武漢 430071； 2.武漢大學(xué)印刷與包裝系,武漢 430079)

圖像融合過(guò)程中需要對(duì)遙感圖像進(jìn)行幾何糾正、配準(zhǔn)等預(yù)處理，在國(guó)土資源調(diào)查研究工作中是一項(xiàng)繁重工作。因此，提出利用改進(jìn)的Welsh顏色遷移算法實(shí)現(xiàn)圖像融合，以湖北省仙桃市GF-2高空間分辨率全色圖像(簡(jiǎn)稱(chēng)高分圖像)為研究數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，并將遷移結(jié)果與Gram-Schmidt(GS)和主成分(principal components,PC)融合結(jié)果進(jìn)行定性和定量對(duì)比。結(jié)果表明，基于Welsh顏色遷移的融合算法在圖像光譜和紋理的保真度上都比GS和PC融合算法有更好的效果； 特別是在地物復(fù)雜區(qū)域，顏色遷移算法的紋理結(jié)構(gòu)相似度遠(yuǎn)優(yōu)于GS和PC融合算法。同時(shí)，顏色遷移的算法可以應(yīng)用于不同區(qū)域的多光譜和全色波段圖像融合，而無(wú)需先對(duì)圖像進(jìn)行幾何糾正、配準(zhǔn)等預(yù)處理。

高空間分辨率圖像； 圖像融合； 顏色遷移

0 引言

圖像融合是提高高空間分辨率遙感圖像(簡(jiǎn)稱(chēng)高分圖像)信息含量的信息優(yōu)化技術(shù)手段，通過(guò)融合改善目標(biāo)識(shí)別的圖像環(huán)境,提高目標(biāo)識(shí)別的精度，增強(qiáng)圖像解譯的可靠性。常見(jiàn)的遙感圖像融合方法有彩色空間變換(ISH)算法[1]、Brovey變換算法[2]、主成分分析(principal components analysis,PCA)法[3]、Gram-Schmidt(GS)算法[4]和基于亮度平滑濾波調(diào)節(jié)(smoothing filter-based intensity modulation,SFIM)算法[4]等。對(duì)于不同的衛(wèi)星圖像，同一種融合方法的效果會(huì)有所差異； 不同的融合算法也會(huì)使融合圖像在光譜信息繼承、空間分辨率提高和信息含量增加等方面有不同程度的差異[5]。在國(guó)土資源調(diào)查中，對(duì)不同的高分圖像，需要通過(guò)不同的實(shí)驗(yàn)選擇合適的融合算法，同時(shí)，需對(duì)融合圖像進(jìn)行幾何糾正、配準(zhǔn)等預(yù)處理，最終實(shí)現(xiàn)鑲嵌和勻色，生成數(shù)字正射影像圖(digital orthophoto map,DOM)，這一過(guò)程是土地資源調(diào)查中的一項(xiàng)繁重工作。

顏色遷移指將1景圖像的顏色遷移到另1景圖像中，即基于源圖像和目標(biāo)圖像合成1景新圖像，使合成的圖像同時(shí)具有源圖像的信息和目標(biāo)圖像的顏色。經(jīng)典的顏色遷移算法有Reinhard等[6]提出的基于全局統(tǒng)計(jì)特征的顏色遷移算法和Welsh等[7]提出的考慮空間特征的全局搜索算法。Welsh算法可將顏色遷移擴(kuò)展到灰度圖像彩色化； 但該算法的執(zhí)行效率非常低，且對(duì)信息豐富的灰度圖像需要人為指定匹配樣本塊[8]。本文在Welsh算法基礎(chǔ)上，引入K-means算法對(duì)圖像進(jìn)行聚類(lèi)，對(duì)不同的類(lèi)別實(shí)現(xiàn)顏色遷移，以達(dá)到融合效果。該算法無(wú)需先對(duì)圖像進(jìn)行幾何糾正、配準(zhǔn)等預(yù)處理，而且可利用同源的多光譜圖像實(shí)現(xiàn)對(duì)不同區(qū)域的全色圖像顏色遷移，為地物變更調(diào)查和地物分類(lèi)等土地資源調(diào)查提供有效的數(shù)據(jù)源。

1 Welsh算法原理

Welsh算法的基本流程[7]為：

1)將源圖像(灰度圖像)和目標(biāo)圖像(彩色圖像)由RGB彩色空間轉(zhuǎn)換到lαβ彩色空間。

(1)

4)計(jì)算源圖像和目標(biāo)圖像每個(gè)像元點(diǎn)的鄰域方差(σw)，并與該像元點(diǎn)亮度值(L)進(jìn)行加權(quán)求和，得到圖像像元的距離值L2，即

(2)

5)計(jì)算源圖像和目標(biāo)圖像每個(gè)像元點(diǎn)的距離L2，尋找與L2距離相差最小的樣本點(diǎn)； 將目標(biāo)樣本點(diǎn)的α和β通道的數(shù)值賦給源圖像的對(duì)應(yīng)像元點(diǎn)，實(shí)現(xiàn)目標(biāo)圖像到源圖像之間的顏色傳遞。

6)將轉(zhuǎn)換后的源圖像從lαβ彩色空間轉(zhuǎn)換回RGB彩色空間，完成顏色遷移。

在該顏色遷移過(guò)程中，利用源圖像與目標(biāo)圖像的L2距離來(lái)度量圖像像元之間的相似程度。由于L2是由局部方差和亮度加權(quán)求和得到的，所以即使2個(gè)像元之間的亮度和鄰域亮度方差的差異較大，但加權(quán)求和后它們之間的L2值卻有可能相同，因此會(huì)增加顏色遷移出錯(cuò)的幾率。 針對(duì)這一缺陷，本文將先對(duì)圖像進(jìn)行K-means聚類(lèi)，然后在源圖像和目標(biāo)圖像最相似的類(lèi)別間按照Welsh算法進(jìn)行顏色遷移。

2 算法改進(jìn)及評(píng)價(jià)指標(biāo)

2.1 基于K-means聚類(lèi)的Welsh算法

K-means聚類(lèi)[9]屬于無(wú)監(jiān)督學(xué)習(xí)方法，對(duì)顏色遷移的源圖像和目標(biāo)圖像無(wú)需指定樣本確定先驗(yàn)知識(shí)。對(duì)于每一個(gè)像元點(diǎn)i，其類(lèi)別的屬性通過(guò)如下重復(fù)循環(huán)收斂獲得，即

(3)

式中：xi為像元點(diǎn)i的灰度值；μj為類(lèi)別j的灰度均值;n為類(lèi)別數(shù)。

對(duì)于每1類(lèi)，重新計(jì)算該類(lèi)的質(zhì)心，即

(4)

式中1{ci=j}表示當(dāng)像元點(diǎn)i被歸類(lèi)到j(luò)類(lèi)時(shí)為1，否則為0；m為像元數(shù)。

基于K-means聚類(lèi)的Welsh顏色遷移算法過(guò)程如下：

3)對(duì)源圖像亮度進(jìn)行線(xiàn)性變換，使源圖像和目標(biāo)圖像對(duì)應(yīng)類(lèi)別亮度的均值和方差一致，即

(5)

4)計(jì)算源圖像和目標(biāo)圖像每個(gè)像元點(diǎn)的鄰域方差(σw)與亮度值的加權(quán)和L2(本文中將多光譜圖像窗口大小確定為3像元×3像元，全色圖像窗口大小確定為11像元×11像元)。

5)計(jì)算源圖像和目標(biāo)圖像對(duì)應(yīng)類(lèi)別中各像元點(diǎn)L2的差值，確定遷移像元點(diǎn)，實(shí)現(xiàn)目標(biāo)圖像到源圖像之間的顏色傳遞。

6)實(shí)現(xiàn)源圖像從lαβ彩色空間轉(zhuǎn)換回RGB彩色空間，完成顏色遷移。

在基于K-means聚類(lèi)的Welsh顏色遷移過(guò)程中，為了提高遷移效率，在目標(biāo)圖像中隨機(jī)選擇r個(gè)像元點(diǎn)作為步驟5)中的遷移樣本點(diǎn)，r的值隨圖像大小人為確定，本文取r=1 500。

2.2 定量評(píng)價(jià)指標(biāo)

對(duì)實(shí)驗(yàn)結(jié)果從圖像的顏色差異性(colorfulness,CS)和結(jié)構(gòu)相似度指數(shù)(structural similarity index,SSIM)2個(gè)方面進(jìn)行評(píng)價(jià)。

1)CS。通過(guò)大量實(shí)驗(yàn)表明，采用Hasler等[10]于2003年提出的度量圖像顏色的方法[11]可提供1種高效度量圖像顏色的指標(biāo)C，表達(dá)式為

(6)

rg=R-G，

(7)

yb=0.5(R+G)-B，

(8)

式中μ和?分別為對(duì)應(yīng)通道的均值和方差。

遷移圖像顏色Cr和目標(biāo)圖像顏色Ct間的顏色差異度CS為

CS(r,t)=|Cr-Ct|。

(9)

當(dāng)遷移后結(jié)果圖像與目標(biāo)圖像的顏色差異值CS(r，t)<12時(shí)，則認(rèn)為圖像的顏色非常相似。

2)SSIM。該指數(shù)包括亮度、對(duì)比度和結(jié)構(gòu)3個(gè)方面，其模型[12]定義為

SSIM(x，y)=l(x,y)c(x,y)s(x,y),

(10)

(11)

(12)

(13)

式中：l(x,y)為亮度；c(x,y)為對(duì)比度；s(x,y)為結(jié)構(gòu)；c1,c2和c3為常數(shù)。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)區(qū)與數(shù)據(jù)源

本文選用2015年4月12日獲取的覆蓋仙桃市的GF-2圖像數(shù)據(jù)。GF-2衛(wèi)星是我國(guó)自主研制的首顆空間分辨率達(dá)到1 m的光學(xué)遙感衛(wèi)星，搭載2臺(tái)高空間分辨率全色(1 m)和多光譜(4 m)相機(jī)。對(duì)GF-2多光譜圖像選擇可見(jiàn)光波段圖像進(jìn)行顏色遷移實(shí)驗(yàn)。3個(gè)實(shí)驗(yàn)區(qū)分別如圖1(a)、圖2(a)和圖3(a)所示。圖1中地物分布均勻，類(lèi)別單一； 圖2和圖3中地物分布異質(zhì)性較大，結(jié)構(gòu)較復(fù)雜。

(a) GF-2多光譜圖像(b) GF-2全色圖像 (c) PC融合

(d) GS融合 (e) Welsh顏色遷移 (f) 改進(jìn)的Welsh顏色遷移

圖1仙桃實(shí)驗(yàn)區(qū)1GF-2圖像及實(shí)驗(yàn)結(jié)果

Fig.1GF-2imagesandfusionresultsofXiantaoexperimentalarea1

(a) GF-2多光譜圖像(b) GF-2全色圖像 (c) PC融合

圖2-1仙桃實(shí)驗(yàn)區(qū)2GF-2圖像及實(shí)驗(yàn)結(jié)果

Fig.2-1GF-2imagesandfusionresultsofXiantaoexperimentalarea2

(d) GS融合 (e) Welsh顏色遷移 (f) 改進(jìn)的Welsh顏色遷移

圖2-2仙桃實(shí)驗(yàn)區(qū)2GF-2圖像及實(shí)驗(yàn)結(jié)果

Fig.2-2GF-2imagesandfusionresultsofXiantaoexperimentalarea2

(a) GF-2多光譜圖像(b) GF-2全色圖像 (c) PC融合

(d) GS融合 (e) Welsh顏色遷移 (f) 改進(jìn)的Welsh顏色遷移

圖3仙桃實(shí)驗(yàn)區(qū)3GF-2圖像及實(shí)驗(yàn)結(jié)果

Fig.3GF-2imagesandfusionresultsofXiantaoexperimentalarea3

3.2 實(shí)驗(yàn)結(jié)果及定量評(píng)價(jià)

為了分析和評(píng)價(jià)本文算法的有效性，將本文算法與Welsh顏色遷移算法及常規(guī)融合算法進(jìn)行對(duì)比，選用GS和 PC融合算法對(duì)圖像進(jìn)行融合。根據(jù)目視解譯確定圖1和圖2中的地物類(lèi)型為3類(lèi)(分別為植被、水體和裸地)； 圖3中地物類(lèi)別為5類(lèi)(分別為植被、水體、裸地、房屋和水泥道路)。因此對(duì)3個(gè)實(shí)驗(yàn)區(qū)開(kāi)展基于K-means聚類(lèi)的Welsh顏色遷移算法中，聚類(lèi)中心分別確定為3,3,5。

從圖1可以看出，在遷移結(jié)果中，Welsh算法(圖1(e))對(duì)植被和農(nóng)田區(qū)域的顏色遷移效果較差，藍(lán)色的水域部分呈現(xiàn)出綠色，PC融合算法(圖1(c))、GS融合算法(圖1(d))和本文提出的基于K-means聚類(lèi)改進(jìn)的Welsh顏色遷移算法(圖1(f))都能有較好的融合效果。其中，PC融合結(jié)果和改進(jìn)的Welsh顏色遷移結(jié)果與多光譜圖像(圖1(a))相比，顏色差異性較小。

對(duì)于地物結(jié)構(gòu)復(fù)雜的區(qū)域(圖2和圖3)，Welsh算法(圖2(e)和圖3(e))融合結(jié)果與原圖像(圖2(a)和圖3(a))相比存在較大的顏色差異，而PC融合算法、GS融合算法和改進(jìn)的Welsh遷移算法融合結(jié)果的顏色差異相對(duì)較小，與多光譜圖像的顏色和紋理分布基本一致。同時(shí)，從目視效果看，改進(jìn)的Welsh顏色遷移算法和GS融合算法的融合結(jié)果在空間紋理細(xì)節(jié)上要優(yōu)于PC融合算法和Welsh顏色遷移算法。

表1示出4種算法融合結(jié)果的定量評(píng)價(jià)指標(biāo)。

表1 不同算法融合結(jié)果定量評(píng)價(jià)指標(biāo)Tab.1 Quantitative assessment indexs of fusion results with different algorithms

從表1可以看出，對(duì)于實(shí)驗(yàn)區(qū)1，改進(jìn)的Welsh顏色遷移結(jié)果具有最小的CS，與多光譜圖像在結(jié)構(gòu)上有較大的相似性，但SSIM略小于PC和GS融合結(jié)果； 對(duì)于實(shí)驗(yàn)區(qū)2，PC融合算法結(jié)果表現(xiàn)最優(yōu)，在SSIM上，改進(jìn)的Welsh顏色遷移算法在空間結(jié)構(gòu)上保持最優(yōu)； 對(duì)于地表類(lèi)型最復(fù)雜的實(shí)驗(yàn)區(qū)3，GS融合算法和改進(jìn)的Welsh顏色遷移算法在CS和SSIM上均優(yōu)于PC融合算法和Welsh遷移算法。總體來(lái)說(shuō)，改進(jìn)的Welsh顏色遷移算法能較好地保持多光譜圖像的光譜信息和全色圖像的地物結(jié)構(gòu)信息，特別對(duì)于地物較為復(fù)雜的區(qū)域，其SSIM表現(xiàn)最優(yōu)。

除了融合同一區(qū)域圖像的多光譜圖像與全色圖像外，顏色遷移算法還可將不同區(qū)域的多光譜圖像光譜信息遷移至全色圖像。為了獲得更真實(shí)的顏色遷移結(jié)果，多光譜圖像中的地物類(lèi)別需要包含全色圖像中的地物類(lèi)別。圖4分別為2景多光譜源圖像、不同覆蓋區(qū)域的全色圖像及改進(jìn)的Welsh顏色遷移算法的融合結(jié)果圖像。

(a) GF-2多光譜源圖像1 (b) GF-2全色目標(biāo)圖像1(c) 顏色遷移后圖像1

(d) GF-2多光譜源圖像2 (e) GF-2全色目標(biāo)圖像2(f) 顏色遷移后圖像2

圖4仙桃市GF-2圖像不同區(qū)域顏色遷移實(shí)驗(yàn)

Fig.4ColortransferexperimentbetweendifferentareasinGF-2imagesofXiantaoCity

從目視結(jié)果看，顏色遷移后的圖像顯示較明顯的光譜與紋理特征。將顏色遷移結(jié)果圖4(c)和(f)與對(duì)應(yīng)區(qū)域的多光譜圖像進(jìn)行比較，CS分別為0.914和0.909，SSIM分別為0.827和0.856。從分析結(jié)果可以看出，顏色遷移結(jié)果具有較高的顏色和紋理保真度。

4 結(jié)論

1)與GS融合算法和PC融合算法相比，基于顏色遷移的算法在圖像光譜和紋理的保真度上都有較好的表現(xiàn)。特別是在地物復(fù)雜區(qū)域，顏色遷移算法融合結(jié)果的紋理結(jié)構(gòu)相似度均優(yōu)于GS和PC融合算法。

2)顏色遷移算法除可應(yīng)用于同一區(qū)域的多光譜圖像和全色圖像融合外，還可應(yīng)用于不同區(qū)域的多光譜圖像和全色圖像融合。同時(shí)，顏色遷移算法不需要先對(duì)圖像進(jìn)行幾何糾正、配準(zhǔn)等預(yù)處理，在土地利用調(diào)查中可提高效率。

3)現(xiàn)階段，在基于高分圖像的土地利用調(diào)查中，仍需要人工目視解譯(如閑置土地利用調(diào)查、土地節(jié)約集約利用監(jiān)測(cè)等)，本文提出的顏色遷移算法能有效應(yīng)用于地物目視解譯。

然而，在顏色遷移過(guò)程中，基于K-means聚類(lèi)的顏色遷移算法中聚類(lèi)類(lèi)別的數(shù)量和聚類(lèi)的結(jié)果會(huì)直接影響遷移的結(jié)果，且聚類(lèi)類(lèi)別數(shù)量需要人為確定，尚未做到完全自動(dòng)遷移。本文中彩色空間信息僅用GF-2圖像的可見(jiàn)光波段數(shù)據(jù)表示，未充分利用多光譜數(shù)據(jù)的其他光譜信息。因此，如何自動(dòng)獲取聚類(lèi)類(lèi)別數(shù)量、提高聚類(lèi)精度和利用近紅外光譜數(shù)據(jù)的顏色遷移將是下一步研究的重點(diǎn)。

[1] Al-Wassai F A,Kalyankar N V,Al-Zuky A A.The IHS transformations based image fusion[J].International Journal of Advanced Research in Computer Science,2011,2(5):1-10.

[2] Ehlers M,Klonus S,?strand P J,et al.Multi-sensor image fusion for pansharpening in remote sensing[J].International Journal of Image and Data Fusion,2010,1(1):25-45.

[3] Joshi M V,Bruzzone L,Chaudhuri S.A model-based approach to multiresolution fusion in remotely sensed images[J].IEEE Transactions on Geoscience and Remote Sensing,2006,44(9):2549-2562.

[4] Cetin M,Musaoglu N.Merging hyperspectral and panchromatic image data:Qualitative and quantitative analysis[J].International Journal of Remote Sensing,2009,30(7):1779-1804.

[5] 劉會(huì)芬,楊英寶,于 雙,等.遙感圖像不同融合方法的適應(yīng)性評(píng)價(jià)——以ZY-3和Landsat8圖像為例[J].國(guó)土資源遙感,2014,26(4):63-70.doi:10.6046/gtzyyg.2014.04.11.

Liu H F,Yang Y B,Yu S,et al.Adaptability evaluation of different fusion methods on ZY-3 and Landsat8 images[J].Remote Sensing for Land and Resources,2014,26(4):63-70.doi:10.6046/gtzyyg.2014.04.11.

[6] Reinhard E,Adhikhmin M,Gooch B,et al.Color transfer between images[J].IEEE Computer Graphics and Applications,2001,21(5):34-41.

[7] Welsh T,Ashikhmin M,Mueller K.Transferring color to greyscale images[J].ACM Transactions on Graphics,2002,21(3):277-280.

[8] 向 遙.基于視覺(jué)感知的圖像處理方法研究[D].長(zhǎng)沙:中南大學(xué),2011.

Xiang Y.Image Processing Methods Based on Human Visual Perception[D].Changsha:Central South University,2011.

[9] 謝相建,趙俊三,陳學(xué)輝,等.基于集對(duì)分析的遙感圖像K-均值聚類(lèi)算法[J].國(guó)土資源遙感,2012,24(4):82-87.doi:10.6046/gtzyyg.2012.04.14.

Xie X J,Zhao J S,Chen X H,et al.SPA-based K-means clustering algorithm for remote sensing image[J].Remote Sensing for Land and Resources,2012,24(4):82-87.doi:10.6046/gtzyyg.2012.04.14.

[10] Hasler D,Suesstrunk S E.Measuring colorfulness in natural images[C]//Proceedings of the SPIE 5007,human vision and electronic imaging VIII.Santa Clara,CA,USA:SPIE,2003,5007:87-95.

[11] 陳恩生.基于圖像相似度的顏色遷移方法研究[D].武漢:武漢大學(xué),2013.

Chen E S.Research on Color Transfer Based on Image Similarity[D].Wuhan:Wuhan University,2013.

[12] Wang Z,Bovik A C,Sheikh H R,et al.Image quality assessment:From error visibility to structural similarity[J].IEEE Transactions on Image Processing,2004,13(4):600-612.

ApplicationofimprovedWelsh’scolortransferalgorithmtoGF-2imagefusion

YIN Feng1， CAO Liqin2， LIANG Peng1

(1.HubeiProvincialDepartmentofLandandResources，Wuhan430071，China；2.SchoolofPrintingandPackaging，WuhanUniversity,Wuhan430079，China)

During the processing, image fusion, calibration, registration and other pre-processing steps for images are onerous tasks in land resources investigation. In this paper, the improved Welsh color transfer was proposed for image fusion. The study area was Xiantao City in Hubei Province and the study images were GF-2 high spatial resolution image data. The result of color-based image fusion algorithm was qualitatively and quantitatively compared with that of Gram-Schmidt(GS)and principal components(PC) fusion methods. The results show that the improved Welsh color transfer has good performance on preserving color fidelity and texture similarity. Especially in complex land-surface areas, the texture similarity of result image based on improved color transfer method is much better than that based on GS and PC fusion algorithm. The color transfer method is also applied to images fusion about different areas without calibration and registration for images.

high spatial resolution image； image fusion； color transfer

10.6046/gtzyyg.2017.04.19

尹峰,曹麗琴,梁鵬.改進(jìn)的Welsh顏色遷移算法在GF-2圖像融合中的應(yīng)用[J].國(guó)土資源遙感，2017，29(4)：126-131(Yin F,Cao L Q,Liang P.Application of improved Welsh’s color transfer algorithm to GF-2 image fusion[J].Remote Sensing for Land and Resources,2017,29(4)：126-131).

TP 79

A

1001-070X(2017)04-0126-06

2016-03-21；

2016-05-10

國(guó)土資源部公益性行業(yè)專(zhuān)項(xiàng)項(xiàng)目“中部城市圈節(jié)約集約用地信息化控制技術(shù)研究技術(shù)集成與綜合示范”(編號(hào)： 201511009-05)資助。

尹 峰(1982-),男,碩士,工程師,主要從事土地調(diào)查、地理信息系統(tǒng)建設(shè)和土地利用遙感監(jiān)測(cè)等相關(guān)工作。Email： 89642740@qq.com。

(責(zé)任編輯：李瑜)