基于超像素分割的RGB與高光譜圖像融合

洪科

（南華大學(xué)電氣工程學(xué)院 湖南省衡陽(yáng)市 421001）

1 引言

高光譜成像技術(shù)是一種新興的成像技術(shù)，可以同時(shí)獲取同一場(chǎng)景下不同波長(zhǎng)的圖像。然而，由于現(xiàn)有的高光譜成像設(shè)備無(wú)法實(shí)現(xiàn)圖像在光譜分辨率和空間分辨率上同時(shí)高分辨成像，導(dǎo)致獲取的高光譜圖像空間分辨率比較低。將高空間分辨率的真彩色RGB與相同場(chǎng)景下的低空間分辨率高光譜圖像進(jìn)行融合從而提高高光譜圖像的空間分辨率，是目前獲取高分辨高光譜成像的有效技術(shù)[1]。

現(xiàn)有的高光譜圖像融合算法包括基于全色圖像和高光譜圖像融合方法[2-7]以及真彩色RGB圖像與高光譜圖像融合算法[8-10]兩大類(lèi)。全色圖像與高光譜圖像的融合利用高分辨率全色圖像準(zhǔn)確的空間信息來(lái)修正高光譜圖像的空間分辨率[11][12]，以提高高光譜圖像的細(xì)節(jié)。相比于全色圖像，真彩色RGB圖像不僅空間分辨率高，而且有豐富的彩色信息，因此RGB與高光譜圖像的融合獲得了更多的研究。

Akhtar等人[13]提出了空間-光譜稀疏表示方法，將RGB圖像劃分成大小相同的圖像塊，以圖像塊為單元進(jìn)行稀疏表示，有效利用了像素之間的局部相關(guān)性，提高了融合圖像的質(zhì)量。但是圖像塊中總會(huì)包含許多不同的物體信息，會(huì)導(dǎo)致將圖像塊為單元進(jìn)行稀疏分解存在誤差，因此本文提出了一種基于超像素分割[14]的RGB圖像與高光譜圖像的融合方法。利用超像素分割技術(shù)將圖像分割成大小和形狀能自適應(yīng)變化的圖像區(qū)域，然后以超像素塊為基本單元對(duì)RGB圖像進(jìn)行稀疏分解，得到稀疏矩陣中的系數(shù)包含RGB圖像的空間信息。最后，將稀疏編碼矩陣與高光譜圖像譜字典相結(jié)合重建得到高空間分辨率的高光譜圖像。

本文采用CAVE公共數(shù)據(jù)集中的標(biāo)準(zhǔn)測(cè)試圖像來(lái)進(jìn)行效果驗(yàn)證，并與雙三次插值法和空間光譜稀疏表示方法[13]進(jìn)行比較分析。實(shí)驗(yàn)結(jié)果表明，在主觀視覺(jué)上，本文的圖像細(xì)節(jié)信息恢復(fù)良好。在客觀指標(biāo)上具有更大的峰值信噪比。

2 基于圖像融合的高光譜圖像超分辨率框架

基于圖像融合的高光譜圖像超分辨率的目的是從獲取的低分辨率高光譜圖像和相應(yīng)的高分辨率RGB圖像中，恢復(fù)得到高分辨率的高光譜圖像其L表示高光譜圖像的光譜維數(shù)和h是低分辨率高光譜圖像的空間維寬度和高度，其中和M分別為高分辨率RGB圖像的空間維寬度和高度。將Y和Z表示為目標(biāo)高光譜圖像X的線(xiàn)性表示，即：

其中Wi是以像素i為中心的窗口，hj為下采樣時(shí)每個(gè)像素的對(duì)應(yīng)的權(quán)重，因此X中的每個(gè)像素可以表示成窗口Wi中像素的線(xiàn)性組合。

在稀疏表示理論中，高光譜圖像在地物的光譜特征集合為譜字典其中字典D中的基向量稱(chēng)為字典原子，利用K個(gè)這樣的基向量可以組成字典D。由于混合端元的存在，高光譜圖像每個(gè)像素可表示成少數(shù)潛在地物譜特征的線(xiàn)性組合，即：

3 基于超像素分割的高光譜圖像超分辨率稀疏重建模型

3.1 基于在線(xiàn)字典學(xué)習(xí)法的光譜字典

表1：不同方法的PSNR評(píng)價(jià)指標(biāo)比較

圖1：500nm lemons融合結(jié)果

如前所述，為獲得高空間分辨率的高光譜圖像，首先我們需要求解公式（5）中的光譜字典D，我們將公式（5）轉(zhuǎn)化為如下的最小化目標(biāo)函數(shù)：

在處理比較多的數(shù)據(jù)時(shí)，一般的字典學(xué)習(xí)方法運(yùn)行時(shí)間會(huì)比較長(zhǎng)，而在線(xiàn)字典學(xué)習(xí)[15]一次只處理少數(shù)的數(shù)據(jù)，采用隨機(jī)近似的方法，這樣算法復(fù)雜度變得簡(jiǎn)單許多。在這里我們從訓(xùn)練樣本集隨機(jī)切割t個(gè)樣本，定義為關(guān)于字典D和稀疏系數(shù)的優(yōu)化問(wèn)題目標(biāo)函數(shù)式為：

3.2 超像素分割RGB圖像

由于RGB圖像含有3個(gè)波段，所以RGB圖像的超像素分割與自然圖像分割不同，如果直接對(duì)每個(gè)波段圖像進(jìn)行超像素分割，計(jì)算復(fù)雜度將會(huì)變高，由于RGB圖像不同的成像波長(zhǎng)，所以需要對(duì)每一個(gè)圖像分別分割，首先，利用稀疏主成分分析法對(duì)RGB圖像進(jìn)行降維，這樣超像素分割指導(dǎo)圖就被得到了，之后，我們對(duì)每一個(gè)波段圖像索引分割圖像通過(guò)按照指導(dǎo)圖的位置，即得到分割后的超像素塊，并且超像素塊有相似的尺寸。

3.3 稀疏編碼求解

通過(guò)上述基于在線(xiàn)字典學(xué)習(xí)方法，求得光譜字典D后，我們對(duì)RGB圖像進(jìn)行了超像素分割，接下來(lái)為了得到目標(biāo)圖像X，將圖像分成小的不相交的空間圖像塊來(lái)計(jì)算稀疏編碼矩陣，采用同步正交匹配算法[16]求得A，用表示高分辨率圖像超像素分割后的每個(gè)圖像塊，并通過(guò)對(duì)每個(gè)圖像塊進(jìn)行稀疏分解，得到相應(yīng)的稀疏編碼矩陣AP，即

4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)采用公共數(shù)據(jù)集CAVE中的高光譜圖像。在本文中對(duì)高分辨率高光譜參考圖像進(jìn)行下采樣處理，行和列的下采樣因子均為8。在字典學(xué)習(xí)階段，初始化字典原子數(shù)為300，在同步正交匹配追蹤算法中，殘差參數(shù)為10e-8，在每次迭代的時(shí)候，選取20個(gè)字典原子。對(duì)于像素分割的高光譜圖像重建算法中，在稀疏分解過(guò)程中超像素塊所用原子數(shù)量為20，重建結(jié)果比較好，超像素個(gè)數(shù)大于1000時(shí)，重建效果趨于穩(wěn)定。

圖1為lemons圖像在不同高光譜圖像恢復(fù)算法的500nm波段的重建圖像。圖1（a）為低空間分辨率高光譜圖像，圖1（b）是經(jīng)過(guò)雙三次插值后得到的高光譜圖像，整體比較模糊，圖1（c）為空間光譜稀疏表示方法，圖1（d）為本文方法重建得到的高光譜圖像，通過(guò)與前面兩種方法相比較，其在lemons表面能夠更好地恢復(fù)更多的圖像細(xì)節(jié)信息，圖1（e）為參考圖像。

從客觀指標(biāo)PSNR上，我們也可以對(duì)恢復(fù)圖像進(jìn)行質(zhì)量評(píng)估，PSNR的值越大，表明高光譜重建圖像的質(zhì)量越高。PSNR的計(jì)算公式如下所示：

在這里，Xi和分別代表參考圖像和重建圖像在第i個(gè)波段的樣子。PSNR代表著真實(shí)參考圖像與重建圖像之間的相似度，其值越高，重建圖像質(zhì)量越好。評(píng)價(jià)結(jié)果如表1所示。

5 結(jié)論

由于我們所獲取的高光譜圖像空間分辨率和光譜分辨率不能兼得，為了提高高光譜圖像的空間分辨率，本文提出了一種基于超像素分割的RGB與高光譜圖像融合方法。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的雙三次插值，空間光譜稀疏表示方法做比較，本方法在主觀視覺(jué)方面，圖像的空間細(xì)節(jié)信息恢復(fù)的更加好，邊緣更加清楚，客觀指標(biāo)PSNR上，我們的值也具有優(yōu)勢(shì)，所以對(duì)于高光譜圖像，本方法能夠在一定程度上不錯(cuò)地提高其空間分辨率。