淺談高光譜圖像融合方法

洪科 湯漫

摘 要：高光譜圖像有著豐富的光譜信息，能夠更好的反映地物的實(shí)際情況，但是高光譜圖像空間分辨率比較低，所以提高高光譜圖像的空間分辨率有著極大的作用。高光譜圖像融合是改善其圖像質(zhì)量的重要途徑。

關(guān)鍵詞：高光譜圖像;空間分辨率;融合

1 基于貝葉斯的方法

N.Akhtar等人[1]通過考慮將獲取的高分辨率圖像空間信息與低分辨率的高光譜圖像進(jìn)行融合，提升高光譜圖像的空間分辨率。基于該思路，通過非參數(shù)貝葉斯稀疏表示將高光譜圖像與高分辨率圖像融合，聯(lián)合利用圖像的空間結(jié)構(gòu)信息以及高光譜圖像的光譜域信息，避免重建圖像的光譜失真問題。該方法首先估計(jì)場(chǎng)景中材料反射光譜的概率分布以及一組伯努利分布;其次，通過貝葉斯字典學(xué)習(xí)得到光譜字典，并根據(jù)高分辨率圖像的頻譜量化進(jìn)行字典變換;然后，利用變換后的字典，通過貝葉斯稀疏編碼策略計(jì)算高分辨率圖像的稀疏編碼矩陣;最后，將貝葉斯學(xué)習(xí)的字典與稀疏編碼矩陣聯(lián)合重建高分辨率的高光譜圖像。實(shí)驗(yàn)結(jié)果分析表明，本方法在主觀視覺方面，圖像的細(xì)節(jié)信息更加清晰，客觀指標(biāo)上RMSE 和 PSNR 的值也優(yōu)于其他稀疏表示方法。

2 基于矩陣分解的方法

R.KAWAKAMI等人[2]提出首先利用光譜分解問題的一個(gè)有原則的解，得到了一組表示場(chǎng)景中各種材料反射率的最優(yōu)基函數(shù)。由于基于高光譜圖像中每個(gè)像素可能只有少量材料的簡(jiǎn)單觀察，我們將解混問題轉(zhuǎn)化為稀疏矩陣分解問題，并通過“L1-極小化”求解。在此基礎(chǔ)上，結(jié)合高分辨率的RGB觀測(cè)結(jié)果，重建了每個(gè)位置的光譜。該方法在高分辨率RGB相機(jī)與低分辨率相機(jī)之間存在較大的分辨率差距的情況下，能夠有效地獲得非常精確的光譜估計(jì)。

3 基于深度學(xué)習(xí)的方法

Renwei Dian等人[3]提出不同于HSI的先驗(yàn)?zāi)Ｐ停琀SI銳化方法首先直接利用基于CNN殘差學(xué)習(xí)的先驗(yàn)知識(shí)，可以較好地模擬HR-HSIs的先驗(yàn)知識(shí)。然后將先驗(yàn)知識(shí)通過基于深度神經(jīng)網(wǎng)絡(luò)的殘差學(xué)習(xí)引入融合框架。合并體現(xiàn)在兩個(gè)方面。一方面，首先從通過求解一個(gè)西爾維斯特方程，得到了已知的LR-HSI和HR-HSI。然后，為了了解HR-HSI的先驗(yàn)，使用初始化的HR-HSI作為CNN的輸入來映射兩者之間的殘差引用HR-HSI并初始化HR-HSI。這種初始化可以充分利用融合框架的約束，從而提高輸入數(shù)據(jù)的質(zhì)量。此外，殘差學(xué)習(xí)不僅可以加快訓(xùn)練速度，而且可以提高學(xué)習(xí)效率。另一方面，將HR-HSI的先驗(yàn)知識(shí)返回到融合框架中進(jìn)行重構(gòu)。最終估算出HR-HSI，可進(jìn)一步提高性能。

4 基于張量的方法

Renwei Dian等人[4]提出基于張量的方法提出了一種基于LTTR（低秩張量）的HSI超分辨方法，它融合了HR-MSI和LR-HSI，屬于低秩學(xué)習(xí)的范疇。因?yàn)榈椭认闰?yàn)是為了有效地學(xué)習(xí)數(shù)據(jù)冗余和自相似性，利用LTTR先驗(yàn)估計(jì)了LR-HSI和HR-MSI的高空間分辨率HSI（HR-HSI），可以有效地學(xué)習(xí)HSI空間、光譜和非局域模式之間的相關(guān)性類似的HR-HSI立方體。一個(gè)典型的自然場(chǎng)景是完全相似的，因此，它經(jīng)常包含許多非本地的類似內(nèi)容塊。為了利用這個(gè)優(yōu)勢(shì)，對(duì)HR-MSI進(jìn)行了分區(qū)就像很多相同大小的立方體一樣，然后，分組相似數(shù)據(jù)集在一起。基于HR-MSI中的學(xué)習(xí)簇，HR-HSI立方體也被分組。由于LTTR先驗(yàn)是施加在這些4-D張量上的，所以制定了超分辨率問題為L(zhǎng)TTR正則化優(yōu)化問題，然后用交替乘子法求解。

參考文獻(xiàn)：

[1]N.Akhtar，F(xiàn).Shafait，and A.Mian，“Bayesian sparse representation for hyperspectral image super resolution，”in Proc.of IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Jun.2015.

[2]R.Kawakami，J.Wright，Y.-W.Tai，Y.Matsushita，M.Ben-Ezra，and K.Ikeuchi，“High-resolution hyperspectral imaging via matrix factorization，”in Proc.of IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Jun.2011.

[3]Renwei Dian，Shutao Li，Anjing Guo，and Leyuan Fang，“Deep Hyperspectral Image Sharpening，”in Proc.of IEEE transactions on networks and learning systems，Nov.2018.

[4]Renwei Dian，and Leyuan Fang，“a Low Tensor-Train Rank Representation for Hyperspectral Image Super-Resolution，”in Proc.Of IEEE transactions on networks and learning systems，F(xiàn)eb.2019.