像素級(jí)圖像融合技術(shù)的研究與進(jìn)展

摘要：詳細(xì)介紹了像素級(jí)圖像融合的原理，著重分析總結(jié)了目前常用的像素級(jí)圖像融合的方法和質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，指出了像素級(jí)圖像融合技術(shù)的最新進(jìn)展，探討了像素級(jí)圖像融合技術(shù)的發(fā)展趨勢(shì)。

關(guān)鍵詞：圖像融合；多尺度變換；評(píng)價(jià)標(biāo)準(zhǔn)

中圖分類號(hào)：TP391．41文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001－3695(2008)03－0650－06

圖像融合是通過(guò)一個(gè)數(shù)學(xué)模型把來(lái)自不同傳感器的多幅圖像綜合成一幅滿足特定應(yīng)用需求的圖像的過(guò)程，從而可以有效地把不同圖像傳感器的優(yōu)點(diǎn)結(jié)合起來(lái)，提高對(duì)圖像信息分析和提取的能力[1]。近年來(lái)，圖像融合技術(shù)廣泛地應(yīng)用于自動(dòng)目標(biāo)識(shí)別、計(jì)算機(jī)視覺、遙感、機(jī)器人、醫(yī)學(xué)圖像處理以及軍事應(yīng)用等領(lǐng)域。圖像融合的主要目的是通過(guò)對(duì)多幅圖像間冗余數(shù)據(jù)的處理來(lái)提高圖像的可靠性；通過(guò)對(duì)多幅圖像間互補(bǔ)信息的處理來(lái)提高圖像的清晰度。根據(jù)融合處理所處的階段不同，圖像融合通常可以劃分為像素級(jí)、特征級(jí)和決策級(jí)。融合的層次不同，所采用的算法、適用的范圍也不相同。在融合的三個(gè)級(jí)別中，像素級(jí)作為各級(jí)圖像融合的基礎(chǔ)，盡可能多地保留了場(chǎng)景的原始信息，提供其他融合層次所不能提供的豐富、精確、可靠的信息，有利于圖像的進(jìn)一步分析、處理與理解，進(jìn)而提供最優(yōu)的決策和識(shí)別性能。

1像素級(jí)圖像融合的原理

相對(duì)圖像融合的其他層次，像素級(jí)圖像融合是直接在采集到的原始圖像上進(jìn)行的，在各種傳感器原始數(shù)據(jù)未經(jīng)特征提取與分類前就進(jìn)行數(shù)據(jù)綜合與分析，是最低層次上的融合。在某些場(chǎng)合(如目標(biāo)識(shí)別)，實(shí)施像素級(jí)圖像融合之前，有時(shí)需要先對(duì)參加融合的各圖像進(jìn)行預(yù)處理(如圖像增強(qiáng)、降噪等)，其目的是提高檢測(cè)性能。不過(guò)這種預(yù)處理并非必需，但對(duì)參加融合的各圖像必須進(jìn)行精確的配準(zhǔn)。其配準(zhǔn)精度應(yīng)達(dá)到像素級(jí)。

像素級(jí)圖像融合通過(guò)互補(bǔ)信息的有機(jī)集成，可以減少或抑制單一信息對(duì)被感知對(duì)象或環(huán)境解釋中可能存在的多義性、不完整性、不確定性和誤差，最大限度地利用各種信息源提供的信息，從而大大提高在特征提取、分類、目標(biāo)識(shí)別等方面的有效性[2]。

2像素級(jí)圖像融合的常用方法

2．1基于非多尺度變換的圖像融合方法

1）平均與加權(quán)平均方法

加權(quán)平均方法將原圖像對(duì)應(yīng)像素的灰度值進(jìn)行加權(quán)平均，生成新的圖像，它是最直接的融合方法。其中平均方法是加權(quán)平均的特例。使用平均方法進(jìn)行圖像融合，提高了融合圖像的信噪比，但削弱了圖像的對(duì)比度，尤其對(duì)于只出現(xiàn)在其中一幅圖像上的有用信號(hào)。

2）像素灰度值選大(或小)圖像融合方法

假設(shè)參加融合的兩幅原圖像分別為A、B，圖像大小均為M×N，融合圖像為F，則針對(duì)原圖像A、B的像素灰度值選大(或小)圖像融合方法可表示為

F(m，n)=max(or min){A(m，n)，B(m，n)}

其中：m、n分別為圖像中像素的行號(hào)和列號(hào)。在融合處理時(shí)，比較原圖像A、B中對(duì)應(yīng)位置(m，n)處像素灰度值的大小，以其中灰度值大(或小)的像素作為融合圖像F在位置(m，n)處的像素。這種融合方法只是簡(jiǎn)單地選擇原圖像中灰度值大(或小)的像素作為融合后的像素，對(duì)待融合的像素進(jìn)行灰度增強(qiáng)(或減弱)，因此該方法的實(shí)用場(chǎng)合非常有限。

3）基于PCA 的圖像融合方法

PCA圖像融合方法首先用三個(gè)或以上波段數(shù)據(jù)求得圖像間的相關(guān)系數(shù)矩陣，由相關(guān)系數(shù)矩陣計(jì)算特征值和特征向量，再求得各主分量圖像；然后將高空間分辨率圖像數(shù)據(jù)進(jìn)行對(duì)比度拉伸，使之與第一主分量圖像數(shù)據(jù)具有相同的均值和方差；最后用拉伸后的高空間分辨率圖像代替第一主分量，將它與其他主分量經(jīng)PCA逆變換得到融合圖像。

PCA融合算法的優(yōu)點(diǎn)在于它適用于多光譜圖像的所有波段；不足之處是在PCA融合算法中只用高分辨率圖像來(lái)簡(jiǎn)單替換低分辨率圖像的第一主成分，故會(huì)損失低分辨率圖像第一主成分中的一些反映光譜特性的信息，使得融合圖像的光譜畸變嚴(yán)重。只按統(tǒng)計(jì)的思想，不考慮圖像各波段的特點(diǎn)是PCA融合算法的致命缺點(diǎn)。

4）基于調(diào)制的圖像融合方法

借助通信技術(shù)的思想，調(diào)制技術(shù)在圖像融合領(lǐng)域也得到了一定的應(yīng)用[3，4]，并在某些方面具有較好的效果。用于圖像融合上的調(diào)制手段一般適用于兩幅圖像的融合處理，具體操作一般是將一幅圖像進(jìn)行歸一化處理；然后將歸一化的結(jié)果與另一圖像相乘；最后重新量化后進(jìn)行顯示。用于圖像融合上的調(diào)制技術(shù)一般可分為對(duì)比度調(diào)制技術(shù)和灰度調(diào)制技術(shù)。

5）非線性方法

將配準(zhǔn)后的原圖像分為低通和高通兩部分，自適應(yīng)地修改每一部分，然后再把它們?nèi)诤铣蓮?fù)合圖像。文獻(xiàn)[5]采用自適應(yīng)的非線性處理方法融合可見光和紅外圖像。

6）邏輯濾波方法

邏輯濾波方法是一種利用邏輯運(yùn)算將兩個(gè)像素的數(shù)據(jù)合成為一個(gè)像素的直觀方法，例如當(dāng)兩個(gè)像素的值都大于某一閾值時(shí)，“與”濾波器輸出為“1”(為“真”)。圖像通過(guò)“與”濾波器而獲得的特征可認(rèn)為是圖像中十分顯著的成分。

7）顏色空間融合法

顏色空間融合法的原理是利用圖像數(shù)據(jù)表示成不同的顏色通道。簡(jiǎn)單的做法是把來(lái)自不同傳感器的每幅原圖像分別映射到一個(gè)專門的顏色通道，合并這些通道得到一幅假彩色融合圖像。該類方法的關(guān)鍵是如何使產(chǎn)生的融合圖像更符合人眼視覺特性及獲得更多有用信息。Toet等人將前視紅外圖像和微光夜視圖像通過(guò)非線性處理映射到一個(gè)彩色空間中，增強(qiáng)了圖像的可視性[6]。文獻(xiàn)[7]研究表明，通過(guò)彩色映射進(jìn)行可見光和紅外圖像的融合，能夠提高融合結(jié)果的信息量，有助于提高檢測(cè)性能。

8）最優(yōu)化方法

最優(yōu)化方法為場(chǎng)景建立一個(gè)先驗(yàn)?zāi)Ｐ停讶诤先蝿?wù)表達(dá)成一個(gè)優(yōu)化問(wèn)題，包括貝葉斯最優(yōu)化方法和馬爾可夫隨機(jī)場(chǎng)方法。貝葉斯最優(yōu)化方法的目標(biāo)是找到使先驗(yàn)概率最大的融合圖像。文獻(xiàn)[8]提出了一個(gè)簡(jiǎn)單的自適應(yīng)算法估計(jì)傳感器的特性與傳感器之間的關(guān)系，以進(jìn)行傳感器圖像的融合；文獻(xiàn)[9]提出了基于圖像信息模型的概率圖像融合方法。馬爾可夫隨機(jī)場(chǎng)方法把融合任務(wù)表示成適當(dāng)?shù)拇鷥r(jià)函數(shù)，該函數(shù)反映了融合的目標(biāo)，模擬退火算法被用來(lái)搜索全局最優(yōu)解。文獻(xiàn)[10]提出了基于匹配圖像相似性的Markov融合模型；文獻(xiàn)[11]提出了一種只考慮圖像邊緣圖構(gòu)造的馬爾可夫隨機(jī)場(chǎng)，與迭代條件共同使用，可實(shí)現(xiàn)圖像的實(shí)時(shí)融合。

9）人工神經(jīng)網(wǎng)絡(luò)方法

受生物界多傳感器融合的啟發(fā)，人工神經(jīng)網(wǎng)絡(luò)也被應(yīng)用于圖像融合技術(shù)中。神經(jīng)網(wǎng)絡(luò)的輸入向量經(jīng)過(guò)一個(gè)非線性變換可得到一個(gè)輸出向量，這樣的變換能夠產(chǎn)生從輸入數(shù)據(jù)到輸出數(shù)據(jù)的映射模型，從而使神經(jīng)網(wǎng)絡(luò)能夠把多個(gè)傳感器數(shù)據(jù)變換為一個(gè)數(shù)據(jù)來(lái)表示。由此可見，神經(jīng)網(wǎng)絡(luò)以其特有的并行性和學(xué)習(xí)方式，提供了一種完全不同的數(shù)據(jù)融合方法。然而，要將神經(jīng)網(wǎng)絡(luò)方法應(yīng)用到實(shí)際的融合系統(tǒng)中，無(wú)論是網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)還是算法規(guī)則方面，都有許多基礎(chǔ)工作有待解決，如網(wǎng)絡(luò)模型、網(wǎng)絡(luò)的層次和每一層的節(jié)點(diǎn)數(shù)、網(wǎng)絡(luò)學(xué)習(xí)策略、神經(jīng)網(wǎng)絡(luò)方法與傳統(tǒng)的分類方法的關(guān)系和綜合應(yīng)用等。目前應(yīng)用于圖像融合有三種網(wǎng)絡(luò)：a)雙模態(tài)神經(jīng)元網(wǎng)絡(luò)。文獻(xiàn)[12]提出六種類型的雙模態(tài)神經(jīng)元用于可見光和紅外圖像的融合。b)多層感知器。Fechner和Godlewski提出了基于多層感知器神經(jīng)網(wǎng)絡(luò)的圖像融合方法[13]，通過(guò)訓(xùn)練多層感知器識(shí)別前視紅外圖像中感興趣的像素，將其融入可見光圖像中。c)脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)。Broussard等人借助該網(wǎng)絡(luò)實(shí)現(xiàn)圖像融合來(lái)提高目標(biāo)的識(shí)別率[14]，并證實(shí)了PCNN用于圖像融合的可行性。

2．2基于多尺度變換的圖像融合方法

基于多尺度變換的圖像融合方法是像素級(jí)圖像融合方法研究中的一類重要方法。基于多尺度變換的融合方法的主要步驟[15]為:對(duì)原圖像分別進(jìn)行多尺度分解，得到變換域的一系列子圖像；采用一定的融合規(guī)則，提取變換域中每個(gè)尺度上最有效的特征，得到復(fù)合的多尺度表示；對(duì)復(fù)合的多尺度表示進(jìn)行多尺度逆變換，得到融合后的圖像。

2．2．1基于金字塔變換的圖像融合方法

Burt最早提出基于拉普拉斯金字塔變換的融合方法[16]。該方法使用拉普拉斯金字塔和基于像素最大值的融合規(guī)則進(jìn)行人眼立體視覺的雙目融合，實(shí)際上該方法是選取了局部亮度差異較大的點(diǎn)。這一過(guò)程粗略地模擬了人眼雙目觀察事物的過(guò)程。用拉普拉斯金字塔得到的融合圖像不能很好地滿足人類的視覺心理。在文獻(xiàn)[17]中，比率低通金字塔和最大值原則被用于可見光和紅外圖像的融合。比率低通金字塔雖然符合人眼的視覺特征，但由于噪聲的局部對(duì)比度一般都較大，基于比率低通金字塔的融合算法對(duì)噪聲比較敏感，且不穩(wěn)定。為了解決這一問(wèn)題，Burt等人[18]提出了基于梯度金字塔變換的融合方法，該方法采用了匹配與顯著性測(cè)度的融合規(guī)則。Richard等人[19]給出了以上三種金字塔用于圖像融合的定性和定量的結(jié)果。另外，Barron和Thomas[20]提出一種基于紋理單元的金字塔算法，它在每層圖像中采用24個(gè)紋理濾波器以獲取不同方向的細(xì)節(jié)信息。與梯度金字塔算法相比，它能夠提取出更多的細(xì)節(jié)信息。文獻(xiàn)[21]提出了一種基于形態(tài)學(xué)金字塔變換的圖像融合方法。

基于金字塔變換融合方法的優(yōu)點(diǎn)是可以在不同空間分辨率上有針對(duì)性地突出各圖像的重要特征和細(xì)節(jié)信息，相對(duì)于簡(jiǎn)單圖像融合方法，融合效果有明顯的改善。其缺點(diǎn)是圖像的金字塔分解均是圖像的冗余分解，即分解后各層間數(shù)據(jù)有冗余；同時(shí)在圖像融合中高頻信息損失較大，在金字塔重建時(shí)可能出現(xiàn)模糊、不穩(wěn)定現(xiàn)象；圖像的拉普拉斯、比率低通、形態(tài)學(xué)金字塔分解均無(wú)方向性。

2．2．2基于小波變換的圖像融合方法

小波變換技術(shù)具有許多其他時(shí)(空)頻域所不具有的優(yōu)良特性，如方向選擇性、正交性、可變的時(shí)頻域分辨率、可調(diào)整的局部支持以及分析數(shù)據(jù)量小等。這些優(yōu)良特性使小波變換成為圖像融合的一種強(qiáng)有力的工具。而且，小波變換的多尺度變換特性更加符合人類的視覺機(jī)制，與計(jì)算機(jī)視覺中由粗到細(xì)的認(rèn)知過(guò)程更加相似，更適于圖像融合[22]。

基于小波變換的圖像融合方法的基本步驟為：對(duì)每一幅原圖像分別進(jìn)行小波變換，建立圖像的小波金字塔分解；對(duì)各分解層從高到低分別進(jìn)行融合處理，各分解層上的不同頻率分量可采用不同的融合規(guī)則進(jìn)行融合處理，最終得到融合后的小波金字塔；對(duì)融合后所得的小波金字塔進(jìn)行小波逆變換，所得重構(gòu)圖像即為融合圖像。圖2給出了基于小波變換的圖像融合方法的結(jié)構(gòu)示意圖。

目前，基于小波變換的圖像融合方法的研究主要集中在以下幾個(gè)方面：

a)融合規(guī)則及融合算子的選擇。在小波圖像融合過(guò)程中，融合規(guī)則及融合算子的選擇對(duì)融合質(zhì)量至關(guān)重要，這直接影響到圖像質(zhì)量的好壞。針對(duì)不同類型和特征的圖像，目前已經(jīng)提出了大量的高、低頻融合規(guī)則。高頻融合規(guī)則主要包括[23]簡(jiǎn)單和加權(quán)平均準(zhǔn)則、取系數(shù)絕對(duì)值較大準(zhǔn)則、基于小波模極大值的融合準(zhǔn)則、基于區(qū)域能量的融合準(zhǔn)則、局部方差準(zhǔn)則、局部平均梯度準(zhǔn)則、局部均方差準(zhǔn)則、消除高頻噪聲法等。通常情況下，低頻部分融合一般采用平均的線性融合規(guī)則，但在許多情況下，這種取平均的線性融合方法會(huì)影響最終的融合效果。文獻(xiàn)[24]中提出了平均與選擇相結(jié)合的低頻融合規(guī)則。該方法考慮了兩幅圖像的相關(guān)性，在一定程度上符合人眼對(duì)較顯著的點(diǎn)比較敏感這一事實(shí)，融合效果相對(duì)平均法有一定的改善，但無(wú)顯著的提高。燕文浩等人[25]提出了基于Canny邊緣檢測(cè)算子的低頻融合規(guī)則，有效地改善了融合圖像邊緣細(xì)節(jié)的準(zhǔn)確度，提高了融合圖像的分辨率。

b)小波分解與重構(gòu)的形式。Li Ming等人[26]將離散小波變換應(yīng)用于遙感圖像融合中，取得了很好的融合效果。在進(jìn)行小波變換時(shí)，由于采用了行列降采樣，圖像的大小發(fā)生了變化，每層圖像的大小均為上一層圖像的1/4。這種變化在圖像融合處理過(guò)程中有時(shí)是不利的，特別是在圖像配準(zhǔn)精度不高的情況下，容易產(chǎn)生分塊效應(yīng)。為此，Zhang Zhong和Blum[27]提出了基于小波框架的圖像融合算法，這種算法經(jīng)變換后的圖像大小不發(fā)生變化，克服了上述缺點(diǎn)，但計(jì)算量相對(duì)較大。多小波是近幾年剛剛發(fā)展起來(lái)的小波理論的一個(gè)新的組成部分，它提供了更加廣泛的小波基選擇范圍，能夠找到具有更好性質(zhì)的優(yōu)于二進(jìn)制小波的小波函數(shù)。Wang Haihui[28]提出了基于多小波變換的圖像融合方法，使圖像的融合效果得到了進(jìn)一步改善。1994年Sweldens不依賴于傅里葉，提出了一種基于提升機(jī)制的小波變換新方法。基于提升機(jī)制方法能夠?qū)崿F(xiàn)小波變換的快速算法，可以提高融合速度，節(jié)省內(nèi)存和存儲(chǔ)空間，所以基于提升機(jī)制的小波變換開始被應(yīng)用于許多圖像融合之中[29~31]。根據(jù)小波分解與重構(gòu)的形式不同，基于小波的圖像融合方法大致可分為塔形小波變換(PDWT)、塔形小波幀變換(PDWFT)、樹狀小波幀變換(TDWFT)、小波框架、多小波變換、基于提升機(jī)制小波變換(FILWT)的融合方法。

c)小波融合方法與其他融合方法的結(jié)合。目前，針對(duì)某類特定的融合原圖像和某種特殊的融合目的，出現(xiàn)了許多小波方法與其他融合方法相結(jié)合的算法。唐國(guó)良等人[32]提出了基于IHS變換和小波變換的晝夜彩色圖像融合算法；Zhang Yun等人[33]將HIS與小波技術(shù)結(jié)合起來(lái)用于遙感圖像融合中，明顯降低了融合結(jié)果中的顏色扭曲現(xiàn)象；蔣年德等人[34]提出一種新的基于主分量變換與小波變換的圖像融合方法，該方法使融合圖像在較好地保留光譜信息的同時(shí)，增強(qiáng)了空間細(xì)節(jié)信息。

基于小波變換的圖像融合方法進(jìn)一步的研究方向主要包括：新的融合量測(cè)指標(biāo)；新的高、低頻融合規(guī)則；分解層數(shù)對(duì)融合圖像的影響及層數(shù)優(yōu)化；新的小波分解與重構(gòu)方法；小波融合方法與其他融合方法新的結(jié)合。

2．2．3基于Ridgelet變換的圖像融合方法

當(dāng)小波變換推廣到二維或更高維時(shí)，由一維小波張成的可分離小波只有有限的方向，不能最優(yōu)表示含線或者面奇異的高維函數(shù)。因此，小波只能反映信號(hào)的點(diǎn)奇異性(零維)，而對(duì)諸如二維圖像中的邊緣以及線狀特征等線、面奇異性(一維或更高維)，小波則難以表達(dá)其特征。針對(duì)小波變換的不足，Candes[35]提出了一種適合分析一維或更高維奇異性的脊波(Ridgelet)變換。脊波變換用于圖像融合的意義在于：a)脊波變換通過(guò)Radon變換把圖像中線特征轉(zhuǎn)換成點(diǎn)特征，然后通過(guò)小波變換將點(diǎn)的奇異性檢測(cè)出來(lái)。其處理過(guò)程克服了小波僅僅能反映“過(guò)”邊緣的特征，而無(wú)法表達(dá)“沿”邊緣的特征。b)脊波變換繼承了小波變換的空域和頻域局部特性。c)脊波變換具有很強(qiáng)的方向性，可以有效地表示信號(hào)中具有方向性的奇異性特征，如圖像的線性輪廓等，為融合圖像提供更多的信息。d)脊波變換較小波變換具有更好的稀疏性，克服了小波變換中傳播重要特征在多個(gè)尺度上的缺點(diǎn)，變換后能量更加集中，所以在融合過(guò)程中抑制噪聲的能力也比小波變換更強(qiáng)。因此將脊波變換引入圖像融合，能夠更好地提取原始圖像的特征，為融合圖像提供更多的信息。文獻(xiàn)[36]提出了一種基于脊波變換的SAR與可見光圖像融合方法。該方法在保留合成孔徑雷達(dá)SAR與可見光圖像重要信息、抑制噪聲能力方面均優(yōu)于小波變換。

由于脊波理論建立時(shí)間不長(zhǎng)，還有許多值得研究的課題，例如，如何能夠減輕甚至消除在重構(gòu)圖像過(guò)程中出現(xiàn)的輕微劃痕、如何簡(jiǎn)化脊波的復(fù)雜計(jì)算、尋求快速算法等。

2．2．4基于Curvelet變換的圖像融合方法

Curvelet變換是由Candes提出的Ridgelet變換演變而來(lái)的。Ridgelet變換對(duì)含有直線奇異的多變量函數(shù)有很好的逼近效果，能稀疏地表示包含直線邊緣的分片平滑圖像。但是對(duì)于含有曲線奇異的圖像，Ridgelet變換的逼近性能只與小波變換相當(dāng)。由于多尺度Ridgelet分析冗余度很大，Candes和Donoho于1999年提出了曲線波(Curvelets)變換理論[37]，即第一代Curvelet變換。其基本思想是：首先對(duì)圖像進(jìn)行子帶分解；然后對(duì)不同尺度的子帶圖像采用不同大小的分塊；最后對(duì)每個(gè)塊進(jìn)行Ridgelet分析。由于Curvelet結(jié)合了Ridgelet變換的各向異性和小波變換的多尺度特點(diǎn)，它的出現(xiàn)對(duì)于二維信號(hào)分析具有里程碑式的意義，也開始被應(yīng)用于圖像融合。Choi等人[38]首次將Curvelet應(yīng)用于多光譜圖像和全景圖像的融合，結(jié)果具有更豐富的空間和光譜信息以及更佳的視覺效果。文獻(xiàn)[39]提出了一種基于Curvelet變換多傳感器圖像融合算法，該方法相比傳統(tǒng)的基于小波變換的圖像融合算法。能夠有效避免人為效應(yīng)或高頻噪聲的引入，得到具有更好視覺效果和更優(yōu)量化指標(biāo)的融合圖像。

由于第一代Curvelet變換的數(shù)字實(shí)現(xiàn)比較復(fù)雜，需要子帶分解、平滑分塊、正規(guī)化和Ridgelet分析等系列步驟，且Curvelet金字塔的分解也帶來(lái)了巨大的數(shù)據(jù)冗余量，Candes等人又提出了實(shí)現(xiàn)更簡(jiǎn)單、更便于理解的快速Curvelet變換算法，即第二代Curvelet變換[40，41]。第二代Curvelet與第一代在構(gòu)造上已經(jīng)完全不同：第一代的構(gòu)造思想是通過(guò)足夠小的分塊將曲線近似到每個(gè)分塊中的直線來(lái)看待，然后利用局部的Ridgelet分析其特性；第二代Curvelet與Ridgelet理論并沒有關(guān)系，實(shí)現(xiàn)過(guò)程也無(wú)須用到Ridgelet，兩者之間的相同點(diǎn)僅在于緊支撐、框架等抽象的數(shù)學(xué)意義。文獻(xiàn)[42]提出了一種基于第二代Curvelet變換的圖像融合方法，并應(yīng)用于多聚焦圖像的融合。該方法可以更好地提取原始圖像的特征，為融合提供更多的信息，相比第一代Curvelet變換更易于實(shí)現(xiàn)。

3像素級(jí)圖像融合技術(shù)新進(jìn)展

3．1圖像融合理論框架[43]

不同級(jí)的融合試驗(yàn)表明每一級(jí)都有典型的屬性，并擁有某種典型的融合方法，但是所有這些方法應(yīng)存在一個(gè)共同的原理。這促使研究一個(gè)通用的數(shù)學(xué)模型來(lái)抽象這些過(guò)程，并將這個(gè)融合模型納入到一個(gè)復(fù)雜的圖像理解系統(tǒng)中，成為圖像融合的最終目的。文獻(xiàn)[44]給出了一個(gè)統(tǒng)一的圖像融合框架，在此框架下可分類、比較和評(píng)估現(xiàn)存的一些圖像融合算法。

3．2新的分解方法

1)矩陣分解法文獻(xiàn)[45]認(rèn)為從不同傳感器獲取的圖像，可以看做是融合圖像乘以不同的權(quán)重，故可以使用非負(fù)矩陣分解技術(shù)來(lái)進(jìn)行圖像融合。

2)易操縱金字塔分解易操縱金字塔是一種多尺度、多方向、具有自轉(zhuǎn)換能力的圖像分解方法，它把圖像分解成不同尺度、多方向(多于三個(gè)方向)的子帶系列。與小波變換不同，它不僅保持了緊支撐正交小波的特點(diǎn)，而且具有平移不變性及方向可操縱等優(yōu)點(diǎn)。使用基于拉普拉斯變換、小波變換的融合方法，即使原圖像間存在較小的配準(zhǔn)誤差，也會(huì)引起融合圖像的嚴(yán)重退化，出現(xiàn)雙邊緣以及虛假成分。基于易操縱金字塔的融合方法能夠克服這些缺點(diǎn)。

3)Hermite變換[46]由于Hermite變換基于高斯梯度算子，對(duì)圖像融合來(lái)說(shuō)，它具有更好的圖像表示模型。

4)局部余弦基局部基將時(shí)間軸劃分成不同大小的時(shí)間片斷。特別引人注意的是余弦基，它可以通過(guò)設(shè)計(jì)覆蓋每個(gè)時(shí)間片斷的平滑窗口和用不同頻率的余弦函數(shù)相乘得到。通過(guò)迭代基于局部余弦基的分割空間可構(gòu)造局部余弦樹，提供了為特定信號(hào)選擇最優(yōu)基的方法。最好的局部余弦基使時(shí)間分割的片斷隨自適應(yīng)信號(hào)時(shí)頻結(jié)構(gòu)的變化而變化。

5)Contourlet變換在繼承Curvelet變換的各向異性尺度關(guān)系的基礎(chǔ)上，Donoho和Vetterli提出一種新的圖像二維表示方法：Contourlet變換[47]。它是小波變換的一種新擴(kuò)展，是一種多分辨率的、局域的、多方向的圖像表示方法。Contourlet變換的優(yōu)點(diǎn)在于能夠僅使用少量系數(shù)有效地表示平滑輪廓，而平滑輪廓正是自然圖像中的重要特征。Contourlet變換不僅提供任意方向上的信息，采樣冗余度小，而且使用迭代濾波器組可實(shí)現(xiàn)高效計(jì)算，計(jì)算復(fù)雜度遠(yuǎn)低于Curvelet變換。文獻(xiàn)[48]將Contourlet變換應(yīng)用于遙感全色和多光譜影像的融合。該方法能在保留多光譜影像光譜信息的同時(shí)增強(qiáng)融合圖像的空間細(xì)節(jié)表現(xiàn)能力和信息量。

3．3神經(jīng)視覺生理學(xué)方法

美國(guó)麻省理工學(xué)院林肯實(shí)驗(yàn)室的A.M.Waxman利用對(duì)抗受域(仿響尾蛇雙模式細(xì)胞工作機(jī)理)，提出了微光夜視圖像和紅外圖像的對(duì)抗融合。荷蘭人力因素所的Toet提出的另一種偽彩色的可見光圖像和紅外圖像融合方法，也是一種仿生的顏色對(duì)抗(color opponent)方法。國(guó)內(nèi)，北京理工大學(xué)利用神經(jīng)視覺生理學(xué)進(jìn)行像素級(jí)圖像融合及其彩色顯示工作正處于世界前沿領(lǐng)域[49]。

3．4圖像融合和圖像處理算法的互相結(jié)合

融合圖像可以提供比單幅圖像更可靠和完全的場(chǎng)景表示。但是，幾乎所有的融合算法都是基于基本的處理技術(shù)，沒有考慮高層的抽象信息。如今，這些算法已不能滿足觀察者的復(fù)雜要求，需要開發(fā)更具有主觀意義的方法。為此，文獻(xiàn)[50]提出了一個(gè)新的框架。其基本思路是如果用高層的信息，如圖像邊緣和圖像分割的邊界來(lái)指導(dǎo)基本的像素級(jí)融合過(guò)程，就能夠?qū)崿F(xiàn)更具有主觀意義的算法。與傳統(tǒng)的兩個(gè)像素級(jí)融合方法比較表明，多層融合結(jié)構(gòu)消除了不利的影響，且融合過(guò)程更可靠、圖像變得更清晰、圖像質(zhì)量也更好。

3．5自適應(yīng)優(yōu)化圖像融合研究

自適應(yīng)圖像融合是一個(gè)熱點(diǎn)研究方向，它要求有一個(gè)策略來(lái)決定算法在何時(shí)以及如何滿足特定的融合目的。將圖像融合效果評(píng)價(jià)的信息加入到融合規(guī)則的選取和參數(shù)的選擇過(guò)程中，能更充分地利用信息源提供的信息，會(huì)得到更好的融合效果。文獻(xiàn)[51]提出了一種先進(jìn)的離散小波變換圖像融合算法：有兩個(gè)參數(shù)可調(diào)，分別為分解層數(shù)和選擇小波的長(zhǎng)度，這兩個(gè)參數(shù)決定了圖像融合的質(zhì)量；然后通過(guò)質(zhì)量評(píng)價(jià)因子迭代優(yōu)化融合過(guò)程，達(dá)到最優(yōu)融合。進(jìn)一步，文獻(xiàn)[52]通過(guò)集成客觀融合指標(biāo)到傳統(tǒng)的圖像融合算法構(gòu)建了新框架，該框架可以自適應(yīng)調(diào)整融合參數(shù)，以達(dá)到最優(yōu)的融合顯示。

4圖像融合方法的評(píng)價(jià)

4．1融合圖像質(zhì)量的主觀評(píng)價(jià)法

主觀評(píng)價(jià)法是依靠人眼對(duì)融合圖像質(zhì)量進(jìn)行主觀評(píng)估的方法。主觀評(píng)定法具有簡(jiǎn)單、直觀的優(yōu)點(diǎn)，對(duì)明顯的圖像信息可以進(jìn)行快捷、方便的評(píng)價(jià)，在某些特定應(yīng)用中是可行的。但是，視覺質(zhì)量主要取決于觀察者，具有主觀性強(qiáng)、片面、可重復(fù)性差等缺點(diǎn)，且當(dāng)觀測(cè)條件發(fā)生變化時(shí)，評(píng)定的結(jié)果可能產(chǎn)生差異。因此，需要與客觀的定量評(píng)價(jià)標(biāo)準(zhǔn)相結(jié)合進(jìn)行綜合評(píng)價(jià)，即在目視主觀評(píng)價(jià)基礎(chǔ)上進(jìn)行客觀定量評(píng)價(jià)。

4．2融合圖像質(zhì)量的客觀評(píng)價(jià)法

4．2．1無(wú)參考圖像情況下的評(píng)價(jià)方法

1)采用單一圖像統(tǒng)計(jì)特征的評(píng)價(jià)方法

a）標(biāo)準(zhǔn)差σ。反映了圖像灰度相對(duì)于灰度平均值的離散情況，用來(lái)評(píng)價(jià)圖像反差的大小。若標(biāo)準(zhǔn)差大，則圖像灰度級(jí)分布分散，圖像的反差大；否則圖像反差小，對(duì)比度不大，色調(diào)單一均勻，看不出太多的信息。

b)信息熵E。若融合圖像的信息熵越大，表示融合圖像的信息量越多，所含的信息越豐富，融合質(zhì)量越好。

c)平均梯度。可敏感地反映圖像對(duì)微小細(xì)節(jié)反差表達(dá)的能力，用來(lái)評(píng)價(jià)圖像的模糊程度。一般來(lái)說(shuō)，平均梯度越大，圖像層次越多，表示圖像越清晰。

d)空間頻率SF。反映圖像的全面活躍水平。其值越大，圖像越清晰。

2)根據(jù)融合圖像與原圖像關(guān)系的評(píng)價(jià)方法

a）互信息之和MIFAB。互信息之和越大，表示融合圖像F從原圖像A、B中獲取的信息越豐富，融合效果越好。

b）交叉熵C。反映了兩幅圖像對(duì)應(yīng)像素的差異。交叉熵越小，融合圖像與原圖像的差異越小，則該融合方法從原圖像提取的信息量越多，融合效果越好。

c）聯(lián)合熵UE。作為兩幅圖像之間相關(guān)性的量度，反映了兩幅圖像之間的聯(lián)合信息。一般來(lái)說(shuō)，融合圖像與原圖像聯(lián)合熵的值越大，則圖像所包含的信息越豐富。

d)相關(guān)系數(shù)ρ。反映了融合圖像與原圖像之間光譜特征的相似程度。其值越大，說(shuō)明融合圖像從原圖像中獲得的信息越多，融合效果越好。

e）偏差D與相對(duì)偏差Dr。D反映融合圖像與原圖像在光譜信息上的差異和光譜特性變化的平均程度，值越小表明差異越小；Dr反映融合圖像與原圖像在光譜信息上的匹配程度和將原高空間分辨率圖像的細(xì)節(jié)傳遞給融合圖像的能力。

4．2．2有參考圖像情況下的評(píng)價(jià)方法

此類方法通過(guò)比較融合圖像與標(biāo)準(zhǔn)參考圖像之間的關(guān)系來(lái)評(píng)價(jià)融合圖像的質(zhì)量以及融合效果的好壞。

a)均方根誤差RMSE。均方根誤差越小說(shuō)明融合圖像與標(biāo)準(zhǔn)參考圖像的差異越小，表明融合的效果較好。

b)信噪比SNR和峰值信噪比PSNR。融合圖像信噪比和峰值信噪比越高，說(shuō)明融合的效果和質(zhì)量相對(duì)越好。

c)參考圖像和融合圖像信息熵差E=|ER-EF|。其中：ER和EF分別為參考圖像和融合圖像的信息熵。

d)參考圖像和融合圖像的互信息MI。MI越大，說(shuō)明融合圖像中包含的信息越多，融合效果越好。

4．3分析評(píng)價(jià)

人們比較關(guān)注發(fā)展合適的融合圖像的實(shí)驗(yàn)評(píng)價(jià)方法。給定一組原圖像和幾個(gè)融合算法，目的是如何決定哪個(gè)融合算法最適合給定的應(yīng)用。如此的實(shí)驗(yàn)程序是非常重要的，但是這種實(shí)驗(yàn)方法有一些固有的局限，如它只能適合給定條件下的有限具體例子。為此，研究者們開始嘗試運(yùn)用數(shù)學(xué)理論分析的方法來(lái)進(jìn)一步增強(qiáng)實(shí)驗(yàn)評(píng)價(jià)的結(jié)果，但還沒有引起應(yīng)有的重視。這種分析評(píng)價(jià)的方法使人們能夠從理論上分析最好融合方法的性能，這是實(shí)驗(yàn)方法所不能實(shí)現(xiàn)的。文獻(xiàn)[53]可能是第一次嘗試，應(yīng)當(dāng)指出其對(duì)圖像融合分析評(píng)價(jià)的方法只是作了初步探討，有待用更綜合的模型來(lái)分析研究。

5發(fā)展趨勢(shì)

目前國(guó)內(nèi)外有關(guān)圖像融合的研究還不夠系統(tǒng)和深入，還未形成完整的理論框架和體系，有許多理論和技術(shù)問(wèn)題亟待解決。未來(lái)可能的發(fā)展方向包括以下幾個(gè)方面：

a)圖像配準(zhǔn)方法研究。研究更為有效的特征匹配方法，考慮更復(fù)雜的空間變換模型，使算法能夠適用于分辨率存在較大差異的圖像間的配準(zhǔn)。

b)圖像融合方法研究。研究一些新的融合方法和規(guī)則，探討如何實(shí)現(xiàn)智能融合、自適應(yīng)融合、快速融合。

c)融合質(zhì)量和融合算法性能評(píng)價(jià)研究。由于圖像信息的多樣性，如何定義融合算法的客觀評(píng)價(jià)標(biāo)準(zhǔn)是比較復(fù)雜和困難的。所以，進(jìn)一步完善融合質(zhì)量和融合算法性能的評(píng)價(jià)體系有待延續(xù)。

d)多分辨率分解方式研究。以前多分辨率分解圖像融合方法重點(diǎn)在圖像融合規(guī)則的研究上，但對(duì)圖像的多分辨率分解方式?jīng)]有給予足夠的關(guān)注。實(shí)際上，一個(gè)有效的、適于圖像融合的多分辨率表示形式，對(duì)融合結(jié)果的優(yōu)劣有著至關(guān)重要的影響，而且研究分解層數(shù)對(duì)融合圖像的影響及如何選取合適的分解層數(shù)也具有重要意義。另外，不同的多分辨率分解和融合規(guī)則的結(jié)合會(huì)產(chǎn)生不同性能，現(xiàn)在還缺乏對(duì)其的詳細(xì)研究。

e)動(dòng)態(tài)圖像與序列圖像的融合。目前，大多數(shù)圖像融合算法只是針對(duì)靜止圖像的。對(duì)于序列圖像的融合，要充分地利用圖像間存在著強(qiáng)相關(guān)性這一點(diǎn)；此外還要考慮序列圖像融合所需要的實(shí)時(shí)性。

f)系統(tǒng)集成。圖像融合算法是一個(gè)圖像融合系統(tǒng)的核心，但圖像融合系統(tǒng)中的系統(tǒng)集成問(wèn)題與圖像融合算法一樣非常重要，值得周全考慮。系統(tǒng)集成是研制一個(gè)實(shí)時(shí)圖像融合系統(tǒng)所關(guān)聯(lián)的實(shí)際問(wèn)題，可以說(shuō)優(yōu)于開發(fā)更復(fù)雜或難以理解的像素級(jí)圖像融合新算法。但迄今為止，在圖像融合領(lǐng)域中很少有人考慮這些方面。

g)應(yīng)用領(lǐng)域和潛力的進(jìn)一步挖掘。

h)硬件實(shí)現(xiàn)。圖像融合的硬件實(shí)現(xiàn)是困難的，有必要進(jìn)一步加大力度研究圖像融合技術(shù)的實(shí)際工程實(shí)現(xiàn)方法，開發(fā)出能夠?qū)崿F(xiàn)各種復(fù)雜融合算法的處理硬件，以便在數(shù)據(jù)獲取的同時(shí)實(shí)時(shí)地完成融合。

參考文獻(xiàn)：

［1］POH I C，GENDEREN J L.Multisensor image fusion in remote sensing: concepts， methods and applications[J].International Journal of Remote Sensing，1998，19(5): 823－854.

[2]VARSHNEY P K. Multisensor data fusion[J].Electronics and Communication Engineering Journal，1997，9(12): 245－253.

[3]LIU J. Smoothing filterbased intensity modulation:a spectral preserve image fusion technique for improving spatial details[J].International Journal of Remote Sensing，2000，21(18):3461－3472.

[4]ALPARONEl L，BARONTI S，GARZELLI A，et al.Landsat ETM+and SAR image fusion based on generalized intensity modulation[J].IEEE Trans on Geosciences and Remote Sensing，2004，42(12): 2832－2839.

[5]THERRIEN C W，SCROFANI J W，KREBS W K.An adaptive technique for the enhanced fusion of lowlight visible with uncooled thermal infrared imagery[C]//Proc of IEEE International Conference on Imaging Processing. Washington D C:IEEE Computer Society，1997:405－408.

[6]TOET A， WALRAVEN J. New 1 color mapping for image fusion[J].Optical Engineering，1996，35(3): 650658.

[7]TOET A，ILSPEERT J K，WAXMAN A.Fusion of visible and thermal imagery improves situational awareness[J].Displays，1997，18(2): 85－95.

[8]SHARMA R K，PAVEL M.Adaptive and statistical image fusion[J].Society for Information Displays Digest，1996，17(5):969－972.

[9]SHARMA R K， LEEN T K， PAVEL M. Probabilistic image sensor fusion[J].Advances in Neural Information Processing Systems，1999，11:203－207.

[10]AAENCOTT R，CHALMOND B，COLDEFY F.Markov fusion of a pair of noisy images to detect intensity valleys[J].International Journal of Computer Vision，1995，16(2): 135145.

[11]WRIGHT W A，BRISTOL F.Quick Markov random field image fusion[C]//Proc of SPIE.1998:302308.

[12]NEWMAN E A，HARTLINE P H.The infrared vision of snakes[J].Scientific American，1982，46(3):116127.

[13]FECHNER T，GODLEWSKI G.Optimal fusion of TV and infrared images using artificial neural networks[C]//Proc of SPIE. Orlando， FL:[s.n.]，1995: 919－925.

[14]BROUSSARD R P，ROGES S K， OXLEY M E，et al.Physiologically motivated image fusion for object detection using a pulse coupled neural network[J].IEEE Trans on Neural Networks，1999，10(3):554－563.

[15]TOET A.Hierarchical image fusion[J].Machine Vision and Applications，1990，3(1): 111.

[16]BURT P J.The pyramid as structure for efficient computation[J].Multiresolution Image Processing and Analysis，1984，12(3): 6－35.

[17]TOET A.Multiscale contrast enhancement with application to image fusion[J].Optical Engineering，1992，31(5):10261031.

[18]BURT P J， LOLCZYNSKI R J.Enhanced image capture through fusion[C]//Proc of the 4th International Conference on Computer Vision. Berlin:[s.n.]，1993:173182.

[19]RICHARD S， SIMS F， PHILLIPS M A.Target signature consistency of image data fusion alternatives[J].Optical Engineering，1997，36(3):743754.

[20]BARRON D R，THOMAS D J.Image fusion though consideration of texture components[J].IEEE Trans on Electronics Letters，2001，37(12): 746748.

[21]MATSOPOULOS G K， MARSHALL S， BRUNT J. Multiresolution morphological fusion of MR and CT images of the human brain[C]//Proc of IEEE Vision， Image and Signal Processing.1994:137142.

[22]ZHU Shulong.Image fusion using wavelet transform[C]//Symposium on Geospatial Theory， Processing and Applications.2002: 62－68.

[23]陶冰潔， 王敬儒，許俊平，等.基于小波分析的不同融合規(guī)則的圖像融合研究[J]. 紅外技術(shù)，2006， 28(7): 431－434.

[24]晁銳，張科，李言俊.一種基于小波變換的圖像融合算法[J].電子學(xué)報(bào)，2004，32(5):750753.

[25]燕文浩，馬彩文，張鳴，等.基于小波變換的圖像融合新算法[J].光子學(xué)報(bào)，2006，35(4):638－640.

[26]LI Ming，WU Shunjun. A new image fusion algorithm based on wavelet transform[C]//Proc of International Conference on Computational Intelligence and Multimedia Applications.2003:154159.

[27]ZHANG Zhong， BLUM R. A categorization of multiscaledecompositionbased image fusion schemes with a performance study for a digital camera application[J]. Proceedings of the IEEE，1999，87(8): 13151326.

[28]WANG Haihui. A new multiwaveletbased approach to image fusion[J].Journal of Mathematical Imaging and Vision，2004，21(3):177192.

[29]李玲玲，丁明躍，周成平，等.一種基于提升小波變換的快速圖像融合方法[J]. 小型微型計(jì)算機(jī)系統(tǒng)， 2005，26(4):667－670.

[30]李衛(wèi)華，周軍，周連文.一種基于提升小波分解圖像融合方法[J]. 計(jì)算機(jī)應(yīng)用， 2006，26(2):430－408.

[31]鄭永安，陳玉春，宋蔫社.基于提升機(jī)制小波變換的SAR與多光譜圖像融合算法[J].計(jì)算機(jī)工程，2006，32(6):195197.

[32]唐國(guó)良，普杰信，黃心漢.一種基于IHS和小波變換的彩色圖像融合算法[J].計(jì)算機(jī)應(yīng)用研究，2006，23(10):174179.

[33]ZHANG Yun， HONG Gang. An IHS and wavelet integrated approach to improve pansharpening visual quality of natural colour IKONOS and QuickBird images[J].Information Fusion，2005， 6(3):225－234.

[34]蔣年德，王耀南.一種新的基于主分量變換與小波變換的圖像融合方法[J].中國(guó)圖象圖形學(xué)報(bào)，2005，10(7): 910－915.

[35]CANDES E J. Ridgelet:theory and applications[D].Stanford:Stanford University， 1998:1338.

[36]李暉暉，郭雷，李國(guó)新.基于脊波變換的SAR與可見光圖像融合研究[J].西北工業(yè)大學(xué)學(xué)報(bào)，2006， 24(4):418－422.

[37]CANDES E J，DONOHO D L.Curvelet:a surprisingly effective nonadaptive representation for objects with edges[C]//Proc of Curves and Surfaces.Nasbville， TN:Vanderbilt University Press，1999.

[38]CHOI M， KIM R Y， NAM M R，et al.Fusion of multispectral and panchromatic satellite images using the Curvelet transform[J].IEEE Geoscience and Remote Sensing Letters，2005，2(2): 136140.

[39]張強(qiáng)，郭寶龍.一種基于Curvelet變換多傳感器圖像融合算法[J].光電子·激光， 2006，17(9):11231127.

[40]CANDES E J，DONOHO D L. New tight frames of Curvelets an optimal representations of objects with C2 singularities[R].Stanford:Stanford University，2002.

[41]CANDES E J，DEMANET L，DONOHO D L，et al.Fast discrete curvelet transforms[R].[S.l.]:Applied and Computational Mathematics，California Institute of Technology，2005:1－43.

[42]李暉暉，郭雷，劉航.基于二代Curvelet變換的圖像融合研究[J].光學(xué)學(xué)報(bào)，2006，26(5):657－662.

[43]劉松濤，周曉東.圖像融合技術(shù)研究的最新進(jìn)展[J].紅外與激光工程，2006，36(8): 627－631.

[44]WANG Zhijun，ZIOU D，ARMENAKIS C，et al.A comparative analysis of image fusion methods[J].IEEE Trans on Geosciences and Remote Sensing，2005，43(6):13911402.

[45]苗啟廣，王寶樹.基于非負(fù)矩陣分解的多聚焦圖像融合研究[J].光學(xué)學(xué)報(bào)，2005，25(6):755－759.

[46]LOPEZCALOCA A， FRANZ M， BORIS E R. Mapping and characterization of urban forest in Mexico City[C]//Proc of SPIE.2004:522－531.

[47]DONOHO M N， VETTERLI M. Contourlets[M].New York:Academic Press，2002.

[48]陳蜜，李德仁，秦前清，等.基于Contourlet變換的遙感影像融合算法[J]. 小型微型計(jì)算機(jī)系統(tǒng)， 2006，27(11):2052－2055.

[49]倪國(guó)強(qiáng)，戴文，李勇量，等.基于響尾蛇雙模式細(xì)胞機(jī)理的可見光紅外彩色融合技術(shù)的優(yōu)勢(shì)和前景展望[J]. 北京理工大學(xué)學(xué)報(bào)， 2004，24(2):95100.

[50]VLADIMIR P. Multilevel image fusion[C]//Proc of SPIE.2003:679－688.

[51]ZHENG Yufeng， ESSOCK E ， HANSEN B C. Advanced discrete wavelet transform fusion algorithm and its optimization by using the metric of image quality index[J].Optical Engineering，2005，44(3):112.

[52]VLADIMIR P，COOTES T.Objectively adaptive image fusion[J].Information Fusion，2007，8(2):168176.

[53]BLUM R S.On multisensor image fusion performance limits from an estimation theory perspective[J].Information Fusion，2006，7(3): 250－263.

“本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文”