基于NSST多尺度熵的紅外與可見光圖像融合

任亞飛，張娟梅

(洛陽理工學院，河南 洛陽 471023)

1 引言

紅外圖像(infrared image,INF)和可見光(visible image,VIS)的圖像融合采用不同種類型圖像傳感器對目標進行采集，屬于多模式信息融合。紅外圖像傳感器根據目標與背景自身的熱輻射分布差異成像，屬于被動成像，這在各種惡劣環境下和夜間的情況下效果顯著。可見光圖像根據目標對外界光源的各種波長光反射率的不同來成像，屬于主動成像，與人的視覺感觀有著高度一致的成像效果，圖像具有較好的三維空間分辨率和圖像清晰度。所以，將紅外和可見光圖像進行融合處理，可以較好結合兩者優點。

圖像融合的根本屬于構成圖像二維信息的數據融合，故又稱數字圖像融合，是將單個和多個圖像源信息進行關聯、相關和綜合，從而準確提取所需的目標特征值。單一類型傳感器的多個圖像信息融合存在一定的冗余性，可以采用不同采集模式獲得不同條件下的圖像信息，融合的難點在于不同模式的匹配問題。多個類型傳感器的圖像信息融合可以從理論上和方法上拓寬有用信息的范圍，融合的難點在于不同類型傳感器對于相同目標的特征值呈現不同，如何選擇融合的層次，在合適的層級上，以合適的融合體系結構來完成圖像信息融合的過程。

紅外和可見光圖像融合的發展歷經：從基于顯著性、空間變換、多尺度變換、稀疏表示等傳統理念，到基于各種神經網絡的現代深度學習方法。顯著性方法基于人類視覺顯著性特點，具有降維、壓縮、高效率，多用于目標檢測、圖像壓縮等方面。稀疏表示具有降維、抗噪，多用于復雜背景圖像去噪、分類、壓縮等方面。深度學習在多個領域都具有領先地位，屬于機器學習的發展方向，但鑒于算法的復雜程度、運行時間、穩定性、硬件配置等多方面考慮，在圖像處理領域的應用不如多尺度變換的方法流行。

2 紅外和可見光圖像融合原理

紅外圖像成像通過敏感元件采集目標和背景紅外輻射的溫度分布，紅外線波長0.75～1 000 μm，根據輻射不同來區分目標和背景，因此紅外輻射具有遠距離成像和抗干擾能力等優勢，但紅外圖像具有分辨率低、像素低、紋理信息特征不明顯等缺點。而可見光的絕大部分光譜是眾多電磁波中人眼可以直接感知的部分，波長在0.4～0.78 μm。不同波長的電磁波頻率不同，人眼對不同顏色感覺也不同，可見光圖像具有較高的三維空間分辨率和相當多的紋理細節等，最適合于人類的視覺感知，但很容易受到惡劣環境的影響，如環境光照、惡劣天氣和空氣質量的影響。紅外和可見光圖像具有無處不在和互補特性，可以拓寬圖像成像的電磁波長范圍，融合圖像具有強魯棒且信息豐富。

2.1 像素級圖像融合規則

不同類型模式傳感器的圖像融合可分為像素級、特征級、決策級的不同融合級別，集中式、分布式和分散式的不同融合決策。其中，像素級圖像融合在相對最大程度上可以保留原始圖像的信息，故研究主要考慮像素級圖像融合策略，即直接在不同圖像傳感器輸出的原始二通道或三通道數據層次上進行融合，由于該層信息保持采樣率，其冗余性較高，優勢在于融合圖像的信息熵較大，缺點在于融合難度大復雜度高。對于圖像像素級融合規則大致分為2個方向——基于圖像灰度和變換域的融合算法。

1) 基于圖像灰度主要考慮圖像像素的幾何運算，通用為均值法、極值法、加權法：

(，)=(，)+(，)

(1)

如式(1)為像素值加權的融合算法(Choose-Max，CM)，、分別代表來自不同傳感器采集的二維圖像，和分別代表不同傳感器可信賴的權重，計算方法有均值法、方差、信息熵、深度學習等。優點是簡單便于實現，通過融合增加了冗余信息，可以用來做融合指標評價，難點是權值不好計算，容易放大噪聲信號。

2) 基于變換域主要考慮在全局性傅里葉變換的基礎上，通常有拉普拉斯變換、像素和區域的復小波變換、小波變換、曲線波變換等。小波變換能提供圖像相對完善的描述，借助信息論中樣本熵計算分解后的多尺度熵作為圖像融合的權值，從而降低獲取到的不同圖像特征值之間的關聯度，進而提取目標特征值。

2.2 多尺度多分辨率圖像融合

使用多尺度變換來獲得輸入圖像不同尺度的表示形式，在不同尺度上對圖像的高低頻系數進行分析，低頻系數表示圖像的輪廓信息，高頻系數表示圖像的特征值信息，可選用代表輪廓和特征值的權值作為加權系數，然后對各尺度上融合后圖像的多組系數進行多尺度逆變換獲得原尺度上的單幅圖像，作為融合結果輸出。圖像的多尺度分解起源于時頻域變換，可采用均值濾波、雙邊濾波、高斯濾波(Gaussian and bilateral filters,GTF)、引導濾波(GFF)、小波變換(Haar、db4、Bior2.4、Coif3等)獲取圖像不同尺度的信息，如基礎信息和細節信息；也類似于微分方程分解、奇異值分解、梯度構成、各向異性擴散(ADF)、低秩表示(latent low-rank representation-lat,LRR)、稀疏變換等方法；還可以將這些方法混合起來使用多尺度分解和高斯、雙邊濾波(a hybrid multi-scale decomposition with Gaussian and bilateral filters,HMSD)。

這種方法主要考慮多尺度分解方法的選擇和用于多尺度系數融合的融合規則，通常會考慮多尺度系數的自相關性和相鄰像素或不同尺度像素之間的互相關性。這些方法基于圖像由多個尺度上的不同信息組成的理念，難點在于圖像多尺度分解、尺度的選擇和多個尺度上信息的融合、信號的重構規則等。圖像多尺度多分辨率分析方法中活躍的有圖像金字塔結構方法、小波變換、幾何分析等多尺度分析方法。

1) 圖像金字塔有高斯金字塔、拉普拉斯金字塔等，金字塔的多尺度分析在于分析固定頻率多個尺度的分析。準確地說，高斯核是唯一可以產生多尺度空間的核，圖像在尺度上的尺度空間表示為(，，)，由輸入的二通道源圖像(，)與二維高斯函數(，，)的卷積運算得到，其中尺度可變，即尺度空間的變化形式為

(，，)=(，，)*(，)

(2)

具體實現步驟：先使用低通濾波器平滑圖像，再對圖像進行降采樣。

2) 小波變換其優勢在于多尺度多分辨率分析。圖像經過如式(3)的傅里葉變換后，其像素分布體現了圖像的變換特征，從奈奎斯特無失真采樣的角度考慮，變換的目的是希望圖像經離散變換后特征盡可能的集中在少量的幾個系數中，即變換后的圖像具有高壓縮比稀疏性的同時，具有較好的特征聚集性。

(3)

(4)

3 NSST多尺度熵的圖像融合

3.1 Shearlet

脊波(ridgelet)、曲波(curvelet)、剪切波(Shearlet)等多尺度幾何分析方法，作為改進的小波變換相對更有優勢。圖像經過剪切波變換后，會出現相對的低頻和高頻部分，特征的分布會隨著變換尺度的不同呈現一定規律。低頻部分系數保留了原圖像的大部分能量信息，即便在不同尺度上，低頻系數都是原圖像整體輪廓的近似。高頻部分包含了原圖像的突出細節信息，是原圖像在不同尺度下特征值提取的有效閾值信號，如邊緣信息和紋理信息。

(，，)=〈，，，〉

(5)

，，()=-34((-))

(6)

式(6)為剪切波母函數幾何性質在頻域上更為直觀，尺度參數為α∈，剪切參數為∈，平移參數為∈，膨脹矩陣表示為=(，0；0，12)具有各向異性，剪切矩陣設為=(1，；0，1)。剪切波母函數，，在不同尺度上的幾何特性為緊支撐在以原點對稱、為斜率的梯形對上；改變剪切參數，梯形對產生旋轉面積不變；為0時，梯形對以水平軸對稱，不為0時，梯形對向縱軸兩邊旋轉，值越大旋轉角度越大。梯形對面積由尺度參數控制，隨著→0，尺度減小支撐區間逐漸變窄。因此，隨著平移參數的連續變化可檢測所有奇異點的位置，突出奇異點變化方向故可解決波前集問題。

3.2 NSST

雖然當前多尺度變換有很多，但是這些變換沒有評價的標準，不加選擇的變換會帶來新的問題，且降低處理算法的整體性能。非下采樣剪切波變換(NSST)在Shearlet良好的局部特性、頻域緊支撐、時域快衰減等基礎上保持采樣率進行多尺度分解，使每個尺度上的高低頻系數都接近最優稀疏表示。針對該系統的核心功能——圖像融合，系統采用基于NSST域多尺度熵的圖像融合方法。

首先分別對單模態的VIS圖像和INF圖像進行非下采樣剪切波(NSST)變換，NSST變換過程如圖1所示，主要描述多尺度多方向分解通過非下采樣金字塔濾波器NSLP (non-sub sampled laplacian pyramid)，簡稱拉普拉斯金字塔來實現，從而保證對低頻邊緣、輪廓特征信息敏感，且具有平移不變性，對高頻細節信息的捕捉。

圖1 NSST變換過程框圖

拉普拉斯金字塔第層的圖像由高斯金字塔中第層圖像與高斯金字塔中第+1層的圖像向上采樣結果之差。

NSST中的方向局部化通過剪切波濾波器(Shearlet Filter)實現，如圖2所示將VIS和INF圖像經過級分解，得到1個低頻系數圖像和個大小相同(非下采樣)但尺度不同的高頻系數圖像。然后分別對圖像低頻、高頻子帶尋找參數最優值，按融合規則提高圖像邊緣敏感度，更好的提取圖像特征信息，最后重構獲得融合圖像。

3.3 多尺度熵

融合規則中樣本熵(SampEn)是近似熵(ApEn)的一種改進度量方法，描述時間序列復雜程度，在熱力學、醫學等一維信號上均有應用，在圖像或視頻等多維信號上同樣可以利用樣本熵的有限和一致性。樣本熵的定義：

(7)

圖2 數據融合過程框圖

由于在實際計算應用過程中，不可能為∞，因此當取有限值時，樣本熵估計為

=-ln[()()]

(8)

式(8)中:表示的維數，一般取1或2；=+1表示的維數。在通常情況下，相似容限的取值由實際應用場景中序列、圖像、視頻等來決定，通常選擇=01～025倍的原信息標準差。

由以上定義可知樣本熵沒有很好地考慮不同的時間序列中可能存在不同的時間尺度，為了分析不同時間尺度下信號的復雜性，Costa等人提出了多尺度熵(Multiscale entropy，MSE)，將樣本熵擴展到多個時間尺度，以便在時間尺度不確定時提供額外的觀察角度和稀疏的信息含量，評估時間序列的復雜性。其數學定義為

(9)

式(9)中:表示時間尺度，代表原時間尺度上時刻的時間序列，從(-1)+1時刻到時刻代表下采樣過程每次跳躍1-個數據，取周期為個數據做平均以產生不同尺度(或分辨率)的新數據。然后，計算與每個尺度或分辨率對應的樣本熵值，特別針對VIS原圖像中包含多種波長的反射光信息，波動較大的時間序列會產生較大的樣本熵值，可以認為是具有較高復雜度的信號。因此具有高度規律性的信號，其熵值也相應較低，利用多尺度(分辨率) 上的樣本熵值分別對高低頻系數加權進行多尺度圖像融合。

4 圖像融合及評估指標

4.1 實驗結果

實驗采用荷蘭國家應用科學院制作的TNO紅外與可見光數據集，選用數據集中有關道路的兩組可見光和紅外圖像進行處理，對圖像進行NSST變換后分別對高低頻信號進行融合的實驗結果如圖3道路1/2NSST分解后多尺度高低頻圖像分解及融合結果。

圖3 道路1/2 NSST分解后多尺度高低頻融合結果圖

同時從基于像素融合方法上對比最大(小)值(pimaxmin)、像素(加權)取平均值(piwav)等融合結果，如圖4道路1/2常規的圖像融合結果。從小波變換上對比多種小波基選擇對多尺度融合結果的影響，如圖5道路1/2小波多尺度的圖像融合結果。從基于NSST多尺度變換上，對比采用均值融合和多尺度熵權融合的不同結果，如圖6道路1/2 基于NSST多尺度融合結果。

從多尺度變換方法上選用各向異性擴散融合(anisotropic diffusion fusion，ADF)/引導濾波(guided filtering fusion，GFF)策略進行對比，如圖7道路1/2基于ADF/GFF的融合結果。

圖4 道路1/2常規的圖像融合結果圖

圖5 道路1/2小波多尺度的圖像融合結果圖

圖6 道路1/2 基于NSST多尺度融合結果圖

圖7 道路1/2 基于ADF/GFF融合結果圖

從圖像處理算法發展來看，趨于深度學習領域，如CNN算法基于卷積神經網絡，ResNet算法基于殘差網絡，以及基于對抗神經網絡等領先深度學習算法。從實現的角度來看，這些算法相對復雜，運行時間最長，即便可考慮提升硬件使用GPU來對算法進行加速，但神經網絡參數的選擇和調整在實際工程中存在一定難度。ADF算法結果不如NSST算法，但從原理上融合圖像中保留原圖的絕大部分信息，融合損失相對較小，時間差別不大。GFF算法在部分性能指標上略優于NSST算法，類似的均值濾波、高斯濾波、拉普拉斯濾波由于算法較少的計算量，也可在一些實時性較強的場合使用。

NSST算法容易理解，在同類的多尺度分解算法中，明顯優于小波基多尺度分析和多種濾波多尺度分解，且可減少偽吉布斯效應，運行時間中等。常規的一些融合策略算法最為簡易，運行時間短，但是融合損失較大，融合圖像中的存在不可忽略的虛假信息。最終，為了對比3種優秀算法ADF、GFF和NSST多尺度熵權，實驗采用了TNO數據集中的多組圖像進行實驗和分析，圖8、圖9描述了其中兩組紅外和可見光原圖1、圖2的GFF和NSST多尺度熵權融合結果。實驗從主觀評價和下面指標分析，結合運算效率等多方面因素，綜合考慮不同要求的圖像融合算法選擇。

圖8 紅外和可見光原圖1的GFF和NSST熵權融合結果圖

圖9 紅外和可見光原圖2的GFF和NSST熵權融合結果圖

4.2 圖像融合指標分析

圖像融合的質量評價方法一般有主觀、客觀2種，主觀指以人眼觀察為主，具有一定片面性。客觀主要計算原始圖像和融合圖像的獨立熵、平均梯度等，及衡量相互關系的聯合熵、偏差、相對偏差等參數來評價融合效果。下面對融合圖像質量進行了客觀的指標評價，選取了11項評估指標進行定量分析。

平均梯度可感知圖像微小細節的反差，可描述圖像的清晰度，值越大融合質量越好；邊緣強度衡量融合圖像邊緣信息數量，強度越大融合圖像質量越好；信息熵關注融合圖像灰度分布，描述所含有的信息量；灰度均值指灰度的平均水平，代表圖像的亮度；標準差反應圖像相對灰度均值的離散程度，值越大融合質量越好；均方誤差衡量信號波動大小的對比度，主要是圖像高頻部分的大小；峰值信噪比是信號最大可能功率和噪聲功率的比值，越大越好；空間頻率體現圖像灰度變化率，值越大圖像越清晰；圖像清晰度是描述圖像細節邊緣變化的突出程度；互信息衡量融合圖像獲取的信息量的多少，值越大圖像信息量越多；結構相似性主要由協方差來度量，值越大圖像越相似。針對道路1(R1)和道路2(R2)的紅外和可見光圖像進行不同策略融合結果的指標分析如表1融合結果指標分析，表中已將一些比較突出的指標加粗顯示。

根據融合后的圖像和表1中的評價數據，不難發現基于NSST多尺度熵的融合比對應像素的融合要好，融合后的圖像包含的信息量多，圖像清晰度高。在對應像素的融合中，對應像素取最小值的效果最差，其圖像擁有的信息量豐富程度不夠，圖像模糊。對應像素取加權平均值法的色調過于單調，體現的信息不夠豐富。在像素取大(或小)的方法中，其對圖像整體的把握一般，圖像一般過暗或過亮，圖像對比度偏低。NSST熵權相比ADF、GFF兩種優秀算法，在大多數指標上都可以略勝一籌，而ADF的結構相似性、GFF的空間頻率略優于NSST熵權融合，但是如圖8、圖9可以看出GFF損失了大量紅外圖像的信息，可考慮采用多尺度引導濾波融合，或者混合模型等來提高引導濾波的優勢。

表1 融合結果指標分析

綜合來看實驗中NSST熵權可使用于多種場合圖像融合，由于在變換域上剪切波的幾何性質更為直觀，采用具有局部特性的剪切波變換，結合多尺度信息熵的概念，對圖像信號進行多尺度熵融合(Multiscal Fusion)。實驗證明融合結果具有突出的平均梯度、邊緣強度、信息熵、灰度均值、標準差、均方誤差、峰值信噪比、空間頻率、 圖像清晰度、互信息等評價指標，融合結果較好。但是考慮融合結果的同時，實驗中還關注到了運算時間，不可否認基于NSST多尺度熵的融合策略耗時略長，這在時效要求高的場合并不合適。實驗中考慮多尺度上不同信息采用不同的融合策略來提升運算效率，具有一定效果。當然，目前實驗中也發現沒有一種算法是各項指標都完勝的，所以，在實際應用中需要考慮融合結果中某些指標作為側重點，來選擇適合的融合策略。

5 結論

目前，紅外與可見光圖像融合的研究集中在多尺度多分辨率分析、現代濾波和深度學習等方向，理論分析和實驗證明基于NSST多尺度熵的紅外與可見光圖像融合具有可行性和各方面的優勢：

1) 紅外和可見光融合后的圖像很好的保留了兩者的特征，結果既具有紅外圖像對目標表面熱輻射的分布狀態，也具有可見光圖像所有的清晰度和高分辨率。

2) NSST用在多尺度分析上，各尺度的高低頻系數對圖像能最優逼近其稀疏表示，且不進行下采樣的逆變換有效減少偽吉布斯效應。

3) 多尺度熵作為樣本熵的延伸，不僅可以在多個尺度上衡量高低頻系數的信息含量，還可以作為信息融合時關鍵權值的選擇。

研究采用不同類型圖像傳感器，不同的融合策略獲得的圖像進行像素級融合，結果證明基于NSST多尺度熵的混合融合方法具有多項更好的融合評價指標，清晰度和特征值顯著。

理論研究推動著紅外和可見光圖像融合技術在軍事和交通上的目標識別、檢測、圖像增強、監視和遙感等領域逐步應用。