基于非參數(shù)估計的雙模態(tài)紅外圖像差異特征頻次分布構(gòu)造

（中北大學(xué) 信息與通信工程學(xué)院，山西 太原 030051）

0 引言

雙模態(tài)紅外圖像存在大氣傳輸、成像儀響應(yīng)以及目標(biāo)與背景輻射強(qiáng)度等差異性，導(dǎo)致這兩類圖像所呈現(xiàn)特征的差異很大[1]。紅外光強(qiáng)圖像主要基于物體紅外熱輻射強(qiáng)度成像，該類圖像的亮度信息較為明顯，紋理及邊緣信息較少；紅外偏振度圖像主要基于物體多方向偏振輻射量成像[2]，該類圖像中目標(biāo)的細(xì)節(jié)豐富且邊緣清晰，亮度信息較少。

雙模態(tài)紅外圖像的差異特征具有類型、幅值和頻次等屬性。差異特征頻次屬性從宏觀上講，反映了成像場景中某種差異特征分布范圍的廣泛性；從微觀上講，反映了特定的差異特征隨著差異特征幅值變化在成像場景中分布的疏密程度。文獻(xiàn)[3]構(gòu)建了圖像組中每個圖像塊各類型差異特征幅值對應(yīng)融合算法的融合有效度分布，利用數(shù)據(jù)包絡(luò)分析法（data envelopment analysis,DEA）建立差異特征與融合算法的集值映射，文獻(xiàn)[4]研究了同類和異類差異特征幅值融合有效度的分布合成，驗證了融合有效度分布合成的有效性，上述兩篇文獻(xiàn)考慮了基于類型和幅值的差異特征融合有效度分布的構(gòu)建和合成，但忽視了差異特征頻次屬性對融合的影響，最終的結(jié)果會產(chǎn)生偏差。目前對于差異特征的研究只針對類型和幅值這兩種屬性，當(dāng)差異特征頻次大小發(fā)生變化時，融合算法及融合規(guī)則的選取也會隨之變化。現(xiàn)有的這兩種屬性無法有效地反映出差異特征多屬性對融合算法選取的影響，導(dǎo)致融合效果差甚至融合方法失效，所以差異特征頻次的研究在圖像融合中起著十分關(guān)鍵的作用。

因為差異特征類型、幅值分布疏密程度等因素與頻次分布的函數(shù)關(guān)系是未知的，所以不同類型、不同幅值分布下無法準(zhǔn)確得出差異特征頻次服從哪些具體分布。不同差異特征幅值的分布能反映出差異特征頻次的變化，差異特征幅值的概率密度分布又可以通過參數(shù)估計法得到。參數(shù)估計法中的非參數(shù)估計法針對的分布函數(shù)具體形式是未知的，樣本函數(shù)與其概率密度函數(shù)服從同分布[5]，由于差異特征幅值函數(shù)形式是未知的，所以本文采用非參數(shù)概率密度估計的方法可以得到差異特征幅值樣本集的概率密度分布，從而構(gòu)造出差異特征頻次分布。另外兩種參數(shù)估計方法全參數(shù)估計和半?yún)?shù)估計均需要在分布函數(shù)具體形式已知的情況下進(jìn)行估計[5]，故不符合本文的要求。常用的非參數(shù)概率密度估計法有KNN概率密度估計和核密度估計法。本文所提出的基于KNN概率密度估計的差異特征頻次分布構(gòu)造法和核密度估計相比，避免了核密度概率密度估計中核函數(shù)以及核函數(shù)帶寬選擇的主觀性，因此能準(zhǔn)確構(gòu)造差異特征頻次分布。

1 背景理論

雙模態(tài)紅外圖像是指分別基于紅外熱輻射成像和紅外偏振成像這兩種不同的紅外探測機(jī)理，并對一定的目標(biāo)場景進(jìn)行圖像采集最后經(jīng)過相應(yīng)的圖像信息解算所得到的兩種模態(tài)的紅外圖像，亦即紅外光強(qiáng)圖像和紅外偏振度圖像。偏振光相較于傳統(tǒng)的紅外線可以將光的多個偏振形態(tài)表示出來，進(jìn)而將許多人眼無法覺察到的信息顯示出來，便于目標(biāo)探測與識別。斯托克斯表示法[6]是常見的光波強(qiáng)度和偏振態(tài)的描述法，它利用4個參數(shù)I、Q、U、V可以將光的偏振狀態(tài)全部表示出來，這4個參數(shù)稱為斯托克斯參數(shù)，可以直接測量。設(shè)準(zhǔn)偏振光沿Z方向傳播，其平均頻率為υ，并設(shè)電矢量E的x、y分量分別為Ex、Ey，如公式(1)所示：

式中：ax(t)和ay(t)分別為電矢量E的振幅，化解掉公式(1)中的-2 πυ t，如公式(2)所示：

式中：δ(t) =φ2(t) -φ1(t)是Ex、Ey的相位差。

經(jīng)過復(fù)雜的公式推導(dǎo)，由于偏振光的振幅和相位差與時間相關(guān)，可以得到推廣式[7]，如公式(3)所示：

式中：I表示光的總強(qiáng)度；Q表示0°方向和90°方向線偏振光分量強(qiáng)度差值；U表示45°與135°方向線偏振光分量強(qiáng)度差值；而V代表右旋與左旋圓偏振光分量之差。因為在實際探測過程中，圓偏振光的分量極少且相較于儀器誤差是可以忽略不計的，通常認(rèn)為V＝0，因此可以直接利用I、Q、V三個獨立的斯托克斯參數(shù)來準(zhǔn)確表示一束光的偏振態(tài)，當(dāng)一束光源與水平軸x夾角為α?xí)r，觀測到的光強(qiáng)度如公式(4)所示：

本文將0°設(shè)為參考方向并確立為初始位置，將偏振片逐步旋轉(zhuǎn)到45°、90°、135°三個不同位置，并將這4個不同偏振方向的光強(qiáng)分量代入到公式(4)中，化解可得：

式中：I0°、I90°、I＋45°、I－45°、Ir、Il分別表示放置在光波傳播路徑上的理想偏振片在0°、90°、＋45°、－45°方向上的線偏振光以及左旋l和右旋r 圓偏振光。通過測出3個不同角度的光強(qiáng)分量可以直接計算出斯托克斯參數(shù)[8]，在圖像中，參數(shù)I代表了物體的強(qiáng)度信息，即反映不同物體的反射比。參數(shù)Q代表了物體的材質(zhì)，參數(shù)U代表了邊緣和輪廓信息。偏振光的線偏振度P和偏振角θ如公式(6)所示：

本紅外偏振探測系統(tǒng)選取偏振度圖像作為偏振成像的單模態(tài)圖像，偏振度圖像能夠體現(xiàn)物體的表面邊緣信息，是從自然背景中凸顯出人造目標(biāo)特征的方法[9]，紅外偏振度圖像可以很好地表示出物體材質(zhì)、粗糙特性、邊緣特征、輪廓信息、紋理細(xì)節(jié)，目標(biāo)的對比反差度特性，但偏振片得到的輻射能量被削弱，紅外輻射強(qiáng)度很低，所以紅外偏振度圖像的光強(qiáng)信息很弱。紅外熱輻射成像由于直接對目標(biāo)物體進(jìn)行熱輻射強(qiáng)度成像，并未對光的多個方向的偏振態(tài)進(jìn)行成像，所以得到的紅外圖像光強(qiáng)信息很高，但物體材質(zhì)、紋理邊緣細(xì)節(jié)、對比度信息很弱。由于紅外偏振度圖像和紅外光強(qiáng)圖像這兩個單模態(tài)圖像成像特性差異巨大，所以二者組成的雙模態(tài)圖像具有極大的互補(bǔ)性信息。通常情況下，用輻射對比度和偏振度對比度分別描述目標(biāo)和背景的熱輻射強(qiáng)度差異和偏振特性差異，輻射對比度對應(yīng)在圖像特征信息中表示亮度，而偏振度對比度對應(yīng)在圖像特征信息中表示邊緣幅值強(qiáng)度、反差度、邊緣清晰度、粗糙特性和對比度等。

差異特征幅值是指雙模態(tài)紅外圖像特征值間強(qiáng)度的絕對差異度，如公式(7)所示：

式中：TI、TP、T分別表示紅外偏振度圖像、光強(qiáng)圖像以及兩類圖像對應(yīng)圖像塊特征值差值的強(qiáng)度。在不同的成像場景中，兩類圖像在對應(yīng)的不同局部圖像塊中輻射對比度差異值或者偏振度對比度差異值都不同，但存在部分輻射對比度差異值或偏振度對比度差異值的大小近似相同，在圖像特征信息中可表示為兩類圖像中亮度特征、邊緣幅值強(qiáng)度、反差度、邊緣清晰度、粗糙度和對比度等差異特征幅值大小不同，但存在大小相同的差異特征幅值（本文中將幅值大小完全相同和在一定的小范圍幅值區(qū)間內(nèi)的近似相同均視為相同）。

統(tǒng)計并研究不同大小的輻射對比度差異值和偏振度對比度差異值出現(xiàn)的頻次能夠深刻地反映出成像中熱輻射強(qiáng)度信息和偏振度信息在雙模態(tài)紅外圖像中分布規(guī)律，同時對于提高雙模態(tài)紅外圖像融合質(zhì)量提供了思路，上述兩種對比度差異值量化到圖像特征信息中則表現(xiàn)為統(tǒng)計兩類圖像中不同大小差異特征幅值出現(xiàn)的次數(shù)，即雙模態(tài)紅外圖像中的差異特征頻次。

KNN概率密度估計[10]是通過改變相同的小樣本數(shù)所需的區(qū)域大小來獲得估計的概率密度序列值的。設(shè)其所選定的區(qū)域內(nèi)樣本的個數(shù)為N，并根據(jù)總體樣本集的個數(shù)確定一個參數(shù)KN，其中近鄰數(shù)KN為正整數(shù)，KN的大小決定了曲線的平滑程度[11]，當(dāng)KN越大，則平滑程度也越大。KNN近鄰估計是在KN值固定的前提下，改變V的大小進(jìn)行概率密度估計，可以更好地兼顧在高密度區(qū)域估計得到的分辨率以及低密度區(qū)域估計的連續(xù)性。

另一種概率密度估計方法為核密度估計法，核密度估計法是利用平滑的峰值函數(shù)擬合觀察到的數(shù)據(jù)點，對真實的概率分布曲線進(jìn)行模擬估計的一種非參數(shù)估計法[12]。但是核密度估計中涉及到內(nèi)核函數(shù)的選擇，常用的核密度估計函數(shù)有：高斯核函數(shù)、Epanechnikov 核函數(shù)、矩形核函數(shù)、三角形核函數(shù)、伽馬核函數(shù)以及余弦核函數(shù)等[13]。同時核密度函數(shù)帶寬的不同對核密度估計的影響也很大，帶寬反映了核密度估計曲線的整體平滑程度，同時反映了樣本在整體曲線分布中所占的比重。帶寬越大，則樣本點在曲線中所占比重越小，整體曲線就越平坦；反之則整體曲線就越陡峭[14]。目前對于自適應(yīng)帶寬的設(shè)定研究較少，通常所選的帶寬是根據(jù)經(jīng)驗值來設(shè)定的，采用固定的經(jīng)驗值帶寬的核密度估計產(chǎn)生的誤差很大。所以KNN概率密度估計是一種較為客觀的非參數(shù)概率密度估計方法。

2 實驗

2.1 源圖像采集及預(yù)處理

本實驗所搭建的紅外偏振探測系統(tǒng)由熱紅外成像儀、檢偏器、圖像采集軟件和主控平臺組成。所采用的長波紅外熱像儀DM60（型號）是由浙江大立公司生產(chǎn)，工作波段范圍為8～14 μm，探測器焦平面的像素為384×288，視場角為16°×12°，而紅外檢偏器選用美國愛特蒙特光學(xué)公司生產(chǎn)的Zn-Se 全息線柵偏振片，有效光學(xué)口徑為34 mm，消光比為100：1，透過率為90%。由于本文選用3個偏振量的成像方式對10個不同的目標(biāo)場景進(jìn)行偏振圖像采集，并對各斯托克斯參量（I、Q、U）、偏振度、偏振角等圖像信息解算，得到了相應(yīng)的紅外光強(qiáng)圖像和解算后的偏振度圖像分別如圖1(a)、(b)所示，并分別提取所需場景目標(biāo)的特征。利用PCA 融合算法得到了源圖像組的融合圖像，如圖1(c)所示，圖像大小均為256×256，并利用16×16的不重疊窗口提取每個圖像塊的特征值。

2.2 差異特征選取和融合有效度構(gòu)造

亮度特征、邊緣特征、紋理特征屬于雙模態(tài)紅外圖像主要差異特征，能夠有效表征雙模態(tài)紅外圖像的互補(bǔ)性特征信息。灰度均值（graymean,M）、邊緣強(qiáng)度（edgeintensity,EI）、標(biāo)準(zhǔn)差（standard deviation,SD）、平均梯度（averagegradient,AG）分別量化表示亮度特征、邊緣特征中的邊緣幅值強(qiáng)度、反差度、邊緣清晰度，紋理特征選取Tamura 紋理特征中的粗糙度（coarseness,CA）、對比度（contrast,CN）來量化表示[15]。通過表1計算得出源圖像在6大主要差異特征下的幅值范圍。利用融合有效度表示一定融合算法下，融合后的圖像特征對融合前兩類圖像的有效融合程度[16]，本文選取基于距離測度的余弦相似性來表示融合有效度的大小[4]，如公式(8)所示：

式中：TF表示融合圖像的對應(yīng)圖像塊特征值的強(qiáng)度。V∈(0,1]，其值越大，融合有效度越好。

差異特征屬性只受到圖像本身的影響，與融合算法無關(guān)。選取第4組源圖像進(jìn)行說明，構(gòu)建差異特征的基于PCA算法的融合有效度分布圖，如圖2所示為差異灰度均值和差異邊緣強(qiáng)度的融合有效度分布圖。

2.3 基于KNN概率密度估計的差異特征頻次分布構(gòu)造

通過上述方法得到每幅源圖組基于PCA算法的6種差異特征幅值散點分布圖，為了更好地表示差異特征幅值的連續(xù)性，本文中將每種差異特征幅值點按從小到大劃分為20組，即L＝20，幅值區(qū)間組數(shù)設(shè)為20可以更好地提升幅值區(qū)分度并減少誤差[4]，便于得到差異特征幅值的不同頻次值。利用累積分布函數(shù)求出每種差異特征幅值的頻率分布直方圖，在幅值頻率分布直方圖中，差異特征幅值出現(xiàn)頻率為差異特征頻次值，統(tǒng)計得到的每個直方圖面積即為每個幅值區(qū)間內(nèi)該差異特征頻次的值。累積分布函數(shù)沒有引入帶寬等外部概念，不會丟失任何的數(shù)據(jù)信息，通過累積分布函數(shù)得到頻率分布直方圖是真實準(zhǔn)確的[17]。

圖1 源雙模態(tài)紅外圖像和融合圖像Fig.1 Source inf rared intensity and infrared polarization images

表1 源圖像差異特征幅值范圍Table1 Source imagesdifference features range sof amplitudes

圖2 融合有效度分布圖Fig.2 Distribution mapsof fusion validity

本文中利用基于KNN概率密度估計的方法來構(gòu)造差異特征頻次分布，每幅源圖組的每種差異特征幅值有256個，即N＝256，選用6種差異特征，原始樣本集{Ti}所含樣本個數(shù)N＝256，i＝1,2,…,N。原始樣本集里所含樣本個數(shù)太少不足以滿足非參數(shù)概率密度估計所需樣本數(shù)大的要求，所以將差異特征幅值點Ti移動的步長設(shè)為xstep＝0.01，通過插值擴(kuò)充了樣本集。擴(kuò)充后的樣本集{Tj}為第a種差異特征幅值樣本集，其中a＝1,2…,6，所含樣本個數(shù)為為幅值差值樣本集的左邊界，Tjr為幅值差值樣本集的右邊界，且每種差異特征幅值樣本集均服從同一種分布。當(dāng)變量為幅值點Tj時，通過調(diào)整包含Tj區(qū)域的體積，直到區(qū)域內(nèi)剛好落入KN個樣本點，所以KN取值不同時V的值也會隨之改變，這些樣本被稱為幅值樣本點Tj的KN個最近鄰。

本文的幅值樣本點屬于一維數(shù)據(jù)，樣本點相當(dāng)于分布在一條線上，樣本集{Tj}中任取樣本jmT，V的值等于幅值樣本點Tjm到它的第KN近鄰距離TKN(m)的兩倍，其中選用歐式距離衡量Tjm與TKN(m)間的距離大小[9]。隨著步長的移動，依次求出每一個幅值點的概率密度估計值，直到Tjm＜Tjr＋xstep/2。某一特定的差異特征a的幅值點Tjm的概率密度估計值f(Tjm)如下式所示：

通過KNN概率密度估計得到的擬合曲線分布圖中曲線的縱坐標(biāo)是差異特征幅值概率密度值與橫坐標(biāo)對應(yīng)差異特征幅值的比值，概率密度估計曲線在所有橫坐標(biāo)積分范圍的面積恒為1。且在幅值概率密度估計曲線中，差異特征幅值密度為差異特征頻次，所以通過計算概率密度估計分段曲線與橫坐標(biāo)子幅值區(qū)間圍成的面積求出的是差異特征幅值概率密度序列值，亦即差異特征頻次概率序列值。概率密度擬合曲線的表達(dá)式是未知的，通過數(shù)值積分中的復(fù)化梯形積分[18]近似可以求得分段曲線與橫坐標(biāo)子區(qū)間圍成的面積。本文中將每組源圖像的差異特征幅值區(qū)間[Tjl,Tjr]劃分為n＝20個子區(qū)間，其中第k個子區(qū)間[Tjl,Tjr]也劃分為n份，步長為h′＝(Trk－Tlk)/n，每個子區(qū)間包含q個差異特征幅值概率密度估計值每個子區(qū)間的節(jié)點為Tmk＝Tlk＋wh′，w＝1,2,…,n＋1，在每個差異特征幅值子區(qū)間內(nèi)使用復(fù)化梯形積分，近似求得每個差異特征幅值區(qū)間差異特征頻次的概率值，利用公式(10)表示：

通過上式得出了每組源圖像每種差異特征下基于KNN概率密度估計的差異特征頻次具有統(tǒng)計意義的序列值{frk}，從而構(gòu)造出差異特征頻次分布。

3 實驗結(jié)果與分析

3.1 主觀分析

本文采用Matlab2014a 作為實驗軟件平臺，實驗運行環(huán)境為3 GHz Intel Core i7 PC 機(jī)，對所選取的10組雙模態(tài)紅外圖像采用同一種融合算法進(jìn)行融合（以PCA算法為例）。選用Rosenblatt 提出的積分均方誤差（integral mean square error,MISE）修正固定核密度帶寬參數(shù)確定最優(yōu)帶寬[19]的高斯核密度估計與本文方法進(jìn)行對比實驗，將累積分布函數(shù)統(tǒng)計得到的差異特征幅值的頻率分布直方圖、MISE 高斯核密度估計以及本文方法得到的差異特征幅值概率密度曲線進(jìn)行對比，以圖“IV”的6種差異特征為例，如圖3所示。

圖3 差異特征幅值概率密度分布圖Fig.3 Difference feature amplitude probability density maps

利用復(fù)化梯形積分構(gòu)造出本文方法與最優(yōu)帶寬高斯核密度估計的差異特征頻次分布，同時利用累積分布函數(shù)得到差異特征頻次分布，每組實驗源圖像均分為20個幅值子區(qū)間，不同實驗源圖像的差異特征頻次分布用虛線隔開，如圖4所示。

從圖3中可以看出，本文方法的差異特征幅值概率密度曲線包絡(luò)與差異特征幅值的頻率分布直方圖更加接近（圖3中以第4組雙模態(tài)紅外圖像為例進(jìn)行說明，其他源圖像組實驗結(jié)果與第4組源圖像相同）。圖4中本文方法所構(gòu)造的差異特征頻次分布曲線與累積分布函數(shù)得到的真實分布曲線在6種差異特征頻次分布構(gòu)造中重合程度很高，而基于MISE的最優(yōu)帶寬高斯核密度估計所構(gòu)造的差異特征頻次分布曲線與累積分布相比有一些偏差，尤其在差異灰度均值以及差異粗糙度頻次分布構(gòu)造中偏離程度較大。顯然本文所提的方法構(gòu)造差異特征頻次分布更加準(zhǔn)確。

圖4 差異特征頻次分布圖Fig.4 Distribution maps of difference feature frequency

相比較本文所提方法，MISE 最優(yōu)帶寬高斯核密度估計構(gòu)造差異特征頻次分布時產(chǎn)生的偏差較大，是因為如下原因：

1）選取核函數(shù)內(nèi)核時，鑒于核函數(shù)在波形合成計算上的易用性，選擇了高斯內(nèi)核作為核密度估計函數(shù)[20]；

2）采用MISE 最小化誤差函數(shù)確定核密度函數(shù)最優(yōu)帶寬h時，是求差異特征幅值樣本集的高斯核密度估計得到的概率密度函數(shù)與原始幅值樣本集的概率密度函數(shù)f(Tim)差值的均值，并作積分，進(jìn)而求解最小化問題。原始差異特征幅值樣本集的概率密度函數(shù)f(Tim)是未知的，所以將Sliverman 提出的經(jīng)驗法則法（rule-of-thumb,ROT）用于核密度函數(shù)帶寬的選擇[20]，即假設(shè)f(Tim)是基于高斯核方差為σ2的正態(tài)分布族。

正是上述內(nèi)核函數(shù)與帶寬確定造成的雙重誤差，導(dǎo)致MISE 最優(yōu)帶寬高斯核密度估計在差異特征頻次構(gòu)造中的不足，也體現(xiàn)了本文方法的準(zhǔn)確性。

3.2 客觀分析

分別計算最優(yōu)帶寬高斯核密度估計（方法1）以及本文方法（方法2）這兩種頻次構(gòu)造方法與累積分布（真實值）之間的KL 散度[21]和Pearson 相關(guān)系數(shù)[22]，如表2和表3所示。在表2中，在6種差異特征中，本文方法相較于MISE 最優(yōu)帶寬高斯核密度估計的KL 散度較小，且差異灰度均值（M）和差異粗糙度（CA）二者散度差最大，差異標(biāo)準(zhǔn)差（SD）散度差小，亦即本文算法所構(gòu)造的差異特征頻次分布與該差異特征頻次的累積分布相關(guān)性大，尤其在M和CA 中的相關(guān)性相較于最優(yōu)帶寬高斯核密度估計更大。

在表3中，本文方法的Pearson 相關(guān)系數(shù)比最優(yōu)帶寬高斯核密度估計得到的結(jié)果高，二者Pearson 相關(guān)系數(shù)的差值在M和CA 中最大，其他4類差異特征的Pearson 相關(guān)系數(shù)差值較小，本文方法與最優(yōu)帶寬高斯核密度估計的線性相關(guān)程度均為極強(qiáng)相關(guān)，但是本文算法的線性相關(guān)程度比最優(yōu)帶寬高斯核密度估計更高。綜上，通過本文算法構(gòu)造出的差異特征頻次分布能夠準(zhǔn)確地反映真實的差異特征頻次分布，且相較于另一種構(gòu)造方法誤差較小。

4 結(jié)論

本文通過構(gòu)造10組雙模態(tài)紅外圖像基于KNN概率密度估計的差異特征頻次分布，并求解本文構(gòu)造方法的頻次分布和MISE 最優(yōu)帶寬高斯核密度估計的頻次分布分別與累積分布的相似性測度，得出如下結(jié)論：1）非參數(shù)概率密度估計法應(yīng)用于差異特征頻次分布構(gòu)造中具有可行性；2）從對比實驗中得出本文方法對于差異特征頻次分布構(gòu)造的準(zhǔn)確性優(yōu)于MISE 最優(yōu)帶寬高斯核密度估計；3）為下一步研究基于雙模態(tài)紅外圖像差異特征多屬性的融合有效度分布合成奠定基礎(chǔ)。

表2 不同頻次構(gòu)造方法與真實值的KL 散度比較Table2 Comparison of KL divergence between different frequency construction methods and real values

表3 不同頻次構(gòu)造方法與真實值的Pearson 相關(guān)系數(shù)比較Table3 Comparison of Pearson correlation coefficients between different frequency construction methods and real values