小波圖像融合與目標識別的嵌入式系統(tǒng)實現(xiàn)方法

王 磊，孟志敏，劉 帥，郝永平，徐九龍

(沈陽理工大學兵器科學與技術研究中心，沈陽 110159)

0 引言

紅外圖像可根據(jù)目標和背景熱輻射差異來區(qū)分目標和背景。可見光CCD/CMOS成像器件在空間分辨率較高，能夠提供物體清晰的結構細節(jié)[1]。紅外和可見光圖像融合在軍事和民用領域發(fā)揮著重要作用，如目標探測、監(jiān)視和情報收集[2]。

基于多傳感器圖像融合的戰(zhàn)場目標識別是現(xiàn)代化戰(zhàn)爭的重要發(fā)展方向[3-4]。近年來，代表性的圖像融合方法有：多尺度變換、小波變換、非下采樣輪廓波變換(NSCT)、引導濾波等。Yang等采用NSCT與GoogLeNet神經(jīng)網(wǎng)絡模型結合的異源傳感器圖像融合算法，有效提高圖像融合質(zhì)量，但是其算法復雜，實時性較差[5]。Li等提出了彩色圖像雙樹四元數(shù)小波變換的融合方法，可保留更多源圖像的細節(jié)信息[6]。Cadambi等研發(fā)了FPGA+DSP架構的紅外與可見光融合系統(tǒng)[7]，其主要缺點是對大規(guī)模的數(shù)據(jù)吞吐處理難度較大且實時性差。上述算法計算復雜，針對低成本嵌入式實時平臺的應用受到一定限制。

文中針對坦克等戰(zhàn)場目標，提出了基于小波變換的紅外與可見光圖像融合的目標識別算法，克服識別過程中傳輸效率低，計算性能不足以及實時性差等問題。搭建ARM+FPGA架構的嵌入式平臺，通過軟硬件協(xié)同設計進行資源優(yōu)化與合理配置，根據(jù)各模塊的不同特性，給出了實時圖像配準和融合處理系統(tǒng)在嵌入式平臺的設計與實現(xiàn)方案，仿真和實驗結果驗證了算法的有效性。

1 紅外與可見光坦克圖像融合方法

1.1 基于形狀上下文特征的圖像配準

對于紅外與可見光圖像，通過邊緣檢測算子獲取輪廓邊緣，對輪廓邊緣采樣得到離散模型。采用形狀上下文特征(shape context, SC)配準方法，建立異源圖像共有特征，尋找最大相似度下的空間幾何變換模型，實現(xiàn)圖像匹配準，其流程見圖1。

圖1 SC配準算法流程圖

為解決異源圖像中同一目標尺度不同問題，計算兩點集對應距離矩陣與平均距離之比映射到坐標系中對應的歐氏距離，其距離和方向計算公式為：

(1)

(2)

采用卡方檢驗統(tǒng)計輸入與模板圖像的相似度，即

(3)

式中:k表示對數(shù)坐標系中第k個網(wǎng)格;g與h表示相似點對。

設定梯度值計算切向角為θ1和θ2，切向角非相似函數(shù)變換后，得：

(4)

兩個相似度度量矩陣進行加權求和，輸出總相似度度量矩陣為：

C=(1-λ)Cs+λCt,λ∈[0,1]

(5)

利用匈牙利算法實現(xiàn)兩圖像采樣集點最優(yōu)匹配。通過匈牙利算法不斷迭代求出最終開銷值最小的點對匹配方案。得到匹配度較高采樣點擬合出新的邊緣輪廓后，采用薄板樣條插值函數(shù)對輪廓進行插值變形。其薄板樣條插值函數(shù)為：

(6)

插值函數(shù)由線性項和非線性項組成。線性項是平面與所有匹配度高的點最佳匹配，非線性項與控制點的彎曲率有關。

為驗證配準效果，針對同一組640像素×480像素包含坦克目標的紅外與可見光異源圖像測試樣本，采用文中所述配準算法以及Hu不變矩、SURF算法進行比對，配準結果如圖2所示。

圖2 不同配準算法特征點匹配

由圖2可見，Hu不變矩特征匹配點對的誤差較大，SURF算法特征點匹配由于圖像中目標與環(huán)境的結構相似，較多的誤匹配點限制了配準效果。相應匹配性能結果對比如表1所示。

表1 特征點匹配結果

以可見光圖像為參照模板，采用所述配準方法結果如圖3。

圖3 紅外原圖像與空間變換后圖像對比

1.2 小波變換的坦克圖像融合

基于小波變換的方法是較為典型的多尺度分解融合方法，通過尺度函數(shù)和小波函數(shù)進行分解，提取各自圖像高頻與低頻分量，其作用分別對信號高通濾波保留細節(jié)，低通濾波去除噪聲，平滑處理；按照融合規(guī)則進行信息重構，得到融合圖像，其流程見圖4。

圖4 基于小波變換的圖像融合流程

設大小為M×N的離散圖像，其二維離散小波變換為：

(7)

(8)

逆變換為：

(9)

為了提高圖像融合效果，小波基的選擇至關重要。同時考慮到小波變換時包含奇異點造成大幅值系數(shù)情況，選取高的消失矩，小的支集。DB系列小波為最優(yōu)選擇。由表2可知，選用DB-4基函數(shù)，融合后圖像的平均梯度略低，但其熵、均值和標準差均優(yōu)于其他基函數(shù)，綜合評價較好。

表2 不同小波基函數(shù)融合圖像性能指標

針對融合前圖像中存在的高斯噪聲，小波變換后噪聲在小波域?qū)母哳l系數(shù)進行最大程度抑制，對有效信號影響較小。將經(jīng)過閾值處理后的小波系數(shù)重構，可以得到去噪后的信號。由于圖像經(jīng)過預處理，噪聲較小，且最大程度保留原始高頻信號，采用極值閾值估計。

(10)

式中，N為小波系數(shù)個數(shù)。

為保證融合圖像平滑，保留較多原始信號，選取軟閾值函數(shù)去噪。

(11)

將待融合高頻子圖像分為若干5像素×5像素局部區(qū)域，并計算每一個區(qū)域的能量E。其計算公式為：

(12)

式中，E(x,y)表示以(x,y)為中心，窗口5像素×5像素內(nèi)區(qū)域的能量;f(x,y)是對應的高頻系數(shù)。

高頻部分系數(shù)融合規(guī)則為：

(13)

式中:fHA和fHB為待融合圖像的高頻系數(shù);fH(x,y)是融合后的高頻子圖像系數(shù)。

低頻融合規(guī)則為：

fL(x,y)=w1fLA(x,y)+(1-w1)FLB(x,y)

(14)

式中:fLA(x,y)，fLB(x,y)為低頻系數(shù)；fL(x,y)為融合后低頻系數(shù)；w1為加權系數(shù)，取w1=0.5。

分別采用加權平均融合、Harr小波變換融合、文中方法進行圖像融合，結果見圖5。

圖5 不同融合算法結果對比

圖5中:圖(a)比圖(b)保留更多源圖像的特征，但存在錯位重影現(xiàn)象且圖像模糊；圖(b)要比圖(a)的背景與目標對比度明顯；圖(c)中坦克的邊緣輪廓明顯，人身體部分無錯位，融合效果更好。

通過融合圖像均值、標準差、平均梯度、熵等客觀評價指標來反映融合效果。對比不同融合方法結果其指標如表3所示，文中采用融合算法實現(xiàn)圖像融合的效果達到預期效果。

表3 不同算法融合效果評價指標

2 HOG+SVM的坦克目標識別算法

對于融合后圖像，坦克目標的幾何形狀特征穩(wěn)定可靠，因此采用HOG+SVM的目標識別方法，有較好的光學變形和幾何變形不變性。

2.1 目坦克標HOG特征提取

為有效降低圖像對光照變化的敏感性，采用式(15)標準化方式進行歸一化處理，效果對比如圖6所示。

圖6 原圖像與歸一化圖像

I(x,y)=Iγ(x,y)

(15)

式中:I(x,y)為圖像任意像素點灰度值;γ為Gamma校正值，對于圖像歸一化，選取γ=1/2。

然后通過差分計算來求解梯度,其表達式為：

Gx(x,y)=f(x+1,y)-f(x-1,y)

Gy(x,y)=f(x,y+1)-f(x,y-1)

(16)

式中:(x,y)表示灰度圖的像素位置;f(x+1,y),f(x-1,y),f(x,y+1),f(x,y-1)分別是(x,y)鄰域的像素值;Gx(x,y)與Gy(x,y)為(x,y)處水平和垂直方向的梯度分量。因此每個像素點的梯度值和梯度方向為：

(17)

將梯度圖像劃分為6像素×6像素像素的方格單元(cell)，每個塊(block)由2像素×2像素方格單元構成。梯度方向數(shù)為9。

由于塊特征向量對于光照的變化比較敏感，對塊特征進行歸一化，可以使其對光照和陰影變化具有抗干擾性。設塊的特征向量為H，歸一化方法為：

H=H/(‖H‖1+ε)

(18)

式中，ε是一個無窮小量，避免分母為0，且不影響歸一化結果。以方格單元邊長為跨度，進行遍歷圖像特征提取，生成不同塊的HOG特征，將塊特征向量組合起來，生成檢測窗口的HOG特征。

2.2 坦克目標分類決策方法

針對坦克目標，由于受到樣本數(shù)量的限制，選擇支持向量機(support vector machine，SVM)[8]作為小樣本坦克目標數(shù)據(jù)的分類器，其實現(xiàn)流程如下：

步驟1:建立超平面方程。設樣本集合為(xi,yi)，xi是每一個樣本中提取的特征向量，yi是每個樣本的類別號，對于二分類情況，yi∈{+1,-1}。則分類超平面方程為：

wTx+b=0

(19)

步驟2:求解最優(yōu)分類函數(shù)。針對非線性分類，可以將樣本數(shù)據(jù)x映射到高維的特征空間E。定義內(nèi)積函數(shù)C(xi,xj)實現(xiàn)非線性樣本分類問題線性化，求解最優(yōu)分類函數(shù)為：

(20)

步驟3:核函數(shù)選擇。為了加速算法實現(xiàn)，利用核方法定義核函數(shù)，避免計算非線性變換得到具體形式。高斯徑向基核函數(shù)的非線性支持向量機在訓練時可以自動確定核參數(shù)[9]，高斯徑向基核函數(shù)如下所示：

C(xi,xj)=exp(-‖x-xi‖2/2σ2),σ>0

(21)

檢測窗口在遍歷整個圖像時，目標周圍HOG特征相似，因此識別目標周圍會出現(xiàn)在不同位置的重疊矩形框選窗口如圖7所示。

圖7 識別目標的重疊框

步驟4:選框融合。采用非極大值抑制方法進行候選框融合[10]。將N個候選窗口的得分Grai按順序排列，得到集合H={Gra1,Gra2,…,GraN-1,GraN}，計算集合H中每一個框選窗口得分與集合M中的Gra1的重疊度IoU。

IoU=S(Grai)∩S(Gra1)

(22)

式中，S為框選窗口的面積。

設定重疊閾值Th=0.4，IoU高于閾值，認為該框選窗口與基準窗口有較多的區(qū)域交集。迭代此過程，直至集合H為空。針對移動樣本和靜止樣本，識別結果如圖8所示。有效剔除了圖像重復特征信息，減少了識別誤差。

圖8 非極大值抑制窗口融合標

3 嵌入式系統(tǒng)搭建

結合所提紅外與可見光圖像融合的目標識別算法在戰(zhàn)場環(huán)境下的應用，搭建ARM+FPGA架構的嵌入式系統(tǒng)，通過軟硬件協(xié)同設計進行資源優(yōu)化與合理配置，選用XC7Z020作為嵌入式主芯片，ARM+FPGA架構中一部分是以ARM處理器為核心的PS端，另一部分是以FPGA可編程邏輯為核心的PL端，PS與PL之間的互聯(lián)是通過ARM的AXI接口來實現(xiàn)。其中ARM硬核的主頻率為767 MHz，F(xiàn)PGA主頻率為250 MHz，配備了HDMI、USB等輸入輸出接口用于紅外與可見光目標特征的采集與處理結果顯示。搭建所需目標識別系統(tǒng)，選用的平臺及開發(fā)的樣機見圖9。

圖9 開發(fā)的識別系統(tǒng)與FPGA/ARM樣機

根據(jù)平臺的ARM與FPGA端數(shù)據(jù)處理特性差異，對不同模塊進行合理部署劃分，系統(tǒng)總體布局如圖10所示。

圖10 嵌入式系統(tǒng)部署框架圖

圖10中針對紅外與可見光測試樣本進行預處理、特征提取等算法處理。為進一步方便地面的測試與驗證，憑借Vivado開發(fā)環(huán)境進行設計，包括可見光與紅外攝像頭數(shù)據(jù)通過算法IP核處理，由VDMA傳輸?shù)絇S端識別分類后，通過HDMI接口顯示等。軟件實現(xiàn)架構如圖11所示。

圖11 軟件實現(xiàn)架構圖

系統(tǒng)通過FPGA提取到的圖像特征數(shù)據(jù)，融合處理后在傳送到ARM端進行分類、識別。為便于算法在PS端執(zhí)行，在Ubuntu系統(tǒng)中配置Qt編譯環(huán)境，同時鏈接OpenCV庫，通過交叉編譯的方式生成工程的可執(zhí)行文件，同時移植Linux系統(tǒng)。

3.1 圖像融合與識別算法優(yōu)化加速設計

針對圖像預處理中濾波和邊緣輪廓提取計算量大、耗時長的問題，采用圖像行緩存、窗口緩存等方法對圖像進行處理，實現(xiàn)加速遍歷圖像像素卷積運算。對于算法中循環(huán)迭代加速優(yōu)化，通過Vivado HLS的優(yōu)化指令，實現(xiàn)算法并行優(yōu)化加速。表4為優(yōu)化后算法執(zhí)行時間。

表4 優(yōu)化后算法執(zhí)行時間

對圖像融合算法移植到Zynq7020平臺實現(xiàn)。算法IP核工作頻率為150 MHz，將數(shù)據(jù)輸入口設置為RAM-2P-BRAM類型擴大帶寬，數(shù)據(jù)分塊管理，并將算法中循環(huán)迭代展開。表5為經(jīng)過Vivado HLS指令優(yōu)化后綜合分析的IP執(zhí)行時間。

表5 圖像融合算法優(yōu)化執(zhí)行時間

系統(tǒng)定制了融合算法的IP核，數(shù)據(jù)傳輸是通過stream形式，定義AXI總線接口協(xié)議，采用上述硬件優(yōu)化后，融合后結果見圖12。

圖12 融合算法硬件優(yōu)化實驗

由圖12可見，目標局部重影較少，融合圖像保留了異源圖像的主要特征信息。

HOG特征提取過程，主要在梯度計算與特征向量加權統(tǒng)計。由式(17)可知反正切運算含有除法運算。針對特征提取過程進行優(yōu)化，在FPGA中除法運算通過移位和比較操作實現(xiàn)[11]，并封裝加速IP核，表6為HOG特征提取硬件加速的資源占用情況。

表6 HOG特征提取算法優(yōu)化占用資源

3.2 嵌入式系統(tǒng)模塊化部署及實驗驗證

選取紅外與可見光圖像各200張作為測試樣本。對比不同平臺融合識別效果，結果如圖13所示。為驗證算法有效性，分別選用復雜背景下的靜止和運動目標進行融合和識別，圖13(a)、圖13(b)為PC端的識別結果。如圖13(a)可見，識別過程中HOG特征提取在FPGA上優(yōu)化加速，梯度中除法運算轉(zhuǎn)換為硬件邏輯移位比較的方式，導致框選中心偏移。針對運動目標，PC平臺目標識別幀率為10 Hz左右。算法僅通過PS端(ARM)執(zhí)行，實時性不好，有目標丟失情況，幀率為7 Hz左右，且芯片發(fā)熱嚴重。所提方法通過在PL和PS端(FPGA+ARM)有效分配，在識別實時性方面有顯著提高，幀率約為20 Hz，畫面連續(xù)，識別率與靜止情況差別較小。

圖13 PC和嵌入式平臺識別結果

3.3 嵌入式系統(tǒng)性能分析

由實驗結果，主要從準確率P、召回率R、綜合評價指標F1三個方面對圖像融合識別系統(tǒng)進行客觀評價分析，3種不同平臺下識別效果以及平均耗時如表7所示。

表7 系統(tǒng)評價指標對比

由表7可知，針對文中采用的ARM+FPGA異構軟硬協(xié)同設計的方法在準確率、召回率以及綜合評價指標相較于前兩種實驗方法都有一定降低，平均耗時有顯著的減少。平均耗時51 ms，視頻識別結果的幀率約為20 Hz，滿足系統(tǒng)實時性要求。

4 結論

針對坦克目標的紅外與可見光圖像融合的識別開展采用基于小波變換的融合算法研究通過提取融合圖像HOG特征并生成SVM分類器模型實現(xiàn)坦克目標識別。構建了嵌入式的紅外與可見光圖像融合系統(tǒng)，定制了ARM+FPGA樣機。開展了相關實驗驗證。配準平均精度為51%，效果優(yōu)于Hu不變矩和SURF算法配準。在ARM+FPGA嵌入式系統(tǒng)中，對圖像處理算法進行優(yōu)化加速，定制融合處理IP核，其識別準確率為78.22%，系統(tǒng)平均耗時為51 ms，幀率約為20 Hz，相較其它實現(xiàn)平臺耗時大幅縮短，滿足目標檢測識別的實時性要求。