嵌入式平臺下紅外圖像坦克目標識別的實現方法

王 磊，關 英，孟志敏，郝永平，徐九龍

(沈陽理工大學 兵器科學與技術研究中心， 沈陽 110159)

坦克是現代地面大集群作戰的主要武器，主要用于摧毀野戰工事，快速殲滅有生力量[1]。隨著坦克在陸地戰場上的綜合實戰能力不斷增強，反坦克作戰逐漸成為了各國陸軍的重要能力[2]。反坦克打擊的首要任務就是對典型的坦克目標進行精準識別。隨著探測技術的飛速發展，傳統的可見光探測已不能滿足現代化戰場的要求，因此，紅外探測技術應運而生[3]。常見的目標識別算法大多采用PC機實現，但是由于其功耗與散熱的問題也使其很難實現小型化、集成化[4]。隨著半導體技術與數字計算機技術的飛速發展，嵌入式系統越來越常見。Oishi采用HOG特征和SVM分類算法在Kintex-7 FPGA上設計了一種目標識別系統[5]。Viola和Jones提出了AdaBoost目標識別的級聯算法，該算法在保持準確率的同時顯著的提高運算速度[6]。

針對本文所涉及的目標識別領域，單一平臺往往難以很好地滿足要求，更多的是基于組合平臺來完成這一任務[5]。采用低成本、具有紅外成像的嵌入式系統開發具有廣泛的應用?；贏RM+FPGA架構的ZYNQ SoC平臺，完美地結合了FPGA平臺靈活的硬件結構與強大的并行計算能力以及ARM平臺在嵌入式操作系統上的優勢[7-8]。在此類平臺下實時性算法的開發與實現是研究的熱點[4]。

本文采用HOG特征結合AdaBoost分類算法進行坦克目標識別，根據FPGA平臺的計算特性，對HOG特征提取算法進行優化設計，通過軟硬協同設計的方法搭建嵌入式系統，定制了小型化樣機，在不同平臺開展了相關實驗，驗證所提出方法的可行性。

1 坦克目標識別算法

1.1 坦克目標的HOG特征提取

由于紅外成像相比于可見光成像分辨率不高，難以體現出目標的紋理細節，因此在特征提取的過程中，目標的外形、輪廓特征顯得尤為重要。針對坦克這類有形目標，其梯度強度和梯度方向能夠很好的描述一個目標的形狀與輪廓[10]。采用梯度方向直方圖特征(Histogram Of Oriented Gradient,HOG)能夠很好地描述目標的形狀特征。便于快速識別，計算流程如圖1所示。

HOG特征的具體計算過程如下：

1) Gamma校正。Gamma校正是對輸入圖像的灰度值進行指數變換，從而對圖像的亮度偏差進行校正[14]。在紅外圖像中，由于不同場景下的溫度條件不同，因而需要通過對圖像進行Gamma校正歸一化來消除亮度偏差對特征提取的影響。式(1)為Gamma校正公式：

I(x,y)=I(x,y)γ

(1)

式(1)中：I(x,y)表示圖像中像素點的灰度值；γ為校正值。

2) 梯度計算。圖像梯度的計算如式(2)、式(3)：

Gx(x,y)=I(x+1,y)-I(x-1,y)

(2)

Gy(x,y)=I(x,y+1)-I(x,y-1)

(3)

其中，x、y分別是圖像像素點的坐標；I(x,y+1)、I(x,y-1)、I(x+1,y)、I(x-1,y)分別為當前像素上、下、左、右相鄰像素點的值；Gx(x,y)、Gy(x,y)分別為像素點(x,y)的水平方向梯度和垂直方向梯度。

圖1 HOG特征提取流程框圖

得到兩個方向的梯度后，利用這2個梯度值計算每個像素點的梯度幅值G(x,y)和梯度方向θ(x,y)如式(4)、式(5)

(4)

(5)

3) 基于梯度方向的加權投影統計。將梯度方向平均分為W個區間(bin)，用binw表示第w個梯度區間，根據cell中的每個像素的梯度方向將梯度幅值映射到對應的bin中，每個cell單元根據梯度的方向將梯度幅值投影至對應區間的bin中并進行累加，最終得到表述cell單元梯度幅值和梯度方向分布的梯度方向特征向量h。h是一個W維的向量，見式(6)：

(6)

式(6)中，w=0,1,2,…,W-1。

4) block塊的劃分與特征向量歸一化。由于圖像中存在噪聲，導致HOG特征在計算過程中梯度幅值不穩定，因此需要對梯度幅值進行歸一化[15]，具體方法是將cell單元組合成block塊，在塊內進行歸一化操作。若某block塊的HOG特征向量為H，通常采用的L1-norm歸一化函數來完成歸一化操作，式(7)為L1-norm歸一化函數：

(7)

式(7)中，ε為一個極小值，這樣可以避免分母為0，對最終結果并不產生影響。

5) 組合HOG特征向量。將每個block的HOG特征向量組成最終的HOG特征向量。實際系統中HOG特征提取器的參數如表1所示。

表1 HOG特征提取器參數

1.2 HOG+AdaBoost識別算法

AdaBoost的核心思想是不斷訓練弱分類器，并根據每次迭代后的誤差率來調整權重值，提高被錯誤分類的樣本的權重，降低被正確分類的樣本的權重，使每一次迭代過程中被錯誤分類的樣本可以在后一輪的訓練過程中被弱分類器更加重視[12-14]。通過調整每輪迭代的權值，最終可以得到分類效果顯著提升的強分類器。AdaBoost算法的具體訓練過程如下：

1) 給定訓練樣本數據集T：

T={(x1,y1),(x2,y2),…,(xN,yN)}

其中，xi∈χ=Rn，yi∈γ={+1,-1}，i=1,2,…,N，χ為實例空間；γ為標記集合;xi為第i個特征向量； (xi,yi)為樣本點；yi為實例的類標記，當yi=+1時，xi為正樣本，當yi=-1時，xi為負樣本。

2) 初始化訓練數據的權重，每個訓練數據的權重都指定為1/N：

D1=(ω11,…,ω1i,…,ω1N)

3) 對m=1,2,…,M，將各個帶權重的訓練數據進行分類學習，得到基本分類器Gm(x)：

Gm(x)∶χ→{+1， -1}

(4)

4) 計算Gm(x)在訓練數據集上的分類誤差率em，即被Gm(x)錯誤分類的樣本的權值總和：

其中：

(5)

5) 計算Gm(x)在強分類器中的系數：

6) 繼續迭代，更新訓練數據集的樣本權值分布：

Dm+1=(ωm+1,1,…,ωm+1,i,…,ωm+1,N)

其中，i=1,2,…,N；Zm為規范化因子，可按下式計算得到：

(7)

對弱分類器進行線性組合，得到強分類器：

AdaBoost算法訓練流程如圖2所示。

圖2 AdaBoost算法訓練流程框圖

2 HOG特征提取算法優化設計

2.1 梯度方向直方圖生成算法的優化設計

考慮到算法在嵌入式平臺的實現問題，前述的cell單元統計直方圖的計算過程中，arctan運算需要計算兩個梯度幅值的比值，此類運算不適合在FPGA進行處理。因此需要對cell單元的梯度方向直方圖生成過程進行優化設計。

在cell單元中，梯度角度值θ被劃分成了8個區間，進行加權統計時只考慮某一梯度方向所屬的角度區間bn。bn和θ的關系見式(8)。

(8)

將計算梯度角度值的計算式(5)代入上式(8),可得式(9)：

(9)

其中，Gx、Gy分別表示x,y方向上的梯度值，由于bn的取值區間為[0,7]，由式(9)，可得式(10)。

(10)

其中，mod表示取余數計算，b的值按式(11)計算得到：

(11)

式(10)中的GxGy≥0與GxGy<0用于區分Gx與Gy符號位的異同，算法在FPGA實現中，只需要通過符號位的比較即可實現；根據式(11)中的各個判斷條件，該優化方案中完成一次符號位比較、四次常量乘法、四次比較、一次減法運算和一次求模運算；即只需通過常量乘法和比較運算即可實現，運算更加簡單、邏輯資源消耗更少，便于在嵌入式系統平臺移植實現。

2.2 歸一化運算的優化設計

算法中歸一化的計算過程需要進行多次除法運算，而二進制數每次的移位操作相當于一次除2的除法運算。而這種移位的操作在FPGA上易通過寄存器實現，且每次移位只需要一個時鐘周期即可完成[10]。算法采用移位操作近似替代除法運算的方法，將歸一化分母H||+ε近似為2k形式的數值，這樣歸一化的計算過程就可以通過移位k次實現。假設2n-1

Hnorm≈

(12)

由式(12)可知，表達式中分母都是以2k的形式表示，歸一化運算可以通過多次簡單的移位操作就能得到復雜的除法運算的近似結果。文中分別對將H||+ε近似為2k的形式以及采用式(12)分段近似方法進行了誤差分析，結果如圖3所示。

圖3 歸一化近似計算方法的誤差分析曲線

3 系統搭建與實驗驗證

為驗證所提優化算法的有效性，搭建了嵌入式測試系統。開發了FPGA/ARM原理樣機，其中ARM硬核的主頻率為767 MHz，FPGA主頻率為250 MHz，配備了HDMI、USB等輸入輸出接口用于可見光與紅外圖像采集與處理結果顯示。同時，為便于比較，采用Zynq SoC的AX7020開發板為參考系統，實驗系統平臺如圖4所示。

圖4 嵌入式紅外圖像坦克目標識別系統平臺

樣機中嵌入式系統通過軟硬件協同設計方法進行資源優化與合理配置，根據各模塊的不同特性，將各個模塊合理地分配在ARM與FPGA端。采用所提算法在嵌入式系統中進行了實驗驗證，系統的總體架構如圖5所示。

圖5 嵌入式系統總體架構示意圖

為獲取高清圖像數據，系統中同時采用Fluke Tix640型紅外熱像儀(圖6)分別對不同地點的不同坦克目標進行數據采集，獲取了樣本數據。

圖6 實驗用紅外熱像儀

分別選取正負樣本各4 000張作為訓練集。部分樣本的示例見圖7，圖中前3行為正樣本，后3行為負樣本，分別代表真目標和偽目標。

另外各選取100張包含坦克目標的紅外圖像與100張不含坦克目標的紅外圖像作為測試樣本，紅外圖像大小為640×480像素。分別在PC機，Zynq平臺下的單一ARM核，以及基于ARM+FPGA架構的樣機上開展坦克目標識別的對比實驗，部分識別結果如圖8所示。

圖8(a)、圖8(b)、圖8(c)分別為在PC平臺下、單一ARM平臺、ARM+FPGA平臺下的識別結果。算法分別在定制樣機與AX7020開發板進行了相應驗證。由圖8可知，上述3種方法均能夠實現對紅外圖像中坦克目標的識別，但識別性能指標不同，表2給出了精度P、召回率R以及平均耗時t三項性能指標的差異。

圖7 正負樣本示例

圖8 坦克目標識別結果

表2 各項性能指標

由對比可見，PC平臺的精度最高，耗時也較大；單一ARM 平臺精度和耗時略有不足；ARM+FPGA平臺下，改進后的算法在保證一定識別率的基礎上，大幅地提高了運算速度，運算速度相對于單一ARM硬核的方法提高了3倍以上，具備了工程應用的條件。實驗過程中，檢測一張640×480像素的圖像只需要52 ms，幀率達到20 fps，可以滿足系統實時性的要求。

4 結論

針對戰場環境下紅外圖像坦克目標在嵌入式系統中的快速識別，提出了一種改進的HOG特征提取結合 AdaBoost 分類算法的紅外圖像目標識別實現方法。針對ARM+FPGA嵌入式平臺，算法根據FPGA的計算特性對HOG特征進行提取和優化。搭建了實驗系統，通過采集坦克目標的紅外樣本數據，對所提算法進行驗證，相比于傳統的目標識別算法，所提算法在樣機的ARM+FPGA嵌入式平臺上，識別率70%以上，運算速度相對于單一ARM硬核的方法提高了3倍以上，平均耗時52 ms(640×480),幀率達到20 fps，可以滿足系統精度和實時性要求。