基于LBP的紅外弱小目標檢測系統(tǒng)設(shè)計

蔣怡亮,孫寧,翟尚禮

(中國電子科技集團公司 第二十八研究所，南京 210007)

?

基于LBP的紅外弱小目標檢測系統(tǒng)設(shè)計

蔣怡亮,孫寧,翟尚禮

(中國電子科技集團公司 第二十八研究所，南京 210007)

分析了一種基于局部二元模式(LBP)算子的紅外弱小目標檢測方法，并根據(jù)實際應(yīng)用背景設(shè)計實現(xiàn)了一種紅外弱小目標檢測系統(tǒng)。介紹了該系統(tǒng)的總體結(jié)構(gòu)以及程序模塊的設(shè)計方法。試驗對比表明，該方法在保證LBP算法實時性的前提下可節(jié)約大量硬件資源。

紅外弱小目標；局部二元模式；目標檢測； FPGA

引　言

隨著紅外傳感器性能和圖像處理能力的提高，紅外探測系統(tǒng)已經(jīng)成為現(xiàn)代軍用防御網(wǎng)絡(luò)的重要組成部分。在現(xiàn)代戰(zhàn)爭中，及時發(fā)現(xiàn)威脅目標可以有效提高作戰(zhàn)單位的生存和反擊能力。然而，遠距離目標在紅外焦平面上只占幾個像素，其亮度常低于背景中云團等干擾物。因此，有效抑制復雜背景是研制紅外探測系統(tǒng)的關(guān)鍵。

目前紅外弱小目標檢測的典型方法有很多，比如基于數(shù)學形態(tài)學圖像檢測、多向梯度檢測、小波分解以及匹配濾波等。但其中大多數(shù)算法存在對椒鹽噪聲和高亮背景邊緣敏感，以及運算量過大等不足，很難應(yīng)用于實際紅外探測系統(tǒng)[1-3]。

本文采用了一種基于局部二元模式算子(LBP)的紅外弱小目標檢測算法[4]，設(shè)計了一種紅外弱小目標實時檢測系統(tǒng)，并對其程序模塊結(jié)構(gòu)進行設(shè)計優(yōu)化，使其能在單片現(xiàn)場可編程門陣列(FPGA EP2S60F672)上運行。最后將未經(jīng)優(yōu)化的LBP算子目標檢測系統(tǒng)與采用本文方法優(yōu)化的系統(tǒng)進行對比，證明了本文方法在硬件資源占用方面的優(yōu)越性。

1　算法基礎(chǔ)

LBP算子是一種對灰度圖像中局部領(lǐng)域的紋理信息進行度量和提取的算子，基本LBP算子是一個固定的3×3區(qū)域，對應(yīng)圖像上相鄰3×3共9個像素點。根據(jù)順時針方向依次將8個灰度值與中心灰度值相比較，大于等于中心值的表示為1，反之表示為0，所得的8位二進制數(shù)作為該矩形塊的LBP編碼值，如圖1所示。因此，LBP算子實質(zhì)上是局部灰度對比及其二值化的過程，通過這個過程LBP算子完成了對凸點、凹點或邊緣等局部紋理的描述。

圖1　LBP算子編碼示意圖

假設(shè)紅外弱小目標為1個小于3×3像素的亮斑，如果將其定義為上述LBP算子的中心區(qū)域，則LBP算子擴展為9×9像素區(qū)域。改進的LBP算子采用局部信噪比(SNR)作為每個3×3區(qū)域的局部標準值，局部信噪比可表示為：

(1)

其中ut為目標3×3區(qū)域灰度均值，ub為領(lǐng)域3×3區(qū)域灰度均值，δ為目標和某一方向背景兩個3×3區(qū)域的灰度標準差。編碼時，將8個目標領(lǐng)域的局部信噪比與預(yù)設(shè)閾值比較，則得到8個方向背景的二進制特征值，其中閾值根據(jù)檢測性能指標進行預(yù)設(shè)。當8個特征值都為0,即編碼值為0000 0000時,中間的3×3區(qū)域即為目標。

2　系統(tǒng)設(shè)計

2.1工程改進

實際工程實現(xiàn)時，考慮到LBP算子的場景適應(yīng)性和檢測穩(wěn)定性，系統(tǒng)增加了如下2項功能。

(1) 多尺度LBP算子

如前所述，LBP算子假設(shè)紅外弱小目標為一個小于3×3 像素的非均勻亮斑，在有利于紅外觀測的天氣條件下，采用該假設(shè)合適。但當空氣濕度大、能見度低以及背景溫差小時，弱小目標在紅外焦平面上初現(xiàn)時迅速擴散為尺寸稍大、中心灰度等級低且邊緣模糊的不均勻亮斑。不同窗口大小提取的特征描述局部紋理的能力不同，為了改善LBP算子無法適應(yīng)圖像多尺度下紋理特征的問題，應(yīng)使用多尺度的LBP算子[5]。因此，系統(tǒng)設(shè)計時采用了連續(xù)可調(diào)的LBP算子尺度以適應(yīng)實際情況。

(2) 自適應(yīng)區(qū)域閾值劃分

圖2　硬件結(jié)構(gòu)

實際紅外場景中，常遇到部分背景區(qū)域比較復雜的情況。如背景物體細微紋理對陽光的反射，經(jīng)紅外傳感器成像后與弱小目標特征相似，目標淹沒在其中，肉眼無法辨識。LBP對細節(jié)紋理描述能力較強，上述復雜背景常造成大量虛警，影響后續(xù)數(shù)據(jù)處理速度和能力。采用自適應(yīng)區(qū)域閾值劃分，即建立前3幀畫面區(qū)域目標數(shù)量的數(shù)理統(tǒng)計列表，自動調(diào)節(jié)目標領(lǐng)域的局部SNR閾值。對于檢測點過多的區(qū)域，還可以在LBP編碼前將目標區(qū)域均值乘以相應(yīng)比例系數(shù)，改善復雜區(qū)域?qū)z測系統(tǒng)處理能力的影響。

2.2硬件組成

通過分析算法流程可知，設(shè)LBP算子尺度為n時，需要在每個像素周期完成9次n×n范圍的取均值、標準差、閾值劃分運算。算法的運算量大但結(jié)構(gòu)簡單，適合并行處理，因此本文設(shè)計了以FPGA為核心處理器的紅外弱小目標檢測系統(tǒng)，其硬件結(jié)構(gòu)如圖2所示。

圖 2中，紅外弱小目標系統(tǒng)采用標準32位PCI板卡形式，使用橋接芯片PCI9054作為上位機PCI模塊。紅外PAL制模擬圖像通過A/D芯片SAA7111采樣，轉(zhuǎn)換為標準BT.656碼流輸入FPGA。該數(shù)字視頻碼流經(jīng)過LBP算法模塊，形成64位點跡信息(幀號+本幀點跡個數(shù)+點跡行數(shù)+點跡列數(shù))壓入FIFO中,FIFO存儲深度為2 KB，當存儲深度超過1 KB時即向PCI橋發(fā)送中斷信號，上位機接收到中斷信號后從固定偏移地址(80H)讀取1 KB點跡信息；另外，2個存儲深度為8 KB雙口RAM經(jīng)過乒乓操作，以配合PCI9054中DMA控制器的時序，將疊加過點跡的原始視頻通過DMA方式傳送給上位機，DMA傳輸?shù)钠频刂窞?000H～9FFFH。上位機通過PCI橋?qū)BP算子尺寸以及區(qū)域閾值等初始化信息和控制信號發(fā)送給FPGA，實現(xiàn)雙向通信。

為了獨立使用，紅外弱小目標系統(tǒng)還預(yù)留了顯示接口、串口和網(wǎng)口等。顯示方面，數(shù)字視頻碼流與前一幀的點跡通過視頻疊加方式形成輸出視頻，通過SA7121轉(zhuǎn)換為標準PAL制紅外圖像輸出給監(jiān)視器；系統(tǒng)也支持VGA顯示，但由于VGA視頻分辨率遠高于PAL制模擬視頻，需用一片DDR2 SDRAM進行緩存放大。網(wǎng)口和串口通信方面，使用Altera公司開源的Nios-II軟核將點跡信息傳送給上位機，并接收上位機初始化和控制信號。

接口芯片SAA7111、SAA7121、ADV7123和VSC8641的初始化配置均由I2C控制模塊負責。

2.3FPGA模塊設(shè)計

FPGA強大實時的運算能力歸功于其可并行處理的運算方式，然而采用這種方式往往會占用大量硬件資源，實際運行情況與設(shè)計的計算結(jié)構(gòu)關(guān)系密切。為了在確保LBP算子的實時性前提下節(jié)約硬件資源，本文設(shè)計了以下方法。

(1) 灰度自適應(yīng)快速掃描

對于目標檢測,傳統(tǒng)的方法是采用目標提取算子逐像素掃描輸入圖像，存在計算開銷大以及容易對同一目標重復告警的問題。針對以上情況,本文采用了一種灰度自適應(yīng)快速掃描機制，具體為：計算3n×3n矩陣塊Bi,j的最大值(i,j為Bi,j中心像素的坐標)，然后以最大值為中心, 重新構(gòu)造3n×3n 矩陣塊，最后采用LBP算子提取Bi～,j～的編碼值進行目標檢測。將Bi,j的中心位置i,j向右平移3n個像素得到下1個矩陣塊。若掃描完一個3n行的數(shù)據(jù)區(qū)，則從i=i +3n, j=1開始掃描下一個3n行數(shù)據(jù)區(qū),直到完成整幅圖像的掃描。

(2) 塊運算

LBP算子包括n×n區(qū)域取均值、標準差、閾值劃分等基本運算單元，基于LBP算子的多尺度要求，各計算單元的計算量隨尺度變化而不同。傳統(tǒng)的串行處理器只需要對圖像數(shù)據(jù)逐像素判斷，再決定其是否參與運算即可。采取這種方式必然引起大量運算延時，以每個運算單元最大延時7個時鐘周期計算，延時量為n×n×7個時鐘周期，無法體現(xiàn)FPGA并行處理的優(yōu)勢。但如果將這種串行處理方式改為并行同時判斷，則引入了n×n次選擇運算和最大7個系統(tǒng)周期延時，作為算法大量重復使用的基本運算單元，將造成整個系統(tǒng)硬件資源的浪費。

圖4　LBP算子串行復用結(jié)構(gòu)

根據(jù)LBP算子的特點，本文采用了塊運算的方式，對于處于同一運算塊的像素數(shù)據(jù)，統(tǒng)一計算和判斷。這樣，只需要增加(n-2)個選擇運算和最大7個時鐘周期延時，即可完成LBP算子基本運算單元的計算，兼顧了資源和運算延時，圖3給出了n=7時的LBP算子塊運算結(jié)構(gòu)圖。

圖3　n為7時LBP算子塊運算結(jié)構(gòu)

(3) 串行復用

FPGA作為并行運算能力強大的處理器，其流水線式的并行運算延時只會使運算結(jié)果相對于輸入視頻產(chǎn)生ns級的滯后。但基于LBP算子的塊運算結(jié)構(gòu)，其基本運算單元均需完成最大尺寸的運算。在1次掃描過程中，需要進行9次n×n區(qū)域取均值、標準差、閾值劃分等運算，本文將最大尺寸設(shè)為7，雖比直接進行并行運算結(jié)構(gòu)更優(yōu)化，但運算量仍然巨大，對FPGA硬件資源要求較高。因此，在保證數(shù)據(jù)流實時傳輸、無阻塞以及不丟失的情況下，結(jié)合LBP算子特點，合理設(shè)計基本運算單元串行復用的結(jié)構(gòu),可極大節(jié)約硬件資源。

由LBP檢測系統(tǒng)的灰度自適應(yīng)快速掃描機制，對于幀頻為25 Hz、分辨率為640×480的8位紅外圖像，尺度n=3時整圖的掃描次數(shù)最多，運算量最大，每行圖像最多完成72次基本運算單元計算。標準PAL制紅外圖像行周期為64 μs,理論上在576 μs內(nèi)處理9行圖像即可保證運算的實時性，但由于標準PAL制紅外圖像行周期中存在大量消影期，因此會延長處理等待時間。為了減少運算等待時間，在運算之前使用2塊5 760字節(jié)雙端口RAM進行乒乓緩存，緩存后的圖像行同步信號由系統(tǒng)時鐘計數(shù)生成，將消影期縮短到不超過10 μs。最后使用時間片輪轉(zhuǎn)法，在486 μs內(nèi)串行復用72次LBP基本運算單元，即運行1次LBP基本運算單元時間周期不高于6.5 μs，就可以保證算法符合實際要求，其結(jié)構(gòu)如圖 4所示。

分析LBP算子運算單元結(jié)構(gòu)可知，每個LBP算子運算周期最多消耗63個時鐘周期進行運算，因此，只要時鐘周期不高于100 ns，即時鐘頻率高于10 MHz，即可在保證實時性的同時節(jié)約71個基本運算單元的硬件資源消耗。

3　綜合結(jié)果

系統(tǒng)使用Altera公司的Quartus11.0軟件，采用可綜合的VHDL語言對圖像融合算法中各模塊進行描述。整個系統(tǒng)在1片F(xiàn)PGA(EP2S60F672)上完成了分辨率為640×480的8位紅外弱小目標檢測，表1給出了

Infrared Dim Target Detection System Based on LBP

Jiang Yiliang,Sun Ning,Zhai Shangli

(China Electronic Technology Group Corporation 28th Institute,Nanjing 210007,China)

An infrared dim target detection method based on local binary pattern(LBP) operator is analyzed,and an infrared dim target detection system is designed according to the practical application background.The overall structure of the system and the design method of the program module are introduced.The experiment results show that the proposed method can save large number of hardware resources in the premise of ensuring the real-time performance of LBP algorithm.

infrared dim target;local binary pattern;target detection;FPGA

TN216

A