紅外焦平面圖像處理系統的軟件設計＊

朱 卓

（東北電子技術研究所 錦州 121000）

1 引言

紅外焦平面陣列圖像處理系統主要包含三個功能模塊，分別是圖像采集功能模塊、圖像預處理功能模塊和圖像處理功能模塊，每個功能模塊均有其對應的軟件，軟件是模塊功能實現的基礎。圖像處理系統軟件結構框圖[1]，如圖1所示。

圖1 圖像處理系統軟件結構框圖

紅外焦平面陣列圖像處理系統設計中主要包含的軟件有數據接口軟件、圖像預處理算法軟件和圖像處理算法軟件的設計。本文就圖像采集模塊軟件的設計、圖像預處理模塊軟件的設計、圖像處理模塊軟件的設計等，作進一步的研究和探討。

2 圖像采集模塊軟件的設計

圖像采集模塊軟件設計主要包含配置設計、控制功能以及接口設計等幾大部分軟件功能模塊[2]。

2.1 接口設計

接口設計主要實現圖像采集模塊與圖像預處理模塊及圖像處理模塊的數據接口，以及圖像采集模塊內部紅外焦平面陣列的圖像數據輸入接口的設計。紅外焦平面陣列輸出紅外圖像信號的流程如圖2所示[3]。

紅外焦平面陣列輸出的紅外圖像信號要依據其設定的時序信號，時序信號是由圖像采集模塊內的時序電路所產生的，圖像采集模塊內部接口如圖3所示。

圖2 紅外焦平面陣列紅外圖像輸出流程

圖3 圖像采集模塊接口框圖

2.2 配置模塊設計

紅外焦平面陣列的配置模塊是采用專用處理器控制來實現的。處理器通過并行或串行數據接口與紅外焦平面陣列進行通信，并實現對紅外焦平面陣列的工作狀態、工作模式等的控制[4]。

表1 控制信息格式表

系統上電后，紅外焦平面陣列需要通過數據接口從處理器讀取控制信息，以確定其工作模式，其中包括陣列的信號增益強度、幀頻速度、圖像生成方式、積分時間等相關參數。以型號為UL03191的紅外焦平面陣列為例，其控制信息格式包含了積分時間、增益系數、紅外窗口大小、窗口位置等相關信息，表1所表示的是UL03191紅外焦平面陣列的控制信息格式以及其實現的功能。

Xlast、Xlast、Yfirst以及Ylast這四個參數是用來確定紅外焦平面陣列所配置的紅外窗口的位置以及打開窗口的大小。參數的設定必須滿足下面（1）以及 （2）所表示的兩個條件。

本系統設計中，紅外焦平面陣列窗口的大小為陣列的像元尺寸，陣列的增益系數設定為1，積分時間設定為20μs，陣列的掃描方式設定為從右側到左側的行掃方式，掃描順序從上到下。

2.3 控制功能設計

紅外焦平面陣列一般都是采用電子掃面的方式，系統視場內目標物體的自身溫度發生變化時，會導致紅外焦平面陣列所受到的紅外輻射強度的變化，輻射強度與紅外焦平面陣列的電流輸出大小直接相關，輻射強度變化引起的電流變化在脈沖偏置電壓的作用下被讀取電路讀出，紅外焦平面陣列每列的末端有放大器，放大器把電流信號轉換為電壓信號，再經過多路復用器把放大后的電壓信號輸出，這個電壓信號就是最基本的紅外圖像信息。圖4所表示的是紅外焦平面陣列在工作狀態時的工作時序圖[5]。

圖4 紅外焦平面陣列工作時序圖

紅外焦平面陣列的初始化和驅動時鐘等參數均由FPGA芯片來控制，其工作流程框圖如圖5所示。

圖5 紅外焦平面陣列工作流程框圖

FPGA芯片對紅外焦平面陣列控制的實現方法可參照圖6中所采用的控制方法來實現。

3 圖像預處理模塊軟件的設計

圖像預處理模塊的軟件設計考慮兩個方面的內容，分別是圖像信號的存儲和圖像預處理算法的設計[6]。

3.1 圖像存儲功能設計

紅外圖像的存儲采用專用的存儲器來實現，本設計中采用的存儲器型號為IS61LV512156的單口SRAM，圖像存儲器作為紅外圖像的緩存，將從圖像采集模塊得到的圖像信息數據傳輸到圖像預處理電路中。存儲控制結構框圖如圖7所示。

圖6 紅外焦平面陣列控制程序原理圖

圖7 存儲控制結構框圖

由圖7可以看出，存儲器通過SRAMA和SRAMB這兩個數據緩沖區對圖像信息數據進行讀取輸入，在第一個存儲周期內，先將圖像信息數據存儲到SRAMA中；第二個存儲周期內，切換存儲單元為SRAMB，將下一幀圖像信息數據存儲到SRAMB中，同時SRAMA將內部存儲的圖像信息數據送至圖像預處理電路；第三個存儲周期內，切換存儲單元為SRAMA，將再下一幀圖像信息數據存儲到SRAMA中覆蓋上一幀圖像信息數據，同時將SRAMB中存儲的圖像信息數據送至圖像預處理電路，以后依次重復這三個周期的執行方式。

3.2 紅外圖像預處理算法設計

紅外圖像預處理可采用的方法很多，一般來說紅外焦平面陣列圖像處理系統必須具備的圖像預處理算法有非均勻校正算法和盲點剔除算法。非均勻性校正算法是用來消除紅外焦平面陣列內熱敏單元響應率不同所產成的圖像誤差，盲點剔除是用來消除陣列內熱敏單元失效所帶來的圖像誤差[7]。

1）非均勻性校正算法設計。紅外焦平面陣列的非均勻性對于其成像質量有著直接的影響，因此在紅外焦平面陣列內對熱敏單元進行偏差和增益的校正工作，可以有效地提高系統的成像質量。非均勻性校正有很多的方法，這里就不一一介紹，本系統設計中所采用的方法是兩點校正法。

兩點校正法從簡單來講就是將熱敏單元輸出的不一致性通過該算法，使其一致的方法。假設圖8中所表示的是A、B、C三個熱敏單元，φ為輻射通量，X為熱敏單元的響應量。圖8（a）中表示的是熱敏單元的實際輸出曲線，可以看到由于各熱敏單元的響應率不同，其輸出的曲線斜率均不同，非均勻性校正就是將圖8（a）中的不同斜率曲線，通過算法轉換為圖8（c）的輸出曲線，保證每個熱敏單元響應率一致，輸出曲線斜率相同。

圖8 兩點校正法的原理

兩點校正法就是將圖8（a）中不同斜率的輸出曲線通過設定標準曲線，并依據標準曲線對其他輸出曲線進行旋轉和平移等操作，使輸出曲線保持一致。圖8（b）是輸出曲線依據標準曲線進行平移后的結果。圖8（c）是在圖8（b）的基礎上對輸出曲線進行旋轉的結果。兩點校正法就是使三條輸出曲線通過變換后完全重合。

2）非均勻性校正算法的實現。紅外焦平面陣列的非均勻性校正算法對于硬件實現來說，其結構框圖可表示圖9所示內容。

圖9 非均勻性校正算法框圖

校正系數的獲得是非均勻性校正算法實現工作中一項重要的工作，校正系數可以采用兩種方式獲得，一是利用系統內存儲的系數，二是利用黑體進行系數的更新校正。

利用黑體進行校正系數的更新時，采用的計算流程如圖10所示。

對于增益系數接近1的紅外焦平面陣列而言，可采用二進制來表示其增益補償系數和偏移系數，校正系數可表示為增益補償系數和偏移系數的結構合，即增益補償系數和偏移系數分別占用1字節，校正系數占用2字節，校正系數的高8位為增益補償系數，低8位為偏移系數。

本系統中，非均勻性校正算法在采用Altera公司型號為EP3C25F324C8的FPGA芯片中實現，芯片提供的RAM空間可達0.594Mbit，由于只有加法和乘法運算，因此采用二級流水線的設計方法。

3）盲點剔除算法設計及實現。盲點剔除技術可采用對比相鄰單元或者前后幀數據信息的方式進行檢測。圖像數據信息一般來說具有一定的連續性，如果數據在某一點突變而隨后的數據又回歸正常，這個數據就會被當作無效數據處理。

在進行盲點剔除是一般采用插值理論進行設計，其計算表達式為

圖10 校正系數計算流程框圖

假設，∑αr，s＝1，權系數αr，s要依據盲點相鄰的鄰域不同的情況做出相應的選擇。

本系統設計，盲點剔除的方法采用的是八鄰域盲點替代的方式，也就是，對盲點相鄰的八個單元的平均值代替盲點輸出的值。盲點剔除需要與讀取圖像信息數據同時完成，圖11為盲點剔除算法的硬件實現結構框圖。

圖11 盲點剔除算法硬件實現結構框圖

4 圖像處理模塊軟件設計

從系統前端的圖像采集模塊及預處理模塊獲得圖像數據后，需要對圖像數據進行處理，有感興趣目標出現時，應及時顯示，并提取出目標的空間灰度質心坐標與目標的外包絡矩形對角頂點坐標等參數[8]。

4.1 目標特性分析

由于系統是在全天候下持續搜索目標，所以在圖像序列中的目標將顯然具有這樣四個特性：

1）目標出現時必然只占據少量像素（1～3個左右），并與周圍背景像素呈現出一定數量的灰度差異；

2）運動性，即相鄰兩副圖像中的目標位置既相鄰又有差異；

3）導彈的形狀結構、來襲方位與飛行姿態共同決定了其在焦平面上的投影幾何測度，據此可提取出計算機視覺不變量，作為目標判別依據；

4）溫度和輻射強度變化率是識別判據的關鍵性參數。因為它們集中反映了目標的物理特征和動力學特征。特別在紅外光學系統不能測距情況下。

4.2 圖像灰度值的統計特性分析

自然景觀紅外圖像灰度值的統計特性為：隨機噪聲大，像素灰度值的波動量為2%左右；圖像灰度值統計特性基本呈正態分布，均值約為14－bit灰度滿量程的1／8，方差在150左右。另一方面，CCD存在壞元，且各像元的輸出存在較大的非均勻性。

據此，為提高圖像質量，需進行了盲點剔除以及非均勻性校正等圖像預處理工作；為增強信噪比，應進行灰度均衡化處理，同時保留圖像細節。這些預處理工作可以提高探測的魯棒性與靈敏性。

4.3 軟件系統流程設計

在目標探測中，綜合應用基于小波降噪、小波系數逐層配準、多幀積累、差分、統計濾波等方法；在目標跟蹤中，綜合應用目標亮度、形態、速度上的時空相關性，應用聯合相關自適應匹配器，穩健跟蹤最危險目標；在目標識別中，根據導彈不同部分在3～5μm紅外波段的輻射特性差異，應用圖像的超分辨分析計算出目標的溫度梯度場的分布，結合目標投影幾何測度進行識別，可以提高識別概率。軟件系統框圖如圖12所示，包含目標探測、跟蹤、識別三部分，其中跟蹤與識別同步處理[9]。

4.4 主要算法原理描述

1）基于小波分析的圖像處理。根據Mallat算法，圖像的小波多分辨分析為

圖12 軟件設計系統框圖

重構公式為

當h（n），g（n）構成正交鏡像濾波器對，且有

?因此，根據式（4）、（5），可以對圖像G進行多分辨分解和重構。從濾波器理論出發，h（n），相當于一個低通濾波器，相應的g（n），g～（n）相當于一個高通濾波器。

上述多分辨分析可以理解為圖像在兩個垂直取向的空間頻率上進行分解和重構的過程。

2）小波降噪。小波分析去噪步驟：

（1）二維信號小波分解。選擇一個小波和小波分解的層次N，然后計算圖像的N層分解。

（2）逐層對高頻系數進行閾值量化。

（3）二維小波的重構。根據小波分解的第N層的低頻系數和經修改的第1層到第N層的各層高頻系數計算二維信號的小波重構。

3）基于小波模極大的逐級圖像配準。除了相對平移，還存在旋轉和畸變這些嚴重阻礙高精度配準的因素。我們的工作中，假設圖像中不存在畸變，只有位移和旋轉。在這樣的前提下，配準工作采用仿射模型。

仿射變換模型如下：

式中：（x，y）為第一幅圖中點的坐標經變換后對應第二幅圖中的坐標（x’，y’）；θ為第一幅圖與第二幅圖間的旋轉因子；Δx、Δy為兩圖沿兩個正交軸方向的平移量。

將θ及Δx、Δy作為配準參數，當配準參數正確時，兩圖像應處于最佳匹配位置。具體的搜索策略為：對配準參數θ及Δx、Δy設置范圍和步長，逐步長進行互相關系數的計算，互相關系數最大處就是最佳匹配位置，對應的配準參數就是最佳配準參數。將獲得的配準參數施用于原圖像，就可實現圖像的配準。

L層的小波模極大為

通過搜索在N＊N大小的區域內ML－1（i，j）的最大和，即可確定配準的種子區域F。

4）圖像差分法。該算法具有低復雜度、速度高的特點，適于實時處理。

5）基于高通濾波器的單幀檢測。由于是小目標，因此目標必然在頻域中呈現出高頻特性，而其周圍大面積背景圖案則處于低頻段，所以圖像經高頻數字濾波后，留下的是高頻部分（目標）。

6）自適應門限檢測及圖像分割。利用Otsμ方法（以最佳門限將圖像灰度直方圖分割成兩部分，并使兩部分的類間方差取最大值）在圖像的目標區域上自適應地找出閾值，設為T，再用T對目標區域進行分割，以得到紅外小目標的廣義邊緣二值圖象。進行形態膨脹，結構元素選為十字五點陣，將目標可能斷開的邊緣點連成一體，然后計算圖中各可能目標的幾何中心、面積、周長等幾何側度，作為識別判據。

5 結語

本文主要以紅外焦平面圖像處理系統內包含的圖像采集模塊、圖像預處理模塊和圖像處理模塊為設計中心，并根據各模塊所要實現的具體功能提出實現方法。采用數字設計工具對電路設計、綜合布線等進行設計和仿真，提高了系統設計的效率，保證了系統的穩定性和兼容性。系統設計中使用的DSP芯片和FPGA芯片不僅性能強勁，而且還具有可在線編程的優點，使系統應用的靈活性得到了很大的提升。本系統可以實現從紅外圖像的產生、傳輸、存儲、圖像增強、目標識別等功能，可以應用在安保監控、戰場監視、森林防護等很多領域。

[1]任陽陽，邵曉鵬.非制冷紅外焦平面陣列成像系統圖像處理軟件設計[J].電子科技，2009（5）：1－3.

[2]孫學金，高太長，翟東力，等.基于非制冷紅外焦平面陣列的全天空紅外測云系統[J].紅外與激光工程，2008（5）：761－764.

[4]曾祥鴻，劉慧.320×240非制冷紅外焦平面陣列驅動電路的設計[J].現代電子技術，2005，20：40－41.

[5]秦良，蔣亞東，呂堅，等.非制冷紅外焦平面陣列CMOS讀出電路設計[J].國外電子測量技術，2006，6：32－34.

[6]秦文罡，讓星，高愛華.非制冷紅外焦平面陣列器件驅動電路的研究[J].紅外，2008，06：1－4.

[7]周慧鑫，拜麗萍，秦翰林，等.基于自適應濾波的紅外焦平面陣列非均勻性校正算法[J].強激光與粒子束，2009，11：1611－1614.

[8]張沛，祝紅彬，呂堅，等.低噪聲非制冷紅外焦平面陣列驅動電路的設計[J].紅外與激光工程，2010，5：806－810.

[9]李靜，金龍旭，郭偉強.320×240元非制冷焦平面信號處理電路設計[J].激光與紅外，2005，12：935－937.

[10]干戈.一種基于DSP和USB的圖像處理系統設計[J].計算機與數字工程，2008（11）.