基于SOPC的紅外熱成像系統設計與實現

鐘海林， 楊粵濤， 王 鑫， 曹 峰， 王 濤， 李 桃

(蘇州長風航空電子有限公司，江蘇 蘇州 215151)

1 引 言

在邊海防監控系統中，非制冷連續變焦紅外熱像儀接收目標物體紅外輻射，轉換為紅外圖像信息，是實現邊境目標監測與跟蹤的核心設備之一，其性能的優劣將直接影響系統的捕獲能力與探測距離。非制冷紅外焦平面陣列(IRFPA)正朝著高靈敏、大面陣、高分辨率、低功耗、數字化方向發展。隨著國產廠商在非制冷焦平面制造技術上的突破和紅外光學鏡頭設計制造技術的快速發展，面向機載光電雷達、紅外搜跟系統、邊海防等全天候偵察監控等領域的高分辨率紅外成像系統的國產化需求越來越迫切[1-5]。

基于此，針對邊海防監控領域對國產高分辨率非制冷紅外成像顯示技術的需求，本文提出了一種基于GST817VM1E國產非制冷紅外探測器成像與增強顯示技術方案。本文所設計紅外熱成像系統以可編程片上系統(SOPC)為核心搭建硬件平臺，以DDR3 SDRAM作為紅外圖像緩存器，使用SOPC內部集成NiosⅡ軟核作為系統控制器，配合SOPC可編程單元實現探測器焦平面非均勻性校準(NUC)、兩點校正、盲元補償、減本底和自適應圖像增強等處理[6-8]，支持輸出PAL、Cameralink、DVI等紅外圖像視頻，最高可輸出14位灰度級800×600分辨率紅外圖像，幀率可達到60 frame/s，支持連續變焦和自動調焦控制，具有大面陣、高分辨率、高幀頻等優點，能夠滿足邊海防監控系統紅外成像顯示需求，同時為城市高點監控、森林防火等紅外熱成像應用領域提供了可行的技術方案。

2 系統架構及其工作原理

2.1 紅外熱成像系統架構

系統由紅外光學鏡頭、探測模塊、信號采樣模塊、圖像處理模塊、接口模塊構成，如圖1所示。結合監控距離需求，紅外光學鏡頭選用北京藍思泰克30～150 mm連續變焦鏡頭，支持電動變焦與電動調焦。

圖1 系統結構框圖Fig.1 Block diagram of system

探測模塊由溫度傳感器、快門組件、非制冷紅外探測器GST817VM1E組成，采用TMP101檢測環境溫度，快門組件選用對開式磁電快門組件，為探測器校正提供均勻參考面。

信號采樣模塊由探測器偏置電壓生成、半導致冷器(TEC)溫控、信號調理采樣等功能電路構成，實現對探測器輸出的紅外圖像模擬信號調理采樣與探測器工作焦溫實時調節。

圖像處理模塊采用Altera公司5CGXFC9D6

F27I7N現場可編程芯片為核心搭配存儲器控制電路，通過Avalon總線實現DDR數據存取，采用Nios軟核作為圖像處理控制器，實現圖像紅外非均勻校正、盲元補償、自動聚焦和增強顯示等處理。

接口模塊為整個系統提供電源輸入轉換、紅外圖像顯示輸出和對外調試通信功能。

2.2 系統工作原理

該系統基本工作原理為：系統工作時，圖像處理模塊上的現場可編程門陣列(FPGA)生成GST817VM1E探測器所需工作時序、復位信號及相應的偏置電壓，驅動GST817VM1E探測器完成光電轉換，將經光學鏡頭聚焦到探測模塊的GST817VM1E探測器上的被觀測場景中的紅外輻射轉化為模擬電壓信號，通過探測器奇偶兩路通道輸出，兩路模擬電壓信號經過幅值調理、隔離、單端轉差分等信號調理后經AD9251高精度采樣轉換為14位數字信號，并以低電壓差分信號(LVDS) 電平標準輸入到圖像處理模塊FPGA，利用Nios軟核實現對紅外數字圖像信號圖像非均勻性校正、盲元補償、灰度變換、自動聚焦及圖像增強等處理流程控制，最后按照不同標準視頻時序重構14位的灰度紅外圖像數據，經接口模塊輸出電路輸出標準視頻數據流，實現PAL、DVI及CameraLink視頻輸出顯示。

3 GST817VM1E探測器簡介

探測器性能決定了紅外熱成像系統的性能上限，選擇高性能的探測器能顯著提高系統的成像效果和熱分辨力。本文選用武漢高德公司生產的金屬真空封裝氧化釩非制冷紅外焦平面陣列GST817VM1E。其陣列規模為800×600像素，內部集成溫度傳感器，像元間距為17 μm，噪聲等效溫差(NETD)<80 mK，采用奇偶列兩通道輸出，幀頻達60 Hz，內部包含氧化釩微測輻射熱計焦平面陣列(IRFPA)，硅讀出電路(ROIC)和封裝在金屬管殼中的TEC，適用于監控領域紅外輻射成像。ROIC由像素陣列、列級電容跨導放大器、采樣-保持電路、列緩沖電路、輸出緩沖電路組成，內置非均勻校準控制電路，包含列校準電路和相關邏輯控制，通過外部輸入校準信號，實現對每個傳感器像素點做固定偏差和增益的校準。

GST817VM1E探測器正常工作條件包括工作電源和驅動信號，工作電源由數字電源、模擬電源和偏置電壓構成，驅動信號包括時鐘信號、配置數據和片上非均勻校準(NUC)參數。根據GST817VM1E探測器使用手冊可知，探測器數字電源VDD33為3.3 V，VDD為1.8 V，模擬電源AVD33為3.6 V。為滿足探測器工作電源特性需求，本文分別采用低壓差線性穩壓器TPS79933、TPS79918、ADP7102產生上述3.3，1.8，3.6 V工作電源。探測器正常工作所需的偏置電壓要求如表1所示，選用可編程線性穩壓器 AD5324產生VSK、GFID偏置電壓，實際工作中需根據探測器片上非均勻校準情況動態微調偏置電壓幅值。

表1 GST817VM1E偏置電壓Tab.1 Bias voltage of GST817VM1E

GST817VM1E探測器工作所需驅動信號包括主時鐘(TMC)、行積分輸入時鐘(INT)、探測器復位輸入時鐘(RESET)、NUC參數及探測器配置數據。探測器通電后首先進行初始化配置，配置數據通過SERDAT串口寫入探測器內部寄存器。然后結合外部校準數據輸入有效時鐘(CAL_DATAVALID)和非均勻校準參數(CAL_DAT[5:0])實現探測器片上非均勻校準參數計算和探測器校準參數配置。探測器時序、校正數據和輸出的時序關系如圖2所示[9]。

圖2 探測器帶非均勻校準工作時序圖Fig.2 Timing diagram of GST817VM1E

4 系統關鍵技術

4.1 探測器驅動設計

本文探測器驅動由系統電源控制模塊、偏壓控制模塊、時序生成模塊和片上非均勻校準模塊構成。

系統電源控制模塊采用Nios軟核控制各模塊電源轉換芯片使能信號使探測器數字電源先上電，模擬電源后上電，高電壓先上電，低電壓后上電，避免寄生和穿通電流對芯片可靠性和壽命的影響；系統下電時先關斷模擬電源后停止數字電源，低電壓先下電，高電壓后下電，避免閂鎖(Latch-up)效應。

偏壓控制模塊采用AD5324芯片產生探測器工作所需偏置電壓VSK、GFID_E和GFID_O，并根據NUC校準實時調整VSK偏置電壓使探測器輸出幀均值在7 800～8 300之間，固化VSK電壓。根據探測器奇偶通道輸出差異調整GFID_E和GFID_O幅值，減小奇偶通道數據差，提高輸出圖像信號均勻性。FPGA通過串行外設接口(SPI)編程配置AD5324四路輸出電壓，配置數據共16位，包含4位控制信號與12位有效數據。

(1)

其中：Vout為AD5324輸出電壓，Vref為精度0.001 V參考電壓源，D為12位有效數據，N為12。根據式(1)，計算出偏置電壓對應的D，通過SPI寫入AD324輸入移位寄存器中即可。

時序生成模塊以探測器工作時序圖2為基準，規格為800(H)×600(V)，按下列要求配置探測器工作時序。

(1)INT上升沿后2個主時鐘(MC)后，拉高CAL_DATAVALID，開始預存第一行的校準數據(區別奇偶列)，整幀第一個INT和最后一個INT是dummy行，不進行數據校正，校準工作共需(V+2)個INT行周期。第一個INT串口設置有效，預存第一行的校準數據，最后一個INT讀出最后一行數據。

(2)為保證校準數據穩定輸入，校準數據CAL_DATA[5：0]相對于校準時鐘(使用系統時鐘MC)的上升沿下降沿，延遲10 ns輸入。

(3)系統校準時，串口數據SERDAT在第一行校準數據輸入前完成，系統每幀作外部復位，幀起始先做串口數據輸入，然后再作校準數據輸入，重復V+2行INT時鐘周期。

(4)INT時鐘高電平周期要大于30個MC，低電平周期要大于60個MC，INT高電平長度應為MC主時鐘周期的整數倍。

(5)INT時鐘需滯后MC 10 ns，CALDATAVALID滯后MC 10 ns，SERDAT滯后MC 10 ns，CAL_DATA[5:0]滯后MC上升沿和下降沿10 ns 。

(6)在Datavlid變高后2個MC，FPGA開始探測器采集輸出信號。

圖3 NUC校準數據計算流程Fig.3 Flow chart of non-uniform correction

片上非均勻校準數據(NUC)模塊與偏壓控制模塊協同工作，校準數據通過CAL_DATA[5：0]和同步時鐘CAL_DATAVALID配合輸入，實現對每個像元點做固定偏差和增益的校準。NUC校準數據共12位，初始值為0×888，高4位對應粗精度校準，中間4位對應中等精度校準，低4位對應微細精度校準，NUC參數計算順序從高4位的粗精度校準開始，隨后是中等精度校準，最后是微細精度校準。參數計算過程采用逐位逼近的方法從高4位向最低4位更新校準數據，并將更新后的校正數據通過CAL_DATA[5：0]送入探測器，計算當前校準參數下探測器VIDEO輸出幀平均值Tj與探測器像元i(0

4.2 信號采樣與TEC溫控

4.2.1 模擬信號采樣

探測器像元數據采樣直接影響紅外熱成像圖像質量優劣，本文采用高精度差分采樣芯片AD9251實現探測器奇偶兩通道圖像模擬信號模數轉換(圖4)。探測器模擬信號輸出電壓范圍為1～3 V，AD9251差分輸入范圍為-1～1 V之間(2Vpp)，因此需要對探測器輸出的兩路圖像模擬信號進行幅值調理和單端轉差分轉換[10]。本文采用ADA4896對奇偶通道模擬信號(VIDEO_O、VIDEO_E)進行阻抗匹配和電壓信號跟隨放大，采用ADA4940對模擬信號進行幅值調理濾波，將1～3 V模擬圖像信號轉換為-1～1 V之間的差分信號送入AD9251兩路差分采樣轉換為14位數字信號。AD9251所需差分時鐘信號CLK_AD9251通過AD9515轉換探測器MC同源時鐘實現。

圖4 模擬信號采樣流程Fig.4 Flow chart of analog signal sampling

針對探測器奇偶通道同時輸出機制，需要將轉換后的奇偶通道數字信號合并成一幀完整圖像數據。本文通過探測器成像時INT行積分與非INT行積分輸出的AD值差異尋找每幀圖像第一行第一個有效像素數據，結合探測器上電配置狀態實現奇偶通道紅外圖像數據拼接。

4.2.2 TEC溫控設計

為提高系統熱成像分辨率，降低后期非均勻校正難度，最大程度改善成像質量，必須確保探測器焦平面溫度的一致性和穩定性[11]。本文結合探測器使用手冊對噪聲、精度和功耗等的要求，選用0.001 ℃精度的MAX1978為核心搭建系統TEC溫控電路穩定探測器焦平面溫度。探測器焦溫輸出信號VTEMP經OPA2340EA轉化為兩路電壓輸出，對其分壓調幅后一路送ADS1110溫度采樣芯片計算探測器焦平面溫度，另一路送入MAX1978作為探測器焦平面溫度輸入信號。采用TMP101采樣探測器環境溫度，設計線性分段溫控方法計算當前環溫下應設定焦溫值T，設定焦溫值T通過MAX5417電橋電路轉換設定焦溫電壓送入MAX1978，經內部PID網絡計算后輸出TEC溫控信號到探測器TEC+和TEC-引腳，實現焦溫實時控制，流程如圖5所示。

圖5 TEC溫控流程Fig.5 Flow chart of TEC

4.3 紅外圖像校正與增強顯示

4.3.1 熱成像工作模式設計

本文系統包含校正與標定兩種工作模式，其中標定模式主要用于計算兩點校正參數、盲元補償處理，校正模式為正常熱成像工作模式。系統上電后，完成探測器機芯電路和連續變焦光學鏡頭初始化，讀取當前探測器襯底溫度，判斷是否達到設定工作焦溫，按照圖2時序生成探測器工作時序，采樣探測器輸出圖像信號。Nios控制器根據外部輸入判定系統當前工作模式后進行紅外成像(默認校正模式)和系統校正系數計算(標定模式)，具體流程如圖6所示。在校正模式下，Nios軟核控制器讀取FLASH中非均勻校正系數至DDR3內存，進行紅外圖像校正與增強處理，并根據當前溫度變化判斷是否需要重新計算當前減本底參數。若需要則采用單點標定法計算，并采用更新后的本底參數與當前圖像數據進行差值運算，降低溫漂對紅外熱成像圖像質量的影響，最后按照視頻電子標準協會(VESA)標準生成標準視頻輸出顯示。標定模式下采集不同工作溫度下黑體紅外輻射，采用兩點法計算非均勻校正參數和探測器盲元點，并保存到外部FLASH中，供校正模式下紅外熱成像校正使用。

圖6 圖像處理與顯示流程Fig.6 Flow chart of image processing and display

4.3.2 FPGA與Nios交互機載設計

本文采用Nios軟核作為系統控制器，負責紅外成像處理流程和工作狀態控制，采用PIO通信機制與FPGA邏輯電路交互。FPGA負責校正系數計算，將計算好的參數數據通過DMA傳輸到DDR3，Nios通過配置不同的DMA描述字符將校正系數分配至不同地址，并存儲到外部FlASH中。系統上電初始化時，再通過Nios讀取外部FlASH中不同校正參數到DDR3相應內存地址，并通過PIO通信機制告知FPGA圖像處理邏輯電路，并按約定內存地址讀取相應系數，實現片上非均勻校準(NUC)、兩點定標和減本底系數計算協同。

圖7 FPGA內部交互架構圖Fig.7 Internal interactions block diagram of FPGA

4.3.3 兩點非均勻校正與減本底設計

(1)

(2)

計算每個探測器像元的空間響應輸出xij校正后輸出yij：

(3)

yij=Gijxij+Oij，

(4)

兩點校正算法計算量小，適用于嵌入式系統，可實現實時校正，對目標圖像無嚴格要求，但當溫度變化范圍較寬時，由于探測器響應并非嚴格線性，兩點校正系數Gij和Oij會依賴于所取的溫度T1和T2。本文針對此類情況，根據邊海防監控所需工作環境溫度要求共選擇-20，10，30 ℃共3個溫度段內進行兩點校正參數計算。

(5)

(6)

式(5)中N為探測器面陣中探測元總的個數。把各校正因子一起存入外部FLASH，紅外成像時用采集到的探測器像元數據實時減去Kij，并可根據探測器焦溫變化決定是否重新計算本底校正因子。

4.3.4 自適應紅外圖像增強設計

為解決傳統直方圖均衡化后圖像灰度細節丟失、不能較好地適應場景變化等問題，本文在直方圖均衡化算法基礎上做出改進，設計實現自適應雙平臺直方圖均衡算法，增加了上下限平臺閾值，對占有大量像素的背景和噪聲進行適度抑制，起到保留圖像的灰度信息、保護弱小目標和細節的作用。

本文自適應雙平臺直方圖均衡化算法FPGA實現過程主要分3步，首先進行原圖直方圖統計，接著計算出上、下平臺閾值，最后根據上下平臺閾值，修正原來直方圖重新進行灰度映射。平臺閾值計算需要使用一片隨機存儲器(RAM)和兩個先進先出(FIFO)存儲資源完成，考慮到視頻處理的實時性，本文采用統計上一幀直方圖得到新的灰度級來實現下一幀畫面灰度映射的方法。其具體實現過程描述如下：

(1)實時統計當前幀的灰度直方圖并保存至雙口RAM1；

(2)在幀間隔時間內(當前幀結束與下一幀數據有效前)，從地址0開始依次讀出RAM1中的直方圖單元值，將非零直方圖單元值寫入FIFO1中；

(3)RAM1中數據讀出完成后，從FIFO1中依次取出數據先做一維3鄰域均值濾波并求出一維3鄰域極大值放入FIFO2中，將所有極大值相加并求均值，這個均值則為上平臺限閾值THigh。

(4)將直方圖單元值全部累加起來，除以原灰度級數(16 384)即得到下平臺閾值Tlow，每修正一次直方圖累加和F(M)發生改變，下限平臺閾值Tlow也隨之更新。

(5)再次從地址0開始讀出RAM1中的所有數據，根據上、下平臺閾值更新原直方圖單元值，超過上平臺閾值的直方圖單元用上平臺閾值替換，低于下平臺閾值的直方圖單元用下平臺閾值替換，其他保持不變，最終得到新的直方圖。

(6)更新直方圖單元值的同時，根據灰度映射公式，計算出原灰度級對應的新灰度值，將新的灰度值保存至RAM2。

考慮到FPGA中實現浮點運算較為復雜，本文求取灰度值不直接計算其累積概率函數，而是將最終灰度映射運算一起考慮，先進行整數乘法運算，再做整數除法運算，自適應雙平臺直方圖均衡化算法的FPGA實現流程，如圖8所示。

4.3.5 連續變焦與自動聚焦設計

連續變焦紅外成像系統需要實現不同光學視場下清晰成像，需要支持光學鏡頭變焦和調焦、光學和機械補償等功能[16-19]。本文紅外圖像自動聚焦設計包含變焦控制電路模塊和FPGA圖像清晰度計算模塊，變焦控制電路模塊通過控制連續變焦光學鏡頭變焦和調焦電機位置運動實現鏡頭視場變倍和光學調焦，FPGA圖像清晰度計算模塊通過FPGA計算每幀圖像窗口區域內的所有像素的清晰度值，并將計算結果按照圖像幀頻的速率發送給變焦控制電路模塊。變焦控制電路模塊每接收到一幀圖像的清晰度值，首先匹配一下當前調焦電機的位置值，然后執行一次爬坡比較算法，接收連續5幀的圖像清晰度數值，進行爬坡各過程的趨勢比較，并最終確定最佳清晰點位置，實現紅外圖像自動聚焦功能，自動調焦主要步驟如下：

(1)比較連續5幀頻圖像清晰度數據(AF_DATA[0]～AF_DATA[4])的排列趨勢，如果連續變小，則表示處于下坡趨勢，控制電機反向運動；若連續變大，則表示處于上坡趨勢。清除當前狀態圖像清晰度數據，跳轉到步驟(2)繼續比較。

(2)重新保存連續5組(幀頻)的圖像清晰度數據(AF_DATA[0]～AF_DATA[4])，比較連續5幀頻圖像清晰數據的排列趨勢，若連續變小，則判斷已越過波峰頂點，開始下坡運動，此時連續清晰度數據中最后的數據AF_DATA[4]，即為坡峰的頂點位置；為了提高自動聚焦正確率，調轉運動方向，減慢運動速度，重新尋找坡峰頂點位置，跳轉到步驟(3)繼續比較。

(3)降低電機步進速度，提高尋位精度，再次重新保存有連續5組(幀頻)的圖像清晰數據(AF_DATA[0]～AF_DATA[4])，并比較連續5幀頻圖像清晰數據的排列趨勢，若再次連續變小，則表面此時再次越過了波峰頂點，并開始了下坡運動，則此時記錄的最大圖像清晰度數據即為再次找到的波峰頂點，所對應的鏡頭位置即為調焦的最佳位置，將此位置值賦值給目標位置，運動至此，則完成自動聚焦位置定位。

5 實驗與結果

5.1 實驗條件

系統實驗環境如圖9所示，采用法國HGH準直儀系統，通過準直儀中控工作站(采集、控制和處理系統)控制DCN1000H3差溫黑體溫度，達到不同的光照度。將被照射的靶標放置在靶輪上平行光管的焦點上，透過靶標的光能量經過反射鏡反射后，模擬無窮遠處的目標，連續變焦紅外相機放置在平行光管前方，將接收到紅外輻照轉變為紅外圖像信號，通過Cameralink接口傳輸給中控工作站Cameralink采集卡后生成圖像，經工作站中Infratest-LT軟件分析計算測試連續變焦紅外相機NETD和MRTD指標。

(a)連續變焦紅外相機(a)Continuous zoom infrared camera

5.2 實驗結果

針對上述實驗條件所得實驗結果如表2所示。

表2 紅外相機實驗結果

6 結 論

本文設計了一種基于國產GST817VM1E探測器的高分辨率紅外成像系統，采用SOPC單芯片同步實現非均勻性校正和圖像增強，利用NiosⅡ軟核作為圖像處理控制器有效實現了對紅外圖像的片上非均勻性校正(NUC)、兩點校正和減本底處理，改進自動聚焦算法，設計自適應雙平臺直方圖均衡化算法，有效增強了紅外圖像對比度，細節更加清晰同時背景得到了較好的抑制。系統支持輸出PAL、Cameralink、DVI等多種格式分辨率的紅外視頻圖像。實驗結果表明，采用該技術后可輸出14位灰度級的800×600分辨率紅外圖像，幀率可達到60 frame/s，具備連續變焦和自動調焦控制功能，能夠滿足邊海防監控等領域應用需求。