基于FPGA的紅外圖像仿真注入系統

管目強，李 巖，黃 梅，王鶴淇

（1.中國科學院長春光學精密機械與物理研究所，吉林長春130033；2.中國科學院研究生院，北京100039）

基于FPGA的紅外圖像仿真注入系統

管目強1，2，李 巖1，黃 梅1，2，王鶴淇1，2

（1.中國科學院長春光學精密機械與物理研究所，吉林長春130033；2.中國科學院研究生院，北京100039）

設計了一種新的圖像注入系統來實現PC機仿真圖像到紅外處理系統的直接傳輸。首先，該系統利用USB2.0接收PC機對外場實測數據仿真得到的BMP格式文件，用FPGA控制由兩個SDRAM組成的緩沖模塊進行圖像緩存，然后通過Camera Link接口傳送出去。系統數據緩存采用乒乓操作，避免了數據處理時無法持續接收而丟失有效數據的現象。測試時用圖像采集卡進行圖像采集并顯示。結果表明，該系統具有速度快、實時性好、穩定性高等特點，可替代光電跟瞄設備進行仿真訓練及設備的動態檢驗。

紅外圖像仿真；圖像注入系統；FPGA；乒乓操作；camera link接口

1 引 言

在軍隊靶場訓練基地，操作人員主要通過光電跟瞄設備完成對目標的捕獲跟蹤任務，能否迅速準確地捕獲跟蹤高速目標是檢驗光電跟瞄設備性能的主要手段。跟蹤分為自動跟蹤和手動跟蹤。由于武器平臺具有機動性強、目標遠、目標小等特點，自動跟蹤很容易把目標跟丟，因此必須有手動跟蹤作為補充。而手動跟蹤對操作手的操作能力有著很高的要求，操作手的跟蹤捕獲能力需要在大量的訓練中得以提高。

目前，在光電跟蹤設備訓練方面的研究，大多都屬于純計算機仿真訓練，脫離了實際的光電跟瞄設備。這些系統在跟蹤慢速運動目標時，效果很好，但是在跟蹤高速運動目標時，效果不是很理想。從使用方面看，現在的跟瞄設備訓練系統的數據源均由算法計算所得，其效果很難接近真實的飛行環境，并且模擬訓練不能實現閉環要求，無法實現對光電跟瞄設備的動態檢測［1，2］。因此靶場實驗基地急需一套專門的、低成本而又高效率的模擬訓練系統。

本文提出了一種新的仿真圖像注入系統，該系統利用PC機對外場測得的目標飛行信息進行仿真，然后將仿真結果注入到跟瞄設備中，從而替代光電設備進行仿真訓練及設備的動態檢測［3］。

2 圖像注入系統運行模式

目標跟蹤系統分為兩種運行模式：一種是操作手訓練模式，該模式下可以不開啟紅外相機，對操作手進行模擬訓練，同時還可以對跟蹤系統的動態性能進行檢測；另一種是實戰狀態，在這種狀態下可以實現目標的手動跟蹤和自動跟蹤。兩種模式的切換方式如圖1所示。

訓練模式時操作手操作單桿，并將信息傳遞給仿真控制系統，控制系統根據初始化參數、單桿控制信息及外場實驗圖像數據庫生成目標圖像，并疊加背景圖像，生成BMP格式的輸出圖像，然后利用仿真圖像注入系統傳輸到圖像處理系統，圖像處理系統解算出脫靶量等信息，并將處理結果傳遞給控制系統，完成對目標的捕獲訓練。

圖1 圖像注入系統運行模式圖Fig.1 Operation diagram of image injection system

3 仿真圖像注入系統

本文設計的仿真圖像注入系統技術指標如下：

（1）圖像注入系統接收PC機發出的仿真圖像信息，接收速度要求大于15 MB/s。即圖像注入系統可以接收分辨率為320×240，深度為16，幀頻為100 frame/s的圖像。

（2）注入系統能將接收到的圖像數據按照Camera Link協議高速、實時、不間斷地送給后級圖像處理系統，保證傳遞到后級系統的圖像數據沒有丟幀的情況發生。

根據圖像注入系統的技術指標采用模塊化設計思想，模塊分為圖像數據接收模塊、圖像數據緩存模塊、圖像數據發送模塊和時序控制模塊。系統框圖見圖2。

圖2 圖像注入系統框圖Fig.2 Block diagram of image injection system

3.1 圖像數據接收模塊

圖像數據的接收速率要求大于15 MB/s，滿足該速率的方案可以使用USB2.0和PCI總線，但USB2.0具有應用廣泛、攜帶方便的特點，故本系統選用USB2.0作為數據的接收方式。

設計中采用Cypress公司的EZ-USB FX2芯片，該芯片將USB外圍接口設備所需要的各種功能包裝成一個簡潔的集成電路。EZ-USB FX2的串行接口引擎（SIE）可工作在全速（1.5 MB/s）或高速（60 MB/s）傳輸速率下。為了實現60 MB/s的高傳輸速率，外部邏輯通常直接接到FIFO進行數據傳輸，且在傳輸過程中不需要FX2 CPU的參與。當一個實際應用要求CPU處理外部邏輯與USB之間傳輸的數據，或者當不存在外部邏輯時，則固件程序能夠存取端點緩沖區，就像取RAM區或者利用一個自動增量指針存取FIFO一樣。

FX2有兩種接口方式：Slave FIFOS和通用可編程接口（GPIF）。本文采用的是Slave FIFOS方式，這種接口與FPGA相連比較簡單。FIFO數據總線寬度FD［x：0］可以是8位，也可以是16位，其由FIFO的WORDWIDE位（EPxFIFOCFG.0）決定。芯片上電或復位后，FIFO的數據總線默認為16位（WORDWIDE=1）。FIFOADR［1∶0］引腳用于選擇4個內部FIFO中的一個與FD腳連接［4］。

3.2 圖像數據的緩存模塊

圖像數據緩存可以采用三種方案：一是采用先進先出（FIFO）的方式，該種方式具有兩套數據線，沒有地址線，可以在一端寫的同時另一端讀；二是采用雙端口RAM的形式，與第一種方式不同，該方式具有兩套獨立的數據、地址和控制總線，可以從兩個端口同時讀寫而互不干擾；三是采用雙SDRAM結構，該結構使SDRAM工作在“乒乓”模式，一個SDRAM接收數據的同時另一個SDRAM發送數據。第一種方案讀寫數據比較呆板，并且大容量的高速FIFO非常昂貴；第二種方案大容量的高速雙口RAM很難實現且價格高。考慮到系統的性能、價格及讀寫速度等原因，本系統采用第三種方案［7］。

SDRAM作為系統的緩存區來完成圖像的暫存功能。SDRAM需要對接收來的一幀數據進行緩存，每幀圖像的尺寸為 320×240×16= 1 228 800 bit，近似為150 KB。因此，采用兩片256 KB的SDRAM就可以實現系統的緩存要求。

3.3 圖像數據的發送模塊

Camera Link協議是各公司為簡化圖像采集的接口，該協議使不同制造商的圖像采集卡與數字相機有了一個統一的連接標準。Camera Link采用LVDS傳輸方式，該協議比較適宜于高速數據的傳輸。Camera Link是由channel link技術發展而來的。channel link包含一個驅動器和一個數據接收器。發送端驅動器在一個時鐘周期內將28位的數據信號以7∶1的比例轉換成4路數據信號對，同時將時鐘信號也轉換成1路時鐘信號差分對，發送器將這5路差分信號同時傳送給接收端。接收端將接收到的5路差分信號轉換回28位的并行信號和1位時鐘信號。采用這種傳輸方式可以減少數據傳輸中電纜的條數和數據接收器個數［8］。

發送模塊主要采用NI公司的DS90CR287來實現。如圖3所示，DS90CR287對FPGA送出的28位TTL數據信號和1路時鐘信號進行電平轉換與發送。28位數據包括：24位圖像數據，4位圖像數據同步信號Spare，LVAL，FVAL和DVAL，設計中只用到FVAL和LVAL同步信號。

圖3 Camera Link接口電路Fig.3 Camera Link interface circuit

3.4 時序控制模塊

時序控制模塊采用 ALTERA公司的EP2C8Q208C8N作為整個圖像注入系統的時序控制模塊。該模塊主要控制USB2.0接口的數據接收、SDRAM的讀寫和Camera Link接口的數據發送。

FPGA和USB2.0之間的數據傳遞采用Slaves FIFOs的形式，該設計方法比較便捷。為避免讀寫過程的亞穩態、空滿狀態判斷問題，設計中采用格雷碼指針和劃分地址空間方法產生空滿邏輯。控制狀態機發出的控制信號不斷查詢Slaves FIFOs的空滿狀態，根據這些狀態決定是否將接收的數據讀到FPGA中，根據狀態機的控制信號判斷把數據寫入相應的SDRAM中。

對雙緩存SDRAM的控制采用在FPGA中構建嵌入式系統來實現，利用IP核的形式來構建。SDRAM控制器核可通過不同的數據寬度（8位、16位、32位或64位）來訪問SDRAM，可以訪問不同容量且有多個片選的存儲器。可以完成SDRAM的初始化，將FPGA發出的讀寫指令轉變為SDRAM的讀寫電平格式，以及定時刷新SDRAM等工作。SDRAM從FPGA發出讀寫控制指令到SDRAM與數據總線之間實現交換，有11個時鐘周期的延遲時間。為提高傳輸的效率，SDRAM的讀寫采用整頁讀寫模式，并將突發讀寫長度設置為64個時鐘周期。SDRAM數據的讀寫控制信號由FPGA中的控制狀態機實現，當寫完一幀數據時兩塊SDRAM進行讀寫功能切換，即原來寫數據的SDRAM切換到讀數據模式，而原來讀數據的SDRAM切換到寫數據模式。

在對數據發送時序控制時采用了 Verilog HDL語言，數據傳輸時采用視頻同步信號的FVAL（幀同步信號）和 LVAL（行同步信號）［9］。如圖4所示，當FVAL為高電平時，輸出一幀有效數據；LVAL為高電平時，輸出一個有效像元行，在兩個有效像元行中間，LVAL會跳過幾個無效的像素點，可以在實際應用中設定跳過的像素點數。當FVAL與LVAL信號都為高電平時，數字圖像數據在時鐘信號PIXCLK的控制下依次發送。設計中FPGA的時鐘為50 MHz，仿真圖像發送控制時鐘信號PIXCLK采用系統時鐘的2分頻，即25 MHz。視頻同步信號FVAL和LVAL均由時鐘信號PIXCLK計數產生，時序如圖5所示。設計中采用幀頻為100 frame/s，所以傳輸一幀圖像所用的PIXCLK周期的個數為25 MHz/100= 250 000個。設定跳過的無效像元P1，P2分別為41，19個PIXCLK周期，幀同步信號FVAL在一個周期中低電平的時間為162 340個PIXCLK周期。傳輸一幀圖像用的時間為240×（320+45）+ 41+19+162 340=250 000個時鐘周期。

圖4 圖像時序信號關系Fig.4 Timing relationship between the image signals

圖5 視頻同步控制信號時序Fig.5 Video synchronous signal timing

根據模塊化設計思想，設計的圖像注入系統的總體數據信號流圖如圖6所示。

圖6 圖像數據流圖Fig.6 Flow diagram of image data

4 試驗結果

根據所設計的硬件電路編寫軟件代碼，FPGA部分的軟件信息采用Flash配置，上電后系統自動加載。系統測試時采用在輸入端連續發送一幅圖像數據為320×240的灰度圖像，圖像深度為16，幀頻為100 frame/s，上位機發送對話框如圖7所示。用CL160采集卡進行圖像采集與顯示，測試結果穩定，沒有丟幀現象，測試效果如圖8所示。測試中平均傳送幀頻為101 frame/s，平均傳輸速率為15.483 MByte/s。

圖7 圖像注入系統上位機測試對話框Fig.7 Dialog box of PC testing in image injection system

圖8 采集卡采集效果圖Fig.8 Collection effect image of acquisition card

5 結 論

本文提出一種將計算機仿真圖像注入到跟瞄設備的方法。該方法既可以完成模擬目標跟蹤日常訓練，提高操作手捕獲跟蹤目標能力的任務，又可以完成跟蹤設備的自動跟蹤性能檢測及跟蹤算法的驗證。輸出圖像數據真實、實時性好、圖像連續無間斷。該系統能夠實現在不開啟紅外相機的情況下完成訓練及各種跟蹤算法的客觀評價，節約了成本。

［1］宋振豐，李巖，于洋.數字圖像注入式紅外目標捕獲跟蹤訓練仿真［J］.中國光學與應用光學，2010，3（9）：194-200.SONG ZH F，LI Y，YU Y.Simulation for IR capturing and tracking train based on digital image injection［J］.Chinese J.Opt.Appl.Opt.，2010，3（9）：194-200.（in Chinese）

［2］王斌，趙躍進.基于電子穩像跟蹤技術濾波算法［J］.光學精密工程，2009，17（1）：202-206.WANG B，ZHAO Y J.Motion filtering algorithm for tracking technology based on image stailization［J］.Opt.Precision Eng.，2009，17（1）：202-206.（in Chinese）

［3］吳軍輝，朱震，薛芳俠，等.數字圖像注入式紅外捕獲跟蹤閉環仿真試驗探討［J］.系統仿真學報，2004，16（9）：2067-2070.WU J H，ZHU ZH，XUE F X，et al..Study on loop-locked IR capturing and tracking simulation based on digital image injection［J］.J.System Simulation，2004，16（9）：2067-2070.（in Chinese）

［4］許永和.EZ-USB FX系列單片機USB外圍設備設計與應用［M］.北京：北京航空航天大學出版社，2002.XU Y H.EZ-USB FX USB Peripherals MCU Design and Application［M］.Beijing：Beihang University Press，2002.（in Chinese）

［5］姚劍敏，靳明，宋建中.基于USB2.0的實時視頻圖像傳輸［J］.數據采集與處理，2004，19（3）：352-355.YAO J M，JIN M，SONG J ZH.Real-time video image transmission based on USB 2.0 technology［J］.J.Data Acquisition Processing，2004，19（3）：352-355.（in Chinese）

［6］梁風梅，趙敬.基于USB2.0的高速實時圖像采集系統［J］.電腦開發與應用，2009，22（6）：26-30.LIANG F M，ZHAO J.An rapid real-time image acquisition system based ON USB 2.0［J］.Computer Development Appl.，2009，22（6）：26-30.（in Chinese）

［7］康艷霞，曹劍中，天雁，等.實時視頻處理系統中乒乓緩存的設計［J］.彈箭與制導學報，2007，27（4）：218-221.KANG Y X，CAO J ZH，TIAN Y，et al..Ping-pang cache structure in real-time video processing system［J］.J.Projectiles；Rockets；Missiles and Guidance，2007，27（4）：218-221.（in Chinese）

［8］BASLER，CONGNEX，CORECO Corporation，et al.Specifications of camera link interface standard for digital camera and frame grabbers［S］.Camera Link Specifications.［S·1·］：BASLER，CONGNEX，CORECO Corporation，2000.

［9］王小艷，張會新，孫永生，等.Camera Link協議和FPGA的數字圖像信號源設計［J］.國外電子器件，2008（7）：59-61.WANG X Y，ZHANG H X，SUN Y SH，et al..Design of numeral picture signal source based on Camera Link standard and FPGA［J］.International Elements，2008（7）：59-61.（in Chinese）

［10］黃維通.Visual C++面向對象與可視化程序設計［M］.北京：清華大學出版社，2003.HUANG W T.Visual C++Object-oriented Programming and Visualization［M］.Beijing：Tsinghua University Press，2003.（in Chinese）.

［11］朱麗，陳鐘榮，張秀再.基于VC的USB接口通信程序設計［J］.電子工程師，2008，34（3）：57-60.ZHU L，CHEN ZH R，ZHANG X Z.Program design of USB interface communication based on VC［J］.Electronic Eng.，2008，34（3）：57-60.（in Chinese）

Infrared image simulation injection system based on FPGA

GUAN Mu-qiang1，2，LI Yan1，HUANG Mei1，2，WANG He-qi1，2

（1.Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China；2.Graduate University of Chinese Academy of Sciences，Beijing 100039，China）

A new image injection system was presented to realize the direct transmission of PC simulated images.Firstly，the system received a BMP file obtained by simulation for the measured data of the external field using PC though USB2.0.Then，a FPGA was used to control the buffer module consisting of two SDRAMs for the image cache，and the image was sent to the image acquisition card by Camera Link.Finally，the image was acquired by the image acquisition card and displayed on a monitor.The ping-pong operation was adopted for data cache to avoid the condition that the data couldn′t be received continuously and valid data may be lost.Experiments show that the image injection system has advantages in well real time，vividly and highspeed features，and provides reliable data for optical equipment scanning and manipulator training.

infrared image simulation；image injection system；FPGA；ping-pong operation；camera link interface

2011-02-11；

2011-04-13

V556；TP391.9

A

1674-2915（2011）03-0277-06

管目強（1985—），男，山東濰坊人，碩士研究生，主要從事計算機仿真應用、視頻數據傳輸方面的研究。E-mail：guanmuqiang@sina.com