基于FPGA的機(jī)載光電觀瞄成像裝置系統(tǒng)設(shè)計(jì)

康亞林，郭 杰，吳 迪，肖明艷，傅 霖

（云南師范大學(xué)物理與電子信息學(xué)院，昆明 650500）

0 引言

機(jī)載光電觀瞄成像裝置是一種安裝在航空器上，并具有導(dǎo)航、目標(biāo)搜索、瞄準(zhǔn)以及穩(wěn)定跟蹤等功能的光電系統(tǒng)，相較于普通成像裝置，工業(yè)航空觀瞄成像裝置往往面臨著更加復(fù)雜和更加嚴(yán)酷的工作環(huán)境，圖像采集系統(tǒng)的性能要求越來越高［1］。早期的工業(yè)航空觀瞄成像裝置很多都是采用CCD 圖像傳感器，由于受到半導(dǎo)體制造工藝水平的限制，CMOS圖像傳感器的性能指標(biāo)均低于CCD 圖像傳感器的性能指標(biāo)。但是近年來，CMOS 圖像傳感器以其開發(fā)周期短、功耗小，尤其是高幀頻高分辨率的特點(diǎn)成功進(jìn)軍工業(yè)、監(jiān)控、航天等領(lǐng)域［2］。電子元器件國(guó)產(chǎn)化替代對(duì)國(guó)防和信息安全建設(shè)具有重要意義，特別是依賴進(jìn)口的航空航天裝備領(lǐng)域。

本文采用國(guó)產(chǎn)CMOS 圖像傳感器HT50A、國(guó)產(chǎn)可編程邏輯器件T120，設(shè)計(jì)了機(jī)載光電觀瞄成像裝置系統(tǒng)的硬件電路，并編寫了控制軟件。

1 系統(tǒng)總體設(shè)計(jì)

機(jī)載光電觀瞄成像裝置系統(tǒng)主要包括三部分：圖像傳感器模塊、信息處理模塊和Camera-Link接口模塊。系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)框圖

2 硬件電路設(shè)計(jì)

2.1 圖像傳感器模塊

采用海圖微電子有限公司的HT50A 圖像傳感器。HT50A 是一款2/3 型5 兆像素高分辨率CMOS圖像傳感器，在2464（H）*2048（V）的全分辨率下，幀速率高達(dá)61.9 fps。HT50A 圖像傳感器分別需要用到數(shù)字電源1.2 V、模擬電源3.3 V、I/O 數(shù)字電源1.8 V。注意供電的電源要進(jìn)行充分的解耦，防止噪聲干擾［3］。設(shè)計(jì)的時(shí)候數(shù)字部分電源和模擬部分電源要分開。電源芯片選用線性穩(wěn)壓器LDO，靜態(tài)電流小、電壓穩(wěn)定、輸出紋波小、負(fù)載響應(yīng)快，最重要的是外圍電路簡(jiǎn)單。

CMOS圖像傳感器的快門模式由系統(tǒng)所使用的傳感器特性決定，主要分為全局快門和卷簾快門兩種模式［4］。全局快門同時(shí)曝光傳感器網(wǎng)格中的所有像素，因此最終數(shù)字圖像的每個(gè)像素都是在同一時(shí)刻捕獲的。卷簾式快門在第一行曝光結(jié)束后，立即開始讀出數(shù)據(jù)，數(shù)據(jù)完全讀出后，下一行開始讀出數(shù)據(jù)。因此卷簾快門的第一行和最后一行像素的捕獲之間存在時(shí)間差，這意味會(huì)發(fā)生由于使用卷簾快門而導(dǎo)致的移動(dòng)物體或場(chǎng)景的圖像失真或模糊。全局快門傳感器通常比卷簾快門傳感器尺寸更大、更感光。

本文選用的這款傳感器具有全局快門像素，高分辨率ADC和高速讀數(shù)。滿足智能交通系統(tǒng)、機(jī)器視覺和工業(yè)檢測(cè)等應(yīng)用中的高性能和高分辨率要求。

如圖2所示，TXDN0/TXDP0-TXDN7/TXDP7是HT50A的8對(duì)LVDS信號(hào)通道；TXCP1/TXCN1是隨同8 對(duì)信號(hào)數(shù)據(jù)的時(shí)鐘，即CMOS 輸出的圖像數(shù)據(jù)和時(shí)鐘信號(hào)；HSYNC 和VSYNC 是CMOS輸出的行場(chǎng)信號(hào)；I2C_SCL、I2C_SDA 是I2C 配置圖像傳感器所需要的信號(hào)。

圖2 圖像傳感器硬件電路圖

2.2 Camera-Link接口模塊

Camera-Link 接口模塊主要包括一個(gè)驅(qū)動(dòng)器和一個(gè)接收器。接收器一共需要接收包括1 路LVDS 時(shí)鐘信號(hào)和4 路LVDS 數(shù)據(jù)信號(hào)，然后將傳輸?shù)膱D像數(shù)據(jù)流轉(zhuǎn)換成28 位的CMOS/TTL 并行數(shù)據(jù)和1 位時(shí)鐘信號(hào)［5］。驅(qū)動(dòng)器總共需要驅(qū)動(dòng)5路LVDS數(shù)據(jù)流，其中這5路LVDS數(shù)據(jù)流包括1路專用的LVDS時(shí)鐘信號(hào)傳輸通道和以7∶1方式串行化的4路LVDS 數(shù)據(jù)流。因此，驅(qū)動(dòng)器接收端只需要接受28 位單端的數(shù)據(jù)信號(hào)和1 位單端的時(shí)鐘信號(hào)。但是這樣就會(huì)占用FPGA的大量IO 管腳和布線資源，不利于機(jī)載光電觀瞄成像裝置的低成本和集成化?；诖耍疚囊訤PGA 作為主控芯片，利用FPGA 內(nèi)部資源OSERDES 實(shí)現(xiàn)Camera-Link 并串轉(zhuǎn)換模塊。值得注意的是在差分信號(hào)之間需要100 Ω 的差分阻抗匹配設(shè)置。

根據(jù)實(shí)際應(yīng)用場(chǎng)景使用要求的不同，視頻傳輸模式包括以下三種配置模式：Full 模式、Medium 模式和Base 模式。在Base 傳輸模式下，發(fā)送器可以達(dá)到在每一個(gè)像素時(shí)鐘里發(fā)送24 bits的圖像數(shù)據(jù)和4 bits 的圖像使能信號(hào)。Base 模式的最大傳輸速度為2.0 Gb/S @ 85 MHz 。在Medium 傳輸模式下，發(fā)送器能夠發(fā)送36 bits 的圖像數(shù)據(jù)和4 bits 的圖像使能信號(hào)在每一個(gè)像素時(shí)鐘里。Medium 模式的最大傳輸速度為4.8 Gb/S @ 85 MHz 。在Full 傳輸模式下，發(fā)送器可以發(fā)送64 bits 的圖像數(shù)據(jù)和4 bits 的圖像使能信號(hào)在每一個(gè)像素時(shí)鐘。Full模式的最大傳輸速度為5.4 Gb/S@85 MHz。需要根據(jù)觀瞄成像裝置系統(tǒng)輸出的數(shù)據(jù)量的大小來決定使用哪一種配置的傳輸模式，本文所選用的CMOS 圖像傳感器的型號(hào)為HT50A，在Normal 工作模式下，本次設(shè)計(jì)寄存器配置的輸出數(shù)據(jù)位寬12 bit，輸出數(shù)據(jù)格式為RAW 格式，圖像總像素點(diǎn)為2464*2048，輸出圖像大小為1024*768，幀頻可選擇為30幀每秒或60幀每秒，選擇8通道輸出，像素時(shí)鐘頻率為78.5 MHz，輸出圖像數(shù)據(jù)量為225 Mbps，故對(duì)于圖像視頻數(shù)據(jù)流的接收，選擇Base模式即可滿足。硬件接口如圖3所示。

圖3 Camera-Link接口連接硬件電路圖

2.3 信息處理模塊

信息處理模塊架構(gòu)為FPGA+DDR3+FLASH?，F(xiàn)場(chǎng)可編程門陣列FPGA為易靈思科技有限公司的T120。DDR3 存儲(chǔ)器為西安紫光國(guó)芯半導(dǎo)體有限公司的SCB5H1G160AF-13KI。FLASH 為北京兆易創(chuàng)新科技股份有限公司的GD25Q64。

相對(duì)于DSP 來說，F(xiàn)PGA 片內(nèi)有大量的邏輯門和觸發(fā)器，硬件集成度高、規(guī)模大、運(yùn)算效率高；軟件數(shù)據(jù)處理速度快，可以實(shí)現(xiàn)更復(fù)雜的時(shí)序邏輯設(shè)計(jì)，并進(jìn)行多次重復(fù)程序編程。

信息處理模塊主要需要1.2 V、1.8 V、1.5 V和3.3 V 供電。選用DC-DC 開關(guān)穩(wěn)壓器，經(jīng)濾波后得到的電壓干凈、效率高、帶負(fù)載能力強(qiáng)、瞬態(tài)反應(yīng)比較快。

硬件電路圖如圖4和圖5所示。

圖4 FPGA模塊硬件原理圖

圖5 DDR+FLASH模塊硬件電路圖

圖6 頂層設(shè)計(jì)結(jié)構(gòu)圖

3 軟件設(shè)計(jì)

3.1 I2C配置模塊

在本次系統(tǒng)設(shè)計(jì)中，通過FPGA 內(nèi)部分頻器產(chǎn)生時(shí)鐘（SCLK），輸入到圖像傳感器CMOS以便可以進(jìn)行數(shù)據(jù)同步傳輸，圖像數(shù)據(jù)（SDATA）在FPGA 與CMOS 圖像傳感器之間進(jìn)行雙向傳輸，同時(shí)調(diào)試各種參數(shù)。配置模式選擇主從模式，即配置CMOS 圖像傳感器為從設(shè)備，F(xiàn)PGA 為主設(shè)備。I2C 控制模塊主要是應(yīng)用處理器向圖像傳感器中的指定寄存器寫入指定數(shù)據(jù)，同時(shí)應(yīng)用處理器從圖像傳感器中讀取某些控制和狀態(tài)數(shù)據(jù)。HT50A 通過I2C 通信協(xié)議接口配置內(nèi)部寄存器，對(duì)其進(jìn)行初始化操作［6］。表1為部分寄存器地址和設(shè)置值。

配置的時(shí)序圖如圖7 所示，圖8 是I2C 總線的時(shí)序仿真圖，仿真結(jié)果完全符合HT50A 手冊(cè)上的I2C通信接口寫時(shí)序圖。

圖8 I2 C總線仿真時(shí)序圖

3.2 DDR控制模塊

經(jīng)過串并轉(zhuǎn)換模塊輸出的圖像數(shù)據(jù)需要存儲(chǔ)在DDR3 SDRAM 芯片中，因此就需要設(shè)計(jì)DDR 控制模塊用來實(shí)現(xiàn)對(duì)DDR3 的讀寫操作，如圖9所示。在本設(shè)計(jì)系統(tǒng)中，為了進(jìn)一步降低軟件開發(fā)難度，增加設(shè)計(jì)系統(tǒng)的穩(wěn)定性，F(xiàn)PGA與DDR3進(jìn)行圖像數(shù)據(jù)信息交互所需接口信號(hào)是通過調(diào)用IP 核產(chǎn)生的。DDR 控制單元模塊設(shè)計(jì)通過直接例化MIG 生成新的時(shí)鐘單元模塊和DDR 核，wr_ddr3_fifo 模塊設(shè)計(jì)用來對(duì)DDR 進(jìn)行寫操作，rd_ddr3_fifo 模塊設(shè)計(jì)用來對(duì)DDR 進(jìn)行讀操作。用戶邏輯首先將圖像數(shù)據(jù)寫入到數(shù)據(jù)FIFO 中，接著再將命令信息寫入到命令FIF0中，這種寫入圖像信息的方式被稱為DDR 寫操作［7］。用戶邏輯要先將命令信息寫入到命令FIF0 中，然后才能將圖像數(shù)據(jù)讀出來，這種讀出圖像數(shù)據(jù)的方式被稱為DDR 讀操作。因此DDR 在進(jìn)行讀操作時(shí)，它的地址必須要和寫操作的地址保持一致。

圖9 DDR讀寫控制流程

3.3 串口通信模塊

串口通信模塊主要用于設(shè)置機(jī)載光電觀瞄成像裝置的控制參數(shù)，主要包括自動(dòng)曝光、對(duì)比度和增益等［8］。

波特率產(chǎn)生器：即需要產(chǎn)生一個(gè)時(shí)鐘頻率與對(duì)應(yīng)波特率時(shí)鐘頻率相同的時(shí)鐘信號(hào)。例如：當(dāng)選擇系統(tǒng)時(shí)鐘為50 MHz、波特率為115200 bp時(shí)，此時(shí)波特率產(chǎn)生器需要產(chǎn)生一個(gè)模為434的計(jì)數(shù)器。

422通訊：以一位低電平標(biāo)志開始，傳輸八位數(shù)據(jù)位，然后以一位高電平標(biāo)志結(jié)束。它的發(fā)送模塊和接收模塊可以選擇共用一個(gè)波特率產(chǎn)生器。

串口通信的硬件原理圖如圖10 所示，仿真時(shí)序圖如圖11所示。

圖10 通訊模塊硬件電路圖

圖11 422通信仿真時(shí)序圖

3.4 圖像接收與輸出模塊

FPGA 采集到所需要的圖像數(shù)據(jù)后，首先要在其內(nèi)部的RAM 中緩沖一下再進(jìn)行輸出，由于數(shù)據(jù)量很大，為了防止出現(xiàn)數(shù)據(jù)錯(cuò)亂，影響數(shù)據(jù)傳輸?shù)臏?zhǔn)確性，故需要進(jìn)入DDR3進(jìn)行數(shù)據(jù)緩沖，最后通過Camera-Link 端口傳遞圖像數(shù)據(jù)到顯示屏成像。

CMOS圖像傳感器的圖像數(shù)據(jù)輸出時(shí)序如圖12所示，當(dāng)幀同步信號(hào)（VSYC）電平位低時(shí)，正常輸出數(shù)據(jù)，即VSYC默認(rèn)高電平有效。

圖12 圖像傳感器數(shù)據(jù)（LVDS）輸出時(shí)序圖

4 圖像測(cè)試

利用DALSA 圖像采集卡來采集輸出的圖像，通過圖像采集軟件可以明顯觀察到此觀瞄成像裝置系統(tǒng)的幀頻為30 fps 和60 fps，輸出圖像的分辨率大小為1024*768，可實(shí)時(shí)觀察到圖像并且無任何卡頓。如圖13和圖14所示。

圖13 分辨率1024*768（30 fps）

圖14 分辨率1024*768（60 fps）

通過以上的圖片測(cè)試，我們可以看出：本次基于FPGA的機(jī)載光學(xué)觀瞄成像裝置系統(tǒng)設(shè)計(jì)是可行的，通過驗(yàn)證在圖像傳感器支持的像素大小和幀率范圍，此次設(shè)計(jì)輸出圖像大小和幀率可通過寄存器的配置進(jìn)行調(diào)整，同時(shí)也可以進(jìn)一步加入圖像處理算法來增強(qiáng)圖像質(zhì)量，具有較高的實(shí)用性，滿足現(xiàn)實(shí)的需求。

5 結(jié)語

本文設(shè)計(jì)的基于FPGA的機(jī)載光電觀瞄成像裝置系統(tǒng)，以可編程邏輯器件FPGA作為核心控制器，通過I2C 總線協(xié)議配置圖像傳感器HT50A的寄存器，F(xiàn)PGA 通過同步時(shí)鐘信號(hào)（包括幀同步信號(hào)、行同步信號(hào)，以及像素時(shí)鐘信號(hào)）能夠準(zhǔn)確地采集到sensor_data 口輸出的數(shù)據(jù)，然后將采集到的圖像數(shù)據(jù)先在DDR3內(nèi)進(jìn)行數(shù)據(jù)緩存后再通過Camera-Link 端口傳遞到顯示屏成像。通過測(cè)試驗(yàn)證了所設(shè)計(jì)系統(tǒng)的硬件可行性，系統(tǒng)穩(wěn)定可靠，設(shè)計(jì)符合預(yù)期目標(biāo)。機(jī)載光電觀瞄成像裝置系統(tǒng)的軟件配置都是通過FPGA進(jìn)行的，后期也可以將圖像處理算法移植到該機(jī)載光電觀瞄成像裝置系統(tǒng)軟件中，如邊緣檢測(cè)算法、圖像濾波算法、自動(dòng)白平衡算法等，具有比較高的實(shí)用性。