基于FPGA的高速圖像處理平臺設(shè)計

陳 序, 卿粼波, 何小海

(四川大學(xué)電子信息學(xué)院圖像信息研究所,四川成都610064)

0 引言

圖像采集是圖像處理的基礎(chǔ),隨著圖像采集的幀頻和分辨率越來越高,對高速圖像處理及顯示的要求也越來越高。大多數(shù)高速攝像頭采用Camera Link接口,Full型Camera Link攝像機數(shù)據(jù)傳輸率可達680MB/s,如何設(shè)計并實現(xiàn)一個高速的圖像處理平臺,具有重要意義。多數(shù)針對圖像處理的平臺是通過PCI或USB接口將采集到的圖像發(fā)送到PC機再進行圖像處理和顯示,系統(tǒng)體積較大,且成本偏高,受到PC機處理速度限制,圖像顯示的實時性會受到影響[1]。少數(shù)嵌入式平臺,沒有對采集到的原始圖像進行處理,而直接進行顯示,顯示的圖像質(zhì)量會受到影響,并采用小容量的SDRAM來緩存數(shù)據(jù),不能應(yīng)用到數(shù)據(jù)量大的圖像處理中[2]。

設(shè)計了一種基于FPGA的高速圖像采集、圖像處理和圖像顯示平臺。FPGA把采集到的圖像按幀緩存到大容量存儲芯片DDR2 SDRAM中,再從DDR2中讀出每幀圖像進行預(yù)處理,DSP對圖像進行復(fù)雜算法處理,FPGA最后把圖像發(fā)送到DVI編碼芯片進行顯示。圖像處理的速度快,顯示實時性好。實現(xiàn)了平臺體積小,成本低,處理數(shù)據(jù)量大,處理速度快,應(yīng)用廣泛的目的。

1 系統(tǒng)硬件設(shè)計

1.1 硬件架構(gòu)

系統(tǒng)硬件架構(gòu)由Camera Link信號轉(zhuǎn)換芯片DS90CR288、串口配置芯片、一片F(xiàn)PGA芯片、DVI顯示芯片CH7301C、8片DDR2 SDRAM芯片MT47H64M16、一塊DSP芯片組成。系統(tǒng)的硬件架構(gòu)框圖如圖1所示。

圖1 系統(tǒng)硬件框圖

1.2 主要硬件模塊

FPGA選用Xilinx公司virtex5系列中的lx110t,采用65nm工藝,核心電壓為1.0V,擁有17280個Slice,BRAM容量為5328KB,16個GTP模塊,20個 I/O Bank,最大可用I/O數(shù)達680個[3]。DVI發(fā)送芯片采用CH7301C,最高顯示分辨率可達1600×1200,像素時鐘最大為165M,使用低抖動鎖相環(huán),I2C端口編程,并為RGB輸出提供10-bit高速視頻DAC,低電壓接口支持圖形設(shè)備。DDR2 SDRAM 采用MT47H64M16-37E,單片容量為1Gb,構(gòu)成為:8Meg×16×8bank,數(shù)據(jù)速率為533Mhz。設(shè)計使用4片DDR2組成一個通道,位寬擴展為64bit,8片組成雙通道。DSP芯片采用TI公司的TMS320C6474,集成了3個1GHz的TMS320C64x+內(nèi)核,具有3GHz的數(shù)字信號處理性能,數(shù)據(jù)的處理能力為24000 MMACS(16bit)或48000 MMACS(8bit)。

1.3 FPGA外圍接口設(shè)計

(1)FPGA和DS90CR288的接口設(shè)計。DS90CR288共有1位時鐘信號和28位數(shù)據(jù)信號連接到FPGA,28位數(shù)據(jù)信號包含24bit圖像數(shù)據(jù)以及傳輸數(shù)據(jù)需要的幀信號、行信號和數(shù)據(jù)有效信號。

(2)FPGA和DDR2 SDRAM的接口設(shè)計。MT47H64M16主要有16位數(shù)據(jù)信號ddr2-dq[15:0],差分數(shù)據(jù)脈沖信號ddr2-dqs、ddr2-dqs-n,地址總線信號ddr2-address[12:0],行列地址有效信號,片選信號等。

(3)FPGA和DSP的接口設(shè)計。通過serial rapidIO接口[4]連接,FPGA用GTP作串并轉(zhuǎn)換,收發(fā)各有一對差分信號。

(4)FPGA和CH7301C的接口設(shè)計。CH7301C主要信號線包括,I2C信號線,差分時鐘信號對,行信號線、幀信號線、數(shù)據(jù)信號線及使能信號線。

2 Camera Link圖像采集系統(tǒng)

Camera Link是一種串行通信協(xié)議,設(shè)計用于點對點自動視覺應(yīng)用。是基于國家半導(dǎo)體公司的通道鏈路接口,經(jīng)過擴展可支持通用LVDS數(shù)據(jù)傳輸。Camera Link接口標準有Base,Medium,Full 3種配置模式。Base配置使用了24位像素數(shù)據(jù)(以及3位視頻同步數(shù)據(jù))來實現(xiàn)最大255 Mbps的數(shù)據(jù)量。Medium配置額外增加了另外24位數(shù)據(jù),實現(xiàn)最大510 Mbps的數(shù)據(jù)量。Full配置使用64位數(shù)據(jù),實現(xiàn)最大680 Mbps的數(shù)據(jù)傳輸率。

系統(tǒng)前端圖像采集采用JAI公司的Base型彩色數(shù)字攝像機CV-M71CL,CV-M71CL在全讀取模式下采集分辨率為767*576,幀頻為60Hz。DS90CR288芯片將接收到的camera link信號轉(zhuǎn)換成28位單端信號發(fā)送到FPGA,FPGA將接收到的信號分離成24位RGB信號、像素有效信號DVAL、幀信號FVAL、行信號LVAL[5],并將它們傳送到圖像處理系統(tǒng)。在圖像采集前,系統(tǒng)中的串口通信模塊,可以發(fā)送串口信號,對攝像機進行配置。

圖像采集系統(tǒng)和處理系統(tǒng)之間由于時鐘不匹配,需要連接一個前端異步FIFO。在向FIFO中傳輸每幀圖像前,處理系統(tǒng)及顯示系統(tǒng)返回的初始化信號init-done需要有效,保證數(shù)據(jù)位不錯亂。

3 FPGA圖像處理系統(tǒng)

系統(tǒng)采用FPGA對圖像進行預(yù)處理,DSP進行協(xié)處理。圖像存儲模塊對每幀圖像進行緩存,圖像處理模塊再讀出圖像進行處理。處理系統(tǒng)包含多種處理方法,可以對圖像進行濾波,轉(zhuǎn)換,對比度調(diào)節(jié),亮度增強等操作。應(yīng)用中可以在FPGA中根據(jù)實際需求設(shè)計相應(yīng)的處理方法。處理的數(shù)據(jù)可以發(fā)送到DSP作進一步的復(fù)雜算法處理,也可以直接發(fā)送到圖像顯示系統(tǒng)進行圖像顯示。FPGA圖像處理系統(tǒng)模塊框圖如圖2所示。

3.1 圖像存儲模塊

圖像存儲模塊對采集到的每幀圖像進行緩存。系統(tǒng)使用兩片DDR2 SDRAM進行乒乓操作[6]。采集到的第一幀圖像寫入ddr-controller-0,第二幀圖像寫入到ddr-controller-1的同時去讀取ddr-controller-0中的第一幀圖像,下一幀圖像寫入ddr-controller-0的同時,讀取ddr-controller-1中的圖像,如此循環(huán)下去。FIFO解決采集模塊、存儲模塊、顯示模塊時鐘域不同的問題,FIFO設(shè)置empty、full標志位保證在寫DDR2芯片數(shù)據(jù)時前端FIFO不為空狀態(tài),讀取DDR2芯片數(shù)據(jù)時后端FIFO不能為滿狀態(tài)。圖像存儲模塊包含兩個狀態(tài)機,一個控制兩片SDRAM的交替讀,另一個控制SDRAM的交替寫。存儲模塊包含兩個DDR2 SDRAM控制器,控制器作為DDR2芯片和乒乓操作之間的接口,為乒乓操作模塊提供數(shù)據(jù)總線、地址總線及控制信號。

圖2 圖像處理系統(tǒng)模塊框圖

寫DDR2狀態(tài)機如圖3所示。在前端FIFO的front-fifo-full標志位為1的時候,進入ddr-controller-0的寫操作等待狀態(tài)c0-wr-wait,ddr-controller-0在c0-wr-en有效時進入c0-wr-idle,前端FIFO的empty標志位不為1,則進入c0-write狀態(tài)進行數(shù)據(jù)寫,否則進入c0-wr-idle狀態(tài)等待數(shù)據(jù)到來,直到一幀圖像寫滿。寫滿一幀圖像后進入ddr-controller-1的寫等待狀態(tài)c1-w r-wait,同時使能ddr-controller-0的讀能使標志位c0-rd-en。ddr-controller-1的寫操作過程與ddr-controller-0相同。

圖3 DDR2乒乓操作寫狀態(tài)機

讀DDR2狀態(tài)機如圖4所示。狀態(tài)機啟動時處于c0-rd-wait狀態(tài),當ddr-controller-0寫滿一幀后,進入讀空閑狀態(tài)c0-rd-idle。在后端FIFO的full標志位部位1時,不停的讀出數(shù)據(jù)寫入后端FIFO中,直到一幀圖像讀完,然后進入ddr-controller-1的寫操作,同時使能ddr-controller-0的寫使能標志位c0-wr-en,告知DDR2寫狀態(tài)機可以對ddr-controller-0寫下一幀數(shù)據(jù)。ddr-controller-1的讀操作完成后再進入ddr-controller-0的讀操作,如此循環(huán)下去。

圖4 DDR2乒乓操作讀狀態(tài)機

3.2 圖像處理模塊

圖像在采集、傳輸過程中,由于成像設(shè)備、傳輸介質(zhì)、外界環(huán)境等影響,信號傳輸會加入有大量的噪聲,得到圖像的質(zhì)量受到影響。對圖像進行處理可以得到更好的顯示效果和應(yīng)用。FPGA適合在空間域?qū)D像進行預(yù)處理[7],DSP則適合圖像壓縮、圖像識別等復(fù)雜算法的圖像處理。

當一幀圖像存儲完成后,啟動FPGA圖像處理模塊,將process-start信號置1,開始對圖像進行預(yù)處理,處理過程中和乒乓操作模塊配合反復(fù)對DDR2-SDRAM進行讀寫,處理完成后讀出圖像發(fā)送到DVI顯示系統(tǒng)中進行顯示,最后返回完成信號process-end給乒乓操作模塊,接下來對另一塊DDR中的圖像作處理。處理過程中如果需要對圖像作進一步復(fù)雜算法的處理,高速串口模塊通過Serial RapidIO協(xié)議將數(shù)據(jù)傳送到DSP,DSP處理完成后再傳回數(shù)據(jù)。若當前幀圖像處理時間過長,乒乓操作模塊不能寫入下一幀,則丟掉當前幀,保證系統(tǒng)穩(wěn)定運行。圖像處理模塊工作的狀態(tài)機如圖5所示。

圖5 圖像處理模塊狀態(tài)機

4 DVI圖像顯示系統(tǒng)

DVI是基于最小化傳輸差分信號(Transition Minimized Differential Signaling,TMDS)的數(shù)字信號傳輸技術(shù)。TMDS可以對像素數(shù)據(jù)進行編碼,然后通過串行接口進行傳遞。圖像顯示系統(tǒng)產(chǎn)生的數(shù)字信號發(fā)送到CH7301C,CH7301C對信號按照TMDS協(xié)議編碼后發(fā)送到顯示器。

設(shè)計采用CH7301C芯片進行TMDS信號的發(fā)送,DVI顯示模塊按照顯示的標準生成差分時鐘、24位RGB數(shù)據(jù)及數(shù)據(jù)有效信號、幀信號、行信號,并發(fā)送到CH7301C[8]。

系統(tǒng)需要通過I2C接口對CH7301C的寄存器進行配置,I2C信號波形圖如圖6所示。DVI顯示的實時信號波形如圖7所示。

圖6 I2C信號采集波形圖

圖7 DVI顯示信號采集波形圖

5 平臺驗證及結(jié)論

平臺完成了高速圖像的采集、發(fā)送和顯示,能得到穩(wěn)定的圖像。基于FPGA的高速圖像的處理平臺制作并調(diào)試完成,圖8是高速圖像處理平臺的電路板,圖9是Camera Link采集和DVI實時顯示的效果圖。

圖8 高速圖像處理平臺電路板

圖9 實時采集和顯示的效果圖

文中設(shè)計的平臺相比傳統(tǒng)的采集顯示平臺,采集速度更快,最高能達到680MB/s;顯示分辨率更高,達到1600×1200,60幀/s;使用FPGA和高性能DSP進行圖像處理,處理速度更快,滿足實時處理需求;采用8片大容量的DDR2芯片,緩存圖像容量更大。實現(xiàn)了對圖像的高速采集、存儲、處理和顯示,并可替代基于專用采集卡和PC機的數(shù)字圖像處理系統(tǒng),到達了成本低,體積小,攜帶方便,圖像清晰,應(yīng)用廣泛的目的。

[1] 李寧,汪駿發(fā).基于Camer a Link的高速數(shù)據(jù)采集系統(tǒng)[J].紅外,2005(7):31-39.

[2] 李飛,劉晶紅,李剛,等.基于FPGA的數(shù)字攝像機輸出視頻DVI顯示[J].激光與紅外,2011(11):1258-1261.

[3] Xilinx,Virtex-5 FPGA User Guide,ug190(v5.3)May 17,2010.

[4] LogiCORE IP Serial RapidIO v5.6 User Guide:Inc.XILINX.UG503 July 29,2011.

[5] 王鳴浩,陳濤,吳小霞.基于Camera Link接口的高幀頻數(shù)字圖像采集顯示系統(tǒng)[J].微電子學(xué)與計算機,2011(3):149-152.

[6] Xuzhi WANG,Yanru MA,Wanggen WAN.Design of DDR2 SDRAM Controller for Video Post Processing Pipeline[J].Wireless Mobile and Computing,2009:117-120.

[7] Rafael C Gonzalez,Richard E woods.阮秋琦,阮宇智譯.數(shù)字圖像處理digital Image Processing(第二版)[M].北京:電子工業(yè)出版社,2010.

[8] 孫志亮,單金山.基于FPGA的DVI顯示在紅外監(jiān)視系統(tǒng)中的應(yīng)用[J].激光與紅外,2008(10):1059-1062.