基于FPGA的多通道視頻采集系統(tǒng)設計實現(xiàn)

隋旭陽，李妍妍，向?qū)W輔，田瑞娟

(中國兵器裝備集團自動化研究所, 四川 綿陽 621000)

隨著微電子技術的發(fā)展，基于多相機的應用系統(tǒng)，如基于多攝像機的數(shù)據(jù)采集分析系統(tǒng)、多傳感器圖像融合系統(tǒng)和基于分布式攝像機的大范圍視頻監(jiān)控系統(tǒng)等日漸豐富。這些系統(tǒng)的共同點是都需要同時處理多通道同步或異步視頻數(shù)據(jù)流，實現(xiàn)高帶寬、大容量圖像數(shù)據(jù)高速、實時處理。傳統(tǒng)的圖像采集系統(tǒng)往往只有一個數(shù)據(jù)通道，每一次的數(shù)據(jù)采集只能面向單一傳感器，并且數(shù)據(jù)采集速率有限，實時性較差[1]；基于DSP的多通道視頻處理系統(tǒng)的資源配置不夠靈活，不能很好地實現(xiàn)視頻格式轉(zhuǎn)換、顏色編碼轉(zhuǎn)換等功能[2]；由此，多通道視頻處理系統(tǒng)需要與之相匹配的穩(wěn)定、可靠的數(shù)據(jù)采集和緩存系統(tǒng)。

本文研究了基于FPGA的多通道視頻數(shù)據(jù)采集系統(tǒng)，設計了一套完整的多通道視頻數(shù)據(jù)采集硬件平臺，該平臺可以獲取多通道視頻流，并對視頻數(shù)據(jù)進行緩存，通過數(shù)據(jù)優(yōu)先級仲裁模塊進行多通道視頻流調(diào)度，并引入DDR3 SDRAM作為高帶寬、大容量圖像數(shù)據(jù)高速緩存設備，實現(xiàn)了多通道同步或異步視頻數(shù)據(jù)流的幀緩存，最后利用顯示模塊將采集到的視頻流進行分屏或拼接顯示。多通道視頻數(shù)據(jù)采集系統(tǒng)模塊化設計，可加入數(shù)據(jù)傳輸、圖像預處理算法等模塊，適合絕大多數(shù)的視頻處理環(huán)境，能夠為后續(xù)的多通道圖像融合和圖像實時邊緣處理等算法提供穩(wěn)定的數(shù)據(jù)采集環(huán)境。

1 系統(tǒng)方案設計

1.1 系統(tǒng)硬件平臺方案

由于FPGA具有很強的并行處理能力和時序控制能力，因此被廣泛的應用于高速并行數(shù)據(jù)處理領域[2-4]。FPGA可方便擴展、可隨時編程的特點，更適合用于開發(fā)周期短的工程應用[5]。因此，選用FPGA作為多通道視頻數(shù)據(jù)采集緩存設計方案的主控芯片，實現(xiàn)多路相機圖像數(shù)據(jù)流輸入、讀寫DDR3芯片、顯示等功能。

DDR3 SDRAM作為高帶寬、大容量圖像數(shù)據(jù)高速緩存設備是當前常用的設備存儲解決方案[6]。因此，本文采用Xilinx公司7系列FPGA的DDR3存儲控制器(Memory Interface Generator)IP核輔助完成數(shù)據(jù)緩存設計[7]。為提升用戶使用的方便性，本文采用類FIFO的封裝方式優(yōu)化了與MIG IP核信號互聯(lián)的用戶接口[8];采用基于DDR3 SDRAM存儲地址的讀寫控制方法設計數(shù)據(jù)讀寫控制模塊：將多通道的數(shù)據(jù)分別寫入用戶指定的DDR3的地址空間位置中，并通過讀寫切換操作讀出使用，更加靈活地處理數(shù)據(jù)在DDR3中的緩存[9]。

1.2 系統(tǒng)邏輯方案設計

在系統(tǒng)進行數(shù)據(jù)采集時，多通道視頻流輸入模塊將同步或異步視頻數(shù)據(jù)流緩存在相應的異步FIFO中，數(shù)據(jù)優(yōu)先級仲裁模塊比較每一路視頻源的有效數(shù)據(jù)信息是否超過閾值，判斷各通道圖像數(shù)據(jù)是否觸發(fā)優(yōu)先級信號，從而選擇一路視頻源，從相應的異步FIFO中讀取數(shù)據(jù)，傳輸給FPGA數(shù)據(jù)讀寫控制模塊，經(jīng)過DDR3存儲控制器完成數(shù)據(jù)在DDR3 SDRAM相應地址區(qū)域的緩存，并根據(jù)讀命令和讀地址，讀出所需的視頻源數(shù)據(jù)，以便后端采用相應的圖像處理算法對多通道視頻數(shù)據(jù)進行深入分析。系統(tǒng)邏輯方案設計如圖1所示。

圖1 系統(tǒng)邏輯方案設計框圖

2 多通道視頻采集系統(tǒng)設計

2.1 系統(tǒng)工作流程

系統(tǒng)工作流程如圖2所示。系統(tǒng)工作流程包括：首先進行主程序運行，然后完成系統(tǒng)的上電復位操作，再利用系統(tǒng)判斷DDR3控制器的校準信號是否完成，若未完成，繼續(xù)等待；若完成，F(xiàn)PGA控制各路視頻源的有效數(shù)據(jù)分別實時緩存在FPGA異步FIFO中。再利用數(shù)據(jù)優(yōu)先級仲裁模塊根據(jù)優(yōu)先級信號、閾值信息控制FPGA從相應的異步FIFO中讀取數(shù)據(jù)，然后通過DDR3數(shù)據(jù)讀寫控制模塊接收視頻源信息，并產(chǎn)生DDR3讀寫控制命令，根據(jù)讀寫操作命令、視頻源通道編號和用戶設定的讀寫操作空間計算給出DDR3讀寫操作相應的地址，最后，F(xiàn)PGA根據(jù)設置的顯示參數(shù)從DDR3 SDRAM存儲器相應的地址空間中讀寫所需的視頻源數(shù)據(jù)，并根據(jù)用戶需求進行分屏或拼接顯示。

2.2 DDR3讀寫狀態(tài)切換

設計的DDR3讀寫狀態(tài)機共有3種狀態(tài)(見圖3)，每一次的寫操作都可以將相應通道的ddr_write_length數(shù)量的視頻數(shù)據(jù)存儲到用戶指定的存儲地址位置中，讀操作將相應地址空間的數(shù)據(jù)讀出使用，充分發(fā)揮出DDR3存儲的靈活性[9]。

圖2 系統(tǒng)工作流程框圖

圖3 DDR3讀寫狀態(tài)機

2.3 系統(tǒng)跨時鐘域處理

本系統(tǒng)涉及相機輸入時鐘與DDR3數(shù)據(jù)輸入時鐘，DDR3數(shù)據(jù)輸出時鐘與顯示模塊時鐘等跨時鐘域操作。為降低系統(tǒng)亞穩(wěn)態(tài)[10]出現(xiàn)概率，系統(tǒng)在跨時鐘域處采用異步FIFO，一方面解決數(shù)據(jù)位寬變換問題，另一方面，異步FIFO的存儲過程可描述為：把A時鐘域的數(shù)據(jù)存儲到RAM中，穩(wěn)定后再由B時鐘域讀取RAM中的數(shù)據(jù)，從而實現(xiàn)從A、B時鐘域的跨時鐘域數(shù)據(jù)、信號的安全傳輸。

系統(tǒng)中涉及復位、DDR3校準等控制信號也需要進行跨時鐘域的信號傳輸，采用兩級觸發(fā)器同步處理控制信號(見圖4)，可以防止亞穩(wěn)態(tài)傳播[10]。

圖4 兩級觸發(fā)器同步處理控制信號示意圖

3 系統(tǒng)測試及系統(tǒng)效率分析

在Xilinx Kintex-7 系列FPGA上進行多通道視頻數(shù)據(jù)采集與顯示時選用的DDR3 SDRAM型號為MT41K256M16XX-125。高帶寬視頻圖像來源于模擬源生成器生成的4路異步視頻數(shù)據(jù)流，其幀頻為60FPS，而分辨率為1 920×1 080P。視頻圖像經(jīng)DDR3緩存后進行截取拼接顯示，得到穩(wěn)定的 1 080P VGA顯示，如圖5所示。由于模塊通用化設計，可以通過頂層模塊的參數(shù)配置實現(xiàn)常見的多種分辨率多路同步或異步視頻采集緩存。

圖5 4通道異步視頻數(shù)據(jù)流采集拼接顯示圖

DDR3 SDRAM在IP設計時采用500 MHz的系統(tǒng)時鐘，其數(shù)據(jù)位寬為32 bit，用戶時間周期為8 ns，理論帶寬為500×2÷8×32 bit=4 000 MB/s。采用VIVADO軟件的ILA抓取一段數(shù)據(jù)進行帶寬測試，如圖6所示。

從圖6可以發(fā)現(xiàn)，在數(shù)據(jù)緩存過程中，由于工程的可擴展性設計，有很大一段時間是在IDLE狀態(tài)等待視頻源數(shù)據(jù)，造成了帶寬的未利用，如圖7所示。

由于DDR3 SDRAM屬于動態(tài)隨機存儲器的一種，使用電容存儲，必須每隔一段時間對存儲單元加載比較電壓，對相應的數(shù)據(jù)重寫，如若不然，存儲的數(shù)據(jù)就會丟失。預充電命令、激活命令、動態(tài)刷新操作會影響DDR3 SDRAM的讀寫效率[3]；DDR3控制器在設計時，為了保證更低的出錯率，采取了讀寫狀態(tài)切換時IDLE狀態(tài)等待措施，這些措施也會降低效率；在多通道視頻數(shù)據(jù)采集應用方面，需要控制每一路視頻緩存在相應的地址空間范圍，每一幀圖像完成精確的存儲地址定位，考慮到FPGA內(nèi)部資源的合理利用，每一次緩存在異步FIFO中的數(shù)據(jù)長度不宜過多，DDR3需要完成頻繁的讀寫地址切換，效率有所降低。同一地址空間讀寫切換測試表明，對DDR3連續(xù)進行N次寫操作，再進行N次讀操作測試效率如下：N為1時，效率為10.3%，N為64時，效率為74.8%，N為240時，效率為80.2%。頻繁的讀寫地址切換，使得多通道視頻數(shù)據(jù)采集在連續(xù)240長度讀/寫操作時效率必然低于80.2%，但隨著用戶設計的單次讀寫數(shù)據(jù)量增大，讀寫效率將有所提升。相比于多通道A/D信息采集方面的應用中連續(xù)讀寫能夠達到理論帶寬80%以上的效率[3]，多通道視頻數(shù)據(jù)采集受頻繁的同Bank行切換、Bank間切換影響，效率有所降低。

圖6 4通道異步視頻采集帶寬計算界面

圖7 4通道異步視頻寫入帶寬計算界面

4 結(jié)論

通過系統(tǒng)硬件平臺方案選擇、系統(tǒng)邏輯方案設計、系統(tǒng)工作流程實現(xiàn)、系統(tǒng)跨時鐘域優(yōu)化處理等角度闡述了多通道視頻采集系統(tǒng)的設計與實現(xiàn)，并經(jīng)過板級驗證，實現(xiàn)了4通道異步視頻數(shù)據(jù)流采集、緩存與視頻截取、拼接顯示。在考慮控制操作延時傳遞、存儲器動態(tài)刷新等情況下，數(shù)據(jù)讀寫帶寬可達到近3 000 MB/s，效率在理論帶寬的70%左右。模塊化、參數(shù)化的工程設計具有較強的可移植性。