基于FPGA的多路視頻合成系統的設計

陳文輝，覃永新，黃慶南

（廣西工學院 電子信息與控制工程系，柳州 545006）

0 引言

多路視頻處理技術是視頻監控領域的重要組成部分，其中多路視頻合成系統在安防、指揮、航空等監控系統中獲得廣泛應用。多路視頻合成系統就是將多路視頻的每一個全畫面按照一定比例縮小后合成為一路視頻信號，然后在高分辨率的顯示設備上以全屏或多窗口模式顯示[1]。視頻信號處理系統對信號處理速度的要求甚嚴，以往常使用的專用DSP芯片雖然滿足了速度要求，但開發周期較長，產品的調試、修改及升級比較困難，成本較高。FPGA（Field Programmable Gate Array，現場可編程門陣列）器件具有并行處理速度高、集成度高、功耗低、設計靈活等特點，且有快速高效的開發平臺，可加快開發周期等優勢，使之成為設計高速視頻信號處理器件的首選。

文中介紹了一種基于FPGA的多路視頻合成系統，該系統接收16路由CCD攝像頭采集的模擬視頻信號，通過視頻解碼芯片轉換為PAL制式的數字視頻信號，FPGA對其進行抽取和幀合成等數據格式轉換，再通過視頻編碼芯片的數模轉換送入VGA顯示器，可顯示1、4、9、16路分割畫面，并通過按鍵輪流切換視頻畫面。

1 多路視頻合成系統的組成結構

系統以FPGA為核心，與視頻解碼模塊、視頻編碼芯片和SRAM等外圍器件一起構成整個多路視頻合成處理系統[2]。FPGA芯片選用ALTERA公司的EP2C15AF484C8；視頻解碼芯片選用SAA7113H作為視頻模數轉換器件；視頻編碼芯片選用SAA7121作為數模轉換器件；片外存儲器SRAM采用IS61LV51216。系統的組成框圖如圖1所示，其中FPGA內部的設計主要包括按鍵控制單元、數據采集及提取單元、幀合成處理單元和幀存控制單元。

圖1 多路視頻合成系統組成框圖

圖1中的視頻輸入0～15是來自16路CCD攝像頭的模擬視頻輸入信號，每路經由SAA7113H轉換成PAL制式ITU656 YUV 4:2:2格式的8位VPO數據。上電后，FPGA首先通過IIC總線對視頻解碼器SAA7113H進行配置，接收16路VPO信號進行混合處理，根據最終顯示窗口與原始圖像大小的比例將其進行有效數據的抽取，并按照幀合成原理寫入片外存儲器中，組成一幀圖像的數據，數據存儲地址與屏幕中的像素地址一一對應，寫滿一幀后讀出，格式再生后送入視頻編碼器SAA7121還原成模擬信號送顯示器輸出。

2 基于FPGA的多路視頻合成系統的設計

圖2給出了多路視頻合成系統的內部結構圖。

圖2 視頻合成系統的內部結構圖

2.1 按鍵控制單元KEYS_CTL

按鍵控制單元用以控制畫面分割數目的選擇和視頻通道的輪切。其中按鍵N1～N4分別選擇畫面分割數為1、4、9、16，按鍵NEXT是下一視頻通道的切換鍵。START鍵按下后，默認全屏顯示通道0的畫面，輸出Y[15..0]為0001H，之后每次按下NEXT鍵時Y[15..0]循環左移，切換到下一路視頻數據；N2、N3、N4鍵按下時，處理過程與此類似。

2.2 數據采集及提取單元ACQ

數據采集及提取單元接收16路視頻解碼芯片SAA7113H輸出的VPO信號并提取其中有效像素數據。SAA7113H除了輸出數字視頻信號VPO[7..0]，還有相應的同步信號：行有效信號RTS0、奇偶場標識信號RTS1等。其中RTS0的上升沿表示有效行到來，RTS1的高電平表示奇場，低電平表示偶場[2]。

SAA7113H輸出PAL制式的ITU656標準YUV（4:2:2）格式數據[2]，其中Y表示亮度信號，而UV表示色差信號，像素時鐘為27MHz。信號掃描方式為隔行掃描，幀率為25幀/秒，每幀圖像分為奇偶兩場，每幀像素為864×625，其中有效像素為720×576。SAA7113H輸出的一行視頻數據格式如圖3所示，每行有1728字節，其中有效數據1440字節，對應720個有效像素，可以看成每一個像素由兩個連續的字節表示。

數據采集及提取單元由16個數據采集通道構成，每一通道接收一片SAA7113H的行有效信號RTS0、像素時鐘信號SYS_CLK和8位視頻數據VPO[7..0]，根據每一路的輸出允許信號Y[15..0]和畫面數目按鍵N1～N4，輸出16路經過了抽取的有效數據VPO_OUT，共128位；以及表示16路視頻通道的有效數據信號L[15..0]。

數據采集過程：根據視頻數據流的時間參考代碼SAV來獲取有效數據的起始時刻。在一幀完整的視頻數據中，第一場有效數據階段的SAV為“8XH”，而消隱階段的時間參考代碼中的SAV為”AXH”。通過判斷行有效信號RTS0為1時，分析出數據流中的“80 10 FF 00 00 SAV”定時參考代碼后，啟動計數模為1440的計數器，當計數值為40時置信號L為 1 ，標志一行有效數據的開始，同時為之后的數據處理提供同步信號；當計數值為1320時置L為0，從而結束一行有效數據的采集，在這個時間段內就可以截取行中1280個字節的有效像素數據[2]。

數據提取過程：當按鍵N1有效時不抽取數據，按照系統時鐘將1280個字節的數據全部送入幀合成單元；當按鍵N2、N3、N4有效時，每個通道的數據進行1/2、1/3、1/4的抽取，即在每行的L信號為 1的狀態下分別產生占空比為1/2、1/3和1/4的脈沖作為輸出的選通信號，就有對應的視頻數據流輸出，然后在幀合成單元的控制下寫入緩存。視頻數據進行抽取的示意圖如圖4所示，經過抽取后每個視頻通道的數據每行640B；類似地，9畫面對應每行數據426B，16畫面對應每行320B。

圖3 ITU一行視頻數據格式

圖4 數據進行1/2、1/3、1/4、抽取示意圖

2.3 幀合成單元

系統將視頻畫面分為i的2次冪個子塊，每個子塊按4:3的比例顯示一個視頻畫面。幀合成就是將各個視頻畫面抽取后的數據按照幀格式重新合成一幀視頻數據。由于每一通道的視頻數據流以及行場同步信號各自獨立，幀合成單元必須控制各個通道的壓縮視頻數據在數據緩存中的讀寫時間，以解決數據的同步問題；同時將各路數據順序寫入幀存儲器中對應的分區中，從而合并為一幀完整的視頻圖像數據。根據視頻合成的要求，4畫面的每個圖像大小為320×240像素，9畫面為213×160像素，16畫面為160×120像素。

使用的幀合成技術時涉及到行內數據的時分復用過程，即利用每一行經過抽取后的數據之間的空隙來“加入”另一視頻通道的數據，從而將2、3或4路信號合為一路視頻數據流。圖5中是四畫面幀合成示意圖，通道0和通道1的數據流經過有效抽取后，分別得到占空比為1/2的數據流，控制兩個視頻通道的數據的讀取時間，使得通道1的數據滯后于通道0的數據4個時鐘周期輸出，則通道1的數據正好處于通道0的無效數據期，這兩個通道的數據相互交錯，就可以得到一行復合視頻數據流U0Y0V0Y1U0Y0V0Y1U4Y4V4Y5U4Y4V4Y5…，此復合視頻行包含2個視頻通道的320個雙字節，共為640個雙字節。完成行內數據的時分復用后，選擇合適的復合視頻行存儲在片外SRAM中就可以構成完整的一幀數據。為了均勻地抽取每個畫面的視頻行，須考慮奇偶場的因素，利用奇偶場標識端RTS1。在每個視頻通道選擇進行復合的視頻行的行序號符合以下規則：

圖5 四畫面幀合成示意圖

設畫面分割數為i2，在每一場進行i分之一行的抽?。寒攊為奇數時，在RTS1=1時從行0開始抽取，RTS1=0時從行1開始抽??；當i為偶數時，每個視頻畫面只需要在RTS1=1時（奇場）抽取視頻行，4畫面時全取，為240行；16畫面時1/2抽取，為120行。則在視頻編碼芯片輸出一幀數據的期間，就可以得到合成畫面的全部視頻通道數據。根據以上原理設計幀合成單元，其內部結構圖如圖6所示，主要由緩沖存儲單元STR_FIFO、讀允許單元FIFO_RD、寫地址產生單元WR_ADD和數據選擇器SELECTOR組成。

圖6 幀合成單元內部結構圖

2.3.1 緩沖存儲單元STR_FIFO

緩沖存儲單元由16個雙端口先進先出器件LPM_FIFO_DP并聯構成，用于緩存每個視頻通道經過有效抽取的視頻數據。LPM_FIFO_DP的參數定制為：寫數據位寬＝8；讀數據位寬＝16；數據深度＝2048；寫時鐘采用系統像素時鐘SYS_CLK，讀時鐘采用像素時鐘的二分頻信號CLK2；寫允許信號端連接數據采集單元輸出的數據有效信號L[15..0]，讀允許信號端連接讀FIFO單元輸出的信號RD[15..0]。

2.3.2 讀FIFO單元FIFO_RD

讀FIFO單元負責在每一視頻通道的一行的有效視頻數據寫入各自的緩沖FIFO后，通過判斷數據有效信號L[15..0]和通道選通端Y[15..0]，輸出對16個FIFO的讀允許信號RDOUT[15..0]，從而實現一行數據的時分復用。工作過程是：通過判斷數組Y[15..0]中的高電平位，將輸出的端口分為i組，每組輸出i個高電平選通脈沖組合，每個脈沖相隔2個時鐘信號CLK2，持續時間為640個CLK2，然后下一組端口依次輸出這樣的脈沖組合，作為每個FIFO的讀允許信號。如：當四畫面分割時，若Y=000FH，L=000FH，則選中通道3～0，表示是這四個視頻通道的畫面進行幀合成，且其數據已經開始寫入這一組的4個緩存FIFO，則可以在RDOUT的最低4位RDOUT[3..0]順序輸出脈沖信號去讀取這4個FIFO。

2.3.3 WR_ADD單元

寫地址單元的任務是依據緩沖FIFO輸出的有效數據，產生對應的存儲地址，從而保證數據能夠正確寫入與顯示屏上的位置相對應的片外SRAM中的存儲單元。按照分割畫面的分區規則，將SRAM的存儲空間也劃分為i的2次冪個分區，其存儲地址由高位的列地址和低位的行地址組成。行地址10位，表示一行中前640個單元用于暫存視頻數據；列地址9位，表示可以暫存480行的數據；剩余的單元空閑。寫地址單元WR_ADD根據畫面分割信號EN[3..0]，在16個通道的行有效信號L[15..0]有效后，輸出對應于不同分割要求的寫SRAM地址。根據顯示器顯示界面的空間位置來產生寫地址。當畫面分割數i為偶數時，設通道序號為j，則寫地址的行地址=M+P*j(M=(0,1,……,640/i-1))，而列地址則是逐一增加。

2.3.4 數據選擇器SELECTOR

數據選擇器的作用是選擇進行幀合成的i個視頻通道的數據，同時也調整時鐘，與寫SRAM的地址同步送入幀存控制單元，從而保證幀合成的準確性。

2.4 幀存控制單元STORAGE_CTL

幀存控制單元是FPGA芯片與外設SRAM的接口，從片外SRAM中讀取一幀數據，將每行數據都再生插入：有效視頻行，插入SAV，EAV和行消隱數據。再生的數據和存儲器中的有效數據分時地輸出到視頻編碼芯片，然后輸出到顯示器。為了實現數據的連續處理，設計中采用了兩片SRAM交替工作，一片SRAM寫入一幀視頻數據時，另一片SRAM讀出已經完成幀合成的數據，寫滿或讀空后，交換處理下一幀數據。

3 結論

圖7 四畫面分割的部分仿真波形

圖7給出了四畫面分割時的部分仿真波形，EN2=1，VPO0～VPO3表示4個視頻通道的輸入，DOUT1～DOUT4是表示經過幀合成以后的數據，WRADD表示對應這些數據的寫入SRAM的地址信號，DD表示將經過幀合成后的數據流?？梢钥闯觯紫韧ǖ?和通道1的數據經過緩沖FIFO組，延時幾個字節后，以四個CLK為間隔的時差輸出，合成為數據DD：D9D8、DBDA、DBDA、DDDC、E1E0……，同時系統輸出了寫入SRAM的地址（十進制表示）：0，1，320，321，2，3……。從仿真波形得出對數據流的幀合成處理是正確的。

任意畫面的分割器，只是要改變視頻信號的路數，硬件上增減攝像頭、視頻解碼芯片，軟件方面，就要根據畫面分割要求對每一路視頻信號進行適當抽取，然后合成為一幀數據，再經過視頻編碼芯片輸出[3]。

視頻信號的處理過程涉及到大量的數據交換，FPGA依賴其強大而靈活的邏輯控制功能和內部先進的快速通道互連，使其以超小的端端延時而在數據處理方面處于優勢。系統在QUARTUSⅡ環境下進行綜合驗證，共使用了1200個LE。將程序下載到FPGA芯片進行仿真驗證，實現了系統的功能。

[1] 胡瑤榮.基于FPGA的實時視頻采集系統[J].電視技術.2005(2).81-83.

[2] 覃永新,陳文輝,章帆.實時視頻數據采集的FPGA實現[J].電子技術應用.2009,31(9):46-48.

[3] 程治國.劉允才.多畫面遠程監控系統中關鍵技術的實現[J]. 微型電腦應用.2003,(19):14-16.