基于FPGA的多視頻信號疊加系統(tǒng)的設(shè)計與實現(xiàn)

盧小冰

摘 要：該文介紹一種基于FPGA多視頻信號任意疊加的設(shè)計與實現(xiàn)，給出了實現(xiàn)原理及模塊設(shè)計。設(shè)計包含視頻采集預(yù)處理模塊、I?C總線接口模塊、DDR3 SDRAM存儲模塊、放大疊加融合模塊、LVDS顯示輸出模塊等五個部分。該系統(tǒng)在LATTICE的LFE3-70EA-8FN484C芯片系統(tǒng)上得到實現(xiàn)并運用到視頻監(jiān)控系統(tǒng)。

關(guān)鍵詞：疊加 LVDS顯示 FPGA

中圖分類號：TP302 文獻(xiàn)標(biāo)識碼：A 文章編號：1674-098X（2017）05（c）-0162-02

隨著平安城市建設(shè)的不斷推進(jìn)，視頻監(jiān)控系統(tǒng)成為社會立體化防控的重要組成部分。隨著城市的發(fā)展，監(jiān)控點位劇增，視頻信號隨之劇增，對于終端顯示能力的需求也不斷劇增。不僅要求實時顯示，還要求能夠同時顯示更多的信息，此時就需要視頻疊加技術(shù)。

1 系統(tǒng)整體設(shè)計

該文介紹了基于FPGA的多視頻疊加系統(tǒng)，該系統(tǒng)支持多路視頻源的輸入。系統(tǒng)支持PAL、VGA、HDMI、SDI四種格式視頻源輸入，經(jīng)過FPGA系統(tǒng)處理，視頻數(shù)據(jù)最終完成視頻疊加并通過LVDS輸出到終端顯示。系統(tǒng)由五大模塊組成，包括視頻采集預(yù)處理模塊、I2C總線接口模塊、DDR3 SDRAM存儲模塊、放大疊加融合模塊、LVDS輸出顯示模塊。本設(shè)計的創(chuàng)新點在于系統(tǒng)可同時支持PAL、VGA、HDMI、SDI四種格式的視頻圖像的采集，并完成后續(xù)的視頻疊加動作。作為一種新型的視頻疊加技術(shù)，它具有靈活性強(qiáng)，功能強(qiáng)大，實時性高，體積小，功耗低等特點，具有廣泛的應(yīng)用前景。

本設(shè)計在以FPGA為主控芯片的硬件平臺上實現(xiàn)視頻圖像的縮放與疊加融合功能，可實現(xiàn)多路任意分辨率輸入視頻信號在屏幕任意位置疊加顯示，通過縮放算法對每一路視頻信號進(jìn)行放大或縮小，進(jìn)而調(diào)整各路視頻信號在終端顯示中的比例；還可通過更改各路視頻的相應(yīng)參數(shù)，調(diào)節(jié)各路視頻在終端顯示的位置。該方案實時性好，處理速度快，靈活性較高。

2 I?C總線接口模塊

I?C總線是一種雙線串行總線，分別是串行數(shù)據(jù)SDA和串行時鐘SCL線。它采用多主多從的結(jié)構(gòu)，所有連接在總線上的設(shè)備都有唯一的地址識別。為實現(xiàn)圖像位置、大小的可配置性，系統(tǒng)設(shè)置了I?C總線接口模塊，用于接收配置數(shù)據(jù)。FPGA僅接收配置數(shù)據(jù)值，所以只需要把FPGA作為從機(jī)設(shè)備且只有寫操作。I?C主機(jī)將對應(yīng)的的輸入視頻信號的配置信息通過I2C總線發(fā)送至從機(jī)FPGA系統(tǒng)上，F(xiàn)PGA系統(tǒng)對接收到的數(shù)據(jù)，通過建立視頻圖像信號配置信息對應(yīng)的表格進(jìn)行存儲，待后續(xù)視頻數(shù)據(jù)采集后預(yù)處理做準(zhǔn)備。

3 視頻采集預(yù)處理模塊

視頻采集芯片，將輸入的PAL、VGA、HDMI三種信號轉(zhuǎn)為RGB格式后，同SDI一起輸入FPGA系統(tǒng)中進(jìn)行視頻采集預(yù)處理，根據(jù)由I?C總線傳輸過來的已保存的配置信息，對視頻信號進(jìn)行處理，對于只有部分顯示的視頻信號進(jìn)行裁剪，提高數(shù)據(jù)傳輸?shù)男剩粚τ谛枰s小顯示的視頻信號進(jìn)行壓縮處理，然后將輸入視頻圖像數(shù)據(jù)進(jìn)行保存。

4 讀寫控制模塊

讀寫控制模塊控制幀地址的切換。為了提高并行處理的速度，簡化數(shù)據(jù)讀寫沖突，視頻圖像數(shù)據(jù)分別存儲在DDR3 SDRAM中。

讀寫控制模塊主要是先將DDR3 SDRAM空間進(jìn)行劃分，然后通過控制幀地址的切換進(jìn)行有效儲存。為了簡化設(shè)計，將視頻圖像信號劃分區(qū)域保存。輸入多視頻信號按幀劃分，同一幀，所有輸入視頻信號保存至同一bank中；輸入信號做3幀保存處理，即分別保存至3個bank中。視頻圖像放大、疊加處理及輸出顯示處理的存儲則全部保存至同一bank中。保存時，一個bank分3塊區(qū)域，保存獨立的3幀視頻圖像。

此模塊的工作過程分為寫操作和讀操作。

（1）寫操作。主要處理輸入視頻圖像信號的存儲、視頻圖像信號處理后的存儲。輸入視頻圖像信號的存儲優(yōu)先級高于后處理的。輸入視頻圖像信號運用乒乓效應(yīng)輪流緩存到FIFO中，當(dāng)緩存中數(shù)據(jù)滿足DDR3 SDRAM寫操作數(shù)據(jù)量時，申請寫操作。FIFO中數(shù)據(jù)在每一幀視頻圖像信號完成后進(jìn)行清空處理，避免信號間數(shù)據(jù)交叉異常出錯。視頻圖像信號是連續(xù)不中斷的且信息容量不一致，針對出現(xiàn)前一幀未處理完而新的一幀數(shù)據(jù)已到達(dá)情況，該系統(tǒng)采用了并行的2個FIFO交叉輪流處理數(shù)據(jù)，有效及時地處理了前端輸入數(shù)據(jù)。視頻圖像信號處理過程則是通過對從DDR3 SDRAM存儲器中讀出的數(shù)據(jù)，根據(jù)設(shè)置參數(shù)進(jìn)行放大，疊加處理后，存入FIFO中緩存，同樣的，也采用了2個FIFO交替處理，等待寫入DDR3 SDRAM存儲器中。

（2）讀操作。主要是輸入視頻圖像信號的讀取處理操作及終端顯示數(shù)據(jù)讀取操作。此過程，讀取終端顯示數(shù)據(jù)操作優(yōu)先于讀取輸入視頻圖像信號待疊加放大處理操作。輸出視頻圖像信號顯示是一個連續(xù)的過程。所以讀取終端顯示數(shù)據(jù)的優(yōu)先級高。通過從DDR3 SDRAM存儲器中讀取視頻圖像信號的數(shù)據(jù)緩存到FIFO中，待終端顯示讀取或者信號縮放疊加處理。

5 DDR3 SDRAM仲裁器控制模塊

DDR3 SDRAM用戶接口仲裁控制模塊將每一個數(shù)據(jù)讀寫請求設(shè)置成中斷，借鑒中斷處理思想來進(jìn)行仲裁控制，從而解決數(shù)據(jù)存儲的沖突。

每片DDR3 SDRAM只有一組控制、地址和數(shù)據(jù)總線，因此同一時刻只能有一個設(shè)備在訪問。常見的總線切換方式有兩種：一種是輪詢機(jī)制，軟件實現(xiàn)簡單，但實時性不高；一種是仲裁機(jī)制，設(shè)備發(fā)送中斷請求，從而進(jìn)行總線切換。由于視頻圖形顯示系統(tǒng)對實時性要求高，因此選擇仲裁機(jī)制。

為了提高并行速度，將視頻信號處理操作分別進(jìn)行中斷處理。將設(shè)備中斷請求解析成多個子請求，進(jìn)行優(yōu)先級判斷，每個子請求對應(yīng)一個中斷處理邏輯。

6 視頻放大疊加處理模塊

視頻疊加是指多幀視頻圖像信號按照一定的原則和順序疊加起來，形成一幅完整的視頻圖像信號。依據(jù)確定最終信號中每個像素點對應(yīng)的坐標(biāo)，完成疊加。若最終圖像N（x，y）為n幅小圖像n（x，y）組成，則

根據(jù)疊加的概念，本系統(tǒng)輸出顯示分辨率為1920*1080。模塊主要包括放大處理模塊、坐標(biāo)位置定位模塊、疊加模塊三部分。

放大處理模塊采用了Lattice芯片Scaler IP核對視頻信號進(jìn)行放大處理。視頻數(shù)據(jù)從DDR3 SDRAM中讀取出來，通過查找I2C傳輸過來的已保存的配置信息表，查找到對應(yīng)視頻的配置信息，再依據(jù)配置信息對視頻圖像信號進(jìn)行放大處理。

坐標(biāo)位置定位模塊，通過配置信息表中的圖像位置信息進(jìn)行處理。顯示數(shù)據(jù)的存儲位置按照終端顯示位置保存。由于DDR3 SDRAM一行的容量不夠存儲分辨率為1920*1080的視頻圖像信號24位RGB數(shù)據(jù)一行的數(shù)據(jù)，因此，將圖像一行數(shù)據(jù)分為2行數(shù)據(jù)進(jìn)行存儲。這意味著視頻圖像信號的坐標(biāo)都需要進(jìn)行調(diào)整。坐標(biāo)位置定位模塊則對每一個視頻圖像信號的位置信息進(jìn)行計算轉(zhuǎn)換處理。

疊加模塊，根據(jù)計算轉(zhuǎn)換好的位置信息，把經(jīng)過Scaler IP核處理好的視頻圖像信號存儲到相應(yīng)的位置。

7 LVDS輸出顯示模塊

LVDS，即Low Voltage Differential Signaling，是一種低壓差分信號技術(shù)接口。LVDS信號發(fā)送模塊主要由LVDS發(fā)送數(shù)據(jù)控制、雙口RAM、FIFO緩沖、LVDS信號發(fā)送器和DDS控制器組成。LVDS發(fā)送數(shù)據(jù)控制用于產(chǎn)生各模塊的地址、數(shù)據(jù)和控制總線，實現(xiàn)數(shù)據(jù)轉(zhuǎn)移和交互。雙口RAM實現(xiàn)并串轉(zhuǎn)換和乒乓存儲。LVDS信號發(fā)送器為數(shù)據(jù)幀添加包頭，并連同幀數(shù)據(jù)發(fā)送至顯示端。

8 系統(tǒng)驗證結(jié)果顯示

操作控制平臺，設(shè)置畫面配置信息，PAL、VGA、HDMI、SDI四種格式視頻源同時輸入，配置軟件將配置完的信息通過I?C總線發(fā)送至FPGA系統(tǒng)平臺上，系統(tǒng)平臺根據(jù)收到的配置信息，對視頻信號準(zhǔn)確疊加處理。可以看到，多視頻信號任意位置的顯示配置，終端可以正常如設(shè)置要求顯示，如圖。

9 結(jié)語

該系統(tǒng)介紹了基于FPGA的多視頻信號疊加系統(tǒng)，具有強(qiáng)大的視頻處理能力，同時由于可編程的特性，系統(tǒng)的升級、維護(hù)都較為靈活。

參考文獻(xiàn)

[1] 宋承杰，王景存.基于FPGA的視頻字符疊加的設(shè)計與實現(xiàn)[J].器件與應(yīng)用，2009（12）：23-27.

[2] 鄭博文，胡小龍. 基于FPGA的多幅圖像融合疊加的設(shè)計與實現(xiàn)[J].計算機(jī)系統(tǒng)應(yīng)用，2009（9）：85-87.