實時視頻處理系統詳細設計

◎劉會楊

實時視頻處理系統詳細設計

◎劉會楊

本文介紹了以FPGA和dsp框架的實時視頻采集、處理、傳輸以及后端的圖像壓縮處理算法設計。FPGA（Field－ Programmable Gate Array），即現場可編程門陣列，它是在PAL、GAL、CPLD等可編程器件的基礎上進一步發展的產物。它是作為專用集成電路（ASIC）領域中的一種半定制電路而出現的，既解決了定制電路的不足，又克服了原有可編程器件門電路數有限的缺點，DSP（Digital Signal Process）即數字信號處理技術，DSP芯片即指能夠實現數字信號處理技術的芯片。

該系統采用了基于FPGA+DSP協同工作的模式來對實時視頻進行處理，實現了從視頻的采集、處理及傳輸的整個流程。

實時視頻圖像采集處理過程中，底層的數據處理量較大，但算法要求相對簡單一些，但是對處理的速度要求高，非常適用于FPGA來實現該處理，FPGA處理速度快、靈活性高。上層的圖像處理算法相對就較為復雜，適用于運算速度高、尋址方式靈活、通訊機制強的DSP芯片技術。

DSP+FPGA架構是當前圖像采集處理應用最為廣泛的，因為該框架 結構靈活、有較強的通用性、適合于模塊化設計，高速的算法運算處理縮短了開發周期，同時使系統易于維護和升級，為廣大的視頻處理工程師所追捧。

該系統框架采用了模塊化的設計方案，將整個系統劃分為三個部分：分視頻采集單元；視頻處理單元；視頻傳輸單元，清晰的描述了實時圖像輸出的處理流程。

FPGA作為核心控制單元，完成視頻信號的采集、濾波工作。以DSP作為整個系統的核心處理單元對采集的視頻圖像信息進行復雜的JPEG壓縮處理。而在視頻傳輸單元設計了以PDIUSBD12芯片為基礎的USB總線，專門負責視頻信號的傳輸工作。

FPGA+DSP硬件系統架構

視頻采集、處理框架分為視頻采集單元、視頻處理單元及視頻傳輸單元三部分組成而成。系統在設計時必須保證各個部分分工明確而又能無縫銜接。

FPGA和MB86S02視頻采集芯片作為圖像采集單元，實現了視頻信號的采集和預處理，快速而穩定的將輸入的視頻信號轉換成數字圖像數據，并按照一定的格式存儲在確定的存儲區域。

DSP芯片為本系統的核心，對圖像數據進行壓縮處理，實現系統要達到的功能，將龐大的數據轉化為人眼能夠看到的jpg圖像。

圖像的上數據傳輸單元基于FPGA+USB模式，數據以PDIUSBD12芯片的USB總線為傳輸媒介，將處理后的的視頻圖像數據發送到數據接收端，接收的PC端將壓縮的數據解壓成RGB或其他格式顯示出來。

FPGA+DSP組成了該框架的硬件系統，圖像采集單元為FPGA，將采集到的圖像信號處理后傳輸給DSP，圖像實時處理系統的核心模塊，即DSP，對已經預處過的圖像數據經過復雜的運算，壓縮成數據量較小的JPEG數據，這一步復雜的操作非常耗時，所以整個系統的性能由DSP單元決定著，圖像數據經過DSP處理完成圖后再次返回給FPGA，數據再經過FPGA寫到接口控制芯片的數據緩沖區中，最后數據由接口控制芯片負責信息的傳輸。

再此講述一個視頻采集、處理、傳輸用例。以FPGA控制的MB86S02視頻圖像傳感器負責圖像數據的采集，MB86S02傳感器在收到PC機的采集信號后開始視頻信號的采集，同時在負責圖像數據采集的FPGA單元還要擔負起視頻圖像信息的簡單理和系統其他各單元模塊之間的數據交互工作。系統應采用大容量的片外SDRAMR對采集到的視頻圖像信息進行緩存，因為視頻圖像數據量比較大，系統應保證圖像的實時處理，FPGA實現對SDRAM控制，FPGA首先要對緩存在SDRAM的視頻圖像進行簡單的濾波處理，消除圖像數據中的一些噪聲干擾，FPGA+DSP系統中采用中值濾波的方式對采集到的視頻信息進行簡單的預處理，預處理后的數據再通過FPGA內部FIFO進入DSP中進行復雜的壓縮處理。第一步首先上電加載DSP，加載后就可以等待FPGA發送的命令請求，當DSP收到FPGA的命令請求后，建立一個EDMA通道接收FPGA傳送的圖像數據，當接收滿一幀后便開始對視頻圖像進行負載的JPEG壓縮處理，視頻圖像信息經過DSP的壓縮處理后經過FIFO緩存，由 FPGA的控制寫入USB接口控制器的數據緩存區，至此圖像數據處理完成，等待PC機的讀數請求，為方便PC端的下一步讀取數據，USB接口控制器在收到PC機的讀數請求后將數據寫入PDIUSBD12的端口1。

FPGA+DSP系統軟件設計

FPGA+DSP系統軟件設計和硬件設計一樣，同樣可以分為兩個部分來講述。FPGA和DSP之間的運行是相對獨立的，他們通過中斷信號來實現數據的實時交互。首先FPGA向DSP方向發送一個EDMA請求，DSP收到該請求后建立一個EDMA EDMA通道，DSP開始讀取緩存在FIFO中的FPGA已經預先處理過的數據，等待DSP壓縮處理完成后向FPGA發送一個中斷信號，FPGA收到DSP的處理完成信號后從FIFO中把壓縮后的圖像數據讀出來。

FPGA+DSP實時處理系統的整個操作流程，可以簡單描述為：系統上電后，DSP自行加載，加載完成后進入EDMA等待狀態，等待數據處理信號，FPGA初始化后等待接收視頻圖像采集命令，收到視頻圖像采集命令后開始采集圖像，并對圖像進行簡單的預處理，以消除一些噪聲的干擾，最后將圖像數據放入FIFO緩沖區，當處理了一定的數據量后，通知FPGA建立EDMA通道用來下一步的壓縮處理，通知信號發送后等待DSP建立EDMA通道的響應，DSP將預處理后的圖像數據從FIFO中讀取后放到到L2存儲器，存滿一幀圖像后開始JEPG圖像壓縮，壓縮處理完成后發送中斷信號通知FPGA，FPGA在收到中斷信號后再從 FIFO中讀取壓縮后的圖像數據。同時判斷編碼信號是否有效，如果無效則通知DSP結束，如果有效則按同樣的規則對下一幀圖像進行壓縮。

FPGA+DSP的系統方案體積僅為70×70mm，體積小，功耗低，濾波速度更是能達到25F/S，圖像數據壓縮速率更是能達到30F/s以上。不僅慢速了視頻處理系統的實時性要求，更是具有良好的靈活性和擴展性。FPGA+DSP的系統方案設計已經通過了硬件驗證，并達到了預定的設計要求，實現了大數據量的實時處理，并應用于廣大的視頻圖像市場。

（作者單位：石家莊優創科技股份有限公司）