基于FPGA的多路視頻實時處理系統的設計

摘 要：針對多路高清視頻信號實時處理中的畫面疊加以及畫中畫顯示實時性差的問題，設計了一種基于FPGA的多路視頻實時處理系統。該系統可接收外部參數控制，并通過跨時鐘域技術，實現了4路HDMI視頻信號的輸入接收、畫面任意比例縮放、任意位置疊加以及畫面漫游的實時處理功能。相比現有系統，該設計通過FPGA并行處理架構實現了多路高清視頻的無縫實時疊加，提高了系統實時性能和顯示效果，為多視頻源的實時處理提供了一種新的系統解決方案。

關鍵詞：多路視頻；FPGA；跨時鐘域

中圖分類號：TP311 文獻標識碼：A 文章編號：2096-4706（2024）16-0024-04

Design of a Multi-channel Real-time Video Processing System Based on FPGA

Abstract： Aiming at the problems of poor real-time performance in overlay and picture-in-picture display of multi-channel high definition video signals， this paper designs a multi-channel real-time video processing system based on FPGA. The system can receive external parameter control. Through Clock Domain Crossing technology， the system implements real-time processing functions including input reception of 4 HDMI video signals， arbitrary aspect ratio scaling， arbitrary position overlay， and picture roaming. Compared with existing systems， this design achieves seamless real-time overlay of multi-channel HD videos through the FPGA parallel processing architecture， which improves system real-time performance and display effects. It provides a new system solution for real-time processing of multi-video sources.

Keywords： multi-channel video; FPGA; Clock Domain Crossing

0 引 言

隨著工業自動化和智能化的不斷發展，高清視頻技術在工業監控領域的應用也日益增多。在工業監控中，實時高清視頻處理不僅提高了監控效率，還增強了安全管理和質量控制的能力。特別是在涉及危險或難以接近的環境中，多路高清視頻監控可以為操作人員提供實時、全面的視覺信息，幫助及時發現和處理潛在的安全隱患。然而，這些應用場景通常要求極高的視頻處理實時性和穩定性，尤其是在需要對多個視頻源進行同步分析和疊加時。因此，開發一種能夠有效處理大量高清視頻數據、同時保證低延時和高可靠性的系統，對于提升工業監控的效能至關重要[1-3]。

基于傳統DSP和GPU架構的視頻處理系統，受限于存儲訪問帶寬和核心計算能力，難以滿足多路高清視頻實時畫面疊加的處理需求。而基于FPGA的視頻處理系統具有并行處理結構，可有效解決高清視頻大量數據處理的問題[4-5]。

但是，在FPGA系統中實現多路視頻的同步處理也面臨時鐘域劃分以及存儲訪問沖突等問題。為實現多路高清視頻信號無縫實時疊加，設計高效的跨時鐘域技術以協調多路視頻處理流程，優化DDR存儲器訪問機制以提供充足的存儲讀寫帶寬，是FPGA處理系統設計的關鍵[6-8]。

為此，本文設計了一種基于FPGA的多路高清視頻實時處理系統。該系統在片上資源有效劃分多個時鐘域，實現低延時的多路視頻畫面無縫實時疊加。相比現有系統，本設計提供了一種高效可靠的多路高清視頻實時處理方案，能夠有效解決實時性和穩定性問題。

1 系統硬件設計

該系統硬件主要由Xilinx公司的Kintex-7系列FPGA XC7K325TFFG676、解碼芯片ADV7611、串口芯片CP2104、DDR3存儲芯片MT41K128M256等芯片組成。其系統硬件框圖如圖1所示。

在該系統中，FPGA首先通過I2C總線對視頻解碼芯片ADV7611進行配置初始化，完成寄存器參數的設置。配置完成后，系統輸入的4路高清HDMI視頻信號首先通過ADV7611解碼芯片進行解碼，輸出RGB視頻格式的數字信號。上位機通過USB串口（CP2104）將控制命令和參數傳輸到FPGA。FPGA根據接收到的控制指令，對輸入的4路RGB數字視頻信號進行裁剪、縮放等處理。處理后的視頻數據通過幀緩存機制暫存到DDR3存儲器中。最后，FPGA按時序讀取DDR3存儲器中的視頻幀數據，轉換成HDMI格式的視頻信號輸出。

2 多路視頻實時處理系統程序設計

多路視頻實時處理系統程序設計由FPGA完成，主要由系統參數初始化模塊、ADV7611配置模塊、視頻裁剪模塊，視頻縮放模塊、DDR3讀寫仲裁模塊、視頻疊加模塊、RGB轉HDMI模塊組成。多路視頻實時處理系統程序框圖如圖2所示。

系統上電時，ADV7611配置模塊通過I2C總線對ADV7611進行配置，設置輸出格式為GRB888，在參數設置完成后，產生一個ADV7611_Init_Done的信號，結合MIG IP核產生的init_calib_complete信號，共同作為系統復位信號。系統參數初始化模塊隨后將視頻裁切默認參數、視頻縮放默認參數、視頻疊加默認參數下發。系統按照指定的剪切參數設置，通過視頻輸入像素時鐘（pixle_clk）、視頻輸入使能信號（DE）、行同步信號（Hsync）、場同步信號（Vsync）將24位并行視頻數據采集進異步FIFO中。之后，通過指定的縮放參數與雙線性插值算法，完成視頻數據的縮放。縮放后的數據通過異步FIFO，將24位位寬的RGB888數據首先通過補齊高8位來形成一個32位的數據，之后通過拼接處理將數據拼接為256位后，通過讀寫仲裁模塊寫入到DDR中。

在DDR讀寫仲裁模塊中，需要分別進行4路視頻數據寫入操作和4路視頻數據讀取操作，這就對DDR仲裁讀寫操作提出了較高的要求。在本文設計的DDR讀寫仲裁模塊中，首先使用message_queue消息隊列模塊來管理消息隊列。消息隊列模塊首先通過雙級觸發器同步所有輸入信號，以減少亞穩態的可能性并提高信號穩定性。接著，設計了一個三段式狀態機來控制消息隊列的狀態轉換，涵蓋了空閑、各通道的讀寫以及等待狀態，確保按照預定邏輯和順序處理請求。為了在請求處理期間保持信號狀態，模塊使用寄存器緩存了每個通道的讀寫請求信號。當處理完某個通道的請求后，相應的緩存信號才會被清零。之后，DDR讀寫仲裁模塊讀取消息隊列中的信息，確定當前的DDR操作模式、操作地址、突發讀寫長度，在完成單次DDR操作后，再次讀取消息隊列中的信息，進行下一次的DDR操作。該仲裁機制最大限度地減少了內存訪問的延遲，提升了數據吞吐量，確保了在高負載條件下系統的穩定運行和高性能。

視頻疊加模塊接收到系統復位完成信號后，按照系統參數初始化模塊指定的參數，首先生成一個對應分辨率的行同步信號、場同步信號及使能信號。之后，系統按照產生的視頻同步信號，通過DDR讀寫仲裁模塊將4路視頻數據讀出。數據讀出后，首先將256位位寬的數據拆解8個32位位寬的RGB888的數據，之后按照指定的顯示方式，通過級聯的方式逐級產生視頻時序與視頻數據。最后，通過RGB轉HDMI模塊將RGB數據轉為TMDS數據發送出去。多路視頻實時處理系統工作流程圖如圖3所示。

3 跨時鐘域信號同步設計

多路視頻實時處理系統中存在多個時鐘源：系統工作100 Hz系統時鐘sys_clk、4路HDMI轉RGB后的148.5 Hz像素時鐘pixle_in_clk0、pixle_in_clk1、pixle_in_clk2、pixle_in_clk3、DDR3使用的200 MHz用戶時鐘mem_clk、視頻疊加模塊使用的148.5MHz輸出像素時鐘pixle_out_clk。在FPGA多路視頻處理系統中，正確進行時鐘域劃分和管理對于整個系統的性能和穩定運行非常重要。由于不同模塊或IP核心的工作時鐘頻率各不相同，在數據傳輸時就需要進行頻域轉換。如果直接進行不同時鐘域間的相互訪存、操作，將導致嚴重的時序問題，使系統產生時序故障。特別是對于數據量吞吐量大的視頻處理系統，其數據傳輸和操作涉及多個不同頻率的時鐘域。跨時鐘域的異步處理技術可以協調多個視頻處理模塊的工作時序，避免數據競爭和傳輸錯誤，保證視頻數據能夠在不同模塊間精確流水線傳輸，從而大幅提高系統的數據吞吐量和穩定性[9-10]。

本系統中涉及跨時鐘域的數據傳輸均為多比特數據傳輸，所以使用異步FIFO來完成。系統參數初始化模塊與視頻裁剪模塊通過異步FIFO完成裁剪參數的傳輸；系統參數初始化模塊與視頻縮放模塊完成縮放參數的傳輸；系統參數初始化模塊與視頻疊加模塊完成開窗位置、開窗大小等參數的傳輸。系統時鐘域劃分圖如圖4所示。

4 上位機軟件設計

該系統的上位機軟件采用Python+PyQt 5編程完成。PyQt 5是一套專為Python語言設計的圖形用戶界面（GUI）軟件開發框架。PyQt5提供了超過600個類以及6 200個函數和方法，使得開發者能夠輕松地構建具有豐富交互性的應用程序。PyQt5不僅支持Python 2和Python 3，并且作為一個跨平臺的工具包，它可以在Windows、Mac OS、UNIX等多種操作系統上運行。

上位機軟件能夠實現顯示模式的命令下發、回傳信號的接收等功能。在該軟件中，用戶能夠方便地實現固定顯示模式的設置，例如單畫面的全幅顯示、4畫面等分顯示、1大三小顯示等，同時還支持畫面漫游顯示功能。對于有特殊顯示需求的場景，軟件內設有視頻參數設置區，用戶可分別設置4路輸入視頻的輸入分辨率、縮放后的顯示大小、縮放后的顯示位置信息，實現特殊的現實需求。上位機軟件界面如圖5所示。

5 系統搭建與驗證

本系統支持4路全高清視頻信號的輸入和1路高清視頻輸出。在測試中，使用能輸出1 920×

1 080@60Hz高清視頻的筆記本作為視頻源，通過FPGA內部邏輯實現將1路高清視頻輸入復制并擴展為4路高清視頻信號。筆記本通過串口連接至信號板上，打開上位機軟件，設置顯示模式，FPGA即將處理后的視頻信號通過HDMI接口輸出到顯示器上進行顯示。如圖6所示，系統能夠實現4等分縮放顯示。如圖7所示，系統能夠實現可調比例可調位置縮放顯示。

6 結 論

本文設計并實現了一種基于FPGA的多路高清視頻實時處理系統。該系統通過FPGA并行處理結構，有效解決了高清視頻大數據量處理的難題，實現了多路HD視頻信號的實時裁剪、縮放和疊加處理。系統采用ADV7611視頻解碼芯片接收HDMI視頻源，經處理后通過DDR3存儲器進行緩存，并最終轉換為HDMI格式的輸出。

關鍵的跨時鐘域技術應用確保了系統各處理模塊之間的精確數據傳輸與同步，避免了多頻率異步時鐘之間的時序故障。系統采用異步FIFO進行視頻數據的跨時鐘域傳輸，相比直接邏輯傳輸，這種方法大幅減少了時序約束壓力，保證了穩定可靠的數據傳輸。

測試結果表明，該系統實現了實時處理4路高清1080P視頻，并具備任意畫面分割、縮放以及多畫面疊加顯示等功能，整個系統保證了低延時的多路高清視頻無縫實時處理效果。

本設計的基于FPGA的多路高清視頻實時處理系統，不僅在技術上實現了多路視頻信號的高效實時處理，而且具有重要的工業應用價值。在工業監控領域，該系統可以顯著提高監控效率和安全性，特別是在對實時性要求高的環境中，如自動化生產線、關鍵基礎設施監控以及危險區域的安全監視。系統的低延時處理能力確保了緊急情況下可以迅速響應，為工業監控領域提供了一種高效、可靠的視頻處理解決方案，展示了在高要求工業環境中實現精確和實時監控的巨大潛力。

參1g6MPy7HI5r8TuKTXsi08tQp15JUXFELamHInGYBiBo=考文獻：

[1] 宋長駿，湯勇明.基于FPGA的通用多路視頻輸入處理系統設計 [J].電子器件，2022，45（4）：805-809.

[2] 王軼楷.實時視頻圖像縮放系統的FPGA硬件實現 [D].太原：中北大學，2023.

[3] 嚴飛，丁兆東，劉銀萍，等.基于FPGA的多路實時視頻處理系統設計 [J].液晶與顯示，2022，37（7）：861-870.

[4] 劉洪慶.機載多路視頻采集設備設計與實現 [J].中國電子科學研究院學報，2021，16（10）：1029-1033.

[5] SUN K C，KOCH M，WANG Z，et al. An FPGA-Based Residual Recurrent Neural Network for Real-Time Video Super-Resolution [J].IEEE Transactions on Circuits and Systems for Video Technology，2021，32（4）：1739-1750.

[6] 吝毅.基于FPGA的實時圖像預處理系統研究 [D].西安：長安大學，2023.

[7] COSTA A，CORNA N，GARZETTI F，et al. High-Performance Computing of Real-Time and Multichannel Histograms： A Full FPGA Approach [J].IEEE Access，2022，10：47524-47540.

[8] 張麗紅.基于FPGA的多路音視頻控制系統的實現 [J].電子元器件與信息技術，2021，5（10）：96-98.

[9] JAIN D K，JACOB S，ALZUBI J，et al. An Efficient and Adaptable Multimedia System for Converting PAL to VGA in Real-Time Video Processin [J].Journal of Real-Time Image Processing，2020，17：2113-2125.

[10] 昱人.車載多路視頻記錄與回放系統設計 [D].太原：中北大學，2020.