FPGA平臺(tái)的實(shí)時(shí)全景視頻系統(tǒng)設(shè)計(jì)

摘要：本文提出并實(shí)現(xiàn)了一種基于FPGA的全景視頻處理系統(tǒng)設(shè)計(jì)方案。該系統(tǒng)采用Xilinx Spartan-6 FPGA全硬件單片方式實(shí)現(xiàn)，包括5個(gè)攝像頭的圖像采集、圖像預(yù)處理、圖像校正、全景拼接、視頻壓縮、以太網(wǎng)傳輸、HDMI顯示等模塊，達(dá)到了360度全景視頻高質(zhì)量、高分辨率、實(shí)時(shí)性的要求。

關(guān)鍵詞：FPGA；實(shí)時(shí)全景拼接；以太網(wǎng)；HDMI

DOI： 10.3969/j.issn.1005-5517.2013.2.019

FPGA全硬件全景視頻實(shí)時(shí)系統(tǒng)結(jié)構(gòu)如圖1所示。系統(tǒng)視頻數(shù)據(jù)采集端是5個(gè)Macron高分辨率CMOS圖像傳感器水平放置，其位置是經(jīng)過(guò)精確預(yù)校準(zhǔn)的[2]。同時(shí)配備高質(zhì)量的大視角光學(xué)鏡頭對(duì)視頻進(jìn)行同步高速采集，并將采集好的視頻送入圖像預(yù)處理部分。圖像預(yù)處理主要進(jìn)行色彩生成、色彩校正等圖像處理，以生成正常的彩色視頻流供后續(xù)操作。圖像校正對(duì)由于采用大視角鏡頭而產(chǎn)生的鏡頭失真及鏡頭位置分布產(chǎn)生的視差失真等問(wèn)題進(jìn)行實(shí)時(shí)校正處理[3]。全景拼接主要完成柱面投影模型匹配、圖像拼接、邊界處理等實(shí)時(shí)操作以生成完美的全景視頻流。本視頻壓縮模塊采用的是標(biāo)準(zhǔn)的JPEG標(biāo)準(zhǔn)進(jìn)行壓縮。為應(yīng)對(duì)超大尺寸全景視頻的實(shí)時(shí)壓縮，加速壓縮進(jìn)程，本壓縮模塊采用一種定制的雙核并行壓縮方式。該雙核并行壓縮方式既加快了壓縮進(jìn)程，又解決了超大尺寸圖像壓縮時(shí)需要超大緩沖資源的問(wèn)題。同時(shí)，本壓縮模塊的視頻壓縮比是可接受遠(yuǎn)程后端部分的以太網(wǎng)調(diào)整控制的。

UDP部分采用硬件實(shí)現(xiàn)UDP協(xié)議，提高數(shù)據(jù)傳輸?shù)乃俣龋瑫r(shí)提供了人機(jī)交互平臺(tái)。HDMI顯示部分完成了視頻顯示控制處理。PCIE采集卡連接PC端的PCIE接口，接收以太網(wǎng)發(fā)送過(guò)來(lái)的壓縮視頻數(shù)據(jù)。PC端再通

遠(yuǎn)程控制和數(shù)據(jù)傳輸

遠(yuǎn)程控制部分需要以太網(wǎng)的支持，同時(shí)以太網(wǎng)又肩負(fù)著硬件打包傳輸壓縮視頻的任務(wù)。在視頻傳輸?shù)臅r(shí)候，UDP扮演硬件打包數(shù)據(jù)傳輸數(shù)據(jù)的角色，而在用戶控制的時(shí)候，UDP模塊又可以實(shí)現(xiàn)ftp協(xié)議完成系統(tǒng)和PC之間的交互命令。在控制方面全景視頻系統(tǒng)能進(jìn)行兩種運(yùn)行模式：（1）在分辨率優(yōu)先時(shí)，可實(shí)時(shí)生成5*1920（H）*1080（V）@15FPS的實(shí)時(shí)全景視頻；（2）在幀率優(yōu)先時(shí)，可實(shí)時(shí)生成5*1920（H）*720（V）@30FPS的實(shí)時(shí)全景視頻。為了達(dá)到遠(yuǎn)程觀看全景視頻和遠(yuǎn)程控制的目的，該系統(tǒng)可通過(guò)以太網(wǎng)進(jìn)行相關(guān)參數(shù)的控制，可以自由地選擇兩種不同的運(yùn)行模式。另外通過(guò)遠(yuǎn)程控制，還能對(duì)系統(tǒng)進(jìn)行更新升級(jí)，其流程如圖6所示。而在數(shù)據(jù)傳輸部分，經(jīng)過(guò)全景拼接后的視頻流可用通過(guò)HDMI在顯示器上直接顯示，同時(shí)經(jīng)過(guò)壓縮處理后也可將其送入U(xiǎn)DP模塊，通過(guò)Ethernet連接到PCIE采集卡，存儲(chǔ)到硬盤上，進(jìn)而在PC客戶端上顯示或后期處理。