裸眼3D視頻信號轉換技術研究

梁發云，何 輝，施建盛，劉 果

(1.南昌大學 裸眼立體技術與虛擬現實研究中心，江西 南昌 330031;2. 南昌興亞光電科技發展有限公司，江西 南昌 330031)

1 引 言

嵌入式系統軟硬件可裁剪使得嵌入式設備體積小，功耗和成本低，在消費電子產品等應用有其獨特的優勢[1]。裸眼3D技術被認為是繼高清顯示技術的下一代主流顯示技術，旨在解決人們擺脫3D眼鏡的束縛體驗身臨其境的立體場景，感受新的視覺沖擊。嵌入式裸眼3D設備是立體顯示技術與嵌入式系統的結合，良好的立體顯示效果和便攜性使其在消費電子領域具有廣闊的市場前景。嵌入式裸眼3D設備需要完成視頻文件解碼、視頻信號轉換、裸眼立體顯示屏3個方面的研究工作[2-3]。

近年，立體視頻拍攝、圖像的編解碼和顯示設備等技術有了很大的進步，裸眼立體顯示技術作為獲得立體效果的關鍵環節成為研究熱點[4-6]。而如何對數據量較大的立體圖像進行實時、準確的處理，成為裸眼3D視頻信號處理的主要研究方向之一。本文主要研究在win CE嵌入式系統支持下，采用ARM與FPGA相結合的硬件結構，嵌入式裸眼3D設備對視頻圖像數據處理的重點問題[7-8]，并討論了ARM系統視頻信號接口、視頻數據的采集、左右格式立體圖像特點及列插值融合的硬件實現方法。實驗證明采用ARM+FPGA硬件結構的嵌入式裸眼3D設備能夠完成視頻信號的實時獲取和轉換，在滿足系統要求的同時，使系統具有結構緊湊、可靠性高等特點。

2 系統設計

系統總體設計方案如圖1所示。硬件設計采用了ARM+FPGA結構，ARM選用三星公司的S3C6410嵌入式處理器。該處理器具有功耗低、性能高和成本低等優勢，支持對2D和3D圖形加速，集成了多格式編解碼器，支持MPEG4/H.263/H.264格式編解碼。同時支持多種嵌入式操作系統，友好的人機界面和強大的外設控制能力，這些特點使得S3C6410具有出色的視頻解碼能力[9]。FPGA作為視頻信號處理核心，高速并行的數據處理能力成為裸眼3D視頻信號處理的較優選擇。

圖1 系統總體結構圖Fig.1 System global structure chart

FPGA邏輯設計由4個部分組成：數據采集模塊、時鐘管理模塊、信號轉換模塊、液晶屏控制模塊[10]。頂層模塊控制4個子模塊協調工作，視頻數據通過采集模塊緩存后，進入到信號轉換模塊中進行格式轉換，液晶屏控制模塊從信號轉換模塊中取出轉換好的數據傳送給裸眼3D液晶屏。ARM+FPGA硬件結構發揮了兩者各自的優勢，ARM核心板安裝Windows CE6.0系統支持外設和立體視頻解碼播放，FPGA通過邏輯設計構造出高速并行的視頻信號采集和轉換處理單元，將左右格式立體圖像數據處理成與裸眼3D液晶屏匹配的奇、偶列交錯的雙目立體圖像。

3 視頻接口

S3C6410帶有一個TFT-LCD液晶屏控制器，顯示輸出接口可以支持24位并行RGB和I80接口，最大輸出分辨率為1 024×1 024。Windows CE6.0嵌入式系統應用軟件對視頻文件解碼播放，顯示模式采用24位并行RGB輸出接口。一般圖像數據采集使用圖像傳感器，COMS圖像傳感器是其中常用的一種。以OV3640為例視頻輸出信號包括：CMOS_PCLK(像素時鐘)、CMOS_HREF(行同步信號)、CMOS_VSYNC(場同步信號)、CMOS_CLK(工作時鐘)、CMOS_D0～D7(8位視頻數據)。ARM和CMOS圖像傳感器兩者的視頻信號對比如表1。

ARM液晶屏控制器和CMOS圖像傳感器都是在像素脈沖的控制下輸出圖像數據，行、場同步信號控制消隱等時序，數據有效信號設定圖像數據輸出范圍。CMOS傳感器圖像輸出格式可以通過配置寄存器設定，不同格式按照8位數據寬度輸出到控制器，由控制器進行格式的轉換。根據數據信號的相似性，可以使用FPGA采集ARM系統視頻輸出接口數據，并進行緩存和相應的信號轉換。

表1 ARM和CMOS圖像傳感器視頻信號對比

4 視頻信號轉換

4.1 立體視頻圖像格式

目前基于視差的立體視頻中，常見的是將一幀圖像分為兩個對等的區域，立體對圖像中的奇列像素區和偶列像素區分配到這兩個對等區域中，奇、偶列像素區含有雙目視差信息是立體顯示的關鍵。由于模擬人眼視差的立體拍攝系統多采用左右配置的雙視覺傳感器結構，其視頻圖像存儲方式多采用左右格式。左右格式的圖像如圖2所示。

圖2 左右格式立體圖像Fig.2 Left and right format stereo image

左右格式的立體圖像是每行像素的前半行對應左眼視圖(奇列像素區)，后半行是對應的右眼視圖(偶列像素區)，每一幅圖像包含一個左右眼視圖的立體對。以一幅2n×m分辨率的圖像為例，每行2n個像素，共m行，這些像素與液晶屏的物理像素相對應。圖2中第1～n列n×m個像素是對應左眼視圖，第n+1～2n列n×m個像素對應右眼視圖，整幅圖像包含了水平方向視差。

4.2 左右格式立體圖像融合

根據線光源背照明裸眼3D液晶屏的結構，要得到立體圖像顯示效果不僅需要液晶屏工作在3D模式，而且需要將具有視差的左右格式立體圖像的左眼視圖和右眼視圖分離和融合[11]。按照左眼視圖的n列像素對應顯示在裸眼3D液晶屏的奇列物理像素上，右眼視圖的n列像素顯示在裸眼3D液晶屏的偶列物理像素上，用圖3來表示左右格式立體圖像經過左、右眼視圖分離和融合形成匹配裸眼3D液晶屏上的奇偶列交錯的立體對圖像。

經過照明板的線光源對奇偶列像素照明，分離后的視差圖像分別到達觀看者對應的眼睛，具有視差的圖像通過視網膜傳到大腦，大腦的視覺神經中樞利用視差產生遠近的深度信息，從而獲得立體感。

圖3 圖像融合Fig.3 Fusion of image

4.3 立體圖像融合的邏輯設計

左右格式立體圖像的特點是奇、偶列像素分布在每行數據前、后半行，分離和融合處理過程可以以行像素為單位進行。TFT-LCD顯示屏采用水平逐行掃描方式時，也是以一行像素為單位向顯示屏傳輸數據。因此系統立體圖像融合邏輯設計成兩級緩沖結構，對每行像素數據進行處理。邏輯設計中數據流向如圖4所示。

圖4 數據流向圖Fig.4 Data flow diagram

數據緩存FIFO在數據采集模塊中作為數據的第一級緩存，FIFO的左端由ARM系統控制，當VM(數據有效)信號為高電平時將數據總線上的24 bits像素數據寫入到FIFO中。為了立體視頻數據能準確地分離和融合，使用FPGA內部嵌入式存儲器塊構成的兩個大小相同的Dual-PORT RAM作為雙緩沖池，分別為ram1和ram2。系統設計了通用的液晶屏控制器產生液晶屏的時序[12]，FIFO的右端在系統像素時鐘p_clk的控制下，當液晶屏控制器rdf_req(FIFO讀請求信號)有效時從FIFO中讀出數據寫入雙緩沖池中。對于分辨率2n×m的左右格式立體圖像，每行有2n個像素，每個像素24位，共m行，系統中采用了800×480的分辨率。

當選擇3D模式時通過ram1和ram2的讀寫地址變換完成左右格式立體圖像的列插值，當液晶屏控制器rdf_req為高電平時，視頻數據從FIFO中讀出寫入到ram1中。按照前n個像素存入地址wrram1_addr=2i(i=0，1，…n-1)，后n個像素存入ram1地址wrram1_addr=2i+1(i=0，1…n-1)，讀出時按照順序地址讀取，ram1讀取地址rdram1_addr=i(i=0，1，…2n-1)，ram2操作和ram1相同。兩個Dual-PORT RAM第一行和第二行數據存入和讀出方式如圖5所示，其中L1n，L2n代表立體圖像的第一行和第二行的像素點。

圖5 Dual-PORT RAM存取方式圖Fig.5 Access mode of Dual-PORT RAM

第一個行顯示周期，輸入的圖像數據寫入到ram1中，當ram1寫入完成后，第二個行顯示周期，通過計數器和顯示有效信號來控制ram1與ram2的切換，輸入圖像數據通過選擇單元切換存入到ram2中，同時兩個Dual-PORT RAM的讀使能通過輸出選擇單元選擇讀取ram1中已經處理好的圖像數據。第三個行顯示周期，通過切換選擇信號，將數據存入到ram1中，讀出ram2中處理好的圖像數據，通過對雙緩沖池輪序的操作從內部看數據是分行處理，外部立體顯示屏獲得連續的圖像數據。wr_ram1_en、wr_ram2_en、rd_ram1_en、rd_ram2_en是計數器和顯示有效信號來控制的RAM讀寫有效信號。

為兼容裸眼立體顯示屏的2D顯示模式，在邏輯設計時，使用一個撥動開關來控制Dual-PORT RAM的地址變換實現2D與3D模式的切換，當選擇在2D模式時，兩個Dual-PORT RAM的寫入地址都為wrram_addr=i(i=0，1，…2n-1)，對輸入圖像的每行數據按順序地址寫入，然后按順序地址讀出送到裸眼立體顯示屏，顯示2D圖像。

5 仿真與實驗

使用ModelSim對系統進行了功能仿真驗證，圖6中采用順序數列0～799作為24位寬的像素數據rgb_datainn在de_inn信號的控制下寫入第一級緩存FIFO中。液晶屏控制器按照液晶屏時序產生讀FIFO請求信號rdf_req讀出數據輪流寫入到雙緩沖池中，key=0時按照3D模式列插值方式寫入Dual-PORT RAM，key=1時數據順序寫入，兼容裸眼3D液晶屏的2D模式。de_out是液晶屏控制器的數據有效信號，8位寬的r，g，b是經過系統轉換后輸出到液晶屏的視頻數據。圖6中是選擇在3D模式的仿真波形。

圖6 系統功能仿真Fig.6 Function simulation of system

仿真驗證了系統功能的正確性后進行時序約束和管腳分配。硬件平臺加載配置文件，進行板級調試。圖7是撥動開關斷開時使用普通2D屏全屏播放左右格式視頻，圖8中將開關閉合使得雙緩沖池工作在3D模式，對左右格式立體視頻進行列插值后融合成奇、偶列交錯的立體對圖像。

圖7 左右格式立體視頻Fig.7 Left and right format stereo video

圖8 列插值融合后的圖像Fig.8 Image of fusion by columns interpolation

6 結 論

提出的ARM+FPGA硬件結構適合立體視頻信號的處理，充分發揮了ARM的視頻解碼和FPGA高速數據處理能力。FPGA邏輯設計只使用內部資源完成視頻數據采集、緩存和左右格式立體圖像數據的列插值，簡化了系統設計的復雜度，提高了系統的可靠性，降低了成本，使用純硬件方式實現立體圖像數據分離和融合在應對高清晰度的高速視頻數據流發展趨勢上有其獨特的優勢，為嵌入式裸眼3D設備的設計和應用提供參考。

[1] 雷豐中，劉鵬.基于S3C6410的多媒體系統設計[J].電視技術，2011，35(11)：24-27.

Lei F Z，Liu P. Design of multimedia system based on S 3C6410 [J].VideoEngineering，2011，35(11)：24-27. (in Chinese)

[2] 梁發云，鄧善熙，楊永躍.立體圖像視頻格式及其轉換技術研究[J].儀器儀表學報，2005，26(12)：1233-1237.

Liang F Y，Deng S X，Yang Y Y. Research on Image and video transformation technology of stereoscopic display[J].ChineseJournalofScientificInstrument，2005，26(12)：1233-1237. (in Chinese)

[3] 帖志成，梁發云，黃偉莉，等. 嵌入式設備立體圖像顯示技術研究[J].液晶與顯示，2013，28(1)：71-75.

Tie Z C，Liang F Y，Huang W Li，etal. Stereoscopic display based on embedded system [J].ChineseJournalofLiquidCrystalsandDisplays，2013，28(1)：71-75. (in Chinese)

[4] Smolic A. 3D video and free viewpoint video-From capture to display [J].PatternRecognition，2011，(44)9：1958-1968.

[5] Aksay A，Pehlivan S，Kurutepe K，etal.End-to-end stereoscopic video streaming with content-adaptive rate and format control [J].SignalProcessing：ImageCommunication，2007，22(2)：157-168.

[6] Ryu S，Sohn K. Depth-based direct mode for multiview video coding [J].SignalProcessing：ImageCommunication，2012，(27)6：571-578.

[7] 張挺飛，樊永生，孫凌云.基于FPGA+ARM的智能圖像門控系統[J].電視技術，2012，36(17)：156-158.

Zhang T F，Fan Y S，Sun L Y. Intelligent door control system based on FPGA + ARM [J].VideoEngineering，2012，36(17)：156-158. (in Chinese)

[8] 吳祿慎，任丹. 面外“moire” 計算機圖像處理技術的研究[J]. 南昌大學學報：工科版,2000，12(22)：1-5.

Wu L S，Ren D . Investigation of computer image processing technology on out of plane moire method [J].JournalofNanchangUniversity：Engineering&TechnologyEdition，2000，12(22)：1-5. (in Chinese)

[9] 吳君欽，宋鍵，劉昊.基于S3C6410和ADV7180的嵌入式視頻采集系統設計與實現[J].計算機工程科學，2012，34(12)：115-119.

Wu J Q，Song J，Liu H. Design and implementation of embedded video capture system based on ADV7180 and S3C6410 [J].ComputerEngineeringandScience，2012，34(12)：115-119. (in Chinese)

[10] 吳繼華，蔡海寧，王誠. Altera FPGA/CPLD設計(高級篇)[M].北京：人民郵電出版社，2011.

Wu J H，Cai H N，Wang C.AlteraFPGA/CPLDDesign(AdvancedPiece)[M]. Beijing：Posts&Telecom Press，2011. (in Chinese)

[11] 梁發云，鄧善熙，楊永躍. 裸眼立體顯示液晶屏的光學結構及設計[J].液晶與顯示，2005，20(6)：544-548.

Liang F Y，Deng S X，Yang Y Y. Optical structure and designing of nakedness-eye stereoscopic LCD panel [J].ChineseJournalofLiquidCrystalsandDisplays，2005，20(6)：544-548. (in Chinese)

[12] 王鳴浩，吳小霞.基于FPGA的通用液晶顯示控制器的設計和實現[J].液晶與顯示，2012，27(1)：87-92.

Wang M H，Wu X X. Design and realization of general LCD controller based on FPGA [J].ChineseJournalofLiquidCrystalsandDisplays，2012，27(1)：87-92. (in Chinese)