實施立體視覺系統的構架與設計分析

摘 要：雙目立體視覺系統的原理在于模仿人類的雙眼，通過一定的立體匹配算法計算出場景中各物體的深度信息，以完成三維重構、測距等功能。早期的立體視覺研究主要集中在算法優化上，各種各樣的立體匹配算法被提出來。就目前最新的立體匹配算法而言，其效果已經可以媲美理想的場景深度。本文主要就雙目立體視覺原理和實時立體視覺系統結構進行詳細分析，然后結合實際對實時立體視覺系統的模塊設計詳細探究。

關鍵詞：雙目立體視覺系統；系統設計；方法

隨著視頻技術的發展，使用硬件實現實時的雙目立體視覺系統也有了越來越多的研究，但是其硬件實現卻一直存在計算精度和資源消耗這對矛盾，復雜的算法勢必需要消耗更多的硬件資源，有些較新的算法甚至根本不適合使用硬件來實現。

1雙目立體視覺原理和實時立體視覺系統結構分析

1.1雙目立體視覺原理分析

雙目立體視覺系統以人類的視覺系統為基礎，通過雙目攝像機獲取雙目圖像，以各種不同的算法來計算出場景的深度信息，再通過對這些深度信息進行三維重構，以實現從二維空間到三維空間的轉換。

1.2實時立體視覺系統結構分析

1.2.1camera_in模塊

此模塊為基于PE1005S攝像頭的采集模塊。當基于不同的攝像頭模組時，可模塊可以通過簡單修改以配置不同的攝像頭，如ov9710、ov7740等。

1.2.2video_det模塊

此模塊功能為檢測所采集圖像的實時分辨率，檢測到的分辨率會實時保存下來，可以通過PLB總線進行訪問。有了這個模塊，就可以根據檢測出來的分辨率來控制數據在DDR中的存放以及正確地顯示圖像。

1.2.3xsvi_in_ddr模塊

此模塊將從兩路XSVI接口傳送過來的數據通過兩個FIFO進行緩存，然后通過兩個獨立的寫時序狀態機模塊生成獨立的MCB接口時序，最后由主控制電路controller進行仲裁和控制等并通過一個MCB接口寫到DDR中。由于在大部分情況下，系統中DDR的寫入時鐘頻率都與攝像頭數據時鐘頻率不同，故所使用的FIFO只能是異步的，這樣數據才不會錯亂。

1.2.4ddr_to_xsvi模塊

此模塊預先通過讀時序狀態機模塊將DDR里的數據緩存在FIFO里，然后根據外部來的數據請求信號將數據從FIFO里讀出來，以XSVI接口傳給下一個模塊。同樣，在大部分情況下，由于系統中DDR的讀取時鐘頻率都與顯示圖像的時鐘頻率不同，故所使用的FIFO只能是異步的。

1.2.5video_gen模塊

此模塊在PLB總線來的控制下可以生成多種標準格式的視頻信號，如VGA（640×480）、SVGA（1024×768）、SXGA（1280×1024）、UXGA（1600×1200）、720P和1080P等。另外，在整個系統的分布調試階段，此模塊還可以在未與實際視頻數據連接的情況下生成指定格式的測試彩條，以對顯示部分的各模塊進行測試。

1.2.6dvi_out模塊

此模塊將XSVI接口的圖像數據信號轉換成DVI接口的信號。由于圖像的時序部分已經有video_gen模塊完成了，此模塊的功能只是簡單的數據格式轉換已經同步。

1.2.7depth模塊

此模塊是整個系統的核心部分，所有的立體視覺算法都將在這個模塊中進行。從數據流動的順序主要包括代價初始化、代價融合、動態規劃三個模塊。其中，代價初始化通過census轉換和SAD兩種方法生成用于后續匹配運算的兩種初始代價，代價融合將兩種初始代價按一定的比例融合起來，動態規劃用來尋找匹配點。另外，為了使生成的深度圖更加準確，系統中還使用了圖像矯正來處理由于攝像頭組安裝不規范和鏡頭畸變造成圖像數據不匹配，背景去除和中值濾波用來優化生成的深度圖。

2實時立體視覺系統的模塊設計探究

圖像處理系統平臺構成。圖像處理系統平臺是雙目立體視覺系統的基礎，也可以說是所有圖像處理算法驗證的基礎。因此在驗證雙目立體視覺系統的性能之前必須先搭建好完善的圖像處理系統平臺，主要包括圖像采集、圖像存取、圖像顯示三部分。例如圖像顯示模塊，圖像顯示模塊主要由分辨率生成模塊video_gen和DVI時序模塊dvi_out組成[4]。video_gen模塊用來生成不同分辨率的視頻所需要的標準時序，由兩個計數器和兩個狀態機組成，行計數器和行狀態機用來生成行同步時序，而場計數器和場狀態機用來生成場同步時序。

實時立體視覺模塊，雙目立體視覺模塊主要由disparity_rd和disparity_wr兩個模塊組成。disparity_rd模塊通過一個MCB接口輪流地從內存控制器中讀取出左右兩幅圖像以及背景圖像，并將它們分別緩存在三個異步FIFO中，然后由一個控制電路使它們完全同步地輸出給disparity_wr模塊。而disparity_wr模塊則先將輸入進來的三路數據送到stereo_matching模塊計算深度圖，然后在控制電路的配合下將生成的disparity通過一個MCB口存入內存控制器中。由于整個系統考慮了模塊化設計，本模塊中使用的mcb_rd和mcb_wr與圖像存取模塊中的是完全相同的，大大節約了開發時間。

其他輔助模塊，如圖像矯正，首先，CoordGen模塊根據提供的矯正矩陣計算出對應的坐標存到CoordFifo中，然后Controller模塊根據坐標的整數部分控制RdDataCtr模塊從內存中讀出所需像素點存到兩個DataRam中，最后CorrectCtrl模塊根據坐標的小數部分對取出來的數據進行運算并放到DataFifo中等待讀取，圖像矯正過程就完成了。其中，坐標保留小數部分和一次讀取內存的兩段數據是為了進行插值算法，使矯正后圖像不會出現鋸齒，而矯正矩陣則是通過Matlab在實驗階段計算出來的。

3結語

綜上所述，此次主要分析了大量國內外有關雙目立體視覺系統的算法以及各種不同的實現方案，詳細描述了所設計的雙目立體視覺系統中各個模塊的實現方式。在這些相應分析下就能有助于設計目標的實現。

參考文獻：

[1]薄雪峰，全海英，劉志成，譚國慶，何玉.被動式立體視覺研究進展[J].北京生物醫學工程.2013（05）：1-2.

[2]Guivant.J，Nebot.E，Baiker.S.Autonomous navigation and map building using laser range sensors in outdoor application[J].Journal of Robotic Systems，2014，17（10）：565-583

[3]周清海等.基于FPGA的多通道全景SoC設計與實現[D].深圳：深圳大學，2013：2-4.

[4]韓超，鄧甲昊，鄒金慧，韓敏.基于差分均值背景提取和矩陣分區目標檢測算法的研究[J].北京理工大學學報，2015，32（12）：1247-1257.

作者簡介：

姓名：張為，性別：男，籍貫：安徽，出生日期：89/09/27，湖北工業大學研究生，現任旭予騰貿易（上海）有限公司，職務：設備工程師。