雙目立體視覺系統的研究與應用

趙楠

（山西工程職業學院 山西省太原市 030009）

立體視覺作為機器視覺的重要組成部分，在三維測量、機器人視覺以及導航系統等眾多領域應用廣泛。立體視覺測量主要包括單目測量、雙目測量以及三目測量。其中，雙目立體視覺由于結構簡單靈活，且測量精度高，是目前最常用的方法[1]。雙目立體視覺主要通過兩個攝像機價值間的相互位置關系，根據空間點在左右兩幅圖像中的像素差來計算三維空間坐標。其中，左右圖像中對應點的匹配問題時該方法的重點與難點所在。

1 雙目立體視覺系統的測量原理

雙目立體視覺系統的測量原理是根據光學三角法原理進行三維信息的獲取。如圖1 所示，O1和O2分別為左右攝像機的光心；O1Z1和O2Z2為兩個攝像機的光軸，且相交于某點；Ow-XwYwZw為空間被測點P 所在的世界坐標系；O1-X1Y1Z1和O2-X2Y2Z2分別為左右攝像機坐標系；o1-u1v1和o2-u2v2分別為圖像的像素坐標系。雙目立體視覺測量的基本原理為：世界坐標系中一點P(X,Y,Z)在左右攝像機的成像面上的像點分別為p1(u1,v1)和p2(u2,v2)。這兩個像點是世界坐標系中同一個對象點P 的像，分別作這兩個像點與各自攝像機的光心O1和O2的連線，即投影線p1O1和p2O2，它們的交點即為世界坐標系中的對象點P(X,Y,Z)。

2 雙目立體視覺系統的組成

雙目立體視覺系統主要由圖像采集系統以及軟件控制系統兩大塊組成。為了更好地實現對被測物體的尺寸測量，左右兩個CCD攝像機光軸之間應存在一定的夾角。經實驗測試當夾角范圍為25°-30°時，兩幅圖像交疊區域最大，取得的測量效果最佳。此外，還可以根據測量幅面的要求，適當調整兩個CCD 攝像機之間的相對距離。下面將對系統的組成結構進行詳細的介紹。

2.1 圖像采集系統

圖像采集系統主要實現對被測零部件實時圖像的采集過程。本文使用的是兩個大恒公司生產的水星系列MER-030-60UC 型工業相機。

2.2 軟件控制系統

軟件控制系統主要是控制圖像采集，并實現得到采集圖像后的一系列工作。主要包括圖像處理、立體校正、相位匹配、點云計算、三維重建等等，是整個測量系統的核心。

3 雙目立體視覺系統的實現

3.1 攝像機參數標定

標定是實現二維圖像坐標與三維立體空間坐標轉換的過程，是雙目立體視覺系統的關鍵環節之一。標定過程直接關系著后續三維信息的準確與否，是整個系統得以正常工作的基石。攝像機參數的標定方法從20 世紀80年代以來，一直是科學研究的熱點問題。目前，攝像機參數標定技術現在已經相當成熟，其中，Tsai 兩步法[2]、張正友標定法[3]以及BP 神經網絡標定法是目前使用范圍最廣的三種方法標定方法圖像采集系統。

通過對標定算法的研究以及前期的標定實驗發現，Jean-Yves Bouguet 標定法[4]不需要制作昂貴的標定板，也不需要額外的高精度平移裝置，且具有較好的魯棒性，因此實用性很強。在保證標定板角點提取精度的前提下，完全可以滿足高精度測量系統的要求。

圖1：雙目立體視覺系統測量原理圖

圖2：極線校正原理圖

圖3：標準平行雙目視覺系統

3.2 特征點提取

特征點提取是雙目立體視覺的重要步驟之一。在左右兩攝像機獲取圖像時，由于不可避免的存在噪聲、干擾等因素，容易導致兩幅圖像在光強、色彩、亮度等方面存在不同，進而影響后期的立體匹配的精度[5]。因此，在進行特征點提取時，要先進行圖像預處理，以此來降低噪聲以及亮度等差異。常用的預處理方法有均值濾波、中值濾波和LOG 濾波等。

特征點的提取近年來飽受研究者們的廣泛關注，它主要包括圖像邊緣點提取算法和基于圖像灰度的特征點檢測。經典的算法比較多，主要包括Harris、SUSAN、MIC、SIFT、Canny 等。

3.3 立體匹配

3.3.1 極線校正

在對采集到的圖像中的像點進行特征點匹配之前，為了盡可能地縮小匹配點搜索范圍，我們必須要先對圖像進行極線校正[6]。所謂極線校正，就是通過一系列的變換將一般的雙目視覺系統變成標準的平行結構光雙目視覺系統。

圖2 中，Pl和Pr分別為空間點Pw在左右成像面上對應的像點，極平面是由兩個攝像機的光心Ol、Or與空間點Pw這三個點構成的平面，極平面與兩個成像面相交形成的線分別稱為左右極線，即圖中的線Plel和線Prer。左右兩個攝像機的光心Ol和Or之間的連線叫做基線，基線與左右成像面的相交形成的點稱為極點，即點el和點er。空間任意一點在左右成像面上的像點一定在其對應的極線上。設空間點Pw在左右成像面上對應的像點的齊次坐標為Pl(u1,v1,1)T和Pr(u2,v2,1)T，則極線方程為：

其中，F 為基礎矩陣，它的值可以通過系統標定計算得到，且只與兩個攝像機的內外參數有關。只要知道了基礎矩陣F，我們就可以將它分解成兩個轉換矩陣，從而實現極線校正。如圖3，極線校正后，所有的外極線均相互平行，對應的像點行坐標相同，因此只需要在行坐標相同的像點中進行搜索，降低了搜索難度。

3.3.2 匹配方法

圖像立體匹配的實質就是在待匹配點對應的成像面上搜索同一被測物體對應的像點，進而求得該被測物體的三維空間坐標最終將被測物體的三維形貌重建出來。目前，應用最多的匹配算法有特征匹配算法和區域匹配算法[7]。

基于幾何不變性的特征匹配算法，可以將搜索范圍限制在某個特征區域，匹配速度快，匹配效率高，但是由于噪聲以及遮擋等原因提取到的特征點較少，最終只能得到稀疏的匹配點數。

基于光學測量學不變性的區域匹配算法，通常選擇點或者鄰域模板作為匹配基元，并根據灰度相似性函數進行搜索，從而得到被測物體上所有的匹配點對，但是該方法由于匹配點數龐大，搜索過程費時，實時性較差。

3.3.3 匹配約束

通常，成像面中的某一匹配基準點在其對應的成像面上存在多個候選匹配點，而實際上最終實現正確匹配的像點只有一個，故將導致錯誤匹配的現象出現。為了解決誤匹配問題，最大程度地縮小搜索范圍，減少候選匹配點，搜索過程需要滿足以下約束條件：

（1）極線約束：如圖3 所示，空間任意一點在對應成像面上的匹配像點一定在其對應的極線上。在匹配前需先完成極線校正，將復雜的二維搜索降為一維直線搜索，即只需要在與待匹配點具有相同縱坐標的線上進行搜尋。

（2）唯一性約束：某一成像面上的像點在其對應成像面上只可能找到唯一的一個對應點。

（3）相似性約束：空間任意一點在兩幅圖像上的像點處，某些量度（灰度）與幾何特性（邊緣、角點、方向等）相似。

（4）順序一致性約束：對深度差較小的被測物體，對應點在極線上的排列次序保持一致。

3.4 三維空間點的重建

光學三維測量的本質是由一個點的圖像坐標求解該點的三維世界坐標，在理想的相機模型的投影矩陣已知時，若由圖像坐標求解世界坐標，由于圖像中的一個點只能求得該空間三維點所在的一條直線。因此，分別利用左右攝像機成像面的像點可以建立兩條直線的方程，這兩條直線的交點則為我們待求解的空間點三維坐標。

4 結語

綜上所述，利用兩個攝像機獲取被測物體的在不同視角下的圖像，通過攝像機標定、特征點提取、立體匹配等過程，最后得到被測物在空間的三維幾何信息。這種技術目前已經廣泛應用于產品分揀、工業探傷、無人機飛行、無人駕駛、制導目標跟蹤與鎖定、車流檢測、安保監測等社會各個領域。未來，隨著技術的不斷進步，人們將把更多的注意力集中到雙目視覺的研究上來。