一種基于圖像處理的雙目視覺校準方法

戴玉艷，朱燦焰，季愛明，毛凌鋒

（蘇州大學 城市軌道交通學院，江蘇 蘇州 215006）

障礙物檢測是智能車輛不可缺少的重要功能，是車輛安全行駛的保證。機器視覺能夠利用圖像和圖像序列來識別和認知三維世界，使計算機實現人的視覺系統的某些功能。機器視覺具有信息量大，空間覆蓋廣，不增加環境噪聲等優點，因此機器視覺已成為目前智能車輛及自動駕駛中信息獲取的主要途徑。利用機器視覺進行障礙物檢測具有解決實際困難和探索全自動駕駛的雙重意義，正受到國內外的關注，其中雙目視覺檢測更是研究的熱點[1-2]。

雙目視覺一般由兩個平行放置的攝像機從不同角度同時獲取周圍景物的信息。基于雙目視覺的障礙物檢測一般有一下幾步:雙目視頻的同步；攝像機定標；對障礙物目標區域圖像對進行特征點檢測和匹配，得到障礙物目標的空間信息。在智能車輛的應用中是對運動中的物體障礙物進行檢測，首先應對兩個攝像頭的視頻校準，否則將影響立體匹配結果。

本文從圖像處理的角度提出了對于運動視頻的校準算法。首先對雙目攝像機得到的圖像建立敏感區域，然后用圖像分割識別的方法檢測目標物，用動目標與固定物體的距離校準雙目視頻，最后對室外真實場景進行實驗以驗證算法的有效性。

1 建立敏感區域

行駛在道路上的車輛有一定的位置特征，當前車輛始終在同一車道內行駛，該車道以外的障礙物并不影響當前車輛的行駛安全。本文研究的對象限于當前車道內的前方車輛，為了降低處理難度和提高檢測速度，對道路做了一定的假設，如圖1所示。

圖1 敏感區域Fig.1 Area of interest

1）假設特定敏感區域。在確定系統中，道路在圖像中的位置相對固定，因此搜索障礙物的區域可由整個圖像縮小為兩條車道線所組成的區域。只對圖像中特定區域的敏感區域進行處理，從而降低算法的復雜度，縮短處理時間，提高處理速度。

2）假設道路等寬。假設道路的寬度基本不變或變化很小，兩條路邊可以認為是平行的。

2 目標物檢測

目標物的檢測主要運用了圖像分割的方法，就是要從圖像中提取信息，本文主要用了聚類分析、邊緣檢測及形態學操作。

2.1 聚類分析

聚類分析是一種無監督模式的識別方法，它從初始聚類中心根據相似性和相鄰性構造分類器，從而將給定的數據分割為若干不同的類[3]。聚類后數據集的類內對象高度相關，類間對象差別較大。利用聚類方法對圖像進行分割識別具有直觀、易于實現的特點。常見的聚類分析算法有減法聚類、層次聚類和動態聚類算法等。本文采用-均值聚類算法對雙目圖像進行分割識別。

k-均值聚類算法的核心思想是通過不斷迭代，把每個對象劃分到且只劃分到一個類中[4]。在滿足非線性目標函數，即公式（1）最小化的條件下，把 n 個對象 Xj（j=1，…，n）構成的數據集分成 k 個類 Gi（i=1，…，k）。k-均值聚類算法步驟：1）確定需要分的類數k；2）從數據集Xj中選取k個對象作為類Gi的初始聚類中心 Gi（i=1，…，k）；

3）依次計算對象Xj與這k個聚類中心Ci的距離d（Xj，Ci），并按就近原則將對象劃分到距離最小的類中；

4）分別計算新生成的類Gi中所有對象的樣本均值，更新聚類中心；

5）采用誤差平方和準則函數判斷聚類是否合理，當誤差函數很小時結束聚類，否則重復步驟3）-4），直至達到算法終止條件。

k-均值聚類是一個持續迭代的過程，影響聚類結果的主要因素是劃分的類數k、初始聚類中心Ci和對象間的距離d（Xj，Ci）。從k-均值算法流程看，如果選取滿足以下兩個條件的初始聚類中心，就能很好地實現聚類：

1）每個類中有且僅有一個聚類中心；

2）選擇的初始聚類中心應盡可能靠近類的中心。

本文對圖像的灰度進行聚類，則分別根據兩通道圖像的灰度直方圖選擇滿足上述條件的初始聚類中心。

2.2 邊緣檢測算法

一般來講，提取目標物就是要提取目標和背景的邊界線，將目標和背景區分開。圖像中，邊緣是指其周圍像素灰度值有階躍變化或有拋物線變化的像素點的集合，它是灰度值不連續的結果。邊緣檢測是一種削弱邊緣以外圖像區域，突出圖像邊緣輪廓的方法，故可采用邊緣檢測算法提取目標和背景的邊界線。

最簡單的邊緣檢測方法是邊緣檢測算子，它利用相鄰區域的像素值不連續的性質，采用一階或二階導數來檢測邊緣點。算子是一階微分算子，它采用加權平均濾波，對噪聲具有一定的抑制能力，且計算簡單，運算速度快，故本文采用算子進行目標物邊緣檢測[5-6]。Sobel是一組方向算子，從不同的方向檢測邊緣，加強了中心像素上下左右4個方向像素的權重。圖像中每個像素點都用式（2）兩個模板作卷積，第一個模板對水平邊緣影響最大，第二個模板對垂直邊緣影響最大。然后利用式（3）計算梯度大小，即得到像素的邊界強度，利用式（4）計算梯度方向。

Sobel算子差分計算公式：

其中，Gx（i，j）和 Gy（i，j）為模板 Gx，Gy在像素（i，j）處的卷積值。

2.3 形態學操作

數學形態學是由一組形態學的代數運算子組成的，其基本運算是膨脹和腐蝕[8]。膨脹定義為集合運算，圖像集合A用結構元素B來膨脹，記作A⊕B，其定義為：

腐蝕的數學定義與膨脹類似，A用結構元素B來腐蝕AΘB，記作，其定義為：

腐蝕的具體操作是：用一個結構元素掃描圖像中的每一個像素，用結構元素中的每一個像素與其覆蓋的像素做“與”操作，如果都為1，則該像素為1，否則為0。

膨脹的作用是把圖像周圍的背景合并到物體中，對填補圖像分割后物體中的空洞很有用。腐蝕是消除物體邊界點，把小于結構元素的物體去除。如果兩個物體之間有細小的連通，當結構元素足夠大時，通過腐蝕可以將兩個物體分開。這種形態學操作可以有效地去除一定尺寸的雜波，同時保證圖像的內部結構不變。

在形態學處理中，除了膨脹和腐蝕兩種基本運算外，還有兩種由膨脹和腐蝕定義的運算，即開運算和閉運算[7]。開運算是對圖像先腐蝕再膨脹的過程，圖像集合A用結構元素B來作開運算，記作A?B，其定義為：

閉運算是對圖像先膨脹再腐蝕的過程，A用結構元素B來作閉運算，記作A·B，其定義為：

開運算可去除毛刺和小的連通區域，平滑較大物體的邊界。閉運算可以填充物體的細小空洞、連接鄰近物體、平滑其邊緣。兩種形態學操作都可以起到平滑目標邊界且不明顯改變其尺寸的效果。

3 實驗驗證

3.1 實驗設備及視頻采集

為了驗證所提出雙目視覺校準算法的有效性，本文進行了真實的室外場景實驗。采用2個KaiCong-423C型攝像頭進行道路視頻采集，兩攝像頭平行放置，距地面高度H=1 m，間距B=63 cm，鏡頭焦距3.6 mm。為了方便，這里將攝像頭固定，在道路中運動的汽車作為障礙物，來模擬實際情況中攝像頭運動，障礙物固定的情形。采集視頻時為晴天，將采集的雙目視頻以文件格式（AVI）存儲，利用保存的視頻進行校準算法研究。

3.2 實驗過程

校準算法分為兩步，第一步：粗校準。時間是絕對的，先根據得到的雙路視頻上顯示的時間將兩個視頻定位到同一時刻。第二步：細校準。在粗定位的基礎上，利用上述算法根據兩幅圖像中運動的汽車與攝像頭的距離進行校準。圖2是粗校準得到的時間顯示為同一時刻的雙通道圖像。

圖2 粗校準后兩通道圖像Fig.2 The stereo image pairs after rough calibration

利用k-均值聚類算法，對圖2的灰度圖像進行處理，這里根據兩幅幀圖像的灰度直方圖，如圖3所示，選擇3個初始聚類中心，結束聚類后的聚類中心如表1所示。

表1 聚類中心Tab.1 Clustering centers

聚類后圖像中的背景物體過濾掉一部分，如圖4（a）所示，但干擾依然存在。作為目標物的汽車被提取出來的區域相對比較連續、規整，利用這一特征將線長較小的部分濾掉，并進行邊緣檢測，得到其二值圖像，從而去除了絕大部分的噪聲，如圖4（b）所示。再對得到的二值圖像進行1次膨脹和腐蝕處理，即開運算，并刪除目標區域上的空洞，得到目標提取結果圖像，如圖 4（c）所示。

圖3 灰度直方圖Fig.3 Gray histogram

圖4 目標提取結果Fig.4 Object extraction results

4 實驗結果及分析

對于直線行駛的汽車道路在圖像中的位置是固定的，本文利用道路中心線與汽車的相對位置關系，確定車輛與攝像頭的距離。本文處理時，先固定通道1視頻的幀圖像，然后粗校準通道2視頻，在顯示為同一時間幀圖像前后搜索，將兩幅圖像中汽車與攝像頭的實際距離最小的幀圖像作為校準結果，過程如圖5所示，圖中第4幀則為校準后幀圖像。

為了驗證校準算法的有效性，對本文校準后的視頻進行立體匹配，結果如圖6（a）所示；若不進行校準，從視頻起點匹配結果如圖 6（b）所示。

從圖6可以看出，盡管兩個匹配結果均不太理想，但是相比較而言，校準后的匹配結果（圖6（a））較好。匹配結果不理想，可能是由攝像頭像素不高，兩個攝像頭沒有嚴格平行放置等客觀原因，以及匹配算法的適用性等原因引起的，這將在后續的算法中研究。

圖5 校準搜索結果Fig.5 Carlibration results

圖6 匹配結果Fig.6 Stereo matching results

5 結束語

本文根據雙目立體視覺技術在道路障礙物檢測中的應用，基于搜索的思想提出了一種用圖像處理校準雙目視覺的算法。該算法比較簡單，易于實現。首先為了縮短處理時間，對視頻幀圖像進行預處理，建立校準的敏感區域。然后利用聚類算法，邊緣檢測及形態學處理檢測道路中的目標物，最后根據得到的動目標與固定物的距離來搜索匹配的視頻幀。實驗證明，該算法可以校準雙目視覺，從而使立體匹配更精準。

[1]Wei J，Rovira-Mas F，Reid J F.Obstacle detection using stereo vision to enhance safety of autonomous machines[J].Transactions of the ASAE，2005，48（6）:2389-2397.

[2]王葵，徐照勝，顏普，等.基于激光測距雷達和機器視覺的障礙物檢測[J].儀表技術，2012（8）:25-28.WANG Kui，XU Zhao-sheng，YAN Pu，et al.Obstacles detection based on laser ranging radarand machine vision[J].Instrumentation Technology，2012（8）:25-28.

[3]Huang Z.Extensions to the K-means algorithm for clustering large data sets with categorical value[J].Data Ming and Knowledge Discovery，1998，2（3）:283-304.

[4]李全鑫，魏海平.基于聚類分類法的信息過濾技術研究[J].電子設計工程，2014（20）:14-16.LI Quan-xin，WEI Hai-ping.Research of the information filter based on clustering launched classification[J].Electronic Engineering Design，2014（20）:14-16.

[5]Rajab M I，Woolfson M S，Morgan S P.Application of region based segmentation and neural network edge detection to skin lesions[J].Computerized Medical Imaging and Graphics，2004，28（12）:61-68.

[6]何春華，張雪飛，胡迎春.基于改進Sobel算子的邊緣檢測算法的研究[J].光學技術，2012，38（3）:323-327.HE Chun-hua，ZHANG Xue-fei，HU Ying-chun.A study on the improved algorithm for Sobel on image edge detection[J].Optical Technique，2012，38（3）:323-327.

[7]Rafael C.Gonzalez，Richard E.Woods.數字圖像處理 [M].2版.阮秋琦，阮宇智，譯.北京：電子工業出版社，2011.