基于雙攝像機的立體視覺圖像預處理研究

張曉玲魏宗康(北京航天控制儀器研究所北京100039)

基于雙攝像機的立體視覺圖像預處理研究

張曉玲，魏宗康
(北京航天控制儀器研究所，北京100039)

針對立體圖像對的亮度差異問題和圖像噪聲問題研究圖像的強化處理，圖像預處理主要完成圖像對極線校正和圖像質量增強。極線校正部分以對極幾何為基礎研究立體圖像對的校正算法。圖像質量增強部分主要研究了立體圖像對特有的亮度差異問題，并提出了應用直方圖均衡化來校正亮度的方法。之后本文對圖像噪聲進行了深入的分析，并針對立體圖像特點使用均值濾波和Gauss濾波平滑圖像。在實驗中，驗證了算法的可行性，取得了良好的應用效果。

極線校正；圖像增強；直方圖均衡化；均值濾波；Gauss濾波

0 引言

雙攝像機立體視覺系統旨在從攝像機獲取的圖像信息出發［1?2］，計算三維環境物體的位置、形狀等幾何信息。針對立體圖像對的亮度差異問題和圖像噪聲問題研究圖像的強化處理，圖像預處理主要完成圖像對極線校正和圖像質量增強。

對于同一個目標點，在經過了極線校正的圖像對中是處于同一行的。這樣，立體匹配算法的搜索范圍由二維可以降低為一維，大大降低了算法的時間復雜度。然而在實際應用中，雙目攝像機總是存在旋轉和平移誤差，因此基于標定參數對圖像進行極線校準是非常有必要的。此外，立體匹配階段需要根據左右圖像點的相似度確定視差，因此圖像的成像質量直接影響著立體匹配的效果。由于實際環境中光照的影響和攝像機之間固有的差異性，獲取的圖像對總會出現噪聲和亮度差異。因此，有必要在立體匹配前研究圖像對的質量增強。

1 圖像對極線校正

1.1 對極幾何的原理

對極幾何由兩個線性攝像機模型和一些極點組成，可以描述任意兩個針孔攝像機間的位置關系，如圖1所示。

圖1中，和Or分別代表左右攝像機的投影中心，空間中的物體P在左右投影面上的投影點分別為和Pr。如果把投影中心Or看成空間中的點，則其在左投影面上的投影點為相應的可以得到er。這兩個特殊的投影點被稱為極點，由和確定的直線則為左極線，Pr和er則確定了右極線。容易看到，和er在同一個平面上，這個平面稱為極面。

由圖1可知，對極約束的內容：從一個攝像機觀察空間上任一點，它在另一個攝像機成像面的對應點必然位于其極線上。而極線校正則是設法使左右極點r趨于無窮遠，這樣，左極線和右極線Prer也會趨于水平。

1.2 Bouguet極線校正算法

由于安裝誤差，雙攝像機采集的左右圖像對應的左右極線往往不是水平的。Bouguet極線校正算法利用攝像機標定技術得到的系統旋轉矩陣和平移向量對左右圖像進行調整，最終實現極線水平的目標。

為了在實現極線校正目標的基礎上最大化觀測面積，Bouguet算法將旋轉矩陣R分解成兩個子矩陣r1和r2，即每個攝像機都旋轉一半。這種旋轉操作可以實現攝像機的共面，但不能保證行對準。不妨假設以左極點為參考點的修正矩陣Rrect，這樣左右攝像機的極線校正旋轉矩陣為：

式(1)中，修正矩陣可以將極點轉換到無窮遠處，其結構可定義為：

其中，e1表示極點方向的單位向量，即左右攝像機投影中心間平移向量的方向：

向量e2的唯一要求是與e1正交，同樣的，e3需要與e1、e2正交，一般定義為：

2 圖像質量增強

理論上，經過極線校正的左右圖像就可以使用立體匹配算法進行視差圖計算［3?5］。但在實際中，現場采集的圖片由于環境影響及攝像機增益和電平干擾，總會產生噪聲，并且左右圖像對的整體亮度也會有差異，這些擾動都會很大程度上影響立體匹配的效果。基于以上原因，有必要研究相關的圖像增強算法。

2.1 圖像對亮度差異校正

左右圖像對整體亮度上的差異主要由兩方面原因造成：一是左右攝像機的拍攝角度有差異，由于實際中光線是有角度的，因此經過物體反射后進入左右攝像機必然存在亮度差異；二是兩個攝像機的電平、增益總是存在差異，因此即使是同一型號的攝像機拍攝的圖像總是會有亮度的不同。然而大部分立體匹配算法實際上是根據亮度相似度來判別目標的，因此亮度差異大的圖像會極大地影響匹配算法的精度。

在圖像處理中，直方圖均衡化可以將原始圖像灰度直方圖進行非線性拉伸，實現灰度范圍內的均勻分布。直方圖均衡化的步驟如下。

(1)計算灰度圖像歸一化直方圖：

式中，hi表示灰度值為i的像素點個數，M和N分別表示圖像高度和寬度。實際上，此時Pi代表了圖像中灰度值i出現的概率。

(2)計算累積的歸一化直方圖：

(3)灰度范圍非線性拉伸：

式中，s(i，j)表示原始圖像中坐標為(i，j)的點的灰度值，相應的，T(i，j)表示均衡化圖像對應的灰度值。v1和v2分別表示原始圖像中最大和最小的灰度值。

2.2 圖像去噪

數字圖像噪聲主要來自于圖像數字化過程和傳輸過程［6?8］。由于噪聲的影響，同一目標點在左右圖像對中將有可能產生無法預料的差異，給立體匹配帶來極大的影響。

如圖2所示，首先在原始圖像加了標準差為15的Gauss噪聲，從同一區域的放大結果看(圖中矩形區域)，原本應該相近的像素，取值呈現了不相關的隨機性。

按噪聲和信號之間的關系，圖像噪聲可以分為加性噪聲和乘性噪聲。加性噪聲與圖像灰度不相關，帶這類噪聲的圖像可以看成理想無噪聲圖像與噪聲的和。乘性噪聲與圖像灰度相關，噪聲隨灰度變化而變化。

本文分析了圖像噪聲中的椒鹽噪聲和Gauss噪聲。濾波方法是針對立體圖像特點使用均值濾波和Gauss濾波平滑圖像。

均值濾波方法是使用待求像素的鄰域像素平均值來取代該像素灰度值：

式中，S為點(x，y)的鄰域集合，N為該集合的大小。

均值濾波可以使用系數為1／N的卷積模板實現快速計算，這是被廣泛使用的最簡單實用的去噪算法。需要指出的是，該算法會在一定程度上模糊邊界。

Gauss噪聲含有強度服從 Gauss分布的噪聲，因此定義一個符合Gauss分布的模板對圖像進行卷積即可實現Gauss平滑。然而理論上Gauss分布在所有定義域上都有非負值，這就意味著上述模板應該是無限大的。一般在實際應用中僅去均值周圍3倍標準差內的離散值來近似Gauss模型。

式(9)為標準差為1的離散Gauss卷積核。

3 實驗結果及分析

3.1 極線校正實驗結果及分析

實驗采用上述Bouguet算法對獲取的棋盤格標定圖片進行極線校正，左右攝像機標定的旋轉矩陣如式(10)所示，實驗測得的左右攝像機校正旋轉矩陣如表1所示。

表1 旋轉矩陣Table 1 Rotation matrix

圖3采用表1得到的校正旋轉矩陣，結合左右攝像機的旋轉矩陣將一對棋盤格標定圖片進行極線校正。

圖3(a)是左右圖像對校正前的情況，圖3(b)是圖像對校正后的效果。為了更清晰地觀察校正效果，實驗給圖像加上了參考線，可以看到，經極線校正后的圖像對，左右對應點都能被很好地調整到同一水平線上。

3.2 圖像對亮度差異校正實驗結果及分析

由圖4的一組圖像對可以看到，由于拍攝角度和攝像機固有的電平差異，原始圖像中左視圖偏暗，右視圖亮度較高。這對基于像素灰度值相似測度的立體匹配而言，是個很大的挑戰。

圖5和圖6為圖4對應部分的灰度直方圖。圖5均衡化之前，灰度主要集中在40、100和175附近；圖6主要集中在75、190和250附近。

經過直方圖均衡化處理后，如圖7所示，左右視圖的灰度分布實現了非線性拉伸，通過這種方式，左右圖的亮度差異實現了顯著減小的效果。

如圖8和圖9所示，均衡化后左右圖像的灰度基本被調整為均勻分布，亮度差異大大減小。

3.3 圖像去噪實驗結果及分析

圖10是原始圖像，圖11是在原始圖像上分別添加了Gauss噪聲和椒鹽噪聲的對比圖，圖12是對添加Gauss噪聲的圖像分別進行均值濾波和Gauss濾波的對比圖，圖13是對添加椒鹽噪聲的圖像分別進行均值濾波和Gauss濾波的對比圖。

從視覺效果上看，對于椒鹽噪聲，均值濾波效果優于Gauss濾波，對斑點的濾除能力更好，便于消弱噪聲。對于Gauss噪聲，Gauss濾波效果比均值濾波效果更好。

4 結論

本文主要研究立體匹配前必要的立體圖像對預處理技術，主要分為極線校正和圖像增強兩個部分。極線校正部分首先引入了立體視覺對極幾何的基本概念，然后詳細提出了極線校正算法。圖像增強部分主要研究了立體圖像對特有的亮度差異問題，并提出了應用直方圖均衡化來校正亮度的方法。之后對圖像噪聲從成因到主要類別進行了深入分析，并針對立體圖像特點使用均值濾波和Gauss濾波平滑圖像。最后是實驗結果及分析，以雙攝像機立體系統獲取的圖像為素材，依次從極線校正實驗結果、圖像對亮度差異校正實驗結果和圖像去噪實驗結果進行分析和驗證，實驗結果證明了方案的可行性。圖像預處理技術為雙攝像機立體視覺系統提供了有力保證。

[1] Smith S M，Brady J M.SUSAN—a new approach to low level image processing[J].International Journal of Computer Vision，1997，23(1):45?78.

[2] Kanade T，Okutomi M.A stereo matching algorithm with an adaptive window:theory and experiment[J].IEEE Transac?[3] tions on Pattern Analysis and Machine Intelligence，1994，16(9):920?932.

[3] Lowe D G.Distinctive image features from scale?invariant keypoints[J].International Journal of Computer Vision，2004，60(2):91?110.

[4] Bastanlar Y，Temizel A，Yardmc Y.Improved SIFT matc?hing for image pairs with scale difference[J].Electronics Letter，2010，46(5):346?348.

[5] 尹志富，宋凱，金海月.圖像預處理中去噪算法的研究[J].機械設計與制造，2008(1):202?203. YIN Zhi?fu，SONG Kai，JIN Hai?yue.A study on denoise algorithmic in the Images pretreatment[J].Machinery De?sign＆Manufacture，2008(1):202?203.

[6] 曲興華，宮輝，賈果欣.數碼相機的彩色圖像預處理過程[J].光學精密工程，2009，17(1):207?212. QU Xing?hua，GONG Hui，JIA Guo?xin.Preprocessing of color image based on digital camera[J].Optics and Preci?sion Engineering，2009，17(1):207?212.

[7] 董玲嬌.車牌圖像預處理研究[J].機電工程，2009，26 (6):107?109. DONG Ling?jiao.Research on image preprocessing of the car plate[J].Mechanical＆Electrical Engineer Magazine，2009，26(6):107?109.

[8] 王劍峰，曾巧明.基于方向特性的指紋圖像預處理[J].計算機與現代化，2008(6):74?77. WANG Jian?feng，ZENG Qiao?ming.On orientation?based fingerprint preprocessing[J].Computer and Modernization，2008(6):74?77.

Research on Image Preprocessing Based on the Binocular Stereo Vision

ZHANG Xiao?ling，WEI Zong?kang
(Beijing Institute of Aerospace Control Devices，Beijing 100039)

This paper researches the strengthening process of image including the brightness difference of stereo image pair and image noise.The image preprocessing contains polar correction of image pair and image enhancement.The polar correction studies correction algorithm of stereo image pair on basis of epipolar geometry.The image enhancement re?searches the brightness difference of stereo image pair and creates the method of correction of the brightness by using histo?gram equalization.According to the feature of stereo image pair，this paper analyzes deeply image noise and smooths image by using mean filter and Gaussian filter.The actual experiment verifies the practicability of the algorithm and achieves good effects in many aspects.

polar correction;image enhancement;histogram equalization;mean filter;Gaussian filter

TP274＋.2

A

1674?5558(2017)01?01201

10.3969／j.issn.1674?5558.2017.02.008

張曉玲，女，博士，工程師，研究方向為導航、制導與控制。

2015?09?30