基于單目序列圖像的車輛三維信息的獲取

徐曉娟，宋煥生，趙倩倩，徐 昊

（長安大學 信息工程學院，陜西 西安 710064）

在視頻交通監(jiān)控系統(tǒng)中，獲取車輛的三維信息對于目標識別、車型分類等都具有重要意義，許多文獻都對此進行過研究。

1）基于圖像特征的方法，包括圖像的輪廓、焦點、明暗和紋理等特征，Wiktin[1]、Warren[2]和 Clerc[3]等學者都對此進行過研究。該方法要求攝像機的標定環(huán)境比較理想，圖像的分辨率高，在普通的交通監(jiān)控條件下很難實現(xiàn)。2）基于運動的方法，是指檢測多幅圖像中需要匹配的特征點集，通過數(shù)值分析的方法恢復攝像機參數(shù)和物體三維信息。該方法原理簡單，對圖像的要求不高，但是計算量比較大，F(xiàn)augeras[4]提出的“幾何多視圖計算機視覺”理論就是基于該方法的。3）基于多目攝像機的方法，利用多個攝像機對同一個物體同步進行拍攝，通過對每一時刻的灰度圖像進行密集的深度映射，從而建立具有真實感的場景模型。該方法重建效果比較好，但算法復雜度高。

本文提出了一種基于單目序列圖像的車輛三維信息獲取方法，通過攝像機的標定建立三維空間點與圖像點的轉(zhuǎn)換關系。該方法原理簡單，算法復雜度低、實時性好。

1 攝像機標定

三維場景與二維圖像之間的映射關系是由攝像機的內(nèi)外參數(shù)共同決定的，恢復攝像機內(nèi)外參數(shù)的過程稱為攝像機標定。其中，內(nèi)部參數(shù)是指攝像機的焦距、特征比、畸變因子等，外部參數(shù)是指世界坐標系和攝像機坐標系之間的相對旋轉(zhuǎn)和平移。

1.1 攝像機成像模型

在圖像上定義直角坐標系uv和圖像坐標系 xy，（u，v）表示像素位于圖像數(shù)組中的行數(shù)和列數(shù)，（x，y）表示像素在圖像中的物理位置，如圖1所示。

圖1 圖像坐標系Fig.1 Image coordinate

假設點 O′在坐標系中的坐標為（u0，v0），像素在 x方向和y方向的物理尺寸為dx和dy，則2個坐標系的轉(zhuǎn)換關系為：

假定攝像機的成像模型為經(jīng)典的小孔成像模型，即只考慮線性模型，不考慮由于攝像機導致的畸變，如圖2所示。xCyCzC為攝像機坐標系，O點為攝像機光心，zC軸為攝像機的光軸，xC軸、yC軸分別與x軸、y軸平行。攝像機光軸與圖像平面垂直，其交點為圖像坐標系的原點O′。f=|OO′|稱為攝像機焦距。

圖2 攝像機成像模型Fig.2 Camera imaging model

由于攝像機可安放在環(huán)境中的任何位置，我們還需建立一個基準坐標系來描述攝像機的位置，并用它表示物體的三維位置，該坐標系稱為世界坐標系xWyWzW。攝像機坐標系與世界坐標系之間的關系可以用旋轉(zhuǎn)矩陣R與平移向量μ來表示：

其中，R為 3×3正交單位矩陣，μ為三維平移向量，0T=[0，0，0]。

如圖 2 所示，空間點 P 的攝像機坐標為（xC，yC，zC），對應的圖像坐標為（x，y），根據(jù)比例關系可得到：

將式（1）與式（2）代入方程（3）得到空間點 PW（xW，yW，zW）與圖像點 p（u，v）的關系為：

其中，f，dx，dy，u0，v0只與攝像機的內(nèi)部結構有關，稱這些參數(shù)為內(nèi)部參數(shù)；R，μ則完全由攝像機相對于世界坐標系的方位決定，稱為外部參數(shù)。

1.2 二維標定與三維標定

當攝像機及其架設位置固定時，攝像機的內(nèi)外參數(shù)也隨之確定，并且不會隨著時間的推移和交通狀況的變化而改變。因此，可將式（4）變形為：

式（5）表示空間中點到圖像上點的映射關系，稱為三維標定。當空間中的點位于路面上時，其高度信息為0，即zW=0，計算時并沒有用到標定矩陣中的所有參數(shù)。此時，定義路面坐標系xRyR，表示點在路面上的位置。我們規(guī)定，在路面坐標系的基礎上根據(jù)右手定則增加第三維坐標可形成世界坐標系，這樣位于路面上的點，其世界坐標和路面坐標重合。因此，可將式（5）化簡為：

式（6）表示路面上的點與圖像上點的轉(zhuǎn)換關系，稱為二維標定。

2 車輛特征點3維坐標的獲取

根據(jù)攝像機成像的原理，空間中點到圖像點的映射是唯一可確定，而由圖像點獲取空間點的過程卻是病態(tài)的、不唯一的。但是，如果能夠借助輔助信息獲取PW的1維（或者2維）坐標的話，余下2維（或者1維）坐標的計算便輕而易舉。

圖3 實時視頻圖像Fig.3 A real-time video image

如圖3所示，點p與點q具有相同的xW和yW坐標，點q位于路面上。根據(jù)公式（6）可以計算得到點q的xR和xR坐標，也即是點p的xW和yW坐標，代入式（5）就可得到點p的zW坐標。也就是，首先獲得點p的路面坐標，然后根據(jù)攝像機的三維標定矩陣計算點p的高度。

上述獲取點的三維坐標的方法，主要基于兩點假設：1）點p與點q具有相同的路面坐標；2）是點q位于路面上。因此，該方法的關鍵在于如何找到點p在路面上的投影點q。首先，要確定車輛在圖像中的位置，確定車輛與路面的分界線，將車輛目標從路面背景中提取出來，本文采用幀間差分法提取目標。幀間差分法通過對視頻序列中相鄰兩幀圖像作差分來獲取目標，可以很好地適用于有多個目標的場景。

假設圖像序列為Ii，選取視頻中連續(xù)相鄰的三幀圖像Ii-1、Ii和 Ii+1，相鄰兩幀之間進行差分獲得兩個二值化圖像 BW（i-1，i）和BW（i，i+1）。因為實際的交通場景中存在著許多干擾，基于像素點的幀間差分法會產(chǎn)生許多細小的噪聲。因此，本文選用基于像素塊的幀間差分法，也就是將輸入圖像分成若干個大小相等的小塊，以塊為單位在相鄰兩幀圖像之間進行差分，計算公式如下：

其中 Ii（u，v）表示第 i幀圖像中像素點（u，v）的灰度值，R為像素塊的大小，n為像素塊內(nèi)像素點的個數(shù)，T為幀間差分的閾值。當圖像中有運動目標時，幀與幀之間會出現(xiàn)較為明顯的差別，通過幀差法可以確定灰度變化明顯的區(qū)域，也就是目標所在的位置。

圖4 “與”操作示意圖Fig.4 The diagram of“AND”operation

將得到的兩個二值化圖像進行相“與”操作[5]，即可得到當前幀Ii的運動目標輪廓圖像Fi。如圖4所示，白色區(qū)域表示目標，黑色區(qū)域表示背景?！芭c”操作可以消除差分過程由于目標運動造成的目標輪廓增大的現(xiàn)象，提高目標提取的精度。幀間差分法提取目標的結果如圖5所示。

圖5 二值化目標與特征點Fig.5 A binary foreground mask and feature points

提取圖像中目標車輛的特征角點[6]，當提取到多個特征點時，對特征點進行篩選，保留位于或靠近目標邊緣的點，如圖6所示。假設有車輛邊緣特征點p，其對應的車輛二值化目標為F。在圖像坐標系中，垂直向下投影點p直到目標邊緣為止，記此時邊緣上的點為q。點q位于車輛與路面的交界線上，點p與點q在路面上的投影一致[7]。由前述可知，點p和點q具有相同的xW和yW坐標，查找二維映射表得到點q的xW和yW坐標，代入式（5）得點p的第3維坐標zW。當提取到了完整的車輛邊緣后，計算得到位于邊緣線上的特征點的三維坐標，便可恢復出車輛整體的三維信息[8]。

3 實驗結果與分析

為了驗證上述方法的可行性，選取幀頻為25f/s（幀/秒）、分辨率為720×288大小的視頻序列進行實驗，得到的結果如下。

如圖6所示，選取兩種車型共7個點進行實驗。其中，點1位于路面上，點3和點4具有相同的高度，點6和點7也有相同的高度，實驗中攝像機的高度為6.73米（交通視頻監(jiān)控中攝像機的高度一般為4～6米）。實驗結果如表1所示。

表1 實驗結果Tab.1 Test results

由表1可以看出，在獲取特征點高度時，圖6（a）所示車輛的誤差要大于圖（b）所示的車輛。這是因為在求取特征點對應的路面坐標時會引入誤差，而誤差的大小與攝像機架設的高度和車型有關。如圖7所示，實驗認為點P1、P2和P3對應的路面點均為Q，而實際中只有點P3與點Q對應，利用Q獲取的點P1、P2的高度比其實際值要大。并且，這個誤差會隨著攝像機架設高度的增大而增大。因此，該方法適用于低視角監(jiān)控下的交通場景。

4 結束語

本文討論了一種單目序列圖像中車輛三維信息的獲取方法，并對該方法進行了驗證，實驗結果較為準確，能夠滿足車型分類和目標識別等研究的需要。該方法利用車身上點與路面投影點的關系，結合二維標定與三維標定計算空間點的三維坐標，進而獲取車輛的整體三維信息。具有計算量小、原理簡單的特性。但是該方法也有其局限性，表現(xiàn)在：1）對于架設高度比較高的交通監(jiān)控系統(tǒng)，該方法引入的誤差較大；2）當檢測到的目標為非車輛目標時，如水灘等，該方法不具備識別目標與非目標的能力，會計算出錯誤的高度信息。

圖7 誤差分析Fig.7 Error analysis

[1]Witkin A P.Recovering surface shape and orientation from texture[J].Artificial intelligence，1981，17（1）:17-45.

[2]Warren P A，Mamassian P.Recovery of surface pose from texture orientation statistics under perspective projection[J].Biological Cybernetics，2010，103（3）:199-212.

[3]Clerc M，Mallat S.The texture gradient equation for recovering shape from texture[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（4）:536-549.

[4]Faugeras O D.What can be seen in three dimensions with an uncalibrated stereo rig[C]//Computer Vision—ECCV'92.Springer Berlin Heidelberg，1992:563-578.

[5]閆愛云，李海鵬，李晶皎，等.視頻運動目標提取的實現(xiàn)[J].東北大學學報，2011，32（11）:1558-1561.YAN Ai-yun，LI Hai-ping，LI Jing-jiao，et al.Implementation of moving object extraction in video[J].Journal of Northeastern University，2011，32（11）:1558-1561.

[6]shi J，Tomasi C.Good features to track in Porc[C]//IEEE Conf.Computer.Vis.Pattern Recog.，1994:593-600.

[7]Neeraj K.Kanhere and Stanley T.Birchfield.Real-Time Incremental Segmentation and Tracking of Vehicles at Low Camera Angles Using Stable Features.IEEE transactions on intelligent transportation systems，2008，9（1）:148-160.

[8]方曉瑩，王小君.單目圖像序列中三維信息的提取算法及應用[J].電子技術應用，2006（10）:34-37.FANG Xiao-ying，WANG Xiao-jun.The extraction algorithm of 3D information from monocular image sequence and its application[J].Application of Electronic Technique，2006（10）:34-37.