車位圖像畸變的矯正與拼接研究

李宇成， 趙興彩，李國輝

(北方工業大學機電工程學院，北京 100144)

1 引言

隨著我國經濟的迅速發展，城市機動車數量迅速增加，然而城市空間資源有限，停車難問題日益突出。目前，停車場管理系統側重在計時收費功能上，智能化程度普遍不高，欲停車的司機常需要被專人引導，或者自己滿場尋找空閑車位。為了提高效率、方便司機停車，同時方便利用圖像自動檢測車位，設計一種新的基于視頻監控圖像檢測空閑車位的方法成為必要。然而，視頻監控是分片進行的，不方便進行全局觀察。另一方面，由于攝像頭受安裝場所或高度限制，圖像傳感器的視野受到很大局限，而且視頻圖像存在畸變。為此，本文提出一種首先將畸變的視頻圖像分段逐一進行矯正后再拼接成大圖，進而方便后續進行車位檢測的新方法。

圖像拼接[1]是指將一組有一定重疊區域的車位圖像序列拼接為一幅能夠更為全面描述場景內容的大視場圖像過程。視頻圖像拼接技術在虛擬現實、場景重建、遙感遙測[2]、軍事偵察等領域中有著廣泛的應用。拼接的關鍵在于圖像匹配。目前，圖像匹配方法[3]主要包括兩大類：基于圖像灰度的方法和基于圖像特征的方法。其中，基于圖像特征的匹配方法應用較為廣泛。1999年，Lowe D G[4]提出了SIFT(Scale Invariant Feature Transform)算法，這是一種基于尺度空間理論的、對于圖像縮放、旋轉、仿射變換均保持局部特征不變性的圖像描述算子。由于 SIFT算法的復雜性，使得其計算量大、速度慢, 直接影響了拼接時間。Bay等人[5]提出基于積分圖像的 SURF(Speeded Up Robust Features)算法，通過基于積分圖像的方形濾波器來近似代替拉普拉斯高斯算子，構造了一種 Hessian矩陣, 進而克服了SIFT算法速度慢的問題。

通過停車場的監控攝像頭從視頻中提取車位信息，借助計算機對其進行圖像分析和處理，基本不增加檢測系統硬件成本。與需要埋設地感線圈的車位檢測系統相比，無需破壞地面，且便于設備更新和維護升級。此外，紅外傳感器和超聲波傳感器因為不便安裝，易受人為損壞，都不太適合露天安裝使用。

由于停車場中汽車種類、形狀、大小、顏色各異，直接對拍攝的視頻圖像進行空閑車位檢測，算法相當復雜、誤檢率高。原因是受視角和透視效應[6]影響，停車場或車庫的視頻圖像畸變嚴重，直接處理或者多圖拼接成整圖后，由于圖像中各車位形狀不一致，導致較難正確檢測出車位狀態。尤其是圖像兩側部位圖像與中間部位圖像差異明顯，從而大大增加了圖像處理的困難。為此本文提出首先將各個車位區域逐一分別進行視角和透視效應校正以及尺寸歸一化變換后，再進行圖像拼接，以便明顯提高后續自動檢測車位的準確率。

2 算法的基本流程

本文算法整體框架如圖1所示。

Figure 1 Flowchat of image mosaic圖1 圖像拼接算法整體框圖

(1)車位圖像預處理, 消除每張圖像中的視角變形和透視畸變；

(2)對全部序列圖像提取SURF 特征點并匹配相鄰幀圖像的SURF特征點；

(3)用RANSAC(RANdom SAmple Consensus)算法[7]去除匹配SURF 特征點對中的外點,利用最大內點集估計出相鄰幀變換矩陣；

(4)求解全局配準模型,將每幀圖像變換到基準圖像坐標系下；

(5)圖像融合,實現序列圖像無縫拼接；

(6)車位圖像多信息矯正與拼接技術在停車場中的應用。

3 SURF特征點檢測及描述

3.1 特征檢測

SURF特征點方法基于尺度空間理論。首先， 在建立金字塔尺度空間時使用積分圖像和方框濾波，然后，將Hessian 矩陣的行列式極值作為候選特征點,以便對塊狀結構敏感。

對于某一尺度圖像下的某一關鍵點，用Hessian矩陣求出極值后，需要在3×3×3的立體鄰域內進行非極大值抑制(NMS)，只有比上下尺度各9個及本尺度周圍的8個共計26個鄰域值都大或都小的極值點，才能作為候選特征點。然后，根據文獻[8]中的Hessian矩陣的權重調整公式:

(1)

其中，H1為Hessian矩陣H(w)的逆矩陣。由此計算出各個參數的偏移量，當它在任一維度上的偏移量大于0.5時，此時插值中心已經偏移到它的鄰近點上，所以必須修正當前關鍵點的位置。同時，在新的位置上迭代直到穩定，此過程可能出現超出迭代次數范圍或者超出圖像邊界，這樣的點應該刪除。此外，候選點的響應值過小的話容易受噪聲干擾而不穩定，為了得到穩定的特征點，必須舍去。具體方法是對該候選點進行泰勒級數展開(一般取前三項)，再求極值點，如果此點極值大于0.03，則留此點，否則刪除。圖2為采用SURF描述子檢測到的特征點。

Figure 2 Feature points detected by SURF descriptor圖2 SURF描述子檢測到的特征點

3.2 主方向確定

為保證特征矢量具有旋轉不變性，為每一個特征點分配一個主方向。在特征點周圍6δ(δ為特征點所在尺度) 的圓形區域內依步長δ進行采樣，并且在采樣點處使用4δ的HARR小波卷積核在X和Y方向上分別求取響應值。為使靠近特征點的響應大一些，遠離特征點的響應小一些，使用σ=2δ高斯加權函數進行加權運算，結果表示為一個二維坐標上的點，可得到所有采樣點分布在二維平面上的響應值。然后，用一個張角為60°的滑窗按固定步長5°左右滑動，每次將60°范圍內的HARR小波響應dx和dy相加形成新矢量。最后，選擇最長矢量所對應的方向作為此特征點的主方向。

3.3 構建描述子

將坐標軸旋轉到以特征點為中心的主方向上。選取20δ×20δ的正方形區域，將其分成4×4的子區域，則各個子區域的大小為5δ×5δ，再使用2δ×2δ的HARR模板計算共計25個采樣點的響應值，如圖3所示。然后在每個子區域上以σ=3.3δ的高斯函數加權得到dx和dy的累積值，即∑dx、∑dy、∑|dx|和∑|dy|。各個子區域均形成一個四維的新矢量，正方形區域共包含4×4個子區域， 所以每一個特征點將形成4×4×4=64維特征矢量。

Figure3 SURF descriptor圖3 SURF描述子組成

4 圖像配準

采用 SURF 算法獲得的特征點描述(位置、尺度、主方向及特征矢量)中,特征向量包含了特征點周圍的信息,采用特征向量的最近鄰匹配法可計算出圖像間可能存在的匹配對。本文采用特征向量的歐氏距離作為兩幅圖像間的相似性判斷標準。找出匹配對后,不可避免存在誤匹配的情況,再應用 RANSAC仿射方法,經過幾何一致性檢驗,去除外點, 計算出幾何約束模型,從而確定準確的匹配點對。

4.1 特征匹配

從圖像中提取特征點后，需要對其進行匹配。特征點匹配的相似度判斷以特征向量之間的歐氏距離為準則。假設對兩幅圖像A和B進行特征點匹配，p為圖像A中的某一特征點，要計算其在圖像B中的對應的匹配點，先計算出圖像B中與特征點p歐氏距離最短的d1和d2。當d1與d2相差很大時，說明存在匹配點的概率較大；當d1 和d2相差不大時，誤匹配的概率較大。因此，可以選擇一個閾值作為匹配正誤的準則。大量統計實驗表明，當閾值在 0.6～0.9取值時，可以取得比較好的匹配效果。 圖4為匹配的結果。

Figure 4 Matching feature points圖4 特征點的匹配

4.2 精確匹配

通過初始計算得到的匹配集合中不可避免存在錯誤的匹配點對，使用 RANSAC 魯棒算法對匹配結果進行去粗取精。RANSAC算法是由 Fischler M A和 Bolles R C提出的一種模型參數估計方法。它在一組樣本數據集中，剔除異常數據，計算出數據集的參數模型，并得出有效的樣本數據。

對于使用 RANSAC 算法去除誤匹配得出參數估計的步驟如下：

(1)從初始匹配點對中隨機抽取四組匹配對計算兩幅圖片間的變換矩陣M，根據此矩陣M計算其余匹配對的距離，若在誤差允許范圍內,則接受此匹配對為M的內點。

(2)選擇包含內點數目最多的一個點集估計出相似變換模型，用最小二乘法,剔除少數的“外點”后計算新的內點集內的平均誤差。

(3)重復上述兩步驟直至達到理想效果,選擇平均誤差最小的內點集計算最終的變換矩陣F。圖像A和圖像B的變換關系可以表示為IB=F×IA,F為透視變換矩陣, 其形式如式(2)所示:

(2)

5 圖像拼接融合

5.1 確定重疊區域

計算出圖像間的透視變換矩陣后，就可以將兩幅待拼接圖像拼接成一幅圖像。具體方法如圖5所示。XOY和X′O′Y′分別代表原圖A和待拼接圖B的坐標系，XOY中的一條直線可以用方程Y=Y0表示，此直線經過公式(2)仿射變換到X′O′Y′，根據圖形學中的線段裁剪算法可以求出落在圖B中的線段的起始點a和終點b,進而可以很方便地求出兩幅圖的重疊部分。

Figure 5 Schematic of overlapping area圖5 確定重疊區域示意圖

5.2 漸入漸出的平滑過渡法

為了盡可能消除兩圖重疊區的拼縫問題，目前采用較多的是加權平均法，中權值的選取包括帽子函數[9]和漸入漸出[10]兩種。本文采用后一種方法，假設重疊區域寬度為L，取過渡因子是σ(0≤σ≤1)，兩幅圖像重疊區的x軸、y軸最大和最小值分別xmax和xmin，ymax和ymin，則過渡因子σ=(xmax-x)/(xmax-xmin)，重疊區域的圖像像素為：I=σIA(x,y)+(1-σ)IB(x,y)。其中，IA(x,y)、IB(x,y)分別為圖像A和圖像B相對應的像素值，拼接效果如圖6所示。

Figure 6 Stitching effect picture圖6 拼接效果圖

采集一系列相鄰攝像頭拍攝的照片如圖7a～圖7d所示，按此方法拼接的結果如圖7e所示。

Figure 7 Mosaic picture圖7 拼接圖

5.3 色彩亮度補償

由于圖像噪聲、模型誤差、相機晃動等因素的存在，通常圖像之間會存在顏色和亮度差異，所以為了保證合成圖像的清晰度以及消除明顯拼接痕跡，需要對拼接后的圖像進行顏色和亮度補償。方法就是分別統計第一幅圖和第二幅圖中重疊區域的R、G、B三個值，然后計算出第一幅圖中R、G、B與第二幅圖對應的比值，進而把第二幅圖按比值關系對應變換到第一幅圖的亮度值。為了說明此拼接方法具有較強的魯棒性，以圖8a為例，可以看到直接拼接的圖8b中，左、右半圖色差明顯，中間含有一道拼縫；而采用色度補償后，效果有了較好的改善，見圖8c。

Figure 8 Color brightness compensation effect圖8 色彩亮度補償效果

5.4 車位畸變矯正

由于攝像鏡頭安裝的視角偏移和透視效應，造成拍攝的圖片存在明顯的畸變，例如原來的矩形車位被拍攝成了不規則的四邊形，并且各個車位的情況都不太相同，為了使用統一的圖像處理算法進行空閑車位識別，可以對每個車位區域逐一進行畸變矯正。

如圖9所示，因視角偏移造成垂直線變成斜線，又因透視效應造成近處大遠處小。由于攝像頭位置是固定的，可以采取離線的矯正方法。具體實現過程如下：離線得到車位的四個角點坐標a、b、c、d，進而可以求出車位線的傾斜角度θi,i=1,2,3,4，通常情況下θ1≠θ2，θ3≠θ4。從縱向看，ab邊需要旋轉θ3，cd邊需要旋轉θ4，為了使整幅圖片實現均勻的傾斜矯正，需使圖片從ab邊到dc邊的旋轉角度從θ3逐漸變化到θ4。同理，圖片橫向從bc邊到ad邊的旋轉角也需要從θ1逐漸變化到θ2。

為了將各個車位變成統一大小，求取各個車位線的平均長度作為標準尺度；然后將其車位線伸縮變換到設定標準尺度即可，對應于圖中的ab1c1d1，把各個車位逐一矯正后，所有的車位按順序融合為一幅同向視圖的照片。

Figure 9 Parking spaces schematic diagram圖9 車位形變矯正示意

6 停車場空車位檢測

停車場中每個攝像頭分管一片區域，需要采用圖像拼接構成大視圖，為空車位的快速檢出奠定基礎。通常，限于停車場攝像頭的安裝條件，攝像頭的視角偏差和透視效應造成同張視圖的車位區域存在畸變，使得拍攝到圖片上的各車位區域的大小或形狀不同，為了準確識別空車位，可以先將車位矯正為同視角圖片。

對于位置固定的攝像頭，可以先進行離線的標定矯正。在長方形車位的仿射畸變圖中，各個車位畸變角度是不同的，需要分別對橫向畸變和縱向畸變進行兩次矯正得到標準單個車位圖片。選擇兩個相鄰攝像頭拍攝的照片如圖10a和圖10b所示，首先將圖片按車位逐一進行矯正，然后基于SURF特征進行拼接，結果如圖10c所示。從實驗結果可以看出，通過矯正拼接后，能夠在液晶屏上直觀展現出車位的空閑、占用情況。另外，也更有利于采用統一的圖像處理算法，對車位狀態進行自動檢測。例如，可以根據文獻[11]的車位狀態檢測方法，自動檢測出各車位的狀態。

對比未矯正直接拼接的結果圖7e,可以看出矯正之后更方便直接觀察停車場中的空車位，并且也有利于自動檢測車位時采用統一的處理算法。相對而言，本算法比較簡單，能夠實時顯示整個停車場的全景圖及其空閑車位的占用情況，便于指引用戶泊車，因而具有良好的實用性。

Figure 10 Correction splicing圖10 矯正后的拼接圖

7 結束語

針對當前大部份停車場管理系統還只停留在顯示車位已滿和人工引導泊車的情況，提出了一種車位圖像畸變的矯正與拼接方法，用來實現自動準確檢測車位。

首先對變形嚴重的圖片，按照車位逐一進行透視和視角漸變矯正后，再利用SURF特征進行多圖像拼接。實驗結果表明，所給畸變矯正方法快速有效。軟件中可以顯示整個停車場的全景圖，動態地顯示停車場內各個車位的占用、空閑信息，并實時地將車位信息傳遞給顯示屏，更加人性化地指引用戶泊車；同時，車位圖像逐個經過畸變矯正后，有助于進行進一步圖像處理，實現自動檢測和主動報告空閑車位。

[1] Zou Bei-ji, Ruan Peng, Xiang Yao, et al. An automatic panoramic images mosaic algorithm with precise matching [J]. Computer Engineering and Science, 2010, 32(8):60-63. (in Chinese)

[2] Li Xiao-ming,Zheng Lian,Hu Zhan-yi.SIFT based automatic registration of remotely-sensed imagery [J]. Journal of Remote Sensing, 2006,10(6):885-892. (in Chinese)

[3] Cai Li-huan, Liao Ying-hao, Guo Dong-hui. Study on image stitching methods and its key technologies [J]. Computer Technology and Development, 2008,18(3):1-4. (in Chinese)

[4] Lowe D G. Object recognition from local scale-invariant features [C]∥Proc of the 7th International Conference on Computer Vision, 1999:1150-1157.

[5] Bay H,Tuytelaars T,Van Gool L.SURF:Speeded up robust features[C]∥Proc of the 9th European Conference on Computer Vision, 2006:404-417.

[6] Zhang Z Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000,22(11):1330-1334.

[7] Fischler M A, Bolles R C.Random sample consensus:A paradigm for model fitting with applications to image analysis and automated cartography [J].Communications of ACM, 1981,24(6):381-395.

[8] Liu Jin-lu, Chen Shou-yu. Back propagation learning algorithm with Hessian matrix for fuzzy optimal neural networks[J]. Shuili Xuebao, 2004(4):1-64. (in Chinese)

[9] Szeliski R.Video mosaics for virtual environment[J]. IEEE Computer Graphics and Applications, 1996,16(2):22-30.

[10] Hou Shu-wei, Guo Bao-long. A fast automatic image stitching algorithm [J]. Computer Engineering, 2005,31(24):70-72. (in Chinese)

[11] Li Yu-cheng, Yan Juan-li. Approach for parking spaces detection based on video images[J]. Computer Engineering and Design, 2012,33(1):283-285. (in Chinese)

附中文參考文獻:

[1] 鄒北驥,阮鵬,向遙,等. 一種精確匹配的全景圖自動拼接算法[J].計算機工程與科學,2010,32(8):60-63.

[2] 李曉明,鄭鏈,胡占義.基于 SIFT 特征的遙感影像自動配準[J].遙感學報,2006,10(6):885-892.

[3] 蔡麗歡,廖英豪,郭東輝.圖像拼接方法及其關鍵技術研究[J].計算機技術與發展,2008,18(3):1-4.

[8] 劉金祿,陳守煜.基于Hessian矩陣的模糊優選BP算法及其應用[J].水利學報,2004(4):1-64.

[10] 侯舒維,郭寶龍. 一種圖像自動拼接的快速算法[J].計算機工程,2005,31(24):70-72.

[11] 李宇成,嚴娟莉.利用視頻圖像檢測車位狀態的方法[C].計算機工程與設計,2012,33(1):283-285.