基于環視圖的自動泊車停車位檢測方法

范夢陽

摘 要：“停車難”這一問題變得日益嚴峻，自動泊車系統的研究也就顯得至關重要，停車位檢測是自動泊車系統的重要組成部分。環視圖通過逆透視變換消除了透視畸變，恢復了庫位線的平行、垂直、間距等幾何信息，可以直接利用圖像中的庫位線滿足的幾何約束約束特征來實現停車位檢測。利用安裝在車輛四周的四個魚眼攝像頭采集圖像，經過畸變矯正、逆透視變換、重合區域拼接可以得到車輛的環視圖。攝像頭在采集圖像的過程中必然會引入各種噪聲，首先需要對環視圖通過均值濾波、中值濾波、高斯濾波等方式進行降噪處理。之后，進行灰度化，以減少后續圖像處理的計算量。由于庫位線與地面的灰度信息不一致，灰度化后的圖像仍然保留了庫位線的灰度特征，仍然可以利用該灰度差異區分出停車位線和地面。在對環視圖進行濾波降噪、灰度化等圖像預處理操作之后，通過邊緣檢測得到庫位線的邊緣。之后利用霍夫變換提取出邊緣圖像中的直線。根據《中華人民共和國國家標準/道路交通標志和標線（第 3 部分：道路交通標線）》（GB5768.3-2009）標準中對停車位標線寬度、尺寸和設置方式的規定，提取劃線停車位應滿足的幾何約束特征條件，可以識別出停車位。在此基礎上，融合車輛定位模塊得到的車輛位姿信息對單幀圖像中檢測到的停車位在圖像序列中進行跟蹤，進一步提高停車位檢測正確率和檢測精度。

關鍵詞：自動泊車 停車位檢測 攝像頭 環視圖

Automatic Parking Space Detection Method based on Ring View

Fan Mengyang

Abstract：The problem of "difficult parking" is becoming more and more serious， and the research of automatic parking system is also important. Parking space detection is an important part of automatic parking system. The ring view eliminates the perspective distortion through the inverse perspective transformation and restores the geometric information such as the parallel， vertical， and spacing of the location line. It can directly use the geometric constraints that the location line in the image meets to realize the parking space detection. The four fisheye cameras installed around the vehicle are used to collect images， and the ring view of the vehicle can be obtained after distortion correction， inverse perspective transformation， and overlapping area stitching. The camera will inevitably introduce various noises in the process of collecting images. First， the ring view needs to be denoised by means of mean filtering， median filtering， and Gaussian filtering. After that， grayscale is performed to reduce the amount of calculation for subsequent image processing. Since the gray information of the location line is inconsistent with the ground， the gray-scaled image still retains the gray features of the location line， and the gray level difference can still be used to distinguish the parking space line and the ground. After image preprocessing operations such as filtering and denoising and graying are performed on the ring view， the edge of the location line is obtained through edge detection. Afterwards， the Hough transform is used to extract the straight lines in the edge image. According to the "National Standards of the People's Republic of China/Road Traffic Signs and Markings （Part 3： Road Traffic Markings）" （GB5768.3-2009）， the rules for the width， size and setting method of parking space markings are extracted. The geometric constraint characteristic condition that the parking space of the line should meet， and the parking space can be identified. On this basis， the article fuses the vehicle pose information obtained by the vehicle positioning module to track the parking space detected in a single frame image in the image sequence， and further improves the parking space detection accuracy.

Key words：automatic parking， parking space detection， camera， ring view

停車對于很多駕駛員來說是個“難題”，而隨著我國汽車保有量的不斷增加，停車位變得越來越緊張，“停車難”這一問題就變得日益嚴峻。由于人們對于泊車輔助系統的迫切需求，以及我國汽車產業朝著智能化方向發展的必然趨勢，自動泊車系統的研究顯得至關重要。

停車位檢測是實現自動泊車首先需要解決的問題，它是自動泊車系統的重要組成部分。目前環視攝像頭由于成本低、提供的視圖清晰直觀，已經在較多量產車型上有所應用。如圖1所示，環視圖通過逆透視變換消除了透視畸變，恢復了庫位線的平行、垂直、間距等幾何信息，可以直接利用圖像中的庫位線滿足的幾何約束約束特征來實現停車位檢測，此外，和單目攝像頭相比，環視圖的視野范圍更廣，包含的庫位線信息更加豐富，停車位的檢出率更高。

首先，環視攝像頭所采用的魚眼鏡頭具有畸變，該畸變可以從徑向畸變和切向畸變兩個方面來表征。徑向畸變將會導致實際成像點相對于理想成像點沿著透鏡徑向方向存在偏移。魚眼攝像頭采集到圖像的光學中心的徑向畸變為0，沿著靠近圖像的邊緣，徑向畸變不斷增大。切向畸變會導致實際成像點相對于理想成像點沿著透鏡的切向方向存在偏移。通過張正友標定法得到攝像頭的畸變參數，據此對魚眼圖像進行畸變矯正，將魚眼圖像轉化為透視圖像。

三維空間中的點通過針孔成像所形成的圖像成為透視圖像，這種變換關系即透視變換。三維空間中的點對應為透視圖像中確定的一點，即根據某點在三維世界坐標系中的坐標可以計算得出該點在圖像坐標系中的坐標。反之，根據某點在圖像坐標系中的坐標卻不能直接計算得出該店在三維世界坐標系中的坐標。但是如果已知某點在世界三維坐標系中的某一維坐標，則可以根據該點圖像坐標系中的坐標，計算出該點再世界坐標系中的另兩維坐標。我們把這種建立圖像坐標系中的點與三維世界坐標系中已知某一位坐標的點的對應關系的過程稱為逆透視變換。由于自動泊車系統中所需檢測的停車位標線都位于地面上，所以我們假定圖像中的所有點都位于三維世界坐標系的地面上，利用標定得到的四個攝像頭的內參和外參矩陣，對矯正畸變后的圖像進行逆透視變換，得到四幅俯視效果的鳥瞰圖。

由于安裝在車輛四周的四個攝像頭中相鄰的攝像頭視野范圍有重疊，所以相鄰攝像頭采集到的圖像所轉換為的鳥瞰圖會有部分重合區域，通過尋找重疊區域內的標志點并將其對齊，可以將四幅鳥瞰圖剪切、拼接得到360度環視圖。

由于攝像頭在采集圖像的過程中必然會引入各種噪聲，所以首先需要對環視圖進行降噪處理。通常可以選用均值濾波、中值濾波、高斯濾波等方法進行降噪。拼接得到的原始車輛環視圖為彩色圖像，為了減少后續圖像處理的計算量，對環視圖進行灰度化處理。常見的灰度化方法有平均值法、加權平均值法、最大值法等。由于停車位標線與地面的灰度信息不一致，灰度化后的圖像仍然保留了庫位線的灰度特征，仍然可以利用該灰度差異區分出停車位線和地面。

在對環視圖進行濾波降噪、灰度化等圖像預處理操作之后，再通過邊緣檢測得到停車位線邊緣。邊緣點是指圖像中灰度值和相鄰點的灰度值存在顯著差異的像素點。邊緣檢測是利用計算圖像中各個像素點的一階差分或二階差分來判定該點是否屬于邊緣像素點。由于庫位線邊緣的灰度值和相鄰地面處的灰度值存在較大差異，因此可以通過邊緣檢測識別出圖像中庫位線的邊緣。之后，利用霍夫變換提取出邊緣圖像中的直線，以識別出庫位線的邊緣直線。在圖像空間（x，y）中，同一條直線上的點滿足方程y=kx+b，即同一條直線上的點的斜率k相等，截距b也相等。構建參數空間（k，b），可以得出，圖像空間（x，y）中的一條直線和參數空間（k，b）中的一個點相對應。利用參數空間和圖像空間的之間所存在的點-線對偶性，霍夫變換就把圖像空間中的直線檢測問題轉換到參數空間中去：在參數空間（k，b）里進行的累加統計，尋找斜率和截距的計數器峰值，以此來檢測出圖像空間中的直線。

在《中華人民共和國國家標準/道路交通標志和標線（第 3 部分：道路交通標線）》（GB5768.3-2009）中，規定停車位標線的寬度可介于6到10cm之間。停車位標的上限尺寸長為1560cm，寬為325cm，適用于大中型車輛;下限尺寸長為600cm，寬為250cm，適用于小型車輛。在條件受限時，寬度可適當降低，但最小不應低于200cm。停車位標線的設置方式分為平行式、垂直式和傾斜式，分別如圖2、3、4所示。根據該標準中對停車位標線寬度、尺寸和設置方式的規定，提取我國劃線停車位應滿足的幾何約束特征條件，基于單幀環視圖中提取到的直線信息可以識別出劃線停車位。

環視攝像頭采集到圖像在泊車的過程中不斷刷新，形成了圖像序列流，通過融合車輛定位模塊得到的車輛位姿信息對單幀圖像中檢測到的停車位在圖像序列中進行跟蹤，對單幀環視圖中檢測出的停車位進行實時修正優化，進一步提高停車位檢測正確率和檢測精度，從而提高自動泊車系統的可靠性和安全性。

課題名稱：基于多傳感器融合的車輛自動泊車停車位檢測方法研究;編號：XJZK202002。

參考文獻：

[1]孟焱，孫軍，湯一平.基于機器視覺的停車位檢測技術的研究[J].計算機測量與控制，2012，20（3）：638-641.

[2]王成雨.基于視覺環境感知技術的自動泊車系統研究[D].蘇州：江蘇大學，2019.

[3]孫炬輝.基于魚眼相機的實時視頻拼接技術研究[D].杭州：杭州電子科技大學，2014.

[4]方財義，鄧軍，檀銀學.全景泊車系統及圖像拼接技術的研究[J].汽車零部件，2012，11：103-108.

[5]GB 5768.3-2009 道路交通標志和標線第3部分：道路交通標線.

[6]劉微.應用機器視覺的自動泊車車輛位姿獲取算法研究[D].長春：吉林大學，2012.

[7]王旭東.基于環視的自動泊車方法研究與系統設計[D].上海：上海交通大學，2013.