地址事件數據流的快速車道線識別方法

許璐鈞，張遠輝，徐栢銳，何雨辰

(中國計量大學機電工程學院，浙江 杭州 310018)

1 引言

車道線識別是目前高級駕駛輔助系統(Advanced Driver Assistance Systems，ADAS)的關鍵技術之一[1]，借助車載傳感器來輔助駕駛員感知行車環境中存在的安全隱患，通過識別車道線分析出車輛位于行駛車道的相對位置，從而判斷車輛是否存在車道偏離的危險，對可能存在的危險情況提前預警進一步。現有的車道線識別方法大多借助于傳統的可見光相機，可以歸納為基于特征的車道線識別方法[2]、基于模型的車道線識別方法[3]、機器學習的圖像分割方法[4-6]。當車輛高速行駛時，容易造成運動模糊，而且這些包含大量冗余信息的連續圖像幀會極大地浪費計算能力、內存空間和時間。

一種事件相機[7]應運而生，該傳感器異步輸出地址事件的數據。目前，基于地址事件(AER)的目標識別與跟蹤已經取得研究進展。Maqueda[8]等人通過實驗證明在具有挑戰性的光照條件和快速運動的情況下，事件數據在預測車輛的轉向角度時仍具有魯棒性。Wang[9]提出一種基于改進高斯斑點跟蹤算法的定位檢測器，用于事件目標跟蹤和定位。Ramesh等人[10]提出一種事件信息的(Distribution Aware Retinal Transform，DART)描述子，但該描述子在設計原理上未考慮旋轉、尺度、視角的不變性。Li[11]采用相關濾波器和卷積神經網絡對事件流對象進行跟蹤。雖然地址事件數據具有高時間分辨率、寬動態范圍的優點，但是目前仍然很少將其應用在車道線識別中。在實際應用時，車輛高速行駛、環境的光線亮暗、路肩石和樹陰等陰影對識別方法造成很大的干擾。

為了解決上述問題，本文利用事件流異步、高時間分辨率的特性，提出一種針對地址事件的快速車道線識別方法。首先，將原始事件數據進行濾波、LIF編碼的預處理，這樣不僅可以完整地表征事件的強度，而且可以濾除大量噪聲事件。然后，通過恢復車道的視角來定位出車道線在圖像坐標的位置，再采用三次B樣條曲線擬合。最后，采取車道跟蹤策略優化該方法的檢測率和運行速度，在保證高檢測率的前提下，相較于傳統幀圖像的車道線識別方法大大減少了運行時間。

2 車道線識別整體方案設計

2.1 事件流數據

如圖1所示，傳統相機以“幀”的形式捕捉和存儲視頻，不管亮度變化，在一個固定的周期內拍攝完整的幀畫面，且每一幀圖像都攜帶著來自所有像素的視覺信息；而事件相機是對其感光陣列中的每一個像素點上的光強信息按時間先后進行連續檢測，當相對變化超過設定的閾值時，異步獨立地輸出該像素點的位置信息和變化屬性的數據(即事件)。

圖1 傳統相機與事件相機的傳輸方式對比圖

傳統的成像機制帶來了大量的信息冗余，對帶寬和存儲提出了很大的挑戰，而通過事件驅動的方式完全可以滿足數據量小且高時間分辨率的要求。

2.2 車道線識別方法

車道線識別方法的總體框架如圖2，包括事件數據預處理、車道識別和跟蹤三個部分。

圖2 車道線識別方法的流程圖

3 事件流數據的預處理

3.1 數據濾波

事件流對環境中的光強變化非常敏感，不可避免地易受到光學硬件電路和環境因素影響，在輸出車道信息的同時夾雜著大量的噪聲[12]，從而影響后續的車道識別和跟蹤。因此，數據預處理非常必要[13]。由于事件流與圖像幀的輸出方式上有明顯地差異，基于幀的傳統視覺處理算法不能直接應用于事件數據中。針對這一特性，本文直接對事件流序列進行處理，采用濾波的方法來濾除由于硬件電路和隨機產生的噪聲。

(1)

在AER感知模式中，某一位置的像素被激活時，輸出由這些像素組成的事件，反之則不會輸出。因此，可以將發生“事件”這一動態過程表示成階躍函數ε(x，y，t)的形式。

ei=(xi，yi，ti)?ε(x-xi，y-yi，t-ti)

(2)

那么，N個事件組成的事件流可以寫作

(3)

有效事件是由物體的運動或是光強度的變換真實產生的，一個有效事件通常不會單獨產生，而會激活周圍位置的像素。所以，有效事件的密度值通常是大于無效事件的密度。在時空鄰域U(x，y，t)內，輸入事件e=(x，y，t)的密度計算如下式(4)。如果事件密度小于，則該事件為無效事件并濾除；反之則為有效事件并保留。

(4)

3.2 事件流數據的編碼

傳統的計算機視覺算法通常用于處理同步圖像幀，而不能直接處理異步事件流數據，因此文中采用LIF編碼，用于將異步事件流轉換為幀[14]。2006年Burkitt提出LIF神經元模型[15]，輸入信號直接影響神經元的狀態，只有當膜電位(Membrane Potential，MP)上升到閾值電位時才會產生輸出脈沖信號。事件流與LIF神經元模型相結合，可以很好的反應出時間連續和觸發事件異步的特征，不局限于傳統圖像固定時刻的曝光。使用LIF編碼不僅可以將事件流轉化為事件幀，而且可以濾去隨機產生的噪聲。

首先，把每個圖像像素(x，y)看作是一個具有膜電位和觸發計數器n的神經元，它的值受到輸入尖峰和時間的影響。每個輸入事件會導致像素(x，y)處的MP值階躍增加，同時相應的MP值遵循固定衰減速率下降；一旦像素MP值超過設定閾值，則將其重置為0。然后，在一定時間間隔內，統計每個像素的膜電位MP超過閾值的次數，通過式(5)進行0～255像素值的歸一化處理。最后，采用閾值分割對像素值σ(n)二值化操作。在固定時間間隔T=20ms內，每個像素的觸發計數器n會被重新置零。

(5)

式中，為一定時間間隔內像素點(x，y)上發生的事件總數，σ(n)是事件幀的像素值，為了符合8位圖像將其范圍歸一化為0～255。

如圖3(a)是基于圖像幀的車道線圖像，(b)是基于AER的車道線事件幀，(c)是經過濾波后LIF編碼得到的車道線事件幀。

圖3 不同方式得到的車道線圖像

4 車道線識別和跟蹤

4.1 車道線的視角恢復

原始的事件流數據經過濾波等預處理方式將事件數量減少，從而到達去除大量噪聲的目的。由于單目相機安裝的位置與路面具有一定角度，使實際平行的車道線出現近大遠小、遠處相交于一點的問題。因此，需要通過逆透視變換將相機拍攝視角如圖4(a)轉換成俯瞰視角如圖4(b)，恢復車道線的平行關系。

圖4 逆透視變換前后車道的視角

(6)

圖5中(a)中綠線畫出的區域為車道線區域，(b)為經過逆透視變換得到的車道俯瞰圖，有助于后續的識別車道線位置。

圖5 車道線的俯瞰圖

4.2 車道識別

4.2.1 定位車道線的搜索起點

首先，將逆透視變換得到的俯瞰圖沿著豎直方向一分為二，即劃分為左、右兩個搜索區域；然后，對俯瞰圖的左、右兩個區域在豎直方向上做非零像素點個數的直方圖統計；最后，定位左、右兩個峰值分別作為左、右兩條車道線的搜索起點。如圖6為每列非零像素個數統計直方圖，橫坐標為圖5中俯瞰圖對應的像素橫坐標，縱坐標是每一列非零像素的個數。

圖6 統計直方圖

4.2.2 B樣條曲線

B樣條曲線是一種通過特征點局部控制形狀的曲線，具有控制靈活、易于計算機編程等特點，常用用于擬合直線及曲線。B樣條曲線的總方程為

(7)

式中qi是控制曲線的特征點，Fi，k(t)是k階B樣條基函數。文中，使用三次B樣條曲線對m+1個特征點{q0，q1，q2，…，qm}進行擬合，即可以擬合出m-1條分段曲線，每段曲線可寫為

gi(t)=g(xi(t)，yi(t))，i=1，2，…，m-2

(8)

其中，xi(t)，yi(t)分別為圖像坐標系中像素的水平、垂直坐標值的取值范圍為[0，1]。4個特征點擬合出一段分段曲線，根據B樣條曲線的基函數，得到參數表達式

(9)

4.2.3 車道線的擬合

利用滑動窗定位特征點，并采用隨機抽樣一致法對擬合車道線進行連續迭代，直到擬合誤差小于閾值或是達到最大迭代次數。具體步驟為：

1)將當前搜尋的基點作為搜索起點，并以當前基點為中心，做網格化搜尋。同時，統計每個搜索框區域內非零像素的個數，剔除非零像素個數小于一定閾值的搜索框。

2)計算每個搜索框內非零像素坐標的均值，作為特征點。

3)根據三次B樣本曲線模型，隨機選取若干個點，生成一條初始曲線。

4)計算剩余特征點與初始曲線的相對距離，當相對距離小于設定閾值時執行5)，否則執行步驟3)，直至達到最大迭代次數。

5)利用本次循環加入的特征點對三次曲線進行修正，保存當前最佳擬合的曲線，直到迭代上限。

如圖7(a)是滑動窗對俯瞰圖的擬合圖，圖中綠色框為滑動窗擬合結果，紅色、藍色像素為區分左、右車道。(b)是三次B樣條曲線擬合出的車道線。(c)是識別出的可行駛區域。

圖7 車道線的擬合圖

4.3 車道線跟蹤

車道線跟蹤的策略：通過判斷左右兩條車道線是否平行，具體參考數據是前一幀的兩條擬合三次曲線的標準差，判別是否大于一定的閾值，若是在設定的閾值范圍內，把前五幀的平均擬合數據作為當前幀的擬合結果輸出；若是前一幀兩條擬合車道線的標準差大于閾值范圍，則重新檢測下一幀圖像。實驗中在判斷擬合車道線是否平行的基礎上，再增加一項判斷量，即為車輛行駛過程的偏移量d。車輛在正常行駛過程中，考慮到車輛會出現變道的情況，所以當偏移量大于設定的閾值時，將重新識別車道線，反之則啟動跟蹤模塊。

車道跟蹤模塊，一是可以保證車輛在直線行駛過程中，減少不必要的計算以加快識別速度；二是可以減小路面字標、樹陰、光照等影響，提高了算法的魯棒性，減少異常幀的干擾。圖8(a)是未加入跟蹤模塊的車道線識別的效果圖，(b)是加入跟蹤模塊的識別效果圖，綠色區域即為識別得到的可行駛區域。

圖8 未使用和使用跟蹤模塊的識別對比圖

5 實驗與結果分析

為了驗證研究方法的可用性和魯棒性，在理論研究的基礎上，在四種車輛行駛環境下進行測試，并與其它兩種車道線識別方法[18，19]進行對比。統計檢測率、平均每幀耗時作為評價指標，檢測率是正確識別到兩條車道的幀數占總幀數的百分比，平均每幀耗時是程序的總運行時間除以總幀數。

5.1 測試環境

PC硬件配置為Inter i7-8750H CPU3.6GHz NVIDIA GeForce GTX1060。

軟件運行環境為Window 10，內存為8.0GB，Python3.7和OpenCV4.0庫。事件流數據是由仿真器ESIM[16](Event Camera Simulator)模擬得到。該仿真器可以真實地反應出事件流數據。ESIM基于ROS(Robot Operating System)軟件平臺，緊密結合了渲染引擎和事件仿真器，這使仿真器可以根據視覺信號的動態性自適應地生成rosbag文件從而獲取事件幀。圖像幀轉換成事件幀的具體流程圖9如下，圖像幀為1280X720分辨率，模擬生成事件幀的分辨率仍保持不變。

圖9 圖像幀轉換成事件幀的流程圖

5.2 結果分析

圖10為四種場景下車道線識別的效果圖，每一排分別是基于事件的車道線圖像、車道擬合的曲線、識別效果圖，從上到下代表四種場景分別是車輛一般行駛情況、路面有標識、樹陰遮擋、夜晚行車環境。表1為四種場景對應的總幀數、錯誤幀數、準確率和平均每幀運行時間。

圖10 四種場景(a-d)下車道線識別的效果圖

表1 四種場景下車道線檢測率

上述實驗結果圖10可看出，本文提出的車道線識別算法很大程度上消除了樹陰、路面字標等影響，對光照不足的情況也有很好的識別效果。從表1可得，算法的平均檢測率為97.05%，平均每幀耗時18.24毫秒，可滿足實時性要求且可應用于多種場景，在滿足高檢測率的同時保證了較高的運行速率。

5.3 與已有的方法對比

圖11為三種車道線識別方法對每種場景中的同一事件幀的對比圖，每一行分別為Hough[17]、Hough-Kalman[18]、和本文方法；每一列是四種場景，分別為一般行駛情況、路面有標識、樹陰遮擋、夜晚行車環境。

圖11 三種車道線識別方法在四種場景(a-d)中的對比圖

對比圖11可以看出，多變的路面環境對Hough[17]方法的識別效果影響較大，Hough-Kalman[18]方法容易受到路面字標、樹陰的影響，而研究提出的方法在很大程度上消除了這些影響。由表2可得，本研究中的車道線識別方法平均檢測率為97.04%，高于文獻[18，19]的94.64%、95.87%；并且每幀圖像的處理時間較快。

表2 不同方法對比的實驗結果

6 結論

針對目前傳統車道線識別方法容易受到車輛高速行駛、樹陰、光線亮暗等影響，本文提出一種地址事件數據流的快速識別車道線方法，在多種不同場景下進行實驗測試，表明效果良好。

1)針對AER感知模式中存在硬件電路和環境隨機產生的噪聲，采用濾波、LIF編碼的方式直接對事件流序列進行預處理，可以濾除大量無效事件，提高車道線定位的準確性。

2)相比傳統基于同步圖像幀的車道識別方法，研究中采用高時間分辨率的異步事件流，可避免兩個相鄰幀之間的信息丟失。加入了車道跟蹤模塊，減小異常幀的干擾并提高了識別的實時性。

3)經過四種不同路況的實驗場景驗證，提出的車道線識別方法在19959幀動態車道線測試中，平均檢測率為97.05%，平均每幀耗時18.24毫秒，可滿足實時性要求。