基于運動軌跡特征學習的行駛區域自擴充算法

黃林泉，蔣良衛

（南華大學計算機學院，衡陽 421000）

0 引言

近年來隨著我國經濟迅速發展，各地城市化進程加快，機動車數量不斷增加，據公安部統計，截至2019年上半年全國機動車保有量達3.4億輛，新登記汽車1242萬輛，新領證駕駛人1408萬人。全國66個城市汽車保有量超過100萬輛，其中北京、成都等11個城市超過300萬輛。如此巨大數目的機動車涌入街道使得城市交通不堪重負，交通事故、交通擁堵、環境污染以及能源浪費等問題日益嚴重，與此同時，機動車違章行為也變得屢見不鮮。如何實施高效的交通管控治理儼然成為一大難題。而在如今大數據時代，隨著深度學習技術的不斷革新與突破，如目標檢測、圖像分類、圖像分隔等技術被廣泛應用于醫學領域、軍事領域以及工業領域，因此在交通領域中融入深度學習技術進行智能交通管控將會是解決上述問題的一把利刃。

本文研究的是智能交通應用中的一項核心基礎任務-車道行駛區域分隔，對車道行駛區域進行有效的分隔可以很好地幫助統計各車道的車流量信息以及逆向行駛、違規越線等違章行為的判斷。本文提出了一種行駛區域自動擴充的算法，首先使用目標跟蹤技術獲取機動車運動軌跡，然后對其進行過濾擬合，結合軌跡端點與區域頂點之間的位置關系對各車道行駛區域進行擴充，并且可以通過學習各車道運動軌跡的特征，以確定其合法行駛方向。

1 相關技術

1.1 目標跟蹤

為了獲取機動車目標的運動軌跡信息，需要對機動車目標跟蹤定位。本文使用了Nicolai Wojke等人提出的基于檢測的多目標跟蹤算法Deepsort[2]負責機動車目標的跟蹤任務。Deepsort算法在Sort算法的基礎上進行改進，解決了Sort算法在相機運動情況下運動信息關聯失效的問題。其引入了重識別網絡提取目標的外形特征向量，同時考慮目標的運動信息和外形特征進行關聯匹配。兩大核心算法是卡爾曼濾波和匈牙利算法。通過標準卡爾曼（Kalman）濾波器對目標運動狀態進行預測。使用匈牙利算法進行關聯匹配，運動關聯程度用目標檢測框與跟蹤器預測框之間的馬氏距離來描述：

其中dj表示第j個檢測框的位置，yi表示跟蹤器對目標i的預測位置。Si表示目標i的檢測位置與預測位置之間的協方差矩陣，即以檢測位置與預測位置之間標準差的形式來考慮狀態測量的不確定性。接著使用重識別網絡提取目標128維的特征向量作為外觀信息，緩存每一幀成功匹配的結果作為特征向量集，對于每一個檢測框，將其特征向量與所有跟蹤器的特征向量集計算最小余弦距離：

其中rj表示第j個目標檢測框的特征向量，Ri表示第i個跟蹤器的特征向量集。最后使用兩種關聯方式的線性加權值作為最終匹配度量，λ為權重系數，如公式（3）。

1.2 目標檢測

前面提到了本文所使用的目標跟蹤算法是基于檢測的，因此目標檢測結果的好壞將直接影響到跟蹤算法的性能。目前的目標檢測算法主要分為兩大方向，分別是以高精度著稱的兩階段方法和以高效率著稱的單階段方法。代表算法分別是Faster R-CNN[3-4]系列算法以及SSD[5]、YOLO[6-8]系列算法。本文為了在保證高準確率的同時盡量提高算法效率，使用Alexey Boch?kovskiy等人提出的單階段算法YOLOv4[9]，YOLOv4算法在YOLOv3的基礎上從特征提取、特征融合、損失函數以及激活函數等方面進行了全方面的優化。使用了ResNeXt網絡結合CSPNet中的梯度分流階段機制提高卷積網絡的學習能力，引入了SPP Net和PA Net進行特征融合豐富特征圖的表達能力，損失函數方面，使用了CIoU替代原來的均方差損失函數，提高目標定位的精度。在開源數據集COCO和VOC上進行驗證，在準確率和效率之間達到最優的權衡，算法結構如圖1所示。

2 算法實現

通過目標檢測與跟蹤算法獲取機動車的運動軌跡之后，需要進一步通過離心點判斷和拐角距離判斷過濾路邊不規則行駛車輛的干擾軌跡，然后對于直行車輛軌跡進行優化擬合得到軌跡線段，根據軌跡方向判斷其所處車道后結合軌跡端點和區域頂點的位置關系進行區域擴充，具體流程如圖2所示。

圖1 YOLOv4算法結構

圖2 算法流程圖

2.1 軌跡預處理

通過目標跟蹤算法記錄機動車的預測框中心點位置得到運動軌跡之后，由于交通場景復雜，通常會檢測到一些非目標區域內的機動車以及一些曲線行駛的機動車，如圖3所示，綠色點為目標軌跡點。

圖3 干擾軌跡示例

這些目標的軌跡信息不但對行駛區域的擴充沒有任何作用，還會使得區域頂點漂移產生較大誤差，所以首先需要對該類目標產生的非近似直線軌跡進行過濾。本文使用了離心點個數、平均離心距離和平均拐點后偏移角度三種方法對軌跡是否為曲線進行判斷。首先使用軌跡起點和終點擬合一條線段，離心點個數即為軌跡點距擬合線段距離大于閾值（默認為40像素）點的個數，大于軌跡點個數30%的即判斷為曲線；平均離心距離即為各軌跡點到擬合線段距離的平均值，大于平均閾值（默認為60像素）則判斷為曲線；平均拐點后距離需要首先找到軌跡最大拐點，然后計算起點到拐點的線段與拐點到其后軌跡點線段夾角的平均值，大于45°即判定為曲線，計算過程如公式4所示。

其中i表示軌跡中拐點的下標，N表示軌跡點總數，表示點p0和pi組成的向量，則表示pj和pi之間y方向的增量，則為x方向的增量。abs(t)表示對t取絕對值，min(a,b)表示取a和b的最小值。判斷示例如圖4所示。

圖4 軌跡分類示例

為了盡量降低干擾軌跡給算法帶來誤差的可能性，在任一方法判斷軌跡為曲線時均對其進行丟棄，這樣做提高了直行軌跡的門檻可能對部分直行軌跡產生誤判，但是在最大程度上避免了干擾軌跡.在相同的10個場景下進行實驗對比，以完成所有10個場景區域擴充所需平均軌跡數、平均擴充時間和最終的平均IoU作為指標進行評測，結果如表1所示，發現對部分直行軌跡的丟失對最終結果并無明顯影響。

2.2 擴充條件判斷

在實際交通中，道路主要按行駛方向最多分為兩個車道，因此本文中首先生成兩個假設區域A和B，初始狀態全部為空，以運動方向作為軌跡歸屬判斷的標準，然后對于第一條符合要求的直行軌跡，將其劃分到區域A中，即確定區域A所歸屬的車道，并且取其運動方向作為區域初步行駛方向。對于后續軌跡，分別在假設區域A和B中使用隨機采樣的方法選擇最多10條軌跡計算平均角度，若平均角度小于90°說明與當前區域軌跡集為相同運動方向，屬于當前假設區域，若平均角度大于等于90°，說明為相反運動方向，應歸屬于另一假設區域。當任一假設區域軌跡數為2時，則由兩條線段可確定一個區域，需要嘗試進行區域初始化。但是為了避免兩條軌跡相似度過高，即起點與終點距離較近導致初始化形成的區域近似為三角形或線段，因此需要兩軌跡起點距離和終點距離均大于初始化距離閾值（默認為30像素），若滿足條件，則利用兩軌跡端點對假設區域進行初始化，生成梯形區域。否則視當前軌跡為無用軌跡，進行拋棄，等待下一條軌跡信息嘗試初始化，如圖5所示。

圖5 假設區域初始化

生成假設區域之后，對于后續軌跡信息，首先判斷其所屬區域，然后根據軌跡端點與假設區域頂點之間的位置關系判斷其是否能夠擴充區域，具體分為以下幾步：

（1）判斷軌跡端點與假設區域的包含關系

首先需要通過面積和判別法判斷軌跡端點是否處于假設區域內部，面積和判別法通過依次連接端點P與多邊形任意兩頂點組成一個三角形，然后計算所有這樣的三角形面積和記為端點面積S。然后在多邊形頂點中選定一點V，同樣依次連接其與其他兩頂點組成一個三角形，計算面積和記為多邊形面積T，若S等于T則端點位于多邊形內部，若S大于T則端點位于多邊形外部，其過程可用圖6表示。

圖6 面積和判別法示例

對于落在假設區域內部的端點，無論從何種角度其都無法對假設區域進行擴充，應當直接拋棄。而對于假設區域外部的端點，則可以至少從一個維度（車道方向或車道范圍）對假設區域進行擴充，具體擴充方案則需要進一步判斷。

（2）判斷軌跡端點與假設區域最近方向邊的位置關系

對于落在假設區域外部的端點P，需要判斷其與所屬假設區域最近方向邊的位置關系，最近方向邊意為假設區域距離端點最近并且沿機動車行駛方向的邊，它們代表了各車道的長，如圖6中第三幅圖，P1的最近方向邊即為V24。本文首先通過公式5將端點p映射到最近方向邊Vij上得到點p'，然后通過公式6判斷端點p'是否在線段Vij上。

其中ρ(vi,vj)表示兩頂點vi和vj之間的歐式距離。如果端點落在最近方向邊之外，說明其可以沿行駛方向對最近方向邊進行擴充，否則該端點在行駛方向維度上對假設區域擴充無貢獻，如圖7所示。

圖7 方向邊擴充條件示例

可以看到在圖7第二幅圖中，端點p的映射點p'沒有落在線段Vij上，因此可以沿Vij向量方向將頂點vi移動至點p'，對假設區域進行擴充。

（3）判斷軌跡端點與假設區域最近范圍邊的位置關系

在上述（2）中判斷的是端點是否能在行駛方向維度上對假設區域進行擴充，除此之外，還需要判斷端點是否能在車道范圍維度上對假設區域擴充，最近范圍邊指的是假設區域距離端點最近并且由同為軌跡起點或軌跡終點的頂點組成的邊，它們代表了各車道的寬度，如圖6中的端點P1的最近范圍邊為V34。同樣使用（2）中所提到的方法判斷端點p是否落在最近范圍邊上，如果落在最近范圍邊外，說明其可以在車道范圍維度上對假設區域進行擴充，否則對區域擴充無貢獻。

結合上述判斷，我們可以對端點是否能擴充假設區域的情況作出總結。當端點落在假設區域內部時，無法擴充區域；當端點落在其最近方向邊以及最近范圍邊以外時，可同時在方向維度和范圍維度上對假設區域進行擴充；當端點僅落在其最近方向邊（最近范圍邊）以外時，可沿方向邊（范圍邊）對假設區域進行擴充；如圖8所示。

圖8 區域擴充示例

2.3 區域確定

當某個假設區域內連續10條有效軌跡均無法對其進行擴充時，認為該假設區域已經基本覆蓋所有的行車軌跡，與實際車道區域基本一致，擴充已完成。在所有假設區域均擴充完成后則進入區域確定階段。

在區域確定階段，需要完成車位擴充以及合法行駛方向的確定。由于通過目標跟蹤算法獲取的是機動車目標中心點組成的軌跡信息，所有的區域初始化以及擴充都是在中心點的基礎上得來的，這將使得最終生成的行駛區域方向邊均內縮了近半個車位寬度。因此本文在記錄軌跡點中心坐標的同時還記錄了各軌跡點的車身半寬，接著取前2個軌跡點車身半寬均值作為起點范圍擴充距離ds，末位2個軌跡點的車身半寬均值作為終點范圍擴充距離de在雙車道情況下，為了避免左右車道鄰近邊擴充后出現相交的情況，需要保證鄰近邊擴充后距離小于0.1倍車道寬。然后根據鄰近邊得到兩車道虛擬中線ls作為車道劃分線。從各假設區域中隨機采樣20條軌跡信息，通過公式4與公式7分別計算其與ls的夾角和位置。

其中(x1,y1,x2,y2)分別表示劃分線段ls的兩個頂點坐標表示第i條軌跡向量的中點坐標。Di小于0表示第i條軌跡向量位于劃分線段左側，大于0表示位于右側。然后結合投票機制得出假設區域位于劃分線段哪一側，如圖9所示。

圖9 區域確定示例圖

3 實驗分析

3.1 評測指標

針對本文算法，其性能主要體現在擴充行駛區域與實際車道區域之間的重疊程度以及完成區域擴充所需時間兩個方面。因此，本文使用IoU與擴充時間分別作為評測算法精度和效率的指標。而IoU一般用來評測兩規則矩形區域的重疊程度，本文假設區域主要呈現梯形等不規則四邊形，因此使用了Python中的Polygon模塊計算兩不規則四邊形的相交面積，然后通過公式8計算IoU值。

其中intersection(area1,area2)用來計算area1和area2的相交面積。

3.2 實驗結果

本實驗在Ubuntu18.04、Python3.7環境下進行測試，使用GPU加速工具CUDA 10.1。CPU為Intel Core i7 7700k@4.2GHz，GPU 為 NVDIA GTX 1080Ti@11 GB，內存為16 GB。測試數據集包含30個不同場景不同角度不同車道數的視頻，結果如表1所示。

表1 分類方法實驗結果

圖10 擴充效果示例圖

通過表1可以看到，僅使用單類方法對非直行軌跡進行過濾時，區域擴充完成是最快的，但是可能學習了部分干擾軌跡的特征，導致假設區域頂點漂移，最終生成的區域IoU值極低。在使用了二類方法進行過濾后，區域IoU值明顯升高，而擴充時間僅小幅度提升。三類方法同時使用時，IoU值達到最高，同時完成擴充所需時間也最長，但是依舊處于可接受范圍之內。部分最終測試擴充效果如圖10所示。

其中紅色線段表示虛擬劃分線，圖10第一幅圖為一般情況；第二幅圖為額外車道干擾情況，左側和右側均有多車道，并且左上方存在轉彎車道；第三幅圖為單車道情況；第四幅圖為傾斜分布單車道情況；可以看到算法在各場景下均具有較好的區域擴充結果且劃分線段位置準確。

4 結語

本文提出了一種在直行道路場景下各車道行駛區域劃分及行駛方向確定的算法，結合目標檢測與跟蹤技術實現過程自動化，并且結合多種軌跡過濾方法來提高區域劃分的準確度。算法具備較高的魯棒性，在單車道、多車道等多種場景下進行劃分擴充準確。車道行駛區域的劃分可有效的促進智能交通的發展，但目前該算法擴充時間取決于道路車流量，不確定性較高，后續希望可以從該角度進行改進以提高算法效率。