基于尾燈燈語的混行交通流車輛駕駛意圖識別模型研究

趙樹恩,趙東宇

(重慶交通大學 機電與車輛工程學院,重慶 400074)

0 引 言

隨著新一代通信技術和人工智能的飛速發展,車輛的智能化駕駛水平也在逐步提升。相對于人工駕駛車輛(human-driven vehicle,HV),自動駕駛車輛(autonomous vehicle,AV)在應對復雜場景時的周密感知、周圍目標“預行為”的準確理解、人機共融的協同等方面還存在著諸多挑戰,HV和AV混行的交通狀況還將長期存在。AV必須準確感知周圍環境,并對HV的駕駛意圖進行識別,才能保證在多車交互環境中準確評估出HV駕駛行為風險態勢,做出最優的決策規劃。

車輛動態信息可作為當車輛啟動后檢測駕駛人早期意圖的有效指標[1]。對于車路協同通信技術而言,呂能超等[2]采用DSRC技術與路邊通訊設施及周邊車輛之間進行信號交互,獲得了周邊道路的基本信息和駕駛人的意圖信息;楊煒等[3]利用車聯網技術將前車的駕駛意圖和路面信息傳遞給周圍車輛,并調整優化了AV的制動預警及執行邏輯。長期存在的復雜混行交通場景使得車-車、車-路協同實施的難度較大,在網聯交通環境未形成之前,通過研究車-車之間的鳴笛[4]、燈語等通信手段來提升車-路的協同效果具有很強的現實性。

在實際駕駛場景中,車尾信號燈是車輛向外界釋放駕駛意圖的一種標準方式,也是行車過程中輔助駕駛決策的一個關鍵因素[5]。LIU Cenbi[6]基于發光二極管開關特性,探究了光技術在駕駛場景中的應用,研究結果表明：光源信息可用于V2V的通信中。目前對尾燈分割定位方法多是通過識別檢測尾燈的紋理、邊緣、形狀、顏色等信息來完成。對尾燈燈語識別的研究主要分為：基于機器的學習方法和基于深度的學習方法。田強[7]提出了一種基于最小二乘支持向量機的尾燈燈語識別方法,通過尾燈HSV三分量直方圖構建了特征向量訓練最小的二乘支持向量機來區分不同類別的尾燈狀態,但該方法只單獨提取了圖像中的HSV特征,丟失了大量的原始圖像信息;于莉媛等[8]針對夜間道路環境,根據RGB直方圖對圖像進行分割,從背景中提取尾燈光源與光暈等高亮光斑來定位尾燈位置,但光暈特征無法很好地從光照強烈背景下提取,在日間行車時并不適用;陳勇[9]提出了一種基于深度學習的尾燈燈語識別算法,通過VGG模型對車輛尾燈進行分類,實現了對前車燈語識別,但該方法未考慮尾燈閃爍的時間序列;L.C.CHEN等[10]開發了一種對稱性尾燈狀態識別系統,通過搜索感興趣區域內車燈響應函數的峰值,能快速找到尾燈位置,并通過響應函數變化對車輛駕駛意圖進行判別,該方法檢測效率高,但精度較差;梁軍等[11]采用光通道增益算法對自車后方車輛前照燈的光輻射通量變化進行了計算,提出了一種識別后方車輛示意意圖的模型,該方法僅考慮了后方車輛的駕駛意圖,對其余場景要素未做到準確理解。

基于此,筆者建立了基于Mask R-CNN的車輛檢測模型;將其分割結果作為RoI限制區域,并轉化到HSV空間對HV尾燈進行分割[12],利用尾燈位置相關性定位左右尾燈;運用CSRT算法跟蹤不同幀數中的同一個目標,得到多目標時序信息,以基于時間序列的燈語識別算法為基礎,構建了基于尾燈燈語的駕駛意圖識別模型;最后利用交通流數據對所提出的駕駛行為識別模型進行驗證。

1 混行環境下的車輛檢測

為提高尾燈識別精度、減少行駛道路中其他因素干擾,準確識別前方HV駕駛意圖,筆者提出了一種基于尾燈燈語的駕駛意圖識別方法,其技術路線如圖1。

圖1 技術路線Fig.1 Technology roadmap

HV在行駛中,駕駛人對前方車輛的關注點主要集中于車尾及車尾燈部分,以此來判斷前方HV的運動狀態和周圍的行車環境。在HV、AV混行的交通場景中,AV對周圍HV的檢測為尾燈狀態識別、駕駛意圖識別提供了位置信息和決策依據,混行交通流場景如圖2。圖2中：扇形區域為前置車載攝像頭視覺范圍。為增加AV行駛場景圖像轉換到HSV色域空間的區域限制,縮小燈語識別算法的識別范圍,避免算法識別到類似于尾燈顏色的假性目標,筆者采用Mask R-CNN算法來自動識別AV前方HV的位置、輪廓等信息,構建基于Mask R-CNN的車輛檢測模型,準確提取圖2中扇形框區域內HV的車尾圖像。

圖2 混行交通場景Fig.2 Mixed traffic scene

1.1 Mask R-CNN工作原理

基于卷積神經網絡的主流檢測模型包含兩階段模型和單階段端到端模型[13],Mask R-CNN網絡框架是兩階段模型中Faster R-CNN算法的擴展。在自動識別目標車輛并定位生成檢測框的基礎上,并行增加了另一個Mask分支來預測每個感興趣區域的RoI分割掩碼,并實現了對周圍行駛車輛的實例分割。Mask R-CNN網絡結構如圖3。

圖3 Mask R-CNN結構Fig.3 The structure of Mask R-CNN

圖3中：第1部分為卷積主干網絡,屬于整個網絡的特征提取階段。運用ResNet層的遠跳連接方式保留和提取駕駛場景中的高層次視覺特征,同時結合FPN層橫向連接金字塔結構,將多階段的特征圖進行語義融合,可更高效地提取HV特征。

第2部分為目標區域生成網絡(region proposal network,RPN)。將輸入任意尺寸的圖像進行全卷積操作,以滑動窗口方式在特征圖上輸出多組錨點框及對應置信度,運用全連接層對每個錨點框進行分類和回歸,通過目標建議層對錨點框置信度進行排序,將錨點框再進行非極大值抑制(non maximum suppression,NMS)過濾,將得到的RoI候選框輸入到RoIAlign層中。

第3部分為功能網絡。由于傳統特征提取方法所提取的層數過低,無法對目標深層特征進行有效表達[14],故增加RoIAlign層用于特征圖映射。在對RoI進行池化操作時,運用雙線性插值法精確地匹配前后特征圖中每個像素點的坐標,使得該網絡能更精確地對HV和其尾燈區域進行定位和檢測,通過掩膜分支生成HV的分割掩膜,最終對行駛場景中的HV進行實例分割,縮小后續算法掃描范圍。

1.2 基于Mask R-CNN的車輛檢測模型

為使神經網絡能快速、準確地識別目標,需要大量的訓練樣本作為訓練輸入。在COCO數據集訓練權重基礎上,運用遷移學習法,以Cityspaces中所采集到的圖像訓練Mask R-CNN主干網絡,并使用標注軟件VIA-2.0.8對每張圖像進行注釋。

神經網絡采用反向傳播對網絡中的參數進行優化從而減少損失,通過引入總損失函數L來計算檢測模型的損失,從而準確描述Mask R-CNN網絡訓練過程中預測結果與實際結果的差距?？倱p失函數L定義為：

L=Lc+Lr+Lm

(1)

式中：L為Mask R-CNN總損失;Lc為分類損失,用于衡量網絡對目標分類的準確性;Lr為回歸損失,用于衡量網絡對目標邊框定位的準確性;Lm為平均二元交叉熵損失,用于衡量掩膜形狀與位置的準確性。

通過取SoftMax損失函數的對數得出Lc：

Lc(u,v)=-log(u)

(2)

式中：u=(u0,u1,…,uk)為SoftMax函數計算類別的概率;v對應車輛的類別。

定義smooth損失函數Lr-smooth：

(3)

計算實際HV檢測框的回歸損失Lr：

(4)

2 基于時間序列的燈語識別模型

2.1 尾燈顏色分割

在對AV和HV混行的交通場景進行分析過程中,基于顏色特征的物體分割、檢測和跟蹤方法得到了快速發展。尾燈最明顯的特征就是顏色特征,是HV和AV之間交互信息傳遞的重要依據。采用基于HSV空間的尾燈分割算法掃描Mask R-CNN檢測出的每一個獨立的HV,分割出對應的尾燈區域,分割結果如圖4。

圖4 Mask R-CNN檢測結果Fig.4 Test results of Mask R-CNN

AV攝像頭采集到的圖像多為RGB圖像,但RGB空間中R、G、B等3個分量相互聯系,白天受光照影響,在進行尾燈分割時會受到諸多限制。尾燈相較于背景車輛,最大差異在于顏色和亮度,HSV顏色空間可很好地將顏色的明度和亮度區分開。因此,將RGB圖像像素點通過式(5)縮放至[0,1]內：

(5)

由縮放結果,令Cmax=Max(R′,G′,B′),Cmin=Min(R′,G′,B′),D=Cmax-Cmin;將RGB圖像轉換到HSV色域空間,像素轉換如下：

V=Cmax

(6)

(7)

(8)

為準確提取HV尾燈部分,根據統計結果設置紅色尾燈的HSV分割閾值,如式(9)：

(9)

對于不規則形狀的尾燈,若只在HSV閾值條件約束下,無法獲得完整的尾燈信息二值圖像。為保持尾燈信息提取的完整性,對二值化尾燈進行形態學膨脹運算。結合檢測結果,對復雜混行交通場景中的HV尾燈進行分割,如圖5。

圖5 尾燈分割結果Fig.5 Results of taillight segmentation

Mask R-CNN檢測模型能有效提供HV尾燈區域,降低轉入HSV色域空間中的像素計算量。但同時分割出的高位剎車燈、霧燈等干擾會造成對左右尾燈的定位誤差。

2.2 尾燈配對與檢測

為準確定位HV左右尾燈并理解行駛場景中每個HV單獨且特定的駕駛意圖,提出了一種基于位置相關性的方法。通過清除車尾部分紅色區域,并在縱橫方向上添加約束以達到對尾燈進行定位的目的,如圖6。

圖6 HV尾燈檢測區域Fig.6 HV taillight detection area

圖6中：邊框為Mask R-CNN檢測出的目標RoI;上下部分為清除區域。由于在區域內尾燈呈不規則圖形,運用多邊形三角剖分方法,將不規則尾燈剖分為i個頂點坐標為{[(x11,y11),(x12,y12),(x13,y13)],[(x21,y21),(x22,y22),(x23,y23],…,[(xi1,yi1),(xi2,yi2),(xi3,yi3)]}的三角形。通過頂點坐標計算得到每個三角形的質心坐標,計算出HV左右尾燈質心A、B的圖像坐標為(Lx,Ly)、(Rx,Ry)。為了在縱向上增加對RoI區域和尾燈相對位置的限制,清除區域應滿足：

(10)

式中：Z為通過Mask R-CNN得到的檢測框RoI高度值。

為消除HV車尾橫向區域的錯誤匹配,還應滿足約束：

1.5× min(Rw,Lw)

(11)

通過在縱橫向位置對檢測出的HV添加約束,進一步清除高位剎車燈、霧燈及可能不是尾燈的紅色區域,如圖7。

圖7 定位驗證Fig.7 Location verification

2.3 燈語識別算法

HV尾燈的變化不僅僅是靜態圖像像素的變化,也是與時間序列響應的動態變化。因此考慮到HV燈語變換狀態所對應的動態交通變化情況,提出了一種基于時間序列的燈語識別算法,來判斷前方HV是否有正常行駛、剎車、右轉(右換道)、左轉(左換道)等動態駕駛意圖,算法框架如圖8。

圖8 識別算法框架Fig.8 Framework of recognition algorithm

為獲得前方HV尾燈狀態的時序信息并減少誤檢率,在檢測出HV后,采用CSRT跟蹤算法跟蹤每個HV的尾燈區域,并統計尾燈的時序信息和狀態,已檢測跟蹤的HV為Ui(i=1,2,…,N)。若Ui集合非空,通過跟蹤檢測HV尾燈區域來判斷Ui是否存在黃色轉向燈。如果Ui中某一元素的黃色二值化像素Y≠0,則統計該元素2 s內的Y出現的次數M[15]。若M∈(1,5],將Ui的車尾RoI分為L、R左右兩區域,設每一區域可能的灰度值為zk(k=1,2,…,L-1),并分別計算出左右區域能表征二值矩陣的亮度和質量的灰度均值及標準差。

以320 × 640的RoI作為輸入,則灰度級zk出現的概率p(zk)可表示為：

(12)

式中：nk為尾燈灰度像素在RoI中出現的次數。

由p(zk)可得到二值化圖像矩陣均值與標準差,如式(13)：

(13)

由此可得出區域矩陣Y的灰度總值,進而判斷HV左右轉向(換道)的駕駛意圖。若Y=0,判斷不同幀數之間紅色的H、V值差是否大于設定閾值,剎車燈滅和剎車燈亮時尾燈HV分量如圖9。圖9中：當HV剎車燈亮時,尾燈在[120,180]區間內的紅色H分量值所占像素大于未亮時,紅色V分量值所占像素大于未亮時。故若前后幀Hmin均值的差值D1滿足D1>16,Vmin均值的差值D2滿足D2>4,則判斷為車輛剎車;反之,引入判斷幀分析是否處于燈語交叉狀態區域,若符合判斷幀條件,則識別為轉向(換道),未處于該區域,則判定為正常行駛。

圖9 不同狀態尾燈H &V分量值Fig.9 H &V component values of taillights in different states

為避免當轉向燈呈周期性閃爍狀態時,識別時刻點可能處于交叉狀態區域,對HV駕駛意圖識別引起偏差,模型引入判斷幀作為參考,結合歷史信息進一步提升對HV駕駛意圖的識別準確率。尾燈動態變化如圖10。

圖10 尾燈狀態時序Fig.10 Taillight status timing sequence

設T為識別時刻點,若將燈語識別視為靜態像素,當HV尾燈處于轉向閃爍狀態時,T時刻無論轉向尾燈還是正常行駛的尾燈均處于“滅”狀態,識別算法無法正確區分前方車輛駕駛意圖;但實際尾燈處于轉向和正常行駛狀態在時序圖上動態差異較大,因此燈語識別模型引入判斷幀：

(14)

式中：I為系統每秒處理的幀數;F為當前車燈的閃爍頻率,取F=1.5;P為判斷幀的幀數范圍。

在當前I幀每秒的系統處理速度下,T時刻檢測到目標車輛尾燈對,以頻率信息作為參考,判斷過去P幀中是否存在大于或等于一幀有車燈黃燈點亮的情況,以此來降低模型誤識別率。

2.4 駕駛意圖識別模型

綜合考慮混行交通環境及尾燈狀態變化,結合車輛檢測模型和燈語識別模型優勢,提出了一種基于尾燈燈語的混行交通流車輛駕駛意圖識別模型,模型結構如圖11。

圖11 駕駛意圖識別模型Fig.11 Driving intention recognition model

圖11中：Mask R-CNN層從標注樣本中學習車輛目標特征,建立基于Mask R-CNN的車輛檢測模型,以定位目標RoI,縮小算法掃描區域;燈語判斷層通過CSRT跟蹤算法捕捉HSV顏色空間中HV尾燈的亮度變化情況,建立基于時間序列的燈語識別模型;最終將兩組模型結合成為基于前車尾燈燈語的車輛駕駛意圖識別模型。該模型能有效減少模型算力要求,降低尾燈誤識別率,提高駕駛意圖的識別準確率。

3 結果與分析

3.1 尾燈檢測模型驗證

基于Cityspaces數據集,筆者選取5 000張車載圖像,并將訓練集和驗證集以9：1制作訓練樣本。運用COCO數據集對模型中的特征提取網絡Resnet 101進行預訓練,在TensorFlow-GPU模式下通過遷移學習方式進行訓練。為確保損失曲線收斂,訓練epoch設置為60,每個epoch設置200步。網絡在驗證集上的L、Lc、Lr、Lm隨迭代次數增加而變化,迭代變化趨勢如圖12。

圖12 驗證集損失函數迭代變化Fig.12 Iterative variation of validation set loss function

圖12中：車輛檢測網絡在40個epoch后,驗證集的總損失降至0.25以下,在55個epoch后損失函數收斂,且在驗證集上并未發生過擬合,這說明網絡對訓練樣本有正確輸出。選擇混行交通流下共400組車輛進行模型驗證,μ為Mask R-CNN檢測準確度的評價指標,由正確檢測出的HV數量Sd與所有HV數量Sc比值計算,即：

(15)

為評估尾燈檢測模型性能,計算尾燈檢測結果的準確率、召回率、真陽性(ture positive,TP)、假陰性(false negative,FN)。準確率表示正確識別尾燈與總尾燈數量之比;召回率表示正確識別尾燈與RoI中存在的尾燈數量之比;TP、FN評估類型如表1。

表1 尾燈檢測類型示意Table 1 Schematic diagram of taillight detection types

運用位置相關性檢測HV尾燈的結果如表2。

表2 尾燈檢測結果Table 2 Results of taillight detection

表2中：基于Mask R-CNN的車輛檢測模型漏檢率為2.3%;對于400組車輛,模型正確檢測出尾燈對數量為384組,TP值為96.0%;未在車輛RoI區域內檢測出的尾燈對數量為8組,FN值為2.1%;模型準確率和召回率分別為96.0%和98.2%。車距過遠或光線較差導致車輛尾燈區域不明顯,是發生漏檢的主要原因?；贖SV的尾燈檢測模型對于復雜交通流環境下的尾燈識別具有較高適用性。

3.2 駕駛意圖識別模型驗證

運用CSRT跟蹤算法追蹤視頻中被檢測出的尾燈對,統計連續幀中400組HV的燈語狀態,包括156組正常行駛車輛;102組剎車車輛;70組左行駛車輛;72組右行駛車輛。駕駛意圖識別模型在日間混行交通流下對燈語的識別情況如圖13。

圖13 燈語識別結果Fig.13 Results of taillight status recognition

文中模型與機器學習模型(SVM、LSSVM)、深度學習模型(VGG)在混行交通流圖像上對前方車輛駕駛意圖識別的結果如表3。表3中：文中模型對于不同尾燈燈語狀態總識別率為95.9%,漏警率為4.1%,單幀識別平均耗時為20 ms。結果表明：相較于機器學習和另一種深度學習方法,基于燈語的駕駛意圖識別模型在AV與HV混行交通流中能有效地定位HV尾燈并進行尾燈燈語狀態判斷,從而準確地識別周圍車輛駕駛意圖。

表3 駕駛意圖識別結果對比Table 3 Comparison of driving intention recognition results

4 結 論

針對傳遞駕駛意圖的車輛尾燈,提出了一種基于尾燈燈語的混行交通流車輛駕駛意圖識別方法,得出如下結論：

1)運用多目標判別相關性的濾波CSRT對車輛尾燈進行跟蹤,統計不同幀下同一目標的時序信息,提出了基于時間序列的燈語識別算法;

2)結合基于Mask R-CNN的車輛檢測模型及基于時間序列的燈語識別模型,共同構建了基于尾燈燈語的車輛駕駛意圖識別模型,并在交通視頻流上進行驗證和對比。結果表明：所建模型能在日間混行交通環境下有良好表現,可準確識別周圍車輛的駕駛意圖;

3)由于光照和隧道等陰影變化會影響模型識別,圖像處理方法的可擴展性較為局限,因此該方法還有待于進一步探索研究。