融合空間注意力機制的行車障礙預測網絡

雷俊鋒，賀 睿，肖進勝

(武漢大學 電子信息學院,湖北 武漢 430072)

1 引 言

先進輔助駕駛系統(Automatic Data Acquisition System,ADAS)是智能交通領域內的研究熱點。ADAS實時收集和處理車內外環境數據并做出反饋，從而讓駕駛者迅速察覺可能發生的危險。前碰撞預警系統(Forward Collision Warning System,FCWS)是ADAS系統的一部分，通過車前傳感器感知環境并獲得障礙信息，在碰撞前發出緊急碰撞警告。早期的機器視覺研究者通常采用目標檢測的方法，定位圖像中的常見障礙物[1-2]； YOLO(You Only Look Once)，RCNN(Regions with Convolutional Neural Notworks)等[3-4]目標檢測網絡的出現，在車輛和行人目標的檢測上有較好的效果[5]，但對于樹木、墻壁等不常見障礙物的檢測效果不好；由于全卷積網絡的出現[6-7]，也有研究者采用語義分割的方法進行自動駕駛場景的識別[8]，但是硬件開銷大且預測速度慢，無法達成實時檢測的任務。

伴隨著從AlexNet[9]到EfficientNet[10]的目標分類網絡的發展，部分研究人員提出將障礙預測從檢測車輛、行人等具體目標，轉變為直接預測前方障礙的概率。基于該思想，Giusti等[11]提出使用神經網絡將輸入圖分為可繼續行駛類與不可行駛類；Richter[12]研究了DNN在障礙預測中的場景不確定性問題。這些研究使得障礙預測不再局限于車和人目標的檢測，對大部分障礙物都有一定的預測能力，但預測準確性不佳，不能確定障礙物方位，缺乏對行車控制的研究，仍不能滿足行車避障需求。針對以上不足，本文提出一種融合空間注意力機制的卷積神經網絡Coll-Net(意Collision Network)，與現有算法相比，Coll-Net在滿足實時運行的前提下較大提升了障礙預測算法的準確性，并對護欄、樹叢等障礙均具有預測能力；同時，提出了基于Coll-Net的行車策略，輔助系統進行障礙方位的判定以及車速控制，以滿足智能駕駛中的避障需求。

2 基于駕駛員視覺信息的障礙預測

行車時駕駛員判斷前方障礙的重點是障礙的視覺特征而非障礙物與行車的絕對距離，比如針對出現在前方路面的電動車，駕駛員首先根據視覺中電動車較遠判斷不會發生碰撞，然后根據電動車由遠及近的視覺信息判斷可能與電動車發生碰撞，如圖1所示。據此，本文將行車視野圖劃分為不發生障礙碰撞與可能碰撞兩類，并設計Coll-Net網絡對前方出現障礙的概率進行預測。

圖1 行車視野Fig.1 Driving visual field

本文構建Coll-Net行車障礙預測系統如圖2，其工作原理是：單目攝像頭捕捉前方視野圖像，這些圖像經預處理[13]后送入Coll-Net，經池化下采樣處理以及殘差網絡骨架提取空間特征后，由重標定網絡進行通道特征加權以挑選出重要特征并生成空間特征圖，這些圖最后由全連接層處理并歸一化為障礙概率。Coll-Net的預測值供處理器做出行車決策，系統將根據障礙概率進行車速控制，并結合圖像中多窗口的預測值進行障礙方向判定。

圖2 Coll-Net行車障礙預測系統構成Fig.2 Framework of Coll-Net obstacle prediction system

3 障礙預測網絡設計

3.1 Coll-Net網絡設計

3.1.1 整體網絡框架

Coll-Net是由殘差網絡骨架Residual Network[14]根據空間注意力機制改良而得到的卷積神經網絡，如圖3所示，系統工作時，采集圖像首先預處理成200×200的單通道圖像，然后輸入到含有32個尺寸為5×5的卷積核且步長為2的卷積層，再采用尺寸為3×3且步長為2的最大池化層對其進行下采樣而生成32張尺寸為50×50的特征圖，然后在同一批次圖像中完成特征圖的批標準化(BN)和非線性化(PReLU)操作。采樣層輸出的特征圖尺寸為:

Lout=(Lin-Wkernel)/Sstride+2,

(1)

圖3 Coll-Net深度神經網絡結構Fig.3 Coll-Net deep neural network structure

其中：Lin,Lout表示輸入與輸出圖尺寸，Sstride,Wkernel表示步長與核尺寸；然后，特征圖依次經過3個結構相同但通道數和步長不同的改良殘差卷積塊，得到空間注意力機制挑選后的關鍵特征；最后，采用全局平均池化方法(Global Average Pooling, GAP)和全連接層進行處理后，使用Sigmoid函數輸出歸一化的障礙預測概率。表1給出了Coll-Net行車障礙預測網絡結構涉及的操作，表中Rescale表示是否使用通道注意力機制進行重標定，Add表示與上個卷積塊的輸出進行連接，S表示步長，FC表示全連接層處理。

表1 Coll-Net結構與輸出

3.1.2 殘差網絡骨架

殘差塊是殘差網絡骨架的基本組成單元而卷積層是殘差塊的處理單元。圖4(a)為殘差塊的運算過程，即輸入量x依次通過兩個卷積層變換為F(x)后，再與F(x)做求和計算，得到結果則輸入到下一殘差塊進行處理。殘差層卷積塊的輸入輸出關系為：

F(x)=W2?[σ(W1?x+b1)]+b2

y=σ[F(x)+x]，

(2)

圖4 殘差塊和卷積層的邏輯構成Fig.4 Structure of residual block and conv. layer

其中：W1，b1，W2，b2分別表示Conv. layer 1層和Conv. layer 2層的權重和偏移量；σ(.)表示批標準化與非線性激活操作；?表示卷積操作；y表示輸出。圖4(b)為卷積層涉及的運算，即它先對輸入x做卷積操作以提取局部特征圖；然后針對同批次中各輸入圖對應的特征圖進行批標準化處理BN[15]，并把各神經元輸入的分布拉回均值為0方差為1的標準正態分布，使后續激活函數的輸入值落到函數敏感區域；最后利用激活函數對卷積層輸出進行非線性化以提高網絡的非線性處理能力。Coll-Net的卷積層使用PReLU函數進行非線性激活，這樣便能在不增加網絡計算開銷和過擬合風險情況下，較好地解決ReLU函數帶來的神經元死亡問題，并有利于提升小網絡的表達能力。BN和PReLU的輸入輸出關系如式(3)，式(4):

(3)

(4)

3.1.3 空間特征重標定網絡

針對行車安全系統障礙預測精度要求高的特點，Coll-Net引入空間注意力機制對殘差塊進行改造，如圖5所示。改進之處在于：采用注意力機制對第二個卷積層的結果進行通道加權，并且權重由空間特征重標定模塊(Rescale Module)獲得。加權后的空間特征按下式計算:

y′=Padding(Scale)⊙y,

(5)

其中：yJ,y′為加權前、后的特征圖，Padding(Scale)表示填充后的加權值；算子⊙表示Hadamard乘積。

圖5 改良殘差塊結構Fig.5 Structure of improved residual block

考慮到各特征圖對預測結果的貢獻度不同，改良殘差塊采用特征重標定模塊獲取每個特征通道的權值Scale，以衡量對應通道特征的重要程度，如圖6。可通過訓練的方式來學習Scale，即先令經卷積層處理后得到的通道數為C的特征圖y，經過全局平均池化處理而使輸出Y具有全局感受野；然后將其送入有C/n個神經元的全連接層(FC1)；再令其經過PReLU以提升重標定網絡的非線性表達能力，進而與具有C個神經元的全連接層(FC2)相連；最后通過Sigmoid函數獲得歸一化的加權值Scale。

圖6 重標定模塊結構Fig.6 Structure of rescale module

重標定模塊的計算公式為:

Scale=Sig{ω2·PRe[(ω1Y+ε1)]+ε2},

(6)

其中y,Y,Scale分別表示輸入的空間特征圖、全局池化輸出和重標定獲得的加權值；W,H表示空間特征圖的寬和高；Ci表示第i個通道；ω1，ω2，ε1，ε2分別表示FC1和FC2層的權重及偏移量；Pre(.)，Sig(.)表示PReLU和Sigmoid函數，并且Sigmoid函數的數學表達式為:

Sig(α)=1/[1+exp(-α)].

(7)

重標定模塊采用兩個全連接層，旨在更好地擬合各通道間相互關系。為了降低計算復雜度，將FC1層的通道數從原空間特征圖的C降至C/n， FC2層的通道數繼續保持為C。改良殘差塊的輸出為:

Add=x+y′.

(8)

3.1.4 輸出網絡

先將第3個改良殘差塊提取的128張特征圖進行全局平均池化處理，然后將其送入全連接層以擬合特征圖與預測值的線性關系，最后采用Sigmoid生成歸一化的障礙預測值。輸出網絡采用全局池化與全連接層組合構式，這樣既可減少特征圖直接連接全連接層時產生的大量模型參數，又可降低全連接層過擬合的危險。

3.2 訓練策略

3.2.1 障礙數據集

本文結合行車實際，依據駕駛員視覺內障礙物由遠及近的變化以及應用場景中可能出現汽車、自行車、行人、電線桿、護欄、墻壁等障礙物，構建適用于Coll-Net網絡的數據集。該數據集基于UZH開放數據集Driving Event Camera Datasets(DECA)[16-17]。本文從中挑選由遠及近的障礙物圖片(尺寸640×480)，并將其中可能發生車輛碰撞的圖片標記為1，無碰撞可能的圖片標記0，在此基礎上按比例對訓練集、測試集和驗證集進行劃分。Coll-Net要求輸入200×200的單通道圖，故須對數據集做預處理。為此將數據圖片二值化并從中心向四周截取尺寸為480×480的圖塊，再將其縮小為200×200標準圖片，作為最終實驗用數據。

3.2.2 損失函數

Coll-Net的輸出經Sigmoid函數處理后取值處于[0,1]之內，該輸出視作輸入圖被判定為正類(有障礙)的概率，因此訓練中以二分類交叉熵函數作為基本損失函數。該函數數學形式如式(9):

BCEk=-log[p(Pk|Παk)]=

(9)

(10)

其中μ表示正樣本的權重。

3.2.3 困難樣本挖掘

(11)

式中γ為困難樣本權重調節因子，當加大γ時樣本損失權重將降低。網絡訓練損失函數最終為:

(12)

式中N表示樣本總數。

4 基于障礙預測的行車策略

4.1 車速控制策略

基于Coll-Net輸出的行車障礙概率，本文提出一種車速控制方法，即當Coll-Net對輸入的車前圖像做出概率預測后，處理器便開始基于預測概率p進行駕駛分析：當p=0時，因無發生碰撞的可能故可保持正常行車速度；但當p=1時，因會發生碰撞故應將車速降至0。循此思路，本文構建出基于碰撞概率的實時控制車速模型如式(13)所示:

Vk+1=(1-pk)[(1-ρ)Vk+ρVnorm],

(13)

其中：Vk，Vk+1為k,k+1時刻行車速度；Vnorm為正常行車速度；ρ∈(0,1)表示增速控制系數，當ρ較大時車速增長較快，反之則車速增加較慢；pk為k時刻預測碰撞概率，當碰撞概率較小時，系統以(1-pk)(Vnorm-Vk)速度提速直至正常行車速度；當碰撞概率較大時則令系統逐漸減速至0。此法不僅為行車避障提供參考速度，而且為推進Coll-Net在無人車和自動駕駛上的應用提供一定的支撐。

4.2 障礙方向判定

為提升行車系統的避障能力，提出基于多窗口Coll-Net預測的障礙方向判定策略，以控制行車方向。該策略的思路是：先將攝像頭捕獲的圖像尺寸縮小為640×480，并在圖像上方截取尺寸為640×400的感興趣區域；然后在該區域的左、中、右三個區域分別截取尺寸400×400的窗口；再將三個窗口圖像轉變為尺寸200×200的灰度圖，并將其輸入到Coll-Net中進行障礙預測。值得一提的是，每個窗口的預測值pred均表征對應車前方向出現障礙的概率，并且當pred≥0.5時可判定該方向出現障礙物。圖7給出了多窗口Coll-Net預測障礙方向的流程。

圖7 障礙物方向定位流程Fig.7 Process of obstacle direction localization

5 實驗結果分析

5.1 實驗準備

5.1.1 實驗數據與平臺

本文基于DECD構造網絡訓練集(含28 806張訓練圖和1 590張驗證圖)而對Coll-Net進行訓練；使用基于DECD構建的測試集(含1 576張測試圖)對Coll-Net的障礙預測能力進行評估；而且將實驗結果與同等訓練條件下采用VGG-16[18]，ResNet，EfficientNet-B0，InceptionV3[19]等大型深度學習網絡及谷歌專門針對嵌入式設備設計的目標檢測網絡MobileNetV3[20-21]得到的結果做對比。特別是為了驗證Coll-Net的障礙預測及其行車策略的有效性，文中還在Udacity開放的Self-Driving無人駕駛數據集中選取具有代表性的行車場景進行模擬實驗。全部輸入圖片均采用與訓練數據預處理相同的前處理方式。訓練及測試代碼均運行于Linux系統并使用Intel(R) Xeon (R) W-2133 @ 3.60 GHz六核CPU，至于Coll-Net網絡的搭建則使用以Tensorflow作為后端的Keras框架且使用opencv進行圖像預處理，且使用python作為編程語言。訓練時使用Nvidia RTX2080Ti進行計算加速，考慮到嵌入式設備的計算能力，故測試中只使用CPU單核進行模型評估。

5.1.2 訓練過程

當對Coll-Net模型進行訓練時,使用了Adam優化器并將學習率設為0.000 1，將批樣本數設定為64，正樣本權重μ設為0.75，訓練迭代輪數epoch設定為50次。為增強預測模型的泛化能力，訓練時在輸出網絡的全連接層設置Dropout為0.4。圖8給出了訓練集損失值train_loss、準確率train_acc以及驗證集的損失值val_loss、準確率val_acc的變化。圖中可見，當γ=0時損失函數退化為交叉熵函數；針對訓練集，當增大γ時訓練集的模型損失值在較低輪次上得到收斂，并當γ=2時預測模型不僅有較快的收斂速度而且還能保證很高的準確性；針對驗證集，當γ=2時模型損失值和準確性具有理想的穩定性。故本文將困難樣本權重調節因子γ設定為2。

圖8 訓練過程中的損失率與準確率Fig.8 Loss and accuracy on training process

5.2 Coll-Net模型測試與分析

為了全面客觀地評估根據本文方法訓練的Coll-Net模型的障礙預測性能，本文測試了不同網絡模型在測試集上的準確率(Accuracy)、精確率(Precision)、召回率(Recall)、F1-score、模型參數量(Parameters)、浮點運算次數(FLOPs)和計算耗時(Latency)的性能指標，計算式分別為:

Precision=TP/(TP+FP)

Recall=TP/(TP+FN)

(14)

其中：TP，TN分別表示預測正確的正樣本和負樣本數，FP，FN表示預測為正而實際為負的樣本及預測為負而實際為正的樣本。測試中將Coll-Net輸出概率prediction≥0.5的樣本記為預測正樣本，其他的記為預測負樣本。表2列出了所得到的Coll-Net性能指標。

表2 模型測試指標和運算性能

Coll-Net在障礙預測準確率和F1-score兩個指標上的表現稍遜于VGG-16(-0.63%，-0.07)和MobileNetV3-Large(-0.38%,-0.02)，但它對處理器運算能力的要求(參數量和浮點運算數)遠低于VGG-16和MobileNetV3-Large，特別是Coll-Net的24 ms預測耗時完全達到了實時處理要求，足以適配車載嵌入式處理器計算性能。圖9是Coll-Net在測試集上的預測結果混淆矩陣，圖中的Predicion和True分別表示預測值與真實值，Pos，Neg表示正、負并分別代表有碰撞可能和無碰撞可能。

圖9可見，系統對測試集中341個正樣本和1 172個負樣本進行了正確預測，但將12張正樣本誤判為負(占正樣本數的3.4%)并將51張負樣本誤判為正樣本(占負樣本數的4.2%)。該結果表明Coll-Net在障礙預測中傾向于危險判定。

此外，本文采用受試者操作特性曲線(Receiver Operating Characteristic Curve, ROC)及其對應面積(Area under the curve, AUC)作為衡量指標來對比Coll-Net與前文所述Giusti，Richter等研究者提出的障礙預測方法，如圖10所示，Coll-Net相比類似算法在ROC和AUC指標上取得了更好的效果。

圖9 測試集上Coll-Net預測結果Fig.9 Coll-Net prediction result on test set

圖10 不同障礙預測方法的ROC曲線Fig.10 ROC curves of different obstacle method

為了反映Coll-Net的空間敏感性，本文采用可視化方法獲取了在Udacity數據集上進行Coll-Net障礙預測的激活圖(Classification Activation Map, CAM)[22]如圖11、圖12(彩圖見期刊電子版)。圖中紅色加深部分代表Coll-Net重點關注區域。圖11為圖像采集車在十字路口前逐漸靠近前車的CAM，當采集車逐漸靠近前車時，網絡注意力集中在前車與道路明暗差異明顯的區域，這表明Coll-Net網絡對明暗變化具有較強的敏感性。

圖11 Coll-Net十字路口場景測試Fig.11 Coll-Net test on crossroad

圖12 Coll-Net丁字路場景測試Fig.12 Coll-Net test on T-shaped road

圖12為圖像采集車在丁字路前逐漸向樹墻行進時的CAM圖。當采集車逐漸靠近障礙時，網絡的關注區域從道路轉移到障礙物本身。綜合兩圖結果可知，Coll-Net網絡能通過道路與障礙的明暗差異以及障礙自身的特征進行障礙預測，具有廣泛的行車場景適應性。

5.3 障礙預測和行車策略測試

為檢驗Coll-Net對其它障礙物及在不同光照條件下的預測能力，分別選取道路護欄、行人和低對比度場景進行測試。圖13和圖14分別為車輛逐漸靠近護欄和行人的預測結果，圖中橫坐標表示圖片出現順序，縱坐標為預測值。當障礙物較遠時，預測值處于0～0.2的較低水平；當障礙物距離逐漸減少時預測值不斷增長，最終達到1，這表明Coll-Net對行人和護欄有較好的預測能力。圖15為低對比度條件下在某十字路口前行駛圖像，在采集車與前車相距較遠、逐漸靠近和前車啟動遠離的過程中預測值則先保持不變，然后逐漸增長為1并保持，最后下降至0附近。這表明Coll-Net在低對比度條件下仍有良好預測能力。

圖13 護欄障礙測試Fig.13 Guardrail obstacle test

圖14 行人障礙測試Fig.14 Pedestrian obstacle test

圖15 低對比度場景測試Fig.15 Low-contrast condition test

為了驗證本文車速控制策略的有效性，在實驗過程中，依據式(12)速度模式并設置增速系數ρ=0.5且使用Udacity連續圖像做車速計算，得到圖16所示結果。圖中，Pred為Coll-Net預測值，Speed表示控制車速與正常車速Vnorm的比值。可見，當車距減少時則車速隨預測值增大而迅速減小，這表明了本文基于Coll-Net的車速控制策略的有效性。

圖16 車速控制策略測試結果Fig.16 Speed control policy test

圖17是利用多窗口Coll-Net預測障礙方向的結果(彩 圖見期刊電子版)。當將左、中、右三個窗口的圖像輸入Coll-Net后得到對應的窗口預測值，將預測值p≥0.5的窗口用紅色定位框在原圖中進行標記，以表明該方向出現障礙。當行人分別在車輛的右方、中央和左方出現時，Coll-Net都能準確判斷了行人所在的區域，這也表明了本文障礙方向預測策略具有可行性。

圖17 障礙方向定位測試結果Fig.17 Result of obstacle direction localization

6 結 論

本文提出了融合空間注意力機制的障礙預測網絡Coll-Net用于各類行車障礙的預測。Coll-Net網絡以單目圖作為輸入，利用空間注意力機制改良的殘差塊網絡提取圖像的重要特征，通過全連接層輸出預測的障礙概率，解決了基于目標檢測的障礙預測算法中的目標單一性問題，對各類典型障礙物均具有預測能力；與現有算法相比較大提升了預測的準確性，并且能根據多窗口方式大體定位障礙物方向。Coll-Net在DECD數據集上準確率達到96.01%，F1-score達到0.915，模型推理時間僅需24 ms，達到處理的準確性和實時性需求，為Coll-Net在智能駕駛的應用上奠定了一定的技術基礎。