基于神經網絡融合的司機違規行為識別

李俊俊 楊華民 張澍裕 李松江

1(北京航天控制儀器研究所研發中心物聯網與智能結構室 北京 100854)2(長春理工大學計算機科學技術學院 吉林 長春 130022)

0 引 言

隨著經濟的快速發展，人們逐漸過上了幸福的生活，轎車逐漸成為人們日常生活中的主要交通工具，轎車給人們生活帶來便利的同時，也給不少人帶來了生命的危險。交通事故的頻頻發生，使很多美好的家庭遭到沉重的打擊。在調查造成交通事故發生的原因時，經過統計發現司機的不規范行為，比如在行駛過程中抽煙、玩手機是造成交通事故的很重要原因。通過制約司機的不規范行為可以在一定程度上減少不必要的交通事故。因此如何快速有效地識別出司機的不規范行為成為眾多研究者關心和關注的問題。

司機駕駛違規檢測技術的發展，離不開圖像識別技術的發展，通過在汽車駕駛室里安裝攝像頭，來實時檢測司機的駕駛行為。近年來隨著深度學習的發展，把圖像識別技術推向了前所未有的高度。圖像識別是計算機視覺領域的重要研究方向之一，其主要是利用計算機對圖像進行處理、分析和理解，從而能夠識別多種不同情況下的目標及對象。在本文中主要利用圖像識別技術來發現司機在行駛過程中的不規范行為。

深度學習作為近年來越來越熱門的技術，其在圖像識別中表現出了極佳的效果。深度學習在2006年，由Geoffery Hinto和他的學生Ruslan Salakhutdinov在國際頂級學術期刊《Science》上發表的一篇文章[1]中第一次提出，隨后深度學習得到了迅速的發展。而作為深度學習中重量級的卷積神經網絡CNN(Convolution neural network)則可以追溯到20世紀60年代初期，當時是由兩位著名的生物學家Hubel和Wiesel在文獻[2]中提出了感受野的概念。到了20世紀80年代中期Fukushima在文獻[3]提出的基于感受野概念的神經認知機，在目前看來可以作為卷積神經網絡第一次真正的實現。本文主要通過對深度學習中經典的模型-卷積神經網絡進行改進，來檢測司機在駕駛過程中出現吸煙和玩手機這兩種行為，從而達到發出精準警告信息的目的，進而有效地降低交通事故的發生。因此司機違規行為識別研究就變得十分重要且有意義，本文正是基于此做的相關研究。

1 相關工作

司機違規檢測[25-27]研究也是因為隨著人們出行車輛逐漸變多，導致交通事故頻發才逐漸引起研究人員的注意。近期學者對司機行為檢測大多還是采用傳統機器學習的算法。文獻[28]采用傳統的機器學習算法，提出一種基于自適應特征聚類的特征檢測方法，該方法主要是將復雜環境下機車司機的操作行為特征提取出來，并通過和標準的操作行為進行比較，從而判斷機車司機的操作行為是否違規。該文獻提出的方法雖然表現出了一定的優勢，但僅限于小規模數據集，對于大場景大規模數據集表現一般，因此迫切需要采用最新的深度學習算法來解決司機行為檢測問題。另外對于司機行為檢測另一個研究熱點是對于疲勞駕駛的研究，其中文獻[29]對目前司機疲勞駕駛檢測方法做了最新的綜述，從綜述中看出，迫切需要新的方法來應用于司機行為檢測的研究。文獻[30]針對司機疲勞駕駛檢測，設計了一種基于圖像處理DSP芯片DM6437的疲勞駕駛視覺檢測系統，但采用硬件DSP來解決檢測問題，在算法上創新較少。本文所做的研究是采用最新的深度學習算法來更好地解決司機違規行為識別檢測。

圖像識別屬于計算機視覺領域的一個主要研究方向，在過去的歲月里，很多學者都投身于圖像識別的領域中，也涌現出一批優秀的圖像識別算法。

最早的圖像識別技術可以追溯到20世紀60年代[4]，不過當時局限于硬件水平的發展，圖像識別技術一直處于低迷狀態。隨著科技的發展，計算機硬件的發展得到了空前的提高，尤其是GPU的快速發展，基于深度學習的圖像識別算法逐漸成為主流的算法。另外一個推動圖像識別技術發展的是大規模數據集的發展，如ImageNet[5]、Places[6]、SUN397[7]等大規模數據集的出現，其中ImageNet數據集主要集中于物體概念的圖像，當然也包括少量的場景概念圖像，該數據集是推動深度學習算法的重量級數據集。

Krizhevsky等[8]在ImgeNet競賽上取得了很好的成績，而這是他們第一次在ImageNet上訓練出了一個8層的深度模型。自此之后卷積神經網絡在圖像分類與識別領域受到前所未有的認可。后續很多學者獻身于卷積神經網絡的優化與改良。Simonyan等[9]在原來Krizhevsky等[8]的模型基礎上，提出一個19層的CNN模型(VGG-19)，VGG-19主要是通過增減卷積層來增加該模型的深度，同時采用較小的卷積濾波(3×3)。卷積神經網絡能夠利用圖像的邊緣、角點、紋理等高層特征，對特定任務的有針對性的(specific)特征[10-11]，通過逐層特征學習來模擬人腦分層處理信息機制。隨著ImageNet競賽的推進，Szegedy等[12]受Hebbian原理和多尺度處理的啟發，提出了一個22層的深度學習模型GoogleNet[12]。GoogleNet主要由多個Inception Model堆疊形成，它主要利用不寬的卷積核對前一層的輸出做卷積，最后合并形成后一層的輸入。Zhou等則在Places[6]上對于多場景分類訓練出不錯的深度模型，可以有效解決多場景分類問題。Liu等[13]采用在MIT-67上提出一種采用跨卷積層池化技術將卷積層的特征作為通用特征的模型，表現出了不錯的效果。Gong等[14]先使用卷積神經網絡基于圖像塊提取特征，隨后使用主成分分析降低維度形成圖形特征，相比于直接從整幅圖上提取卷積神經網絡特征，該方法提取的特征具有幾何不變性。

以上這些模型都在通用數據集上表現出了不錯的效果，但在特定領域的數據集上還不能完全適用。本文在解決特殊領域司機違規行為識別問題時，既要考慮性能問題，同時也要考慮效率問題。最終，本文提出了三級級聯的卷積神經網絡并通過改進激活函數的方法來有效地解決司機違規行為識別問題。

2 神經網絡融合

傳統的神經網絡融合，通常是將兩個或多個網絡線性加權或者采用隨機梯度的方式進行加權融合，而本文提出的神經網絡融合是結合FCNN網絡與本文提出的三級級聯神經網絡。首先我們使用FCNN網絡對訓練數據集進行數據處理，對圖像進行分割，這樣分割后的圖像僅僅包含我們需要的任務信息，過濾邊緣多余的信息，再通過本文提出的三級級聯的神經網絡進行最終的處理。整體架構圖如圖1所示。

2.1 卷積神經網絡

卷積神經網絡通常是由輸入層、卷積層、池化層、全連接層以及輸出層這五個部分組成，其中卷積層和池化層一般交替進行，即一個卷積層鏈接一個池化層，池化層后再鏈接一個卷積層，依次類推。從中也可以清晰地看到由于卷積層中輸出特征面的每個神經元與其輸入進行局部鏈接，并通過對應的連接權值與局部輸入進行加權求和，再加上偏置值，得到該神經元輸入值，該過程等同于卷積過程，CNN名稱也由此而來[15]。

Yann LeCun教授在1998年提出了LeNet-5模型[15]，LeNet-5目前被公認為是第一個成功應用于數據識別問題的卷積神經網絡，LeNet-5模型可以達到大約99.2%的正確率。文獻[16-23]分別提出了針對特定領域內的問題設計卷積神經網絡結構，得到了精度很高的實驗結果。雖然LeNet-5在公開的數據集中已經表現出了良好的性能，但是在特定領域的數據集中還存在一些不足。因此本文基礎的對比模型是LeNet-5典型的卷積神經網絡，但在LeNet-5的結構基礎上采用了文獻[24]中的激活函數來改進卷積神經網絡中的激活函數，從而更好地識別出司機的違規行為。

2.2 FCNN網絡

FCNN網絡使用Lonjong等在CVP2015中提出的對圖像進行像素級的分類網絡模型，主要是為了更好地解決語義級別的圖像分割問題。它與經典的CNN網絡最大不同在于，經典的CNN網絡在卷積層后通常使用全連接層得到固定長度的特征向量進行分類，也就是我們經常用的全連接層后面緊跟著SoftMax進行輸出，而FCNN網絡可以接受任意尺寸的輸入圖像，采用反卷積層對最后一個卷積層的feature map進行上采樣，使它恢復到與輸入圖像相同的尺寸，從而對每個像素都產生一個預測，同時保留了原始輸入圖像的空間信息，并在上采樣的特征圖上進行逐像素分類。最后逐個像素計算softmax分類的損失，相當于每一個像素對應一個訓練樣本。

通過上面的描述，我們可以清晰地看到FCNN網絡主要應用于圖像分類，而本文的主要任務是進行圖像分類，那么如何利用FCNN網絡來提高分類性能，成為本文的主要工作點。本文采用FCNN網絡是在圖像預處理階段，對圖像先進行語義分割，保留人物部分。之所以保留人物部分是因為我們采集的圖像，除了人物外還有很多車內的其他物體，但我們主要是檢測司機的違規行為，因此只關注人物信息。在進行分類之前首先對圖片進行語義分割，可以有助于過濾掉其他無關特征，保留更加有效的特征。

2.3 三級級聯神經網絡

在2.1節給出的神經網絡是最基本的神經網絡，在大部分的識別任務中可以得到不錯的效果，但是對于司機違規行為識別領域，則表現一般。其原因在于司機在開車過程中主要的違規行為表現在頭部與手臂部位，比如抽煙和玩手機這兩種行為。因此針對司機的違規行為識別，我們先利用2.2節提出的FCNN網絡對原始圖像進行語義分割，再利用本文提出了三級級聯的深度卷積神經網絡對其進行識別，每一級都使用Tensorflow框架來實現，整體架構圖如圖2所示，框架包含三級。

第一級是一個比較簡單的二分類卷積神經網絡，它只包含一個卷積層和一個Softmax分類器，其中卷積層采用5×5大小的卷積核，池化層采用最大Pooling,最后通過Softmax輸出分類結果。第一級卷積神經網絡主要是用于快速剔除大量明顯的正常司機行為，減少樣本量，因此在本級神經網絡中學習率采用0.5，以使其快速收斂。通過實驗證明，第一級神經網絡能剔除大量正常的司機行為，從而保留大量的司機駕駛異常行為，為接下來的第二級神經網絡做準備。

第二級神經網絡是整個框架的中間層網絡，它只包含三個卷積層和一個Softmax分類器，其中三個卷積層采用5×5大小的卷積核，第一個卷積層后采用最大Pooling,剩余的兩個卷積層后采用平均Polling。最后通過Softmax輸出分類結果。它的作用與第一層類似，主要是進一步剔除司機的正常行為，由于第一級已經剔除了一定規模的司機正常駕駛樣本，因此本級采用學習率為0.2，以使其能更好地剔除司機正常駕駛行為。如圖2所示，第二級神經網絡有三個卷積層及一個Softmax分類器組成，從圖中可以明顯看出，它比第一級網絡要復雜一些，因此具有更高的區分力。

第三級神經網絡將采用更加復雜的結構，經過實驗檢測，速度比較理想。這主要是因為經過第一級和第二級神經網絡已經剔除了大量的司機正常駕駛行為樣本，因此第三級神經網絡在給出最終的識別結果時速度較快。同時由于第三級神經網絡設計更為復雜，層數也最多，因此在性能上也可以更好地識別出司機的異常駕駛行為，相比第二級神經網絡，第三級神經網絡包括四層卷積層與一個Softmax層。其中四個卷積層采用5×5大小的卷積核，第一個卷積層后采用最大Pooling,剩余的三個卷積層后采用平均Polling。最后通過Softmax輸出分類結果，由于本級是最后一級，是輸出最后結果的一級，因此，本級學習率采用0.02，以使其達到更好的效果。

上述的三級級聯卷積神經網絡的優點是，前兩級網絡比較簡單，可以快速去掉大量司機正常駕駛樣本，雖然第三級網絡復雜，但是由于前兩級已經去掉大量的樣本，因此第三級網絡雖然復雜但整體速度還是比較快，相對于從始至終都采用第三級網絡速度要快很多。

除了采用三級級聯的卷積神經網絡外，在激活函數方面，本文直接采用了文獻[24]中改進的激活函數。該文提出的激活函數述結合ReLUs函數的稀疏性以及Softplus函數的光滑性，激活函數的公式如下：

(1)

3 實驗結果與分析

3.1 實驗數據

為能夠確保數據的真實性，本文的實驗數據通過真人模擬來采集，首先通過人工模擬吸煙與玩手機動作后，通過車上安裝的攝像頭來采集本實驗所需要的圖片素材，取幀軟件為Windows自帶的ffmpeg，采集到的圖片詳細數據如表1所示。為了防止模型容易訓練過擬合，額外采集了5 000張正常司機行為的圖片，把這些司機正常的數據集與之前人工模擬采集的違規行為數據集混合在一起，然后把數據集分為訓練集、測試集和驗證集。實驗獲取了吸煙、玩手機、正常3個類別的圖片，圖像為32(寬)×32(高)×3(RGB彩色通道)，訓練集15 000張，驗證集圖片6 000張，測試集圖片9 000張。訓練集、驗證集和測試集中的司機行為類別個數始終保持相等，當這兩個類別的概率都低于給定概率閥值時，則為第三種既沒有吸煙也沒玩手機類別。為了保證實驗的有效性，本文在數據集產生過程中使用了隨機采樣，即訓練集是分別從正常數據(正常的司機行為)和異常數據(司機抽煙和玩手機)中隨機抽取相應數量的數據組成訓練集，以同樣的方式形成測試集及驗證集。

表1 人工摸擬采集的數據集詳情

下面給出實驗中具體采集的圖片樣例：其中圖3是司機駕駛過程中玩手機的樣例圖，在我們的算法中主要檢測手機部分及相應的位置，來判斷是否是在駕駛過程中使用手機。圖4是司機駕駛過程中抽煙樣例圖，算法檢測中主要檢測香煙及手部部分來判斷是否在駕駛過程中有抽煙行為。

圖3 司機駕駛過程中使用手機樣例圖

圖4 司機抽煙樣例圖

3.2 實驗結果與分析

為了證明本文設計多級級聯卷積神經網絡在司機違規行為識別的有效性，進行了以下六組實驗：

(1) 只采用三級級聯神經網絡模型與LeNet-5算法的對比；

(2) 只采用三級級聯神經網絡模型與AlexNet算法的對比；

(3) 本文設計的神經網絡融合模型與LeNet-5的對比；

(4) 本文設計的神經網絡融合模型與與AlexNet的對比；

(5) 本文設計的神經網絡融合模型與只采用三級級聯的神經網絡算法對比；

(6) 本身設計的算法在不同激活函數下的對比。

下面將對實驗進行詳細分析：

從圖5可以看出，只采用三級級聯卷積神經網絡結構，隨著迭代次數的增加，當迭代3 000次左右能達到最大準確率，而基于LeNet-5算法的結構需要迭代4 000次左右準確率才能達到最高，達到最大準確率所需的迭代次數前者要小于后者。

圖5 LeNet-5算法和三級級聯神經網絡隨迭代次數變化

圖6為只采用三級級聯卷積神經網絡算法在性能上與LeNet-5和AlexNet模型結構算法的對比。從圖中可以看出，三級級聯的卷積神經網絡在準確率方面要好于LeNet-5與AlexNet，原因在于三級級聯的卷積神經網絡中，前兩級神經網絡已經過濾掉大量的司機正常駕駛行為數據，因此到第三級神經網絡識別時就能很輕易地識別出異常司機駕駛行為，從而準確率要優于LetNet-5與AlexNet。

圖6 各算法準確率比較

圖7為本文提出的神經網絡融合模型與三級級聯的卷積神經網絡對比，隨著迭代次數的增加，當迭代2 500次左右的時候本文提出的神經網絡融合模型能達到最大準確率，而三級級聯的神經網絡要在3 000次左右。之所以神經網絡融合的方法能更快收斂，是因為經過FCNN語義分割后，圖像變得更加簡單，在隨后的分類中更加容易識別出任務特征。

圖7 本文方法和三級級聯神經網絡隨迭代次數變化

從圖8中可以看出本文提出的神經網絡融合的方法相對于其他方法，在準確率方便表現出明顯的優勢，證明了本文提出的神經網絡融合的模型在司機違規行為識別方面是一個行之有效的模型。

圖8 本文提出的模型與其他模型比較

4 結 語

本文通過使用神經網絡融合的架構，結合FCNN網絡與三級級聯神經網絡，在每級卷積神經網絡中采用更好的激活函數，使用改進后的卷積神經網絡對司機駕駛行為如抽煙、玩手機進行識別。通過對比實驗可以看出，本文提出的方法相對于經典的LetNet-5與AlexNet表現出了良好的性能。實驗結果表明本文提出的方法較之對比實驗中的方法更能有效地進行司機違規行為識別。后續除了研究提高數據集的準確率外，還需要優化訓練速度，比如充分利用多個GPU并行化訓練模型或者使用分布式系統來部署TensorFlow以加快訓練速度等。