基于樹莓派與神經(jīng)計(jì)算棒的特種車輛檢測(cè)識(shí)別①

陳 璐,管霜霜,謝艷芳

1(上海浦東臨港智慧城市發(fā)展中心,上海 201306)

2(阿里巴巴科技(北京)有限公司,北京 100102)

車輛檢測(cè)與識(shí)別技術(shù)是目標(biāo)檢測(cè)的重要分支,通過監(jiān)控?cái)z像頭對(duì)路面行駛的車輛進(jìn)行檢測(cè)和識(shí)別,可以實(shí)現(xiàn)對(duì)不同車型進(jìn)行分類和檢測(cè)預(yù)警,例如渣土車、油罐車以及公交車等特種車輛.上海臨港地區(qū)作為臨港自貿(mào)新片區(qū)的重要載體,處于高速建設(shè)發(fā)展過程中,因此時(shí)常有非法渣土車等特種車輛進(jìn)入主城區(qū),對(duì)于城運(yùn)中心城市精細(xì)化管理而言,需要對(duì)每一輛非法渣土車輛進(jìn)行識(shí)別和跟蹤,以便為執(zhí)法過程提供指揮調(diào)度和歷史追溯.但在實(shí)際使用過程中,通常由于視頻監(jiān)控中的車輛目標(biāo)受到光線照射、拍攝角度、復(fù)雜背景以及遮擋等多種因素,使得車輛對(duì)象的檢測(cè)和識(shí)別在計(jì)算機(jī)視覺存在一定難度[1].近些年由于大數(shù)據(jù)和云計(jì)算技術(shù)的快速發(fā)展,算力水平得到進(jìn)一步的提高,深度學(xué)習(xí)技術(shù)也迎來快速發(fā)展.在計(jì)算機(jī)視覺領(lǐng)域,通過卷積神經(jīng)網(wǎng)絡(luò)來提取圖像特征并實(shí)現(xiàn)目標(biāo)回歸檢測(cè)已成為未來發(fā)展趨勢(shì),但仍存在硬件成本和能耗較高等問題,仍需進(jìn)一步解決.

同其他目標(biāo)檢測(cè)研究?jī)?nèi)容一樣,基于攝像頭的車輛檢測(cè)過程主要分為:生成候選窗口、提取特征以及車輛目標(biāo)分類.在經(jīng)典機(jī)器學(xué)習(xí)算法中,車輛目標(biāo)檢測(cè)通常采用滑動(dòng)窗口的方式生成候選區(qū)域,隨后利用人工創(chuàng)建特征的方式提取圖像特征,經(jīng)典的方法包括梯度方向直方圖(Histogram of Oriented Gradient,HOG)[2]、不變尺度轉(zhuǎn)換算法(Scale-Invariant Feature Transform,SIFT)[3]以及多尺度Haar 小波特征[4]等.在分類識(shí)別的階段,經(jīng)典算法主要采用的分類器主要為支持向量機(jī)(Support Vector Machine,SVM)[4]、自適應(yīng)集分類器(AdaBoost)[5]等.由此可見,上述方法大多是基于人工創(chuàng)建特征進(jìn)行的識(shí)別,特征提取的語義信息屬于較低的層次,適用性并不強(qiáng).在實(shí)際應(yīng)用中,傳統(tǒng)檢測(cè)方法針對(duì)特定場(chǎng)景需要投入大量的時(shí)間精力設(shè)計(jì)不同的特征,面臨很大的挑戰(zhàn).近些年來,隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展,在各領(lǐng)域中的應(yīng)用也逐漸成熟,自從2014年Girshick R 等[6]在目標(biāo)檢測(cè)領(lǐng)域成功應(yīng)用深度神經(jīng)網(wǎng)絡(luò)后,目標(biāo)檢測(cè)的研究方向就基本上被深度學(xué)習(xí)相關(guān)的算法和框架所占領(lǐng).此外,從整體算法框架和處理思路上看,深度學(xué)習(xí)在檢測(cè)問題上的算法大致分為兩種:一種是基于候選區(qū)域生成的檢測(cè)算法,與傳統(tǒng)目標(biāo)檢測(cè)算法相似,主要分為兩個(gè)步驟,即生成候選區(qū)、利用深度神經(jīng)網(wǎng)絡(luò)對(duì)區(qū)域特征進(jìn)行提取以及最后進(jìn)行分類,這類方法以RCNN[7]、Fast-RCNN[8]、Faster-RCNN[9]系列算法為代表;另一種是基于回歸的檢測(cè)算法,即通過深度學(xué)習(xí)框架直接回歸出圖像中的目標(biāo)對(duì)象以及分類,主要以YOLO[10]、SSD[11]等算法為代表.

本文主要基于樹莓派3 代B+作為基礎(chǔ)開發(fā)板[12],由于樹莓派是一種計(jì)算資源非常有限的設(shè)備,一般的深度學(xué)習(xí)算法很難運(yùn)行在該設(shè)備上,因此通過Movidius神經(jīng)元計(jì)算棒[13]來加速視頻處理,基于MobileNet+SSD 算法進(jìn)行改進(jìn),針對(duì)車輛目標(biāo)在監(jiān)控?cái)z像頭中的畫面屬于中等比例目標(biāo)的特性,在不明顯增加計(jì)算量的前提下,對(duì)網(wǎng)絡(luò)層數(shù)和結(jié)構(gòu)進(jìn)行優(yōu)化,更進(jìn)一步的提取高層次圖像語義特征.經(jīng)過實(shí)驗(yàn)驗(yàn)證,該網(wǎng)絡(luò)可以在樹莓派3 代B+開發(fā)板上達(dá)到平均4 幀/秒的處理速度,為了更好進(jìn)行訓(xùn)練,本文基于MSCOCO 數(shù)據(jù)集[14],同時(shí)結(jié)合自定義數(shù)據(jù)集制作適合應(yīng)用場(chǎng)景的數(shù)據(jù)訓(xùn)練集.通過使用該數(shù)據(jù)集進(jìn)行訓(xùn)練,本文取得了較好的識(shí)別效果,并在實(shí)際使用中進(jìn)行了驗(yàn)證.

總之,本文的主要總結(jié)如下:

(1)針對(duì)于有限嵌入式設(shè)備,本文通過Movidius 神經(jīng)元計(jì)算棒進(jìn)行加速,并驗(yàn)證其有效性和低成本.

(2)基于MobileNet+SSD,通過增加高層圖像語義的提取特征來提高網(wǎng)絡(luò)的準(zhǔn)確性,并在有限的計(jì)算資源中取得實(shí)際應(yīng)用的效果,能夠滿足渣土車等特種車輛的檢測(cè)與識(shí)別效果.

1 車輛目標(biāo)檢測(cè)模型的構(gòu)建

1.1 車輛檢測(cè)網(wǎng)絡(luò)框架

在本文中,為了降低車輛檢測(cè)與識(shí)別的硬件成本,我們采用基于神經(jīng)元計(jì)算棒的樹莓派3B+作為算法運(yùn)行環(huán)境,由于該運(yùn)行環(huán)境在存儲(chǔ)資源和計(jì)算資源方面都十分有限,所以像GoogleLeNet[15]、VGG[16]以及ResNet[17]等層級(jí)較深的網(wǎng)絡(luò)模型都不適用.因此為了實(shí)現(xiàn)車輛目標(biāo)的檢測(cè)和識(shí)別,需要合理的設(shè)計(jì)一個(gè)網(wǎng)絡(luò)結(jié)構(gòu),在保持最終識(shí)別準(zhǔn)缺率不下降太多的情況,讓算法模型所需的計(jì)算量和存儲(chǔ)量都得到進(jìn)一步的降低.

1.2 通過MobileNet 模型提取特征

MobileNet 網(wǎng)絡(luò)模型[18]是由Google 公司在2017年提出的一種輕量級(jí)的卷積神經(jīng)網(wǎng),其主要的模塊結(jié)構(gòu)叫做通道可分離卷積(depthwise seperable convolutions),單一卷積模塊結(jié)構(gòu)如圖1所示.

圖1 MobileNet 的通道可分離卷積塊

MobileNet 的網(wǎng)絡(luò)結(jié)構(gòu)是基于深度級(jí)可分離卷積塊的堆疊設(shè)計(jì),其網(wǎng)絡(luò)結(jié)構(gòu)基本思想就是將通道間的相關(guān)性和空間相關(guān)完全分離出來,同時(shí)降低計(jì)算量和所需參數(shù)量.與傳統(tǒng)的卷積網(wǎng)絡(luò)結(jié)構(gòu)有所不同,MobileNet屬于深度可分卷積,其最主要的特點(diǎn)就是對(duì)特征圖中的各個(gè)通道進(jìn)行卷積操作,然后將卷積操作之后的各個(gè)特征圖通道進(jìn)行合并,通過1×1 卷積降低其通道數(shù).MobileNet 網(wǎng)絡(luò)架構(gòu)中的關(guān)鍵是深度可分卷積,因?yàn)槠錁O大地降低了算法的復(fù)雜度,適用于嵌入式設(shè)備的應(yīng)用.如圖2(b)所示,深度可分卷積通過將每個(gè)常規(guī)卷積層分成兩部分,深度卷積層和逐點(diǎn)卷積層使計(jì)算復(fù)雜度更適合于的移動(dòng)智能設(shè)備

圖2 常規(guī)卷積與深度可分卷積對(duì)比

通過對(duì)比傳統(tǒng)卷積和深度可分卷積,如圖2(a)所示,傳統(tǒng)卷積輸入層為F∈RW×H×M,其中W為輸入層寬度,H為輸入層高度,M為輸入層通道數(shù),卷積核大小為h,經(jīng)過N個(gè)卷積核進(jìn)行處理后,得到輸出層G∈其中輸出層寬度為Wc=(W-h+1),輸出層高度為Hc=(H-h+1),輸出層通道數(shù)為N.由此,計(jì)算常規(guī)卷積操作的時(shí)間復(fù)雜度如式(1):

深度可分離卷積主要由兩部分組成,深度卷積層與逐點(diǎn)卷積層.深度卷積層由M 個(gè)卷積核組成,分別針對(duì)輸入層進(jìn)行卷積操作;逐點(diǎn)卷積層則利用1 ×1卷積進(jìn)行逐點(diǎn)卷積,降低卷積操作的計(jì)算量,其時(shí)間復(fù)雜度如式(2):

由式(2)與式(1)進(jìn)行相比運(yùn)算,得到式(3).深度可分離卷積與 2D 卷積之間的乘法運(yùn)算次數(shù)之比為:

由式(3)可知,對(duì)于目前大部分網(wǎng)絡(luò)模型來說,輸出層通常不止3 個(gè)通道,通常幾百甚至幾千個(gè)通道,即N?h2.如果使用的卷積核大小為3 ×3,經(jīng)典卷積操作中的乘法運(yùn)算要比深度可分離卷積多9 次,若使用大小為5 ×5的卷積核,則要多運(yùn)算25 次.

1.3 基于SSD 算法進(jìn)行車輛目標(biāo)檢測(cè)與識(shí)別

基本的SSD 模型是通過VGG 網(wǎng)絡(luò)模型用來提取特征,通過將不同的卷積層特征進(jìn)行融合來實(shí)現(xiàn)對(duì)不同類型目標(biāo)的特征進(jìn)行表達(dá),提升目標(biāo)檢測(cè)的效率.

在SSD 模型中特征的提取主要采用的是逐層提取和抽象的思想,較低層級(jí)的特征主要針對(duì)占比較小的目標(biāo),而高層特征主要對(duì)應(yīng)占比較大的目標(biāo)[19].因此SSD 模型算法如式(4)、式(5)所示.

其中,Tn標(biāo)識(shí)第n層的特征向量,Sn表示由第n-1層特征向量經(jīng)過非線性的預(yù)算得到的第n層 特征向量,S1(I)則表示對(duì)于輸入的圖像I,經(jīng)過非線性運(yùn)算后得到的第1 層的特征向量;D(·)表示所有檢測(cè)的中間結(jié)果集合后的最后輸出.由式(4)、式(5)可以看出,第n-1層的特征向量將決定第n層特征向量,因此如果要更加準(zhǔn)確的檢測(cè)出目標(biāo)對(duì)象就需要獲取足夠量的特征信息.

由于SSD 算法可以不用產(chǎn)生候選區(qū)域,直接就生成了物體的類別概率以及定位坐標(biāo),經(jīng)過單次檢測(cè)運(yùn)算即可獲得最終檢測(cè)結(jié)果.本文將SSD 與MobileNet激進(jìn)型融合,使用 3×3的卷積核進(jìn)行深度可分卷積操作,在不增加運(yùn)算量的前提下保證了模型的準(zhǔn)確率.在實(shí)際應(yīng)用過程中,由于監(jiān)控?cái)z像頭受到安裝點(diǎn)位、日照光線以及地點(diǎn)不同,使得圖像的背景較為復(fù)雜,為了讓訓(xùn)練的模型更適用于當(dāng)前正在使用的監(jiān)控?cái)z像頭,針對(duì)監(jiān)控?cái)z像頭中的特種車輛目標(biāo)進(jìn)行改進(jìn).

車輛目標(biāo)在監(jiān)控畫面中屬于中型占比目標(biāo),因此本文以SSD 為主要檢測(cè)器,通過將MobileNet 與SSD進(jìn)行結(jié)合,通過對(duì)多個(gè)高層特征信息的提取,通過以新樣本為補(bǔ)充從而對(duì)網(wǎng)絡(luò)進(jìn)行再訓(xùn)練以此提高模型對(duì)車輛目標(biāo)的監(jiān)測(cè)能力.另外,由于MobileNet 網(wǎng)絡(luò)具有更少層級(jí)、更少參數(shù),可以使訓(xùn)練后的網(wǎng)絡(luò)模型更加小巧、運(yùn)算量遠(yuǎn)小于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)[20],具體網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示.

圖3 基于MobileNet+SSD 的車輛檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)

對(duì)于輸入的視頻流圖像首先進(jìn)入MobileNet 模型中,然后通過增加輔助卷積層結(jié)構(gòu)來獲取分層特征.

2 基于神經(jīng)元計(jì)算棒的特種車輛檢測(cè)

2.1 樹莓派與神經(jīng)元計(jì)算棒

將上文中介紹的改進(jìn)模型在完成訓(xùn)練后,最終在樹莓派上進(jìn)行部署和應(yīng)用,如圖4所示.

本文采用的樹莓派版本為3B+開發(fā)版,該版本樹莓派的處理器為ARMv7 1.2 GHz、內(nèi)存為1 GB RAM,其計(jì)算能力一般,但由于其成本低、適用性強(qiáng)等特性,應(yīng)用范圍較廣.因此,為了在計(jì)算能力有限的樹莓派上運(yùn)行較為復(fù)雜的深度學(xué)習(xí)算法,還需要采用Movidius神經(jīng)元計(jì)算棒進(jìn)行加速運(yùn)算.Movidius 神經(jīng)元計(jì)算棒是Intel 研發(fā)的VPU 模塊,可以通過USB 端口進(jìn)行掛載,針對(duì)移動(dòng)端和嵌入式設(shè)備的計(jì)算能力不足的缺點(diǎn),Movidius 神經(jīng)元計(jì)算棒能夠?qū)⑸疃葘W(xué)習(xí)網(wǎng)絡(luò),如Caffemodel 編譯為可執(zhí)行的Graph 格式,實(shí)現(xiàn)深度學(xué)習(xí)算法加速,支持在Tensorflow[21]和Caffe[22]框架下進(jìn)行模型的訓(xùn)練和預(yù)測(cè).

圖4 搭建樹莓派與神經(jīng)元計(jì)算棒開發(fā)環(huán)境

2.2 訓(xùn)練數(shù)據(jù)集的制作

本文為了提高訓(xùn)練數(shù)據(jù)的準(zhǔn)確性,首先采用數(shù)據(jù)集圖像質(zhì)量較高并同時(shí)標(biāo)注完善的MS COCO2014 作為初始的訓(xùn)練集.MS COCO 數(shù)據(jù)集是計(jì)算機(jī)視覺領(lǐng)域中著名的數(shù)據(jù)集之一,包含日常生活中常見的91 個(gè)類別,Truck 就是其中一類.與PASCALVOC、ImageNet等數(shù)據(jù)集相比,由于MSCOCO 數(shù)據(jù)集中圖片背景更加復(fù)雜,目標(biāo)數(shù)量較多,同時(shí)目標(biāo)尺寸更小,因此通過MSCOC 數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練,提取只有 Truck 類別的目標(biāo)圖片,制作COCO_Truck 數(shù)據(jù)集,最終一共包含5000 張訓(xùn)練圖片和 2000 張驗(yàn)證圖片.同時(shí),為了保證訓(xùn)練的數(shù)據(jù)涵蓋最終使用的場(chǎng)景,另外通過卡口的攝像頭補(bǔ)充1500 張訓(xùn)練圖片,和500 張驗(yàn)證圖片.新補(bǔ)充的數(shù)據(jù)集如下所示,其中包括夜間場(chǎng)景、日間場(chǎng)景以及相似車輛的場(chǎng)景(負(fù)樣本),如圖5所示.

圖5 補(bǔ)充樣本數(shù)據(jù)

2.3 開發(fā)與訓(xùn)練過程

在開發(fā)和訓(xùn)練階段需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處并在最后訓(xùn)練結(jié)束時(shí)將算法模型編譯成神經(jīng)元計(jì)算棒能夠執(zhí)行的格式,具體流程圖如圖6所示.

圖6 開發(fā)與訓(xùn)練過程流程圖

第1 步.數(shù)據(jù)預(yù)處理

將MS COCO 和新添加的數(shù)據(jù)集制作成訓(xùn)練集和測(cè)試集,再將數(shù)據(jù)集轉(zhuǎn)化為L(zhǎng)MDB 格式,便于算法進(jìn)行讀取和使用.

第2 步.訓(xùn)練

在數(shù)據(jù)集制作完成后,基于Caffe 框架進(jìn)行渣土車的算法設(shè)計(jì),利用帶有GPU 運(yùn)算能力的服務(wù)器進(jìn)行訓(xùn)練,最終得到Caffe 格式的檢測(cè)模型,即Caffemodel 權(quán)重文件.在進(jìn)行算法訓(xùn)練環(huán)節(jié)中,通過使用配備顯存為11GBRTX2080Ti 的服務(wù)器進(jìn)行訓(xùn)練,設(shè)置的訓(xùn)練迭代次數(shù)為250000 次.同時(shí),為了提高算法識(shí)別的準(zhǔn)確率,采用multistep 學(xué)習(xí)率衰減策略,學(xué)習(xí)率設(shè)置為0.006.

第3 步.神經(jīng)元計(jì)算棒編譯

通過訓(xùn)練所得檢測(cè)模型并不能直接使用Movidius神經(jīng)元計(jì)算棒進(jìn)行計(jì)算,需要將模型編譯成其可執(zhí)行的格式,即Graph 格式.運(yùn)行Movidius 神經(jīng)元計(jì)算棒SDK 的mvNCCompile 模塊將Caffemodel 權(quán)重文件編譯成Movidius 神經(jīng)元計(jì)算棒可執(zhí)行的graph 文件.

第4 步.部署與預(yù)測(cè)

將檢測(cè)模型部署在樹莓派3B+開發(fā)板中,將樹莓派通過WIFI 連接到專有網(wǎng)絡(luò),基于RSTP[23]協(xié)議實(shí)現(xiàn)視頻監(jiān)控影像的實(shí)時(shí)數(shù)據(jù)回傳,并通過inference 檢測(cè)模塊,實(shí)現(xiàn)對(duì)graph 模型的運(yùn)行來對(duì)回傳影像進(jìn)行處理,實(shí)現(xiàn)特種車輛的檢測(cè)與識(shí)別.

3 實(shí)驗(yàn)結(jié)果

本文主要通過改進(jìn)的MobileNet+SSD 算法,并將其運(yùn)行在計(jì)算資源和存儲(chǔ)資源有限的樹莓派+神經(jīng)元計(jì)算棒平臺(tái)上,以此來實(shí)現(xiàn)更低成本的渣土車輛的檢測(cè)與識(shí)別.為了提高算法的適用性,本文主要基于MS COCO 數(shù)據(jù)集進(jìn)行訓(xùn)練,同時(shí)新增了如渣土車的負(fù)樣本、夜間場(chǎng)景、部分出現(xiàn)與遮擋等監(jiān)控圖片和標(biāo)注.圖7為訓(xùn)練MSCOCO 數(shù)據(jù)集與自定義的人工標(biāo)注數(shù)據(jù)集的訓(xùn)練loss 曲線,可以看出MSCOCO數(shù)據(jù)集的基礎(chǔ)上進(jìn)行訓(xùn)練,最后得到穩(wěn)定的收斂結(jié)果.

為了比對(duì)本文選取的方法與采用GPU 的檢測(cè)識(shí)別算法的差異,本文主要采用的指標(biāo)為FPS 與mAP 進(jìn)行分析,FPS 表示每秒的識(shí)別幀數(shù),mAP 表示平均準(zhǔn)確度.通過使用平均精度均值(mean Average Precision,mAP)、通過mAP 指標(biāo)來衡量檢測(cè)出的目標(biāo)中正確的目標(biāo)所占比率,測(cè)試結(jié)果比對(duì)如表1所示.

圖7 Loss 曲線

表1 本文算法與其他算法比對(duì)測(cè)試結(jié)果

在對(duì)比實(shí)驗(yàn)中,本文主要從兩個(gè)方面進(jìn)行分析:首先在相同的運(yùn)算環(huán)境下,采用傳統(tǒng)機(jī)器學(xué)習(xí)算法HOG+SVM、深度學(xué)習(xí)算法Yolo-tiny 與本文算法進(jìn)行比較分析,通過對(duì)比實(shí)驗(yàn)可以看出本文算法要優(yōu)于以上兩個(gè)算法,雖然在FPS 方面要略遜于Yolo-tiny,但在實(shí)際應(yīng)用過程中可以忽略本文算法的不足;此外,通過將部署在GPU 環(huán)境的SSD 算法與本文算法將進(jìn)行比較,可以看出在GPU 環(huán)境下FPS 可以達(dá)到20,而mAP與本算法是相近的,但GPU 環(huán)境下的耗電量以及采購(gòu)成本都遠(yuǎn)遠(yuǎn)超過本文提出的算法和架構(gòu),可見在實(shí)際工程應(yīng)用中,本文提出的算法和架構(gòu)更具優(yōu)勢(shì).

同時(shí),為了驗(yàn)證本文提出的算法和架構(gòu)在實(shí)際使用中的有效性,在實(shí)驗(yàn)中選取白天(非高峰時(shí)段)、夜間以及多車輛場(chǎng)景進(jìn)行對(duì)比驗(yàn)證,具體如表2所示.

表2 本文算法在不同場(chǎng)景下的對(duì)比結(jié)果

圖8為基于樹莓派+神經(jīng)元計(jì)算棒的運(yùn)算環(huán)境下使用本文提出的MobileNet+SSD 的算法識(shí)別效果,可以看到在白天、夜間場(chǎng)景和多車輛的場(chǎng)景下以及部分出現(xiàn)與遮擋的場(chǎng)景中,都取得了不錯(cuò)的效果.

4 結(jié)語

本文基于樹莓派與Movidius 神經(jīng)元計(jì)算棒作為計(jì)算平臺(tái),通過將MobileNet 與SSD 進(jìn)行結(jié)合提出能夠在計(jì)算資源有限的平臺(tái)上運(yùn)行的車輛目標(biāo)檢測(cè)與識(shí)別算法,在更低成本和更低能耗的條件下可以實(shí)現(xiàn)實(shí)時(shí)目標(biāo)檢測(cè),并實(shí)際應(yīng)用中進(jìn)行驗(yàn)證.未來通過對(duì)車輛目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行持續(xù)優(yōu)化,實(shí)現(xiàn)針對(duì)車輛目標(biāo)的結(jié)構(gòu)化輸出,以及跨攝像頭的目標(biāo)檢索.

圖8 本文提出的MobileNet+SSD 算法識(shí)別效果