基于改進(jìn)CenterNet的交通監(jiān)控車輛檢測(cè)算法

成 怡，張 宇，李寶全

(天津工業(yè)大學(xué)控制科學(xué)與工程學(xué)院，天津 300387)

1 引言

近年來，基于視覺的車輛檢測(cè)方法在城市交通監(jiān)控系統(tǒng)中得到廣泛應(yīng)用。通過監(jiān)控設(shè)備實(shí)時(shí)獲取當(dāng)前道路車輛信息，對(duì)于道路安全以及交通調(diào)度具有重要意義。傳統(tǒng)的監(jiān)控檢測(cè)算法依賴于人工標(biāo)定的車輛目標(biāo)特征[1]，泛化能力差，檢測(cè)精度容易受天氣、光照等因素影響，且處理圖像時(shí)存在丟失幀[2]等問題，已經(jīng)無法適用于日益復(fù)雜的監(jiān)控場(chǎng)景。隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展，基于深度學(xué)習(xí)的檢測(cè)方法開始在車輛檢測(cè)中得到應(yīng)用。

Arabi S等提出了一種基于單目相機(jī)的輕量級(jí)車輛檢測(cè)網(wǎng)絡(luò)，對(duì)MobileNet進(jìn)行改進(jìn)并作為檢測(cè)網(wǎng)絡(luò)，可適用于嵌入式設(shè)備[3]。李松江等針對(duì)小目標(biāo)以及車輛遮擋情況，改進(jìn)特征金字塔增強(qiáng)上下文信息，并在多支路引入空洞卷積，減少特征丟失[4]。杜金航等在Darknet53基礎(chǔ)上修改為30層的卷積網(wǎng)絡(luò)，減少計(jì)算成本，提升YOLO v3車輛檢測(cè)精度[5]。

目前主流的檢測(cè)算法，如Faster R-CNN、SSD、YOLO V3等，大多數(shù)屬于Anchor-based算法[6]。Anchor-based算法會(huì)在候選區(qū)域生成大量預(yù)設(shè)置好的先驗(yàn)框，引入額外的超參數(shù)。由于輸入圖像的待檢測(cè)目標(biāo)數(shù)量是有限的，為了提高召回率，往往會(huì)針對(duì)每個(gè)目標(biāo)點(diǎn)生成大量無用的先驗(yàn)框，產(chǎn)生不必要的負(fù)樣本，造成冗余的同時(shí)影響正負(fù)樣本平衡性[7]。另外錨框比例是固定的，對(duì)于不同尺度變化的目標(biāo)檢測(cè)難度很大，降低了模型的泛化能力。

為了消除檢測(cè)過程中重復(fù)的檢測(cè)框，減少模型參數(shù)，Anchor-free算法在近些年逐漸受到關(guān)注。Anchor-free算法不依賴預(yù)設(shè)的錨框，直接對(duì)輸入圖像進(jìn)行特征提取，根據(jù)所提取特征回歸檢測(cè)對(duì)象的位置以及尺寸信息，典型代表網(wǎng)絡(luò)有CornerNet、FCOS、CenterNet[8]等。

CenterNet不需要設(shè)計(jì)復(fù)雜的錨框，在執(zhí)行檢測(cè)任務(wù)時(shí)，只需要在全卷積網(wǎng)絡(luò)結(jié)構(gòu)上進(jìn)行簡(jiǎn)單的前向計(jì)算，不依賴NMS等后處理操作，大大減少了網(wǎng)絡(luò)參數(shù)和計(jì)算量[9]，適合實(shí)時(shí)車輛檢測(cè)任務(wù)。與基于Anchor-based的目標(biāo)檢測(cè)算法不同，CenterNet僅需要確定目標(biāo)中心點(diǎn)位置，不需要手動(dòng)設(shè)置閾值[10]來進(jìn)行前景背景分類，降低了對(duì)數(shù)據(jù)集正負(fù)樣本的要求。

本文研究CenterNet在交通監(jiān)控車輛檢測(cè)中的應(yīng)用，提出一種改進(jìn)的CenterNet車輛檢測(cè)算法，提高檢測(cè)精度。首先選取ResNet101作為主干特征提取網(wǎng)絡(luò)，借鑒SCNet[11]引入SCConv擴(kuò)大網(wǎng)絡(luò)感受野。其次，對(duì)深度可分離卷積改進(jìn)并應(yīng)用于解碼網(wǎng)絡(luò)中，加強(qiáng)特征提取能力。最后在解碼過程引入注意力機(jī)制，實(shí)現(xiàn)特征在空間和通道上的信息融合。

2 CenterNet網(wǎng)絡(luò)

CenterNet結(jié)構(gòu)如圖1所示，作為一階段Anchor-Free目標(biāo)檢測(cè)算法，將檢測(cè)對(duì)象建模為單個(gè)特征點(diǎn)，輸入圖像經(jīng)過主干特征提取網(wǎng)絡(luò)處理得到語(yǔ)義信息豐富的特征層，然后經(jīng)過解碼網(wǎng)絡(luò)輸出目標(biāo)的熱力圖，最終經(jīng)過檢測(cè)器實(shí)現(xiàn)對(duì)目標(biāo)的檢測(cè)。CenterNet的檢測(cè)器包含三個(gè)分支，分別為：中心點(diǎn)預(yù)測(cè)分支、中心點(diǎn)偏置預(yù)測(cè)分支以及目標(biāo)尺寸分支。中心點(diǎn)預(yù)測(cè)分支解碼熱力圖上的關(guān)鍵點(diǎn)，每個(gè)關(guān)鍵點(diǎn)對(duì)應(yīng)不同類別檢測(cè)對(duì)象中心點(diǎn)的位置。中心點(diǎn)偏置分支對(duì)熱力圖的輸出進(jìn)一步處理，提高檢測(cè)中心點(diǎn)定位精度。目標(biāo)尺寸分支利用熱力圖關(guān)鍵點(diǎn)的圖像特征回歸得到檢測(cè)對(duì)象的尺寸信息。

圖1 CenterNet網(wǎng)絡(luò)結(jié)構(gòu)

3 改進(jìn)CenterNet算法

3.1 殘差結(jié)構(gòu)改進(jìn)

針對(duì)車輛檢測(cè)任務(wù)，同時(shí)考慮到精度和檢測(cè)速度，本文采用ResNet101網(wǎng)絡(luò)作為CenterNet的主干特征提取網(wǎng)絡(luò)。雖然ResNet網(wǎng)絡(luò)提出的殘差結(jié)構(gòu)能夠有效地解決網(wǎng)絡(luò)深度變化引起的梯度爆炸問題，但是殘差結(jié)構(gòu)中對(duì)特征提取能力最大的只有3×3卷積[12]，特征圖的每個(gè)位置感受野由卷積核大小以及結(jié)構(gòu)決定，單一的感受野缺乏提取高語(yǔ)義信息特征的能力，對(duì)于車輛檢測(cè)場(chǎng)景中不同尺度的車輛信息提取能力不強(qiáng)，同時(shí)殘差結(jié)構(gòu)無法對(duì)跨通道之間的信息充分交互，影響檢測(cè)精度。針對(duì)以上問題，受SCNet結(jié)構(gòu)啟發(fā)，本文將ResNet101網(wǎng)絡(luò)殘差結(jié)構(gòu)中3×3卷積替換為SCConv，擴(kuò)大卷積核對(duì)輸出特征的感受野，增加對(duì)不同目標(biāo)尺度的車輛檢測(cè)能力，提升對(duì)目標(biāo)的表征能力，改進(jìn)結(jié)構(gòu)如圖2所示。

CNet是利用SCConv擴(kuò)大網(wǎng)絡(luò)空間位置感受野的自矯正卷積網(wǎng)絡(luò)。如圖3所示，SCConv由自矯正分支和常規(guī)卷積分支組成，假設(shè)卷積核的維度為C×C×H×W，將其劃分為K1-K44個(gè)小卷積核。輸入X按照通道拆分為X1，X2，X1傳入自矯正分支，X2傳入常規(guī)卷積分支，最后將兩個(gè)分支提取到的特征融合得到最終輸出特征。

圖2 改進(jìn)殘差結(jié)構(gòu)

在自矯正分支中，K2，K3在不同的空間尺度實(shí)現(xiàn)卷積操作。X1經(jīng)過的r×r池化核進(jìn)行平均池化后，利用K2進(jìn)行特征變換和雙線性插值。K3與X1卷積后的特征與K2輸出特征經(jīng)過Sigmoid激活，實(shí)現(xiàn)卷積自矯正過程。在常規(guī)卷積分支中，為了保留原始的空間特征信息，僅對(duì)X2進(jìn)行普通卷積操作。

圖3 SCConv結(jié)構(gòu)

3.2 解碼網(wǎng)絡(luò)改進(jìn)

輸入圖像經(jīng)過主干網(wǎng)絡(luò)生成高分辨率特征圖，通過解碼網(wǎng)絡(luò)提取其中的語(yǔ)義信息。解碼網(wǎng)絡(luò)將特征圖進(jìn)行連續(xù)三次上采樣，分別送入CenterNet的三個(gè)分支進(jìn)行預(yù)測(cè)。

為減少上采樣過程中的特征丟失，本文將深度可分離卷積進(jìn)行改進(jìn)，并應(yīng)用于解碼網(wǎng)絡(luò)中，增加網(wǎng)絡(luò)寬度，改進(jìn)結(jié)構(gòu)如圖4所示。

為加快收斂速度，減小梯度消失，將深度可分離卷積的ReLU激活函數(shù)改為ELU激活函數(shù)。由于ReLU函數(shù)在負(fù)梯度時(shí)會(huì)被置零，導(dǎo)致網(wǎng)絡(luò)中部分神經(jīng)元未激活[13]，產(chǎn)生無用信息，本文在1×1卷積層后采用hard-swish函數(shù)代替ReLU激活。hard-swish公式為：

圖4 改進(jìn)深度可分離卷積結(jié)構(gòu)

(1)

hard-swish使用ReLU6能夠有效激活神經(jīng)元，提高神經(jīng)網(wǎng)絡(luò)準(zhǔn)確性。h-swish函數(shù)與ReLU激活函數(shù)圖像如圖5所示。

由圖5可以看出，h-swish函數(shù)相比ReLU引入非線性因素，將其應(yīng)用在網(wǎng)絡(luò)后半部分，隨著網(wǎng)絡(luò)不斷加深能有效消除網(wǎng)絡(luò)精度損失，降低計(jì)算成本。

圖5 h-swish和ReLU函數(shù)曲線

3.3 注意力機(jī)制

由于在進(jìn)行特征提取時(shí)往往會(huì)出現(xiàn)大量的無用信息，注意力機(jī)制在目標(biāo)檢測(cè)中逐漸得到廣泛應(yīng)用。本文在解碼過程中引入SA[14]注意力機(jī)制，將SA注意力融合在改進(jìn)的深度可分離卷積之后，將輸入沿著通道維度劃分為多個(gè)子特征，每組子特征繼續(xù)劃分成兩部分，分別從通道注意力和空間注意力兩方面對(duì)解碼后的特征進(jìn)行處理。

通道注意力分支首先進(jìn)行全局平均池化，對(duì)全局信息生成權(quán)重向量?？臻g注意力分支利用Group Norm生成特征的空間維度信息。由于兩個(gè)分支是分別對(duì)一半的通道進(jìn)行操作，為了充分利用所有通道特征，避免只對(duì)部分通道使用注意力機(jī)制導(dǎo)致特征丟失，采用Channel Shuffle操作實(shí)現(xiàn)不同組的特征融合。

相比傳統(tǒng)的雙線性插值進(jìn)行上采樣，轉(zhuǎn)置卷積引入的非線性因素有利于增強(qiáng)網(wǎng)絡(luò)的特征表達(dá)能力[15]，本文采用轉(zhuǎn)置卷積代替?zhèn)鹘y(tǒng)的雙線性插值操作實(shí)現(xiàn)上采樣，改進(jìn)后的單次上采樣過程如圖6所示。

其中，虛線框中為改進(jìn)的深度可分離卷積，Conv Transpose為轉(zhuǎn)置卷積。

圖6 改進(jìn)單次上采樣結(jié)構(gòu)

3.4 損失函數(shù)

CenterNet的損失函數(shù)由熱力圖預(yù)測(cè)損失、中心點(diǎn)偏置損失以及尺寸預(yù)測(cè)損失相加得到。

熱力圖預(yù)測(cè)損失函數(shù)采用Focal Loss的思想對(duì)結(jié)構(gòu)改進(jìn)，為熱力圖，Y為Ground Truth，以下簡(jiǎn)稱GT。熱力圖預(yù)測(cè)損失函數(shù)計(jì)算公式為

(2)

其中，α和β為超參數(shù)，在本文中分別設(shè)置為2和4，N為熱力圖中關(guān)鍵點(diǎn)數(shù)量。經(jīng)平均池化后，熱力圖中心點(diǎn)p會(huì)產(chǎn)生偏差。為修正該偏移誤差，設(shè)計(jì)中心點(diǎn)偏置損失函數(shù)，表達(dá)式為

(3)

令目標(biāo)GT中心點(diǎn)位置為pk，回歸得到的目標(biāo)尺寸大小為sk，則尺寸預(yù)測(cè)損失函數(shù)為

(4)

CenterNet整體損失函數(shù)為

Ldet=Lk+λsizeLsize+λoffLoff

(5)

其中，λsize=0.1，λoff=1。

針對(duì)CenterNet網(wǎng)絡(luò)在預(yù)測(cè)過程存在目標(biāo)中心點(diǎn)定位不準(zhǔn)確的問題，本文選用smooth L1函數(shù)訓(xùn)練中心點(diǎn)偏置損失函數(shù)。在輸入變化較大時(shí)，smooth L1函數(shù)梯度保持穩(wěn)定狀態(tài)，訓(xùn)練過程收斂速度更快。改進(jìn)后損失函數(shù)為

(6)

其中

(7)

4 實(shí)驗(yàn)和結(jié)果分析

4.1 數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境

本文從交通監(jiān)控視頻中進(jìn)行抽幀截取作為數(shù)據(jù)集，如圖7所示，數(shù)據(jù)集共7956張，訓(xùn)練集與驗(yàn)證集比例為8：2，車輛目標(biāo)分為car，bus，truck三類。實(shí)驗(yàn)環(huán)境為Ubuntu16.04，Pytorch1.4.0，Cuda10.1，GPU為Nvidia 1080Ti，顯存11G。訓(xùn)練學(xué)習(xí)率采用自適應(yīng)調(diào)整學(xué)習(xí)率，初始值設(shè)置為1×10-4。

圖7 數(shù)據(jù)集示例

4.2 消融實(shí)驗(yàn)

本文選取精確度Precision、召回率Recall、平均精度AP以及均值平均精度mAP作為網(wǎng)絡(luò)性能評(píng)估指標(biāo)。為了評(píng)估以上的改進(jìn)方法，在本文數(shù)據(jù)集進(jìn)行消融實(shí)驗(yàn)，以主干特征提取網(wǎng)絡(luò)為ResNet101的CenterNet為基線模型，依次加入SCConv、改進(jìn)深度可分離卷積、注意力機(jī)制，各項(xiàng)改進(jìn)后AP見表1。

消融實(shí)驗(yàn)展示了各項(xiàng)改進(jìn)對(duì)檢測(cè)性能的影響，SCConv、改進(jìn)深度可分離卷積和SA注意力機(jī)制的組合相比基線模型在三類目標(biāo)精度均有提高。

表1 消融實(shí)驗(yàn)

4.3 改進(jìn)前后效果對(duì)比

將CenterNet與本文改進(jìn)網(wǎng)絡(luò)均訓(xùn)練110次，模型損失變化曲線對(duì)比如圖8所示，其中縱坐標(biāo)為訓(xùn)練損失值，橫坐標(biāo)為訓(xùn)練迭代次數(shù)。

從圖8可以看出，改進(jìn)網(wǎng)絡(luò)在前20次迭代損失值下降速度較快，經(jīng)過90次迭代后穩(wěn)定在0.28，相比原網(wǎng)絡(luò)損失值降低了1.02。

圖8 改進(jìn)前后訓(xùn)練損失曲線

原網(wǎng)絡(luò)與改進(jìn)后網(wǎng)絡(luò)的AP曲線如圖9所示，其中橫坐標(biāo)為召回率Recall，縱坐標(biāo)為精確度Precision，由二者組成的曲線占整體面積的百分比為平均精度AP。由圖9可以看出，改進(jìn)后網(wǎng)絡(luò)在每個(gè)目標(biāo)類別召回率和AP均有提升，其中car類AP提升了9.55%，bus類AP提升6.74%，truck類AP提升13.28%。由于網(wǎng)絡(luò)感受野擴(kuò)大，同時(shí)抑制了特征層處理過程中的無用信息，有效提升了車輛檢測(cè)效果。

CenterNet和本文改進(jìn)的CenterNet在測(cè)試集的檢測(cè)效果如圖10所示。每組圖片左邊為CenterNet檢測(cè)效果，右側(cè)為改進(jìn)的CenterNet檢測(cè)效果。由圖10可以看出，改進(jìn)后網(wǎng)絡(luò)在車輛識(shí)別精度上得到了顯著提高。

圖9 改進(jìn)前后AP曲線對(duì)比

4.4 與其它算法對(duì)比

為了進(jìn)一步驗(yàn)證本文改進(jìn)算法效果，選取EfficientDet-D0、YOLO v3、M2Det與本文算法對(duì)比，結(jié)果見表2。從表2可以看出，改進(jìn)后CenterNet相比原網(wǎng)絡(luò)mAP提升了9.86%，檢測(cè)速度適用于監(jiān)控場(chǎng)景車輛檢測(cè)。

表2 幾種算法性能對(duì)比

5 結(jié)語(yǔ)

本文將CenterNet網(wǎng)絡(luò)引入到城市交通監(jiān)控車輛檢測(cè)中，針對(duì)CenterNet檢測(cè)精度低的問題對(duì)其進(jìn)行改進(jìn)。在主干特征提取網(wǎng)絡(luò)中引入SCConv卷積，提升車輛目標(biāo)特征提取能力；使用改進(jìn)的深度可分離卷積，在保留更多特征信息的同時(shí)加深網(wǎng)絡(luò)寬度；采用SA注意力機(jī)制，抑制解碼過程中的無用特征。實(shí)驗(yàn)結(jié)果表明，本文改進(jìn)的算法相比原算法在檢測(cè)精度上有了較大提升，滿足對(duì)城市交通監(jiān)控場(chǎng)景車輛檢測(cè)的需求。

圖10 改進(jìn)前后檢測(cè)效果對(duì)比4.4 與其它算法對(duì)比