基于改進的單次多盒檢測器室內人數檢測

曹 凱, 王 召, 高 嵩*, 宋曉茹, 陳超波

(1.西安工業大學電子信息工程學院,西安 710021；2.西安工業大學機電工程學院,西安 710021)

場景理解作為智能視頻監控領域的難點問題和核心內容,其目標是利用計算機視覺相關算法從自然場景中直接獲取語義信息,近年來已經逐漸成為計算機視覺領域研究的核心問題[1]。人數計數是場景理解的一個重要內容[2],隨著辦學規模越來越大,學生隨之越來越多,作為高校硬件資源之一的自習室、圖書館存在著求過于供的情況,多數學校的自習室、圖書館經常一座難求,這些場所座位資源的合理分配問題是高校需要解決的難題。

目前,人數統計的方法大體可以分為兩類[3-4]:一類是基于視頻序列的運動目標檢測算法,將整個人體作為對象進行數量統計,此類方法首先對場景中的背景進行建模,后續幀與背景模型進行比較而提取出運動的前景區域,然后計算運動區域的面積、邊緣輪廓等特征信息,再與人體的先驗知識進行特征匹配,來估計人數。這種方法的精確度主要取決于先驗知識,不穩定且準確率低。另一類是基于圖像特征和深度學習的目標檢測算法,該方法通過采集并學習圖像中能夠反映人體的特征來訓練樣本集,之后輸出識別結果。這種方法的優點是精確度高,缺點是訓練需要大量樣本數據且比較耗時。深度學習目標檢測算法[5]有YOLO(you only look once)[6-7]、單次多盒檢測器(single shot multibox detector, SSD)[8]、Faster R-CNN[9-10],其中YOLO的目標檢測速度較快,YOLO v3在Titan X GPU下檢測速度可達到每幀22 ms,但在計算成本有限條件下可能數秒檢測1幀,無法在實際中廣泛使用。

以SSD為基礎進行改進,采用Mobile-NetV2[11]卷積神經網絡進行特征提取,并加入SENet[12]到網絡結構中,增強網絡對特征的選擇能力。在顯著減少計算的情況下,保留網絡準確性,實現了移動應用等計算成本有限下的目標檢測任務。使用深度學習算法與計算機視覺相結合的方法進行室內人數檢測,設計人數監控系統,有助于學校自習室、圖書館座位對學生指引。人數檢測也有利于解決其他公共資源的合理分配和利用問題,在機場、地鐵站等公共場合[13],對人流的準確計數,能夠有效地發揮智能調度系統的作用,讓公共資源得到更充分的利用。

1 SSD目標檢測模型

SSD目標檢測模型是由Liu等[8]提出的使用卷積神經網絡檢測圖像中目標的方法。模型的結構如圖1所示,其主要由4部分組成: 基礎特征提取部分、附加特征提取部分、原始包圍框生成部分和卷積預測部分。主要工作過程:將300×300的輸入圖像經過基礎特征提取部分與附加特征提取部分后得到圖像的特征圖；再經過原始包圍框生成部分和卷積預測部分得到大量多尺度的目標包圍框和對應位置處目標包圍框的修正值及預測概率；根據原始包圍框的位置、預測的類別與準確率、圖片真實值計算誤差,反向傳播實現網絡參數更新。

Conv代表卷積層；FC代表全連接層；ConvM_N代表此卷積層序號是M且包含N層卷積；FCM代表此全連接層的序號為M；Conv: MxNxC-sP代表此卷積層卷積核大小為 MxN，通道數為C，卷積步長為P，步長為1時省略不寫圖1 SSD模型結構Fig.1 Composition of SSD

基礎特征提取部分用于對輸入圖像進行初步的特征提取,得到的淺層特征用于對目標分類與目標包圍框回歸,也作為后續附加特征提取等部分的輸入。原始SSD目標檢測模型直接將VGG-16[14]模型的卷積部分用作基礎特征提取部分,其包含13層卷積層,對輸入為300×300像素的彩色圖像進行卷積運算,得到尺寸為19×19的特征圖512張,作為附加特征提取層的輸入。

附加特征提取層部分包含10層卷積層,對基礎特征提取部分輸出的特征圖進行進一步卷積運算。在基礎特征提取部分的VGG-16結構中后兩層為全連接層,全連接層計算量較大,且存在參數冗余,故將后兩層的全連接層修改為卷積層,如圖1中的Fc6-Conv層和Fc7-Conv層。

SSD模型使用卷積層來實現目標分類與目標包圍框修正,需要在被選特征層的每個特征值位置上生成若干原始包圍框,在原始包圍框基礎上使用回歸方法來修正目標包圍框結果。網絡中不同層輸出的特征圖具有不同的感受野(receptive field),即對原始圖像不同的檢測區域。通過設計各層的縮放因子來調整不同層內原始包圍框的尺寸以適應不同大小的目標。假設共選m個特征層,則SSD模型對于第k層的縮放因子為

(1)

式(1)中：smin=0.2,smax=0.9。設輸入圖像的高和寬分別為Hinput和Winput,則該層對應的寬高比r的原始包圍框寬為

(2)

2 改進的SSD人數檢測模型

原SSD目標檢測模型使用VGG網絡作為基礎網絡,但VGG網絡主要有兩個問題:①模型參數眾多,計算量大,在特征提取過程中占用了較大內存與計算時間；②在前向傳播過程中由于存在非線性變換導致變換過程中信息的損失。

針對第一個問題,使用深度可分離卷積網絡[15-17],結構如圖2所示,基本思想是將卷積分成兩個單獨的層:深度卷積和逐點卷積。深度卷積使用n×n卷積核對每個輸入通道分別進行卷積。逐點卷積使用1×1卷積對深度卷積輸出的特征圖進行線性組合來構建新的特征圖。這種結構將空間相關性和通道相關性分離,相比傳統的卷積,它可以減少約k2計算復雜度,當卷積核k=3時,計算成本少8～9倍,而保留了準確率。

Depthwise Conv為深度卷積，3×3、1×1為卷積層的卷積核大小；Batch Normalization為批歸一化；Pointwise Conv為逐點卷積；ReLU(rectified linear unit)為線性整流函數，其后的數字 6為此函數的參數圖2 深度可分離卷積Fig.2 Depthwise separable convolutions

針對問題二,Sandler等[11]在流形學習理論的基礎上提出非線性激活函數ReLU在高維度下會較好地保留信息,而在低維度下會丟失特征信息,故在輸入層應該增加特征維度之后再對其進行非線性變換,而在輸出層應該對特征進行降維后使用線性激活函數以減少信息的丟失,據此提出倒置殘差結構(inverted residual block),如圖3所示。倒置殘差結構與殘差結構[18]相比,輸入和輸出的通道數更少,并使用深度可分離卷積來過濾中間擴展層中的特征,這樣提高了內存效率。

在MobileNetv2倒置殘差結構的基礎上加入SENet,如圖4所示。SENet是由Momenta研發工程師Hu等[12]提出的卷積神經網絡結構,此結構通過建模特征通道間的依賴關系,增強網絡對特征的選擇和抑制能力,其主要由Squeeze、Excitation和Reweight 3部分構成,如圖5所示。其主要操作流程為:①Squeeze操作,使用全局平均池化壓縮每個通道的特征,將每個通道的特征壓縮為一個數值；②Excitation操作,通過控制兩層全連接層的權值,來建模各個特征通道之間的相互依賴關系；③Reweight操作,通過Sigmoid得到范圍為0～1的歸一化權重,最后對每個通道分別進行乘法操作將權值加權到原特征上。

expansion convolution為擴展卷積，作用是擴展特征圖的大小；depthwise convolution為深度卷積；projection convolution為投影卷積，作用是縮減特征圖的大小圖3 倒置殘差結構Fig.3 Inverted residual block

expansion convolution為擴展卷積；depthwise convolution為深度卷積；GAP(global average pooling)為全局平均池化層；FC代表全連接層圖4 改進的倒置殘差結構Fig.4 Modified inverted residual block

X代表輸入；H、W、C分別代表圖片的高、寬、通道數；Ftr代表卷積、池化操作是傳統的(tradition)；Fsq代表卷積、池化操作的作用是Squeeze操作；Fex代表卷積、池化操作的作用是Excitation操作；Fscale代表卷積、池化操作的作用是尺度放縮(scale)圖5 SENet結構Fig.5 Composition of SENet

3 自習室人數檢測試驗

3.1 數據集制作

訓練樣本來源主要有兩部分,一部分樣本數據來自微軟開源數據集(common object in context,COCO)[19],另一部分樣本是自己采集制作。原始COCO數據集中包含80多類對象,所以需要去除與實驗無關的類別,僅留下關于人類別的數據。自己的數據集來自教室上方安裝攝像機拍攝的視頻,將采集的視頻分幀,取出不同時段的圖像作為訓練樣本,選取人數較少的圖片來減少數據標注的成本。由于相機采集的是720P而網絡輸入是300×300,為避免數據過度壓縮損失信息,將每幀分為4份數據,然后在這些圖像上標注,制作成PASCAL VOC數據集,最終訓練集共66 615張,其中包含人的樣本有43 622張。測試集共11 370張,包含人的樣本為7 331張。

3.2 數據預處理

由于樣本中各種情形下的圖像樣本并不一致,為了避免樣本分布不均導致訓練出的模型泛化性能不佳問題,對自己采集的樣本進行旋轉、縮放、裁剪、平移、對比度、色彩抖動等操作,實現數據增廣,使得訓練的模型更好適應小尺度目標,提高泛化性。同時由于室內光照問題,特別是在距離光源較近的人身上的光照很強,使得處于此環境下的人相對于光照射下表面會有較大變化,從而會影響室內人檢測的精度。采用自適應直方圖均衡化來對圖像進行增強從而提高圖像的質量,減少光照變化對圖像的影響。

3.3 訓練平臺

采用NVIDIA GeForce RTX 2080 Ti型GPU、Intel i7-9700K CPU作為硬件平臺,操作系統為Windows 10,并行計算框架版本為CUDA v10.0,深度神經網絡加速庫為CUDNN v10.0。采用Python 編程語言在Tensorflow[20]深度學習框架上實現本文的SSD目標檢測模型并完成對模型的訓練。

3.4 模型訓練

訓練過程中使用困難樣本挖掘 (hard negative mining)策略[21],即訓練過程中先用原始的正負樣本訓練檢測模型,然后使用訓練出的模型對樣本進行檢測分類,把其中檢測錯誤的樣本繼續放入負樣本集合進行訓練,從而加強模型判別假陽性的能力。訓練過程中主要參數為:批大小為128,最大迭代次數為90 000次,每10 000次迭代后衰減一次,每間隔20 000次迭代后保存一次模型,最終選取精度最高的模型,訓練loss曲線如圖6所示。

圖6 改進SSD的訓練loss曲線Fig.6 Improved SSD training loss curve

3.5 模型集成

模型測試平臺是搭載神經元計算棒NCS2的樹莓派3B+,計算環境是OpenVINO 2019R1。訓練完成后將ckpt模型轉化為pb模型文件,pb模型文件具有語言獨立性,可獨立運行,封閉的序列化格式,可移植性好。最后將pb模型文件轉化為IR模型,將IR模型在部署好環境的樹莓派上運行測試。

4 實驗結果與分析

4.1 評價指標

通過在測試集中分析模型改進前后的檢測精度、檢測速度和參數量以對比模型的性能。把測試集圖像輸入訓練好的網絡,對室內的人進行檢測并記錄其位置,當模型預測的目標邊界與測試集對應的標注數據中的邊界框的交并集比(IOU)大于等于設定的閾值時,認為檢測結果正確,否則視為檢測錯誤。檢測精度的評價指標選取準確率P、召回率R和調和均值F1,各個評價指標的定義為

(3)

(4)

(5)

式中:TP為正確檢測到人的數量；FP為誤把非人目標檢測為人的數量；FN為誤把人檢測為背景的數量；F1為對準確率和召回率的調和均值。

4.2 改進的SSD對室內人的識別結果

在制作的測試數據集上,默認IOU閾值情況下,分別對改進前后的SSD目標檢測模型做測試,準確率與幀率如表1所示。

表1 改進前后SSD的實驗結果

由表1可以看出,改進的SSD目標檢測模型準確率提高了4.48%,召回率提高了1.44%,在特征提取MobileNetv2中加入SENet模塊可以使SSD目標檢測模型準確率和召回率均得到提高,且在搭載NCS2的樹莓派3B+測試平臺下檢測速度可達8幀/s,適合在移動設備上部署。下面實驗均在改進的SSD模型上進行。

4.3 IOU對檢測準確率的影響

當IOU閾值在0. 5以上時,對人的檢測結果會受到很大影響,其漏檢率將快速上升[22]。不同于城市環境下對檢測到的人要求精確的位置,在室內人數檢測場景下,對室內人檢測的位置精度要求不高,只需較高的準確率即可。通過比較IOU閾值在0.3～0.6時準確率和召回率,選擇較為合適的 IOU閾值。不同IOU閾值下,模型檢測結果如表2所示,測試樣圖如圖7所示。根據結果得出改進的SSD 目標檢測模型在室內環境下檢測人的IOU閾值在0.4最合適,模型的準確率和召回率比默認的閾值0.5時分別提高了0.98個百分點和0.62個百分點,故而在IOU閾值為0.4下進行下面模型檢測性能的對比試驗。

表2 IOU對準確率的影響

圖7 IOU對準確率的影響Fig.7 Experimental results on various IOU thresholds

4.4 不同拍攝高度對檢測準確率的影響

室內圖像數據大多是在空中的攝像機采集,不同攝像機高度下采集的圖像中人臉與頭部的面積比例不同,會影響模型的準確率。本實驗包含拍攝高度3、4、5 m各100張測試集,選擇實際中較為合適的拍攝高度,檢測結果如表3所示。根據結果得出模型在室內環境下在4 m高度采集人照片最合適,模型的F1比另兩種高度下分別高出0.69個百分點與1.38個百分點。

表3 拍攝高度對檢測準確率的影響

5 結論

(1)通過修改原SSD的特征提取網絡部分,將原VGG特征提取部分更換為加入SENet的MobileNetv2,使目標檢測模型更輕量化,并提高了模型對特征信息的選擇能力。在綜合COCO數據與自制作的數據集上,改進后SSD模型比改進前準確率和召回率分別提高了4.48%和1.44%,且在硬件平臺為搭載NCS2的樹莓派3B+下每秒可檢測8幀。試驗結果表明,模型具有較高的準確性。在邊緣計算設備上有較好的實時性。

(2)由于室內人數檢測無須精確的人的位置信息,故將IOU閾值取為 0.4。在此閾值下,模型的準確率和召回率比默認的閾值0.5時分別提高了0.98個百分點和0.62個百分點。

(3)通過比較不同拍攝角度下數據的檢測結果,本文訓練的模型在室內環境下在4 m高度采集人照片最合適,比3、5 m高度下分別高出0.69個百分點與1.38個百分點。