基于FasterR-CNN的教室監控人數識別系統的開發與研究

王子威 范伊紅 趙錦雯 王濤

摘要：通過Opencv調用設備攝像頭將數據讀入，視頻流切分成圖片流后進入在Tensorflow框架下訓練好的FasterR-CNN模型進行目標識別，將識別出的目標進行標記并輸出。在教室環境下由于相互遮擋和密集度大的問題嚴重，原始的訓練模型不能很好地識別困難目標，通過收集大量教室監控截圖并進行Data Augmentation數據增強來進一步地擴大樣本，提高識別準確度;使用LabelImg對數據進行標注生成訓練和測試數據集，將VOC2007及新標注樣本進行合并得到NEW_VOC2007，在此新數據集上進行訓練及測試生成新模型。實驗證明，新模型能夠更好地適應教室環境的識別，準確度更高。

關鍵詞：Tensorflow; Opencv; 卷積神經網絡;Faster R-CNN;目標識別;LabelImg

中圖分類號：TP391 ? ? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2020）17-0035-04

Abstract： In the school environment， pedestrian-intensive， sheltered， multi-scale problems are common.In this paper， Faster R-CNN is used for pedestrian detectionin complex environment of school buildings. When training samples， ?A training strategy for Difficult Sample Mining is introduced， which adjusts the weight of difficult samples while picking out difficult samples， so as to make training more focused. LabelImg is used to lable the data sampled in complex environment. Then VOC2007 and the annotated samples are merged to obtain extended VOC2007 data set. Training and testing are carried out on this basis to establish the model with good performance. The experimental results show that compared with the four-step training method commonly used in Faster R-CNN， the generalization performance is improved by using this training method.

Key words： tensorflow; opencv; convolutional neural network;faster R-CNN;pedestrian detection;labelimg

1引言

近年來，深度學習（Deep Learning）在機器學習研究的各個領域如計算機視覺、醫療、自然語言處理等都取得了引人注目的成果。而計算機視覺領域的核心問題之一就是目標檢測（object detection），它的任務是找出圖像當中所有感興趣的目標（物體），確定其位置和大小。

傳統的目標識別算法如Cascade + HOG、DPM + Haar等，必須手動設計特征提取方案，所以算法很難提高識別準確度。就目前圖像分類結果的準確率來看，卷積神經網絡更為適用。為了加快提取候選區域的速度，克服人工設計特征魯棒性差的難題，本文借鑒了目標檢測領域的卷積神經網絡Faster R-CNN模型利用區域建議網絡（Regional proposal network，PRN）生成建議候選區域，進行目標檢測。Tensorflow是基于Computation Graph的機器學習框架，支持GPU和分布式，是目前最有影響力的開源深度學習系統。本系統在Tensorflow框架下對Faster R-CNN進行擴充訓練集訓練，使其能夠更好地在教室環境下對目標進行更準確的檢測，使其能夠更好地將每個教室的人數和空座情況反饋給學生、教師和后勤安保部門，進而減少學生找教室和教師課堂點名的時間和學校資源的浪費。

2 Faster R-CNN介紹

Faster RCNN是基于深度卷積神經網絡的目標檢測算法，主要解決兩個問題：1）提出區域建議網絡RPN，快速生成候選區域;2）通過交替訓練，使RPN和Fast-RCNN網絡共享參數。其結構如圖1所示。RPN用于預測輸入圖像中可能包含目標的候選區域;Fast RCNN用于分類候選區域，并修正候選區域的邊界框。這兩個網絡使用共享的卷積神經網絡來提取特征（訓練模型使用的網絡為VGG16。Faster R-CNN主要的四個部分有：

1）特征提取層，用于提取圖片的特征，輸入為整張圖片，輸出為提取出的特征稱為feature maps;

2）RPN網絡（Region Proposal Network），用于推薦候選區域，這個網絡是用來代替之前的search selective的。輸入為圖片，輸出為多個候選區域，即預測框;

3）RoI pooling層，將不同大小的輸入轉換為固定長度的輸出;

4）回歸和分類，識別目標類別，計算損失值對模型權重參數進行調整。

2.1特征提取層

特征提取層用于提取圖片的特征，特征圖被共享用于后續RPN（Region Proposal Network）層和全連接層，特征提取層選用的網絡為VGG16，VGG16由13個卷積層，3個全連接層，5個池化層構成，具有簡單高效的特點，它的卷積層均采用相同的卷積核參數，池化層也均采用相同的池化核參數，能夠很大程度上減少了模型的參數數量，降低網絡復雜程度而且能夠很好地降低模型的過擬合程度。輸入圖片經過Reshape操作統一變成M*N大小地圖片送入特征提取層，經過VGG16網絡運算后輸出從圖片提取的多張特征圖用于后續計算。

2.2 RPN網絡

RPN網絡（Region Proposal Network），如圖1，用于推薦候選區域。經典的檢測方法如OpenCVadaboost使用滑動窗口+圖像金字塔生成檢測框、RCNN使用SS（Selective Search）方法生成檢測框，都非常耗時，而Faster RCNN則拋棄了傳統的滑動窗口和SS方法，直接使用RPN生成檢測框，這也是Faster RCNN的巨大優勢，能極大提升檢測框的生成速度。RPN做兩件事：1）把feature map分割成多個小區域，識別出哪些小區域是前景，哪些是背景，簡稱RPN Classification;2）獲取前景區域的大致坐標，簡稱RPN bounding box regression。這個網絡實際分為2條線，上面的網絡分支通過softmax分類anchors獲得前景和背景;下面的網絡分支用于計算對于anchors的邊界框回歸的偏移量，以獲得精確的目標候選區。

2.3 RoI pooling層

ROI（region of interest），感興趣區域即用于框出目標的方框，該區域用向量[x，y，l，w]表示，（x，y）表示方框頂點坐標，l和w分別表示方框的長和寬。RoI Pooling層負責收集proposal（建議區域，即目標方框），將proposal劃分為n*n塊子區域（n取決于RoI Pooling輸出矩陣大小），并通過maxpooling，如圖2，計算每個子區域的最大值，生成特定大小的特征圖proposal feature maps，送入后續網絡。具體計算流程如下（n取2）。

2.4回歸和分類

分類用于識別目標類并用n*1大小的向量表示每個類別的概率，n表示類別數。回歸是指通過計算損失值對模型權重參數進行調整，模型預測效果更加準確。邊框回歸，如圖3，是指對于窗口一般使用四維向量（x，y，w，h）來表示，分別表示窗口的中心點坐標和寬高。對于圖3，紅色的框P代表原始的Proposal，綠色的框G代表目標的Ground Truth，我們的目標是尋找一種關系使得輸入原始的窗口P經過映射得到一個跟真實窗口G更接近的回歸窗口G^。

3系統設計

該系統在Tensorflow-GPU框架下進行Faster R-CNN神經網絡模型的訓練，訓練使用的數據集為VOC2007數據集，使用的網絡模型為VGG16，使用CUDA加速深度卷積網絡的訓練，利用GPU強大的并行計算能力，處理神經網絡訓練時大量的矩陣運算，最后得到訓練后的模型;在第一輪訓練的基礎上，把VOC2007數據集進行擴展，把大量收集的教室監控截圖通過Opencv進行數據增強操作，對圖片進行翻轉、切割、修改亮度和對比度等進行數據再擴充，并通過LabelImg進行標圖，將其制作成數據集用于訓練和測試。再次訓練模型得到新模型，新模型更加適應教室環境的目標檢測。再通過Opencv調用設備的攝像頭進行視頻流數據輸入，加載二次訓練得到的新模型并將視頻流分割成圖片流并輸入進行目標檢測，再將結果圖片拼湊轉換成視頻流輸出。程序流程圖如圖4所示。

在教室環境下由于相互遮擋和密集度大的問題嚴重，原始的訓練模型不能很好地識別困難目標，通過收集大量教室監控截圖并進行Data Augmentation數據增強來進一步擴大樣本，提高識別準確度。

4模型訓練

模型訓練的目的是通過大量的數據來不斷循環迭代進行參數權重調整，從而在獲得最優的權重參數使其在真實情況下獲得更高的準確率。本文的模型訓練方法為四部訓練法（也稱聯合訓練）：1）單獨訓練RPN網絡，網絡參數由預訓練模型載入;2）單獨訓練Fast-RCNN網絡，將第一步RPN的輸出候選區域作為檢測網絡的輸入;3）再次訓練RPN，此時固定網絡公共部分的參數，只更新RPN獨有部分的參數;4）那RPN的結果再次微調Fast-RCNN網絡，固定網絡公共部分的參數，只更新Fast-RCNN獨有部分的參數。訓練通過反向傳播進行神經元權重參數調整，神經網絡反向傳播流程圖如圖5所示。

在模型訓練中往往會出現過擬合，使得模型在訓練集上獲得非常高的準確率但在新的測試集上準確率反而大大下降，即訓練出的模型泛化性弱，不是一個好模型。神經網絡模型訓練的三種情況如圖6所示。

為了避免過擬合的問題，使用了L1正則化方法（regularization）同時使用Dropout隨機忽略一部分神經元。正則化的思想就是在損失函數中加入刻畫模型復雜程度的指標。神經網絡模型的效果以及優化的目標是通過損失函數（lossfunction）來定義的。

FasterRCNN的的損失主要分為RPN的損失和Fast RCNN的損失，并且兩部分損失都包括分類損失（cls loss）和回歸損失（bbox regression loss）。使用的損失函數為Smoooh L1 Loss，計算公式如下：

上式中分類的損失值是在RPN層中計算的，是前景的softmax結果，由于[Lcls]和[Lreg]結果差距過大，引入k平衡二者的值。

Faster R-CNN用于處理多分類任務，所以簡單的線性二分類不適用。為了解決這個問題，使用激活函數來實現去線性化。激活函數往往是非線性函數，在卷積神經網絡VGG16的每個神經元的輸出經過一個激活函數處理使其呈現非線性化，從而使得整個神經網絡的模型也就不再是線性的了。常用的激活函數有ReLU激活函數（如圖7）、sigmoid激活函數、tanh激活函數，而ReLU激活函數更適用于深層卷積神經網絡，故選擇ReLU作為網絡的激活函數。

5測試

在神經網絡模型中，往往通過mAP （Mean Average Precision），平均精確度來測量模型的預測精度。原始模型的mAP和擴充數據后進行再訓練得到的模型mAP數據對比如下表1所示。

由此可見隨著訓練輪數的增加，模型的準確度再不斷上升，且經過40000輪訓練后對比發現，使用VOC2007數據集經過訓練得到的模型在教室這種特定的環境下模型mAP最高值為79.60%，經過數據增強后擴展原始VOC2007數據集能提升模型的mAP最高值為83.43%，提高了4.83%，模型的預測效果更好。

用原始模型和擴充數據集再訓練后的識別效果對比圖如圖10所示。（圖10-a、10-b為用原始模型進行目標檢測）

對比可知，對原始VOC2007數據集進行數據增強后的數據集擴充能夠使模型更好地適應教室環境下的目標檢測，識別的人數和準確值都有所提升。

6 結束語

由于本系統是針對教室這種頻繁出現目標重疊、目標密度大的復雜環境進行目標檢測，通過Faster R-CNN在原始的VOC2007數據集上進行訓練得到的模型并不能夠很好地適應教室環境，所以通過收集大量教室監控的截圖并通過Opencv對圖片進行數據增強處理，然后通過LabelImg標圖來擴展數據集，并再次訓練模型，使模型更能適應特定環境。經過實驗發現，針對特定環境采用大量該環境下的圖片通過數據增強處理來擴充數據集，能夠提升訓練出的模型在特定環境下的識別準確度。

參考文獻：

[1] Ren SQ，He KM，Girshick R，etal.Faster R-CNN：towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017，39（6）：1137-1149.

[2] Breiman， L.Bagging predictors.Maching Learning， 1996，24（2）：123-140.

[3] Breiman， L.Randomizing outputs to increase prediction accuracy.Maching Learning， 2000，45（3）：113-120.

[4] Murthy S K，Kasif S，SalzbergS.A system for induction of oblique decision trees[J].Journal of Artificial Intelligence Research， 1994，2：1-32.

[5] Felzenszwalb P F，Girshick R B，McAllester D，etal.Object detection with discriminatively trained part-based models[J].IEEETransactionson Pattern Analysis and Machine Intelligence， 2010，32（9）：1627-1645.

[6] Utgoff， P.E.， N.C. Berkman， and J.A. Clouse.（1997）. “decision tree induction based on efficient tree restructuring.” Machine Learning， 29（1）：5-44.

[7] Valiant L G.A theory of the learnable[J].Communications of the ACM， 1984，27（11）：1134-1142.

【通聯編輯：唐一東】