基于深度殘差網絡和YOLO的人物識別系統

鄒阿金，李承駿，陳越鋒

（1.廣東海洋大學電子與信息工程學院電子信息工程系，湛江524088；2.廣東海洋大學電子與信息工程學院通信工程系，湛江524088；3.廣東海洋大學電子與信息工程學院自動化系，湛江524088）

0 引言

人數檢測在現代社會具有廣泛的應用，諸如學校、地鐵站、商場等公共場合的人流量統計，其中安全問題尤其重要，這就需要人為地對檢測到的視頻信息進行實時統計和分析理解，此項目適用于公安或保障部門對特定場景進行人流量控制，以防擁堵和意外的發生。如果商場加入人流量檢測系統，就能定量分析出商場哪些消費區的人流多，進而改變商場的購物區結構，促進消費，提高經濟效益；城市內如發生突發事故，造成交通擁堵，疏散人流也可以根據市內人流分布圖，制定合理的方案。總的來說，人流量檢測在當今社會有著十分深遠的意義，由于計算機技術的迅猛發展，計算機硬件的支持度越來越廣，能訓練的深度神經網絡的層數也越來越深；卷積神經網絡作為深度學習的一個代表，近年的發展十分迅速，其權值共享的連接方式大大減少了訓練所需要的參數數量，降低了網絡的輸入維度，使得網絡具有更高的魯棒性，同時還有效地抑制了過擬合的問題[1]，目前許多神經網絡的構建都是基于卷積網絡的變形和改進。

1 研究現狀

人群密集度的檢測，主要通過調用現場監控的攝像頭來獲得監控的圖像信息，然后對圖像里的內容進行分析，進而得到該地區的人流密集度。一般在不同場景之中，都會配備最少一個攝像頭，可以通過監控前景的邊緣和前景的像素來實現場景的人群密度的估量。近年來，用神經網絡提取人物特征的方法已經在人物檢測、人物識別領域得到廣泛應用[1]，對于相同的樣本，卷積神經網絡會隨著層數的增加而提高模型的穩定性和精確度，但是同時也存在梯度消失的現象，模型的精度不升反降，利用殘差網絡的殘差塊能很好地解決這個問題。深度殘差網絡在ILSVRC和COCO的分類比賽之中獲得了五項第一的好成績[2]，這些研究表明，網絡層越深，輸入層和輸出層的聯系越近，對于分類的效果也就更加地好，所以如果單純要提高目標識別的精度，基于卷積神經網絡，只需要把網絡層的深度增加即可，殘差塊的提出給現在的研究帶來了許多創新。

2 訓練過程

對訓練使用的樣本數據，進行ROI感受視野區標記，分為大、中、小的三類數據集，初始的輸入數據為250×200，另外還用了25×20的小樣本圖片，每次對于新的輸入，進行放大、縮小處理得到三種尺度的圖片。使用wider face提供的數據（如圖1所示）作為樣本輸入網絡之中，其中包含已做好標記的人臉框數據。對于不同距離的人臉檢測，由于遠近的關系，會產生人臉模糊度高，清晰度不夠的現象，這里還添加了上下文的數據，如圖2所示，對于不清晰的人物，則加以上下文的判斷（人物的特征如：手、足、脖子，等等）。

圖1 基于ROI的人臉數據

圖2 人物上下文數據

3 圖片多尺度的檢測

目前密集人群識別精度不高的主要原因是：識別模型提取的特征不夠多，模型魯棒性不夠好。為了解決特征樣本不夠的問題，制作多尺度的圖片；小尺寸的圖片可以幫助檢測小目標，大尺寸的可以包含更豐富信息。采用傳統的方法建立一個應用于精細離散圖像金字塔的單尺度模型，如圖3所示，對圖片進行不同分辨率的處理，并完成放大和縮小的操作，每次對輸入的圖片，通過放大和縮小，得到三幅不同尺度的圖片；針對不同的對象尺度構建了不同的檢測器（在訓練的數據相對小的情況下，這種方法可能會有較大的誤差）；以此訓練多種尺度混合的檢測器，在識別時基于不同的分辨率，用非最大抑制（Non Maximum Suppression）來獲得最終結果。

圖3 圖像金字塔模型

圖像金字塔，是一種透視的觀點，以多分辨率來解釋圖像，現實之中也因為拍攝的距離，對于得到的數據有多種的尺度，要實現遠近模糊的識別，可將圖像數據集按照圖像金字塔的原理，采樣得到不同的分辨率作為拓展的訓練集，大大提高了模型的魯棒性。

圖4 人臉數據裁剪原理

圖4中是部分的特征，圖中虛線框內的范圍越大代表感受的視野越大，即隨著ResNet的層數的增加，在提取特征的時候，不同尺度圖片提取到的特征有所不同，以下是本方法的測試結論。

（1）增加更多的上下文信息（感受野）有助于檢測；

（2）對于小人臉，483×483的訓練性能不好，精度下降，這是過擬合造成的現象；

（3）對于大人臉，更大的感受野帶來的提升已經不是很明顯；結論是不同尺度目標檢測都使用同樣大小的感受野.91×291。

4 網絡層的搭建

模型是用ResNet-101網絡訓練獲得的，將每兩個卷積層后的輸出分為兩條路，其中一條直接進入weight layer下一層，另外一條路直接作為下一個卷積層的輸入。可以實現隨著網絡深度的增加而訓練精度逐層提高，不會出現退化的現象。因為第二條路直接將低緯度的特征直接輸入到下一個網絡之中，不會因為卷積而丟失了數據，大大提高了模型的準確性。殘差塊的原理如圖5所示：

圖5 殘差塊原理圖

它有兩層，公式（1）中的σ表示的是非線性函數ReLU。

然后通過一個shortcut，和第二個ReLU，獲得輸出y：

當需要對輸入和輸出維數進行變化時（如改變通道數目），可以在shortcut時對x做一個線性變換Ws，如公式（3）所示，然而實驗證明x已經足夠了，不需要再進行維度變換，除非需求是某個特定維度的輸出。

對于每個層，都包含了卷積層和歸一化的操作，最后通過激勵函數ReLU的操作，將數據輸出到下一層。有了快捷通道，可將低緯度的信息直接輸入到下一個層之中。對于7×7的數據輸入，卷積核選用3×3的矩陣，中間銜接數個殘差塊，最后經過全局平均池化層進入全連接層。

5 YOLO解決實時處理問題

目標檢測從R-CNN到Fast R-CNN，再到Faster R-CNN（候選區生成，特征提取，分類，位置精修）,YO?LO利用單一的CNN網絡，從像素到目標的候選框以概率的形式輸出，達到了端到端優化的一個目標，大大提高了處理的速度[3-4]。

YOLO V2的檢測非常快，這是它的優點，因為沒有復雜的檢測過程，只需要將圖像輸入到網絡就可以得到檢測結果，YOLO可以實現快速的檢測任務，標準版本的YOLO的檢測速度在高配置的GPU上能達到45fps，更快的Fast YOLO的檢測速度可以達到155fps,YOLO是mAP是其他實時檢測系統的兩倍以上。

YOLO V2先對分類網絡進行了fine tune，相比較YOLO V1的版本，YOLO V2參考了Fast R-CNN的方法，不是單純的利用全連接層的數據完成邊框的檢測，YOLO V2使用了一種叫anchor boxes的候選框，它的原理是在一幅圖中，對于每個人物可能在的圖像的位置，建立9個候選窗口（有三種面積和三種比例的組合），這就說明了YOLO V2為能夠做到識別和定位。

圖6 YOLO候選框原理

YOLO V2采用的是GoogleNet的網絡結構，雖然精度略低于VGG-16，但是它的實時性非常優秀，適合于應用開發，而且它具有定位和識別的功能，在一張圖片中可以快速找到目標人物所在的位置。所以對于做產品應用是非常合適的。

6 效果檢測

對于密集環境的人數統計，例如考勤、人數評估等，需要較為精密的統計；ResNet-101層的網絡層次較深，可以識別出800～1000人的環境，對于一般情況下的密集人數統計是沒有問題的，可以直接統計出人群的密度。在GTX960的顯卡上，用CPU識別用了10秒，GPU時間可以大大縮短，達到了3秒內，這里因為網絡層的結構并不能達到實時，但是許多應用是不需要實時的，對于統計來說，主要是省去了人為計數的麻煩。

圖7 密集人頭檢測

圖7所示的密集人頭識別，是根據淺層卷積神經網絡提取人物低層特征，并采用卷積層將已提取的高層特征和低層特征進行融合，一般的遮掩和小人臉的檢測都可以實現，精度可以達到90%以上，本文根據適應的場景使用不同的算法完成了識別系統的設計，其中人數統計采用YOLO V2的功能進行實現，在人流量相對少，且要求實時性高的環境之下，可以實現人物識別和位置跟蹤，如圖8所示。

圖8 YOLO V2人物檢測

7 結語

鑒于在非受限條件下人臉圖像分類準確度低的問題，本文應用ResNet-101網絡和YOLO實時性檢測技術，完成了人臉識別，該方法的計算量小,所以易于實時處理，此外還提出了利用線性神經網絡恢復圖像殘差的超分辨算法，檢驗了現有算法的效率與精度；現階段對于高精度、高效率的檢測需求十分的迫切，在軟件上集合了兩者的功能，可以實現不同需求的識別；實驗表明，該方法能夠有效地提高不使用大數據集時非受限條件下人臉圖像分類精度。