基于深度學習的目標檢測算法*

葛 雯，宮 婷，王 媛，胡愛玲

（沈陽航空航天大學電子信息工程學院，沈陽110136）

1 引 言

人類認知世界的的主要器官是眼睛，而眼睛給我們帶來的信息是以圖像信息為主的。大腦與眼睛合作使人們認知并感知世界。所以，計算機智能化的首要目標是能夠對圖像信息進行采集以及相關處理。目前，該項技術已經趨于成熟，被普遍應用于醫療、軍事等領域。人工智能技術正處于發展的上升期，深度學習理論的應用已成為新興熱點方興未艾。將深度學習模型應用于目標識別，與傳統的方法相比，具有精度高、運算量小的優點，受到廣泛采用，是目前業界的一個比較熱門的話題。

傳統的目標識別方法分為三個步驟：(1) 選出候選區域,即在原始圖像上找到或者預測出目標可能存在的區域；(2) 區域特征提取，提取目標的特征以及與目標相關的主要信息；(3) 分類器分類，在上一步得到的特征信息基礎上將目標進行分類。由此可見，此傳統方法的弊端在于設計者需要思考如何進行特征提取，所以受限于設計者的經驗與經歷，如若提取的特征不全面或者有丟失的信息，將會嚴重影響最終識別結果的準確性。

在卷積神經網絡受到廣泛應用之前，DPM[1]（Deformable Parts Model,可變形的組件模型）是一個非常成功的目標檢測算法，連續獲得VOC（Visual Object Class）2007、08、09年的檢測冠軍。DPM 可以看做是 HOG（Histogrrams of Oriented Gradients）特征和SVM（Surpport Vector Machine）分類器的合作，先計算梯度方向直方圖，然后用SVM 訓練得到物體的梯度模型。這樣處理之后的模板就可以直接用來分類了，此法在一些檢測任務上取得了非常理想的檢測效果。

卷積神經網絡[2]（Convolutional Neural Network,CNN）最早源自于動物的神經元。每個動物神經元只負責處理一小塊區域的視覺圖像，稱為感受野（Receptive Field）,相當于CNN 卷積核的處理過程。此模型在許多目標識別中都獲得了較好的結果。

目前在目標識別領域的算法主要分為兩部分，一是傳統的目標檢測算法，二是基于深度學習的目標檢測算法。基于深度學習的算法根據其具體的步驟分為基于候選區域的算法，例如R-CNN[3]、FastRCNN[4]、FPN、SPPNet[5]等，和基于回歸的算法，YOLO、SSD[6]、YOLOv2 等。

2 Faster R-CNN

2014年，Girshick 等人提出的 R-CNN 算法首次在目標識別領域應用卷積神經網絡，其取得的效果遠遠好于傳統的識別算法。在這種基于候選區域的深度學習目標識別算法中產生候選區域時普遍應用的算法有Selective Search[7]和Edge Boxes[8],然后利用卷積神經網絡提取特征向量，在特征提取方面，現在目標檢測領域普遍采用卷積神經網絡進行特征提取替代人工特征提取，再利用SVM 進行特征向量分類，經常用到的分類模型有Alex Net，VGG，Google Net，Res Net 等等。在效果上，R-CNN在PASCAL VOC 2007[9]上的檢測結果平均精度接近 DPM 的 2 倍。

Region CNN（R-CNN）是利用深度學習進行目標識別檢測的開始。作者Ross Girshick 多次在PASCAL VOC 的目標檢測競賽中奪冠，更帶領團隊獲得終身成就獎。R-CNN 將CNN 算法與候選區域方法相結合，利用二者的優點，更優地實現了目標識別的問題。但是R-CNN 有一個缺點：它需要提取所有候選區域的特征，所以在計算上有許多重復。針對這一缺點提出了新的算法，即Fast R-CNN，它在R-CNN 的基礎上加入了金字塔池化層，將邊緣提取也采用神經網絡的提取方式，在一定程度上減少了計算量。但是Fast R-CNN 采用選擇性搜索的方式找出所有的候選框，也是十分耗費時間的。

Faster R-CNN 算法由任少卿等[10]提出，在目標檢測領域取得了優異的成果，引來眾多研究人員對其做進一步的研究與改進。該算法首先使用CNN 進行特征提取，然后在Fast R-CNN 的基礎上，將獲取候選區域的Selective search 方法改進為RPN 網絡，得到候選區域，接著使用Softmax 多任務分類器進行后續的分類與回歸步驟，具體流程圖如圖1所示。

圖1 Faster R-CNN 流程圖

圖中主要步驟解釋如下：

1) 特征提取網絡

特征提取網絡是可以根據實際需進行替換的卷積神經網絡，訓練數據的多少影響最終的性能與效果，其最常用的訓練網絡有ImageNet、ZF-Net 等等。ReLU 函數是使用較普遍的激活函數，定義如下式：

ReLU 函數由于梯度值恒為1 ，所以避免了梯度消失的現象，增快了收斂速度。

2) 候選區域生成網絡

對待檢測圖像進行粗檢，輸出多種尺度和寬高比的矩形候選區域。針對每個基準矩形候選區域框輸出4 個修正參數，修正之后可得到最終的候選區域框，給出基準矩形框公式如下：

3) 分類回歸網絡

以特征提取網絡輸出的特征圖和候選區域生成網絡輸出的候選區域為輸入，輸出候選區域對應各類別的置信度和修正參數。

然而，該算法在實時性上還有所不足。

3 改進方法

3.1 候選區域生成與分類回歸

在 Faster R-CNN 算法中，Faster R-CNN 網絡需要對整體的輸入圖像進行特征提取，并對其進行候選區域的生成與分類。候選區域生成網絡和分類回歸網絡共享同一個特征提取網絡，特征提取網絡輸出的特征將不加區分地直接送到候選區域生成網絡和分類回歸網絡中。候選區域生成主要區分背景與目標之間的差異；分類回歸網絡主要區分不同目標之間的特征差異。令二者共用同一個特征提取網絡的輸出作為輸入，會對網絡的性能造成一定程度的影響。

故此針對這一問題提出一種改進方法[11]，針對Faster R-CNN 算法中候選區域生成網絡和分類回歸網絡采用單獨特征提取的網絡結構進行研究,為候選區域生成網絡和分類回歸網絡設置獨立的特征提取網絡，使候選區域生成網絡學習的特征不會進入到分類回歸網絡中，進而提高網絡性能。在訓練過程中需要分為候選區域生成子網絡和分類回歸子網絡兩個子網絡進行訓練。其網絡流程圖如圖2所示。

圖2 改進后的網絡流程圖

3.2 金字塔RPN結構

目標經過攝像頭會呈現出不同尺度的變化，為了使算法對小目標更加敏感，針對檢測目標的多尺度問題，對RPN 網絡進行了改進，提出RPN 金字塔結構[12]，用以解決檢測目標多尺度的問題。

RPN 網絡輸入特征提取網絡生成的特征圖，輸出目標候選區域矩形框集合。原始的RPN 網絡結構通過在輸出的特征圖上利用滑動窗口直接實現候選區域的提取，送入網絡后續部分進一步實現目標的分類和候選區域位置框的回歸，如圖3所示。

圖3 原始RPN 網絡

候選區域生成網絡的損失函數是一個多任務損失函數，定義如下：

式中，i 是基準框序號，pi，ti是基準框的預測置信度和預測修正參數是基準框的標簽基準框則對應于目標標簽框的修正參數，Lcls是預測置信度的損失函數，Lreg是修正參數的損失函數。修正后對應的計算公式是：

以上各等式分別表示目標標簽框的中心橫、縱坐標和寬、高度。本研究提出將RPN 網絡結構的3×3 卷積核增加至3 種大小不同的卷積核進行遍歷。因為對不同尺度的目標僅使用一種大小的感受野是不夠精確的，利用三種不同大小的感受野就可以更加精確地識別目標了。

原始的RPN 網絡結構在最后一層生成的特征圖上使用3×3 大小的感受野進行窗口滑動，改進之后分別通過 5×5、3×3、1×1 三種不同大小的感受野進行窗口滑動之后融合得到候選框，再傳輸給后續網絡進行分類回歸。改進之后的RPN 網絡結構如圖4所示。這樣的結構設計可以適用于目標的多尺度，從而更加魯棒，可提高整個模型的檢測能力。

圖4 改進后的RPN 網絡

4 實驗驗證

為驗證改進算法的有效性，選用深度學習框架TensorFlow 作為實驗平臺，并在數據集VOC 07 上進行驗證。該數據集包括20 種目標類別，一共有9963 張圖片。設置學習率為0.001，衰減因子為0.1，進行迭代。整個網絡的訓練過程使用SGD 反向傳播優化整個網絡模型。在訓練過程中，模型被分為候選區域生成子網絡和分類回歸子網絡兩部分，先初始化特征提取網絡，然后對候選區域網絡和分類回歸網絡進行標準差為0.01 的高斯分布隨機初始化，最后再同時對二者進行調整。

實驗復現了原始的Faster R-CNN 結構，實現了改進的獨立特征提取網絡和“金字塔RPN”結構，并給出模型監測的結果，如圖5所示。不同模型的檢測結果如表1所示。從表中可以看出經過改進的算法比傳統Faster R-CNN 算法的準確率提升了2.8%左右。

圖5 檢測結果圖

5 結束語

以Faster RCNN 為基礎，提出了改進的FasterRCNN 算法。對候選區域生成網絡和分類回歸網絡采用單獨特征提取網絡的情況進行研究并實現了相應的改進算法。針對目標尺寸偏小，首先對anchor的大小進行了調整；進一步對RPN 網絡結構進行了改進，提出了一種“金字塔RPN”網絡結構。最終在檢測數據集VOC 07 上對算法進行驗證。在深度學習的基礎上，目標識別的準確率已經有了顯著提高，但是由于目標識別與神經網絡所涉及的知識十分寬泛，所以還有很大的研究空間。比如可發揮傳統算法中的優點，使之有針對性地與深度學習結合起來，進一步提高算法的準確率，甚至還可使用多GPU 并行訓練網絡。

表1 模型檢測精確度對比表