基于改進SSD的果園行人實時檢測方法

劉 慧 張禮帥 沈 躍 張 健 吳 邊

(江蘇大學電氣信息工程學院， 鎮江 212013)

0 引言

隨著精準農業理論的提出以及智能化機器人的發展，智能農業車輛的自動導航越來越受到國內外的關注[1]。為了保證智能化車輛在無人工干預時在田間操作的安全性，必須有實時的障礙物檢測，當需要人機共同協作完成一些任務時，對田間行人的檢測更是首要考慮的問題。在室外田間環境下，自動導航時存在很大的不確定性，常用的障礙物檢測方法有激光雷達傳感器檢測[2]、超聲波傳感器檢測[3]、紅外傳感器檢測[4]和計算機視覺檢測[5]等。

田間環境下的障礙物檢測，由于其復雜的自然環境、障礙物形態的多變性、光照等外部條件的大范圍變化等，實施起來具有一定難度。田間環境下，超聲波傳感器存在檢測障礙物空間位置準確性較差、易受干擾等缺點，激光雷達傳感器可以較直觀地檢測障礙物，但雷達系統的造價昂貴[6]。計算機視覺檢測相比于其他障礙物檢測方法具有成本低、能夠有效利用環境中的顏色與紋理信息等優點。

近年來由于深度學習相關理論的快速發展及計算能力的提升，深度卷積網絡在計算機視覺方面取得了很大的成功。在目標檢測方面，基于深度學習的方法準確率大大超過了傳統的基于HOG、SIFT等人工設計特征的檢測方法[7]。基于深度學習的目標檢測主要包括兩類，一類是基于區域生成的卷積網絡結構，代表性的網絡為R-CNN[8]、fast R-CNN[9]、faster R-CNN[10]；另一類是把目標位置的檢測視作回歸問題，直接利用CNN網絡結構對整個圖像進行處理，同時預測出目標的類別和位置，代表性的網絡有YOLO[11-13]、SSD[14-15]等。行人檢測是目標檢測的子問題，基于卷積網絡的目標檢測模型由于不需要手動設計特征，可通過深層卷積網絡結構自動學習圖像的高階特征，從而可生成更加可靠的檢測結果[16]。針對深度學習模型參數眾多導致其難以部署在嵌入式設備的問題，很多學者提出了各種相應的模型壓縮方法[17-19]。

本文在LIU等[14]提出的SSD目標檢測模型基礎上對其進行改進，使用MobileNetV2[19]網絡架構作為SSD的基礎網絡進行特征提取，并對輔助層的卷積結構使用反向殘差結構并結合空洞卷積進行位置預測，在利用多尺度信息的同時可以減少計算量和參數量，使其能夠部署在移動端設備中，通過遷移學習對訓練好的網絡模型進行調優，從而減少模型訓練時間并使得模型更容易收斂。本文采用計算機視覺方法結合深度學習進行農業車輛自動作業過程中的行人障礙物檢測，從而為進一步實現田間行人避讓提供理論基礎。

1 田間行人識別模型

1.1 SSD網絡結構

SSD目標檢測模型由于不需要耗時的區域生成及特征重采樣步驟，直接對整個圖像進行卷積操作并預測出圖像中所包含物體的類別及對應的坐標，從而極大提高了檢測速度，同時通過使用小尺寸的卷積核、多尺度預測等使得目標檢測的精度得到很大提升。

SSD網絡結構分為基礎網絡(Base network)和輔助網絡(Auxiliary network)兩部分：基礎網絡為在圖像分類領域具有很高分類精度且去除其分類層的網絡；輔助網絡為在基礎網絡基礎上增加的用于目標檢測的卷積網絡結構，這些層的尺寸逐漸減小從而可以進行多尺度預測。每個添加的輔助網絡層都會通過一系列卷積核產生一個固定的預測集，對于一個m×n×p(p為通道數，m、n為尺寸)的特征層，每個輔助層會使用3×3×p的卷積核對其進行預測并產生某一類別的得分值，或者是物體相對于默認邊界框的位置偏移量，且在m×n個位置都分別預測出相應的值。

SSD模型在特征圖的每個位置預測k個邊界框，并且同時預測某一物體類別出現在此位置的得分和物體位置相對于邊界框的偏移量，從而在每個特征圖的位置分別預測c×k(c為類別數)個得分和4×k個位置偏移量，對于一個尺寸為m×n的特征圖，總體會預測出(c+4)kmn個輸出量。最后對輸出結果進行非極大值抑制來得到最終的關于圖像中物體類別及位置信息的預測值。

1.2 改進的SSD田間行人檢測模型

SSD目標檢測模型使用VGG網絡[20]作為基礎網絡，但VGG網絡模型參數眾多，在特征提取過程中占用了大部分運行時間，且在前向傳播過程中由于存在非線性變換導致變換過程中信息的損失。

SANDLER等[19]在流形學習理論的基礎上提出非線性激活函數ReLU在高維度下會較好地保留信息，而在低維度下會造成較大的信息丟失，故在輸入層應該增加特征維度之后再對其進行非線性變換，而在輸出層應該對特征進行降維后使用線性激活函數以減少信息的丟失，據此提出反向殘差結構(Inverted residual block)。

反向殘差結構中的下采樣操作在增大卷積核感受野的同時會造成特征信息的丟失，所以考慮舍棄卷積結構中的下采樣操作并引入空洞卷積[21-22]來解決此問題。空洞卷積是在原始卷積操作的基礎上增加一個擴張參數,將卷積核擴張到相應的尺度中，同時在原卷積核中未被占用到的區域填充0，應用空洞卷積可以在不用下采樣操作的情況下增加卷積核的感受野。但空洞卷積的使用會令卷積核對數據操作不連續以及對于小物體不能較好識別，本文考慮使用層級特征融合[23](Hierarchical feature fusion) 來解決引入空洞卷積所帶來的問題。

層級特征融合是對空洞卷積層的每一個卷積單元的輸出依次進行求和，并且把每個求和后的結果都通過連接(Concatenate)操作得到最后的輸出結果，如圖1所示。相比于其他通過使用較小的擴張參數使得學習參數變多的方法，此方法具有操作簡單且不增加卷積結構復雜性的優點。空洞卷積層結構表示為(輸入通道，感受野，輸出通道)，其中空洞卷積核的有效感受野為nk×nk,nk=2k-1(n-1)+1；k=1,2,…,K。

圖1 層級特征融合Fig.1 Hierarchical feature fusion

反向殘差結構使用ReLU6為激活函數，其輸出為

Y=min(max(X,0),6)

(1)

式中Y——ReLU6激活函數的輸出

X——輸入特征值

ReLU6相比于ReLU[24]在低精度運算場景中具有更好的魯棒性，另外，使用3×3的卷積核，并且在訓練網絡過程中使用dropout[25]和batch normalization[26]以減少訓練過程中的過擬合。改進前后的反向殘差結構如圖2所示。其中Dwise表示基于深度可分離的卷積結構[27]，Dilated表示卷積方式是空洞卷積，Linear為線性激活函數，HFF表示層級特征融合。

圖2 改進前后反向殘差結構Fig.2 Inverted residual block before and after improvement

結合改進后的反向殘差結構對SSD目標檢測模型的基礎層和輔助層進行改進：①原始SSD使用VGG網絡作為基礎層進行特征提取，但VGG網絡模型不適合在移動設備上部署運行，把其替換為SANDLER等[19]在反向殘差結構基礎上提出的MobileNetV2網絡，其具有參數少、占用空間小且運行速度較快的優點，以此作為SSD的特征提取網絡可以加快運行速度并且減少模型的尺寸及運算量。②SSD輔助層使用傳統的卷積網絡結構導致其參數量和運算量較大，本文使用改進后的反向殘差結構作為輔助層的基本結構，改進后的輔助網絡層可以減少學習過程中非線性變換造成的信息損失且卷積核具有多尺度的感受野。改進后的SSD網絡結構如圖3所示。基礎網絡為去除預測層后的MobileNetV2網絡，輔助網絡層使用改進后的反向殘差結構進行位置及相應類別概率的預測，其中19×19×1 280為輸出的特征尺寸，其余類似。

2 目標函數

訓練過程中所使用的目標函數為

圖3 改進后的SSD網絡結構Fig.3 Improved SSD framework

(2)

其中

(3)

(4)

(5)

式中N——匹配的默認邊界框的個數, 當N為0時，設置L為0

x——預測框與真實框是否匹配

c——標注類別

α——位置預測誤差與分類預測誤差的加權系數

SL1——平滑L1誤差函數

l——預測的邊界框坐標

g——標注的邊界框坐標

Lloc——位置預測誤差，為平滑L1誤差函數

Lconf——對應的softmax多分類誤差函數

xij,k——第i個預測框與第j個真實框關于類別k是否匹配

Pos——樣本中的正例

Box——預測框中心坐標及其寬和高的集合

Neg——樣本中的負例

xij,p——預測框i與真實框j關于類別p是否匹配

ci,p——第i個預測框中目標屬于類別p的得分值

3 蘋果園行人識別試驗

3.1 試驗平臺

采用32GB內存、NVIDIA GTX1080TI型GPU、AMD銳龍5-2600X CPU作為硬件平臺，操作系統為Linux Ubuntu 16.04，并行計算框架版本為CUDA 8.0，深度神經網絡加速庫為CUDNN v7.0。采用Python編程語言在Tensorflow[28]深度學習框架上實現本文的SSD目標檢測模型并完成對模型的訓練及驗證。

3.2 試驗數據

針對已開放的行人檢測數據集都是在城市道路等結構化環境中，PEZZEMENTI等[29]制作了農業環境下行人檢測數據集以促進深度學習技術在農業環境下的應用，包括蘋果園和橙園環境下的已標注圖像。本文使用蘋果園環境下的數據，分為訓練集、驗證集和測試集。訓練集包含行人圖像有15 526幅，不包含行人的圖像有4 570幅；驗證集中包含行人圖像有8 124幅，不包含行人圖像有1 981幅；測試集中包含行人圖像有7 691幅，不包含行人圖像有1 949幅。其中包含行人的圖像分為靜止狀態和移動狀態；按照行人目標所占像素區域面積分為小目標、中等目標、大目標；按照行人所處的姿勢分為正常姿勢、非正常姿勢，其中正常姿勢是正常站立姿勢，非正常姿勢包括躺、坐、蹲和跌落姿勢。

3.3 數據預處理

由于樣本中各種情形下的圖像樣本并不一致，為了避免樣本分布不均導致訓練出的模型泛化性能不佳問題，對樣本中數量較少的分類進行水平翻轉和平移等操作進行數據增廣，使得各種情形下的樣本數量基本一致。同時由于蘋果園自然光照下，特別是在光照很強時，由于行人被植株遮擋或受植株陰影的影響，使得處于此環境下的行人相對于自然光照射下表面會有較大變化，從而會影響行人檢測的精度。本文采用自適應直方圖均衡化來對圖像進行增強從而提高圖像的質量，減少光照變化對圖像的影響。

3.4 模型訓練

為了節省訓練時間及加快收斂速度，本文使用遷移學習來訓練深度學習模型。首先加載已經訓練好的MobileNetV2分類網絡的參數，除去最后的分類層，其余參數值賦給SSD模型中對應的參數，其余各層參數是以0為均值、0.01為標準差的高斯分布進行隨機初始化。

本文使用批量隨機梯度下降算法，設置batch-size為128，沖量為0.9，權值衰減系數為2×10-3，最大迭代次數為8×105次，初始學習率為0.004，衰減率為0.95，每10 000次迭代后衰減一次，每間隔10 000次迭代后保存一次模型，最終選取精度最高的模型。訓練過程中使用困難樣本挖掘(Hard negative mining)策略[30]，即訓練過程中先用初始的正負樣本訓練檢測模型，然后使用訓練出的模型對樣本進行檢測分類，把其中檢測錯誤的樣本繼續放入負樣本集合進行訓練，從而加強模型判別假陽性的能力。

4 結果與分析

4.1 評價指標

通過在測試集中分析模型改進前后的檢測精度、檢測速度和參數量以對比模型的性能。把測試集圖像輸入訓練好的網絡，對田間行人位置進行檢測并記錄檢測結果，當模型預測的目標邊界與測試集對應的標注數據中的邊界框的交并集比(IOU)大于等于設定的閾值時，認為檢測結果正確，否則視為檢測錯誤。檢測精度的評價指標選取準確率(Precision,P)、召回率(Recall,R)和調和均值F1，各個評價指標的定義為

(6)

(7)

(8)

式中TP——正確檢測到行人的數量

FP——誤把非行人目標檢測為行人目標的數量

FN——誤把行人檢測為背景的數量

F1——對準確率和召回率的調和均值，越接近于1，表明模型表現越好

4.2 改進SSD模型對田間行人的識別結果

在測試集中分別對改進前后的SSD目標檢測模型進行測試，并統計其檢測結果和檢測速度，結果見表1。改進后的網絡模型準確率和召回率分別提高了0.82個百分點和1.62個百分點。通過對卷積網絡的改進使得網絡模型參數量相比于原始模型減少至原來的1/7，且其檢測速度提高了187.5%，使得目標檢測模型更適合在移動機器人中部署，實時性更好。

4.3 IOU閾值對檢測結果的影響

前述結果分析中默認選擇IOU閾值為0.5，當檢測結果與標注結果的IOU閾值大于等于0.5時，認為檢測結果正確，否則視為未檢測出行人目標。當IOU閾值在0.6及以下時，行人檢測模型的表現

表1 改進前后SSD模型果園行人檢測結果比較Tab.1 Comparison of detection results between improved SSD and original SSD

對IOU閾值的變化并不十分敏感,當IOU閾值在0.6以上時，行人檢測模型會受到很大影響，其漏檢率將快速上升[31]。不同于城市環境下對檢測到的行人采取的避障策略有很多種選擇，在果園田間環境下，由于受到地形的限制，農機所采取的避障策略可能只有減速或者停止，而不能采取規劃路徑從而避開行人的決策，故而其對田間行人檢測的位置精度要求不高。通過比較IOU閾值在0.3～0.7之間時準確率和召回率，選擇出較為合適的IOU閾值。不同IOU閾值下，改進前后模型檢測結果如表2所示。根據結果得出改進前后的SSD目標檢測模型在果園環境下行人檢測的IOU閾值均在0.4最合適，改進后模型的準確率和召回率比閾值在0.5時分別提高了0.33個百分點和1.93個百分點，改進前模型的準確率和召回率比閾值0.5時分別提高了0.56個百分點和0.41個百分點，故而在IOU閾值為0.4下進行改進前后模型檢測性能的對比試驗。

表2 不同IOU閾值下改進前后模型的檢測結果Tab.2 Detection statistic results on various IOU thresholds %

4.4 不同運動狀態模型識別結果

NREC開放田間行人識別數據集中記錄了拍攝圖像時田間的行人是處于靜止狀態還是連續運動狀態，故而可以根據標注把行人按照運動狀態分為靜止、運動狀態，測試模型在這兩種情形下識別性能的變化。當行人處于靜止狀態時，改進后的SSD檢測結果的F1為93.88%，運動狀態時為90.09%，在運動狀態下的行人檢測性能比靜止狀態降低了3.79個百分點。根據試驗結果可知MobileNetV2網絡架構相比于原始SSD模型中的VGG網絡在運動目標的特征提取上稍弱,故而改進后的模型在運動目標的檢測中性能稍弱，但MobileNetV2網絡的計算量要遠低于VGG網絡，因此，可大大提高模型的運算速度。檢測結果見圖4a。

圖4 改進SSD模型對不同情形下的行人識別結果Fig.4 Detection results of improved SSD model on pedestrian in various conditions

4.5 不同行人姿態下模型識別結果

數據集中包含果園行人處于多種姿態下的圖像，把其分為兩類：一類是正常姿態，即行人處于正常站立狀態；另一類為非正常姿態，包括行人處于躺、坐、蹲和跌落的狀態。在正常姿態下改進后SSD模型識別結果的F1為92.66%,非正常姿態下F1為89.88%。行人不同姿態對模型檢測結果有較大影響，檢測結果見圖4b。

4.6 不同目標面積下模型識別結果

按照田間行人目標占區域像素面積的比例分為大目標、中目標、小目標，其中像素面積在3 501像素以上的為大目標，面積在1 301～3 500像素之間的為中目標，面積在1 300像素以下的為小目標。改進后SSD模型在目標為大、中、小情況下的F1分別為95.07%、92.64%、84.09%。由于行人所占區域像素面積一定程度上反映了行人與攝像機的距離，故而可以分析出當行人處于近、中距離時檢測性能較高，而在小目標情況下即行人距離較遠時檢測性能較改進前稍弱，這是由于層級特征融合并不能完全消除空洞卷積帶來的影響，從而影響了小目標的檢測性能。由此可見，空洞卷積的引入提高了模型檢測近、中距離目標的性能，檢測遠處目標的性能稍微下降，符合障礙物檢測任務中不同障礙物檢測的優先順序，即近、中距離處的障礙物是優先需要處理的目標。檢測結果見圖4c。

表3為不同情形下改進前SSD模型與改進后SSD模型的準確率、召回率和F1的統計結果，其中IOU閾值取為0.4。改進后的SSD模型在除行人處于運動狀態下檢測準確率和召回率有下降外，其余情形均有所提高。

表3 不同行人狀態下的檢測結果Tab.3 Detection statistic result on pedestrian in various status %

5 結論

(1)基于卡耐基梅隆大學國家機器人工程中心開放的用于農業環境下行人檢測的數據集，采用改進的SSD目標檢測模型，進行田間環境下的行人障礙物檢測，模型占用空間較小且輕量化，適合于在移動設備上部署，試驗結果表明，模型具有較高的準確性，準確率和召回率分別達到了97.13%和89.72%，每幅圖像的平均檢測速度為62.50幀/s。在對IOU閾值進行合理調整后最終平均準確率和召回率分別達到了97.46%和91.65%。

(2)通過遷移學習技術，把MobileNetV2在Imagenet分類表現較好的參數移植到SSD的特征提取網絡模型中，從而簡化了目標檢測模型的訓練過程并縮短了訓練時間。

(3)通過改進原始SSD的特征提取網絡，使用更加輕量化的MobileNetV2網絡模型進行特征提取，輔助層使用改進后的反向殘差結構進行卷積運算，從而可以利用多特征信息并且減少運算量，當IOU閾值為0.4時，較原始SSD網絡模型的準確率和召回率分別提高了0.59個百分點和3.14個百分點，參數量減少至原來的1/7，檢測速度提高了187.5%。

(4)根據果園環境下和城市環境下對避開行人所采取的決策不同，提出在果園環境下合適的IOU閾值為0.4左右，在此閾值下，模型的準確率和召回率比閾值在0.5時分別提高了0.33個百分點和1.93個百分點。