基于多尺度融合SSD的小目標檢測算法

趙亞男,吳黎明,陳 琦

(廣東工業(yè)大學 機電工程學院,廣州 510006)

0 概述

目標檢測是機器視覺領域的核心問題之一,然而物體不同的外觀、形狀和姿態(tài),加上成像時光照、遮擋等干擾因素的影響,對目標檢測任務構成極大挑戰(zhàn)。傳統(tǒng)目標檢測算法由目標候選區(qū)域提取和候選區(qū)域分類兩部分構成。根據(jù)目標候選區(qū)域提取方式的不同,傳統(tǒng)目標檢測算法可以分為基于滑動窗口的目標檢測算法和基于紋理的目標檢測算法。在候選區(qū)域分類模型中,常用的圖像特征有方向梯度直方圖(Histogram of Oriented Gradient,HOG)[1]、尺度不變特征變換(Scale-Invariant Feature Transform,SIFT)[2]和Haar[3]等,常用的分類算法有支持向量機(Support Vector Machine,SVM)[4]、Adaboost[5]以及各種級聯(lián)分類器[6]。這些特征和分類算法共同組成了各種目標檢測算法,但是基于滑動窗口的區(qū)域選擇策略沒有針對性,時間復雜度較高,窗口冗余且成本高,手工設計的特征對于多樣性的變化沒有很好的魯棒性。隨著實時性檢測要求的日益提高,上述算法由于效率低下而無法適應新的需求,因此迫切需要更高效的算法。

人工智能的快速發(fā)展使得計算機視覺與深度學習在醫(yī)學成像[7]、缺陷檢測[8]、生物識別[9]等領域被廣泛應用,自動檢測已成為新的發(fā)展趨勢。卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,CNN)相關算法越來越多元化、精細化,新的目標檢測算法大量涌現(xiàn),并且這些算法具有目標物識別與檢測定位功能。以R-CNN系列為代表的兩階段算法和以單點多盒探測器(Single Shot multi-box Detector,SSD)系列為代表的一階段算法是其中的典型代表,且一階段算法運行速度更快,可以平衡效率和性能,更適合實踐應用。

然而,一階段算法對于小目標識別存在目標檢測視野范圍小、檢測圖像長寬比單一、檢測精度低等缺點。為解決上述問題,在一階段目標檢測算法的基礎上引入Top-Down結構,提出DSSD(Deconvolutional Single Shot Detector)[10]、YOLOv3[11]等算法以提高檢測性能。這些改進算法雖然對小目標的檢測精度有較大提升,但其檢測速度卻大幅下降,而在工業(yè)生產(chǎn)中,機器的實時檢測非常重要,檢測速度會嚴重影響生產(chǎn)效率。

鑒于以上因素,本文提出多尺度融合SSD算法MFDSSD。設計3個融合模塊替換DSSD中的Top-Down結構,通過高層與低層網(wǎng)絡的跳躍連接充分利用上下文的語義信息,同時將SSD-VGG16擴展卷積模塊特征圖與其淺層卷積模塊進行多尺度融合,以實現(xiàn)多樣化的特征圖分類與回歸。

1 目標檢測算法

基于CNN的目標檢測算法通常可以分為兩大類。一類是兩階段目標檢測算法,典型代表為R-CNN[12]、Fast R-CNN[13]、Faster R-CNN[14]、R-FCN[15]、FPN[16]等,另一類是一階段目標檢測算法,典型代表為SSD[17]、YOLO[18]等,其中常用的6種目標檢測算法框架如圖1所示。對于小目標檢測,兩階段算法主要有FPN等相關算法,一階段算法主要有DSSD系列、RetinaNet[19]、YOLOv3等算法。其中,一階段的SSD、DSSD等算法由于檢測性能較好、應用較成熟,因此常用于小目標檢測。

圖1 6種目標檢測算法的框架Fig.1 Frameworks of 6 target detection algorithms

1.1 SSD算法模型

SSD是一種單次多目標檢測算法,以VGG16作為基礎網(wǎng)絡結構并引入先驗框的設計理念,通過增加級聯(lián)卷積層獲得多尺度特征圖以用于目標檢測,其框架結構如圖2所示。SSD算法結合了YOLO的回歸思想和Faster R-CNN的anchors機制,通過回歸思想簡化神經(jīng)網(wǎng)絡的計算復雜度,利用anchors機制提取不同寬高比尺寸的特征。相比于YOLO針對某一位置進行全局特征提取的方法,SSD算法的目標識別更合理有效。

圖2 SSD算法框架Fig.2 Framework of the SSD algorithm

盡管SSD在不損失精度的前提下提高了實時檢測速度,但對于小尺寸目標的識別效果較差。這是因為SSD算法使用Conv4_3(38×38)低層卷積層檢測小目標,該卷積層雖然分辨率高但語義信息少、感受野較小,小目標特征提取不充分。在訓練階段,小目標特征學習由低層到高層進行,經(jīng)過層層池化操作后會產(chǎn)生小目標特征消失等現(xiàn)象,導致真實目標與先驗框難以匹配,無法滿足小目標檢測的精度要求。

1.2 DSSD小目標檢測算法模型

DSSD是對SSD的改進,主要是為了解決多尺度融合的問題,因為SSD模型只在不同的特征圖上進行預測,沒有充分考慮上下文信息。DSSD基于Top-Down結構解決小目標檢測問題,使用ResNet101網(wǎng)絡[20]將高層語義信息融入到低層網(wǎng)絡的特征信息中,使預測回歸位置框和分類任務輸入的多尺度特征圖包含更多信息,以此提高檢測精度。

SSD-ResNet101網(wǎng)絡結構中的Conv3_x層和Conv5_x層為原來ResNet101網(wǎng)絡中的卷積層,后面5層是擴展卷積層,將這7層的特征圖直接輸入預測階段來完成目標的位置回歸和分類任務。DSSD把這7層特征圖中的6層輸入到反卷積模型中,輸出修正的特征圖金字塔,并由其形成沙漏結構,然后輸入預測模塊以完成回歸和分類任務。

DSSD使用ResNet替代VGG,對候選框的回歸和分類任務進行優(yōu)化,改善特征提取能力,通過引入預測模塊提升準確度,利用反卷積代替?zhèn)鹘y(tǒng)的雙線性插值上采樣,將網(wǎng)絡模型的上下層信息進行融合,以彌補SSD網(wǎng)絡模型精度較低的缺點。由于DSSD采用深度較大的ResNet網(wǎng)絡,同時將6層網(wǎng)絡特征圖進行乘法(Eltw Product)融合,可大幅提升DSSD網(wǎng)絡模型對小目標的檢測精度,但其運行速度下降。

2 MFDSSD網(wǎng)絡模型

針對SSD和DSSD算法在小目標檢測方面的不足,提出一種基于SSD和DSSD網(wǎng)絡結構的MFDSSD網(wǎng)絡。下文將對該網(wǎng)絡的構建動機、結構及相關模塊的理論推理進行論述,并詳細介紹模型的訓練方法、策略和訓練目標。

2.1 模型構建

DSSD網(wǎng)絡將反卷積應用到SSD頂層網(wǎng)絡中,通過高層網(wǎng)絡的上采樣與低層卷積網(wǎng)絡的特征圖相連,映射新融合的上下文特征信息并進行預測,從而實現(xiàn)自上而下和自下而上的語義融合。盡管DSSD網(wǎng)絡對于小目標檢測取得不錯的效果,但其網(wǎng)絡結構復雜、運行時間較長,難以滿足工業(yè)檢測的實時性要求。

MFDSSD網(wǎng)絡以DSSD網(wǎng)絡為理論基礎,充分融合高層網(wǎng)絡與低層網(wǎng)絡間的優(yōu)勢,通過卷積層連接的方式對DSSD-VGG16的反卷積模塊特征圖與其淺層卷積模塊進行多尺度融合,將融合后的特征圖與DSSD-VGG16中的擴展卷積特征圖進行非極大值抑制(Non-Maximum Suppression,NMS)處理,再由預測模塊完成回歸和分類任務。MFDSSD網(wǎng)絡模型結構如圖3所示,其以VGG16為基礎網(wǎng)絡,將SSD-VGG16擴展卷積層的后4層進行反卷積,得到MFDSSD網(wǎng)絡的反卷積模塊,分別為Conv12_2、Conv13_2、Conv14_2和Conv15_2。為充分利用上下文語義信息,MFDSSD模型通過3個融合模塊實現(xiàn)高層網(wǎng)絡與低層網(wǎng)絡間的跳躍連接,以增強小目標預測的上下文信息,擴展目標檢測的視野范圍。

圖3 MFDSSD網(wǎng)絡模型結構Fig.3 Structure of the MFDSSD network model

特征融合模塊可以達到Top-Down的效果,其將低層網(wǎng)絡Conv3_3、Conv4_3與高層網(wǎng)絡Conv14_2、Conv15_2進行融合,同時將Conv6與Conv13_32融合,以彌補低層網(wǎng)絡感受視野小以及高層網(wǎng)絡幾何信息表征能力弱的不足。

為提高模型對小目標檢測的性能,模型不僅將融合模塊的特征圖送入預測模塊進行預測,還將SSD-VGG16的擴展卷積層的7層～11層輸入預測模塊,從而利用不同卷積層、不同尺度、不同特征的多元信息完成分類與回歸任務。此外,MFDSSD網(wǎng)絡通過高層與低層網(wǎng)絡特征的深度融合,增強網(wǎng)絡對小物體的檢測精度,實現(xiàn)多尺度、多形狀等多樣化的特征圖分類與回歸,以兼顧SSD網(wǎng)絡的多尺度特性與低層網(wǎng)絡的定位準確性。

將SSD與MFDSSD進行對比,可以發(fā)現(xiàn):

1)SSD[17]網(wǎng)絡采用低層網(wǎng)絡特征來檢測小目標,感受野小,導致分類不準確、檢測物體存在局部缺陷等問題。對于常規(guī)的CNN網(wǎng)絡,其高層網(wǎng)絡感受野較大、語義信息表征能力強,分辨率低,幾何細節(jié)信息表征能力弱,而低層網(wǎng)絡感受野較小,幾何細節(jié)信息表征能力強,語義信息表征能力弱,下采樣少,但定位較準確。MFDSSD網(wǎng)絡通過卷積融合模塊的跳躍網(wǎng)絡,將高層網(wǎng)絡特征豐富的語義信息融合到低層網(wǎng)絡特征中,增強其對小目標特征的表征能力,以充分利用上下文語義信息和低層網(wǎng)絡的定位能力。

2)SSD網(wǎng)絡產(chǎn)生的多尺度特征圖有6個尺寸,而MFDSSD產(chǎn)生的特征圖有7個尺寸,并且其中3個尺寸來自融合模塊,其特征圖更具多樣性。SSD網(wǎng)絡利用最低網(wǎng)絡特征圖為Conv4,而MFDSSD卻利用了Conv3,MFDSSD網(wǎng)絡更多地利用低層網(wǎng)絡的優(yōu)勢進行小目標檢測。

2.2 模塊融合

本文MFDSSD網(wǎng)絡模型有3個融合模塊,為方便表述與理解,本文以融合模塊1,即Conv3_3與Conv15_2跳躍連接的融合模塊為例進行說明,其結構如圖4所示。無論各網(wǎng)絡的輸入特征圖有多大,同一融合模塊輸出的特征圖尺寸與通道數(shù)應保持一致,因此,需要對不同大小、具有不同通道數(shù)的特征圖進行融合,而這正是融合模塊的功能。DSSD網(wǎng)絡通過中間網(wǎng)絡層的編解碼卷積形成一個沙漏結構,以增加特征圖的種類,利用跳躍連接彌補低層網(wǎng)絡上下文語義信息弱的不足。融合模塊受DSSD網(wǎng)絡跳躍連接的啟發(fā),在DSSD的基礎結構上,將DSSD網(wǎng)絡的5個跳躍連接簡化為3個。3個跳躍連接融合的高低層網(wǎng)絡特征直接進行網(wǎng)絡分類與位置回歸,可避免DSSD網(wǎng)絡后續(xù)的復雜運算。本文的跳躍連接增加了網(wǎng)絡的特征圖數(shù)量及種類,并簡化模型的運算復雜度,為小目標的分類及定位提供更準確的語義信息和幾何信息,并充分利用高低層網(wǎng)絡上下文的語義信息。

圖4 融合模塊Fig.4 Fusion module

為了將Conv3_3的特征圖與Conv15_2的特征圖進行融合,需要對Conv15_2的特征圖進行上采樣。在圖4中,模塊Conv15_2首先通過卷積核大小為2×2、通道數(shù)為256的反卷積進行上采樣,反卷積的輸出通過卷積核為3×3的卷積層映射至修正激活函數(shù)層(Rectified Linear Unit,ReLU),然后經(jīng)L2正則化層,到達下一個反卷積層。第2個反卷積層的卷積核為3×3、通道數(shù)為256,特征圖由卷積層輸入至L2正則化層。Conv3_3則直接通過3×3的卷積核輸出至ReLU激活函數(shù)層,再輸入至L2正則化層。將Conv15_2經(jīng)兩個反卷積層的輸出與Conv3_3通過卷積層的輸出進行求和操作(Eltw Sum),合并后傳入ReLU層并在其后添加一個3×3的卷積層,以確保檢測的特征具有可分辨性,最后經(jīng)過一個ReLU層之后實現(xiàn)融合。

MFDSSD模型含有3個融合模塊,圖4所示是融合模塊1的結構,其他2個融合模塊在模塊1的基礎上稍作改變,融合模塊2的輸出為512通道的38×38特征圖,模塊3的輸出為1 024通道的19×19特征圖。

融合模塊可以在充分利用上下文語義信息的同時,增加模型的復雜度,其比SSD多3個跳躍連接。跳躍連接使用Eltw Sum加法運算,該過程涉及的特征圖有3個尺度,在一定程度上影響了模型的總體實時性,但相較于SSD網(wǎng)絡,MFDSSD的實時性雖有所下降,但其檢測精度有大幅提升。

2.3 模型訓練

本文的訓練分兩個階段進行,分別為預訓練階段和微調階段。使用預訓練好的SSD模型得到MFDSSD模型的初始化參數(shù),采用數(shù)據(jù)庫訓練集微調相關權重,最后使用數(shù)據(jù)庫中的測試集檢測算法的精度和實時性。

2.3.1 數(shù)據(jù)增強

本文參考最新的SSD數(shù)據(jù)增強方法,對原始圖像進行水平翻轉、隨機裁剪加顏色扭曲以及隨機采集塊域等操作,以增強模型訓練的性能。

2.3.2 先驗框設置與匹配策略

1)先驗框設置

為了處理各種圖像所對應的不同大小和形狀的目標,需對網(wǎng)絡產(chǎn)生的特征圖設置不同尺度和比例的先驗框。本文根據(jù)SSD設置先驗框的原則設計MFDSSD的先驗框,隨著特征圖的減少,先驗框尺度線性增加,相應的理論推導如式(1)所示。

(1)

2)匹配原則

先驗框與真實目標(Ground Truth,GT)的匹配主要有以下2個原則:

(1)對于圖片中的每個GT,首先找到與其交并比(Intersection Over Union,IOU)最大的先驗框進行匹配,保證每個GT一定與某個先驗框匹配。與GT匹配的先驗框,稱為正樣本,反之,若存在先驗框不與任何GT相匹配,即該先驗框只能與背景匹配,則稱為負樣本。通常一幅圖片中的GT非常少,先驗框卻很多,如果僅按這一原則匹配,很多先驗框會成為負樣本,正負樣本極其不平衡,因此,需要使用第2個匹配原則。

(2)對于未匹配的先驗框,若存在GT與某個先驗框的IOU大于某個閾值,那么該先驗框與GT匹配。一個GT可與多個先驗框匹配,但是一個先驗框只能匹配一個GT,如果存在多個GT與某個先驗框的IOU大于閾值,那么先驗框只與IOU最大的那個先驗框匹配。第2個原則在第1個原則之后執(zhí)行,如果某個GT所對應的最大IOU小于閾值,并且所匹配的先驗框與另外一個GT的IOU大于閾值,則該先驗框匹配前者。

一個GT可以與多個先驗框匹配,和先驗框相比,GT數(shù)量相對較少,即負樣本數(shù)量較多,正樣本數(shù)量較少。為保證正負樣本平衡,采用難例挖掘(hard negative mining)方式對負樣本進行抽樣,并按照置信度誤差降序排列。本文設置置信度閾值為0.01,NMS算法交并比的閾值為0.55,通過實驗選取誤差較大的Top-250作為訓練負樣本,以保證正負樣本比例接近1∶3[10,17]。

2.3.3 損失函數(shù)

MFDSSD與SSD的損失函數(shù)基本相似,通過回歸函數(shù)輸出瑕疵位置坐標,利用Softmax函數(shù)預測分類置信度。總體損失函數(shù)是Localization Loss(Loc)和Confidence Loss(Conf)的加權和,計算公式如下:

(2)

(3)

(4)

(5)

(6)

(7)

(8)

其中,(gcx,gcy,gw,gh)表示ground truth box,(dcx,dcy,dw,dh)表示default box,(lcx,lcy,lw,lh)表示預測框相對于default box的偏移量。N是與GT相匹配的default box數(shù)量,參數(shù)α用于調整Confidence Loss和Location Loss之間的比例,默認α=1。Localization Loss采用smooth L1 Loss,其計算過程如式(9)所示。

(9)

3 實驗結果與分析

3.1 實驗對象

紡織品的表面瑕疵對成品質量有重要影響,是織物質量檢測的首要問題。目前,國內紡織企業(yè)大多采用自動化紡織機,但缺乏與之配套的檢測設備,織物瑕疵檢測很大程度依賴人工完成。長時間疲勞工作導致檢測準確率不足60%,存在漏檢率高、成本高、效率低、檢測結果易受人為主觀因素影響等問題,難以適應智能化生產(chǎn)的需求[21-22]。

織物由經(jīng)紗和緯紗按照設定的沉浮規(guī)律交織排列組成,其加工方式的特點決定了紋理的周期性、方向性和連續(xù)性。若織物出現(xiàn)瑕疵,既定特性遭到破壞,其表面紋理就會發(fā)生異常。由于瑕疵種類眾多,形態(tài)各異,且在整個織物中所占的面積較小,因此檢測算法的漏檢率和誤檢率較高。本文將MFDSSD網(wǎng)絡模型應用于織物瑕疵小目標檢測,以驗證其性能。

3.2 實驗平臺與數(shù)據(jù)集

實驗平臺配置為:Intel i7-7700k CPU,32 GB DDR4內存,Nvidia Geforce GTX1080Ti GPU,64位Ubuntu14.04 LTS操作系統(tǒng),實驗框架為TensorFlow開源框架。

由于深度學習方法需要大量數(shù)據(jù)來進行訓練,少量數(shù)據(jù)易造成過擬合,因此本文選用ImageNet數(shù)據(jù)集[23]作為預訓練數(shù)據(jù)集,該數(shù)據(jù)集有1 400多萬幅圖片,涵蓋2萬多個類別和多達百萬的帶標簽數(shù)據(jù),保證預訓練模型具有強大的泛化能力。

為驗證MFDSSD算法的精度、速度和可靠性,將本文算法與SSD、DSSD兩種算法進行對比,測試圖片來自TILDA數(shù)據(jù)集[24]。TILDA是德國紡織紋理數(shù)據(jù)庫,數(shù)據(jù)全部為灰度圖像,輸入大小為786像素×512像素,紡織品類別有8種,包含7種瑕疵類別和1種正確類別。對于每種類別,通過紡織品樣品的重新定位和旋轉獲得50張圖片。整個紋理紡織數(shù)據(jù)庫由3 200張圖片組成,總大小為1.2 GB。從數(shù)據(jù)集中隨機選取500幅圖像進行測試,在輸入模型前,把圖片尺寸調整為300像素×300像素或其他尺寸。對測試驗證集進行隨機分類,將其中的70%作為訓練數(shù)據(jù)集,20%作為驗證數(shù)據(jù)集,10%作為測試數(shù)據(jù)集。這些樣本包含破洞、污漬、斷緯、缺經(jīng)以及吊經(jīng)等多種常見瑕疵。

隨著數(shù)據(jù)量減少,將模型的學習率從0.01調至0.001,權重衰減參數(shù)0.000 5。使用小批量梯度下降算法及動量優(yōu)化算法優(yōu)化參數(shù),其中mini-batch大小為128,迭代次數(shù)50 000,動量因子0.9。

3.3 瑕疵檢測結果

實驗階段選用小目標檢測典型算法SSD、DSSD與本文算法進行對比,不同瑕疵的檢測結果如圖5所示。

圖5 3種算法對不同瑕疵的檢測結果對比Fig.5 Comparison of detection results between 3 algorithms for different defects

由圖5可以看出,本文的MFDSSD算法在3種算法中表現(xiàn)最好,上下文語義預測的加入使得織物瑕疵檢測結果有所改進。當在某個地方存在幾個相同的小瑕疵時,MFDSSD算法均可檢測出來,其準確率較高,SSD算法的檢測效果較差,DSSD算法檢測效果比SSD算法好,但其有漏檢和誤檢的可能。MFDSSD算法的檢測結果呈現(xiàn)出以下3個優(yōu)勢:1)可以檢測出更多種類的瑕疵;2)對于同一種瑕疵類型,該算法的識別置信度更高;3)對于在一張圖片上的多種瑕疵,其分類結果更準確。

3.4 瑕疵檢測指標

對于織物瑕疵目標檢測,首先單獨計算各個類別的平均精度值(Average Precision,AP),這是評估檢測效果的重要指標。取各個類別AP的平均值,得到平均精度均值(mean Average Precision,mAP)用于評估目標檢測模型的精度,避免某些類別極端化而弱化了其他類別的性能,計算公式如式(10)所示。

(10)

目標檢測算法的另外一個重要性能指標是檢測速度,其對織物瑕疵檢測實時性要求較高的應用場景非常重要。評估速度的常用指標是每秒幀率(Frame Per Second,FPS),即每秒可處理的圖片數(shù)量,每秒內處理的數(shù)量越多,速度越快。

為了更好地評估MFDSSD算法,在TILDA數(shù)據(jù)集上,將多種一階段、兩階段算法與MFDSSD算法進行對比,所有對比實驗在同一硬件條件下進行,結果如表1所示。

表1 不同算法的瑕疵檢測結果比較Table 1 Comparison of defect detection results between different algorithms

從表1的第4列數(shù)據(jù)可以看出,在TILDA數(shù)據(jù)庫中,MFDSSD算法的檢測速度可達51 frame/s,與DSSD算法相比有大幅提升,其檢測速度遠超兩階段算法,且大于多數(shù)一階段算法,其原因可能是DSSD算法在模型簡化后加快了運行速度。

由表1第5列數(shù)據(jù)可以看出,MFDSSD算法的檢測精度達到78.2%,較SSD300算法提高4.1%,較DSSD提高了0.9%。對于SSD漏檢的小瑕疵,MFDSSD算法能準確識別,但其對某些瑕疵的識別精度不如DSSD,其原因是DSSD使用Residual-101作為基本框架。總體而言,MFDSSD算法的檢測精度高于DSSD算法。

4 結束語

本文提出一種基于多尺度融合的小目標檢測算法MFDSSD。通過設計融合模塊替代Top-Down結構,結合SSD-VGG16擴展卷積特征圖以提取多尺度特征。實驗結果表明,與R-CNN系列和SSD系列的其他算法相比,MFDSSD算法的織物瑕疵檢測精度較高,檢測速度較快,其分類結果更準確,能滿足現(xiàn)代工業(yè)智能化生產(chǎn)的需求。下一步將擴大數(shù)據(jù)庫范圍,使其涵蓋更多種類的檢測目標,并將本文算法運用到現(xiàn)實生產(chǎn)中,同時提高其檢測精度和速度。