基于雙分支頭部解耦和注意力機制的災害環(huán)境人體檢測

郝 帥,楊晨祿,趙秋林,馬 旭,孫曦子,王海瑩,孫浩博,吳瑛琦

(西安科技大學 電氣與控制工程學院,陜西 西安 710054)

0 引 言

人體檢測作為目標檢測領域的一個重要研究方向分支,在智能監(jiān)控[1]、道路交通[2]、緊急救援[3]等領域被廣泛應用。自然災害環(huán)境中,如地震、山地滑坡、洪水等,利用計算機視覺對受災人員進行快速、準確定位是應急救援的重要輔助手段。然而,自然災害的巨大破壞性往往使救援現(xiàn)場處于一個危險而又復雜的場景中,進而導致受災人員肢體可能被部分掩埋,給救援的準確性和時效性造成一定影響。因此,面向復雜災害環(huán)境下,探索一種快速、準確的人體檢測方法可以協(xié)助救援人員迅速完成對受災人員的搜救,對于智能化應急救援的實現(xiàn)具有重要意義。

目前,人體檢測算法主要分為2大類：傳統(tǒng)機器學習和深度學習[4]。傳統(tǒng)機器學習主要是利用滑窗技術實現(xiàn)人工特征提取,并結合分類器實現(xiàn)人體目標檢測,代表算法有HOG+SVM[5]、DPM[6]等。李闖等通過構造相交檢測窗口對HOG特征進行了優(yōu)化,并結合基于子單元插值法來提高人體目標檢測精度[7]。戴植毅等使用DPM檢測算法對人體檢測,通過利用快速傅里葉變換和Soft Binning直方圖降維對算法進行優(yōu)化,從而在保證檢測精度的同時提高人體目標檢測速度[8]。楊鴿等提出一種基于HSV與RGB顏色空間的人體檢測與跟蹤算法,在RGB空間通過背景減除法實現(xiàn)人體目標檢測,并在HSV空間對陰影進行去除從而消除因光照和人體形變等因素造成的干擾[9]。傳統(tǒng)算法雖然能夠在一定條件下有效檢測人體,但人工設計的特征提取器在復雜的調(diào)參過程下,往往存在實時性欠缺、魯棒性差等問題,且只滿足特定場景下的檢測要求,從而導致其泛化能力有限。

近年來,基于深度學習的檢測算法已經(jīng)成為目標檢測領域中的一種主流方法,其通過從海量數(shù)據(jù)中自動學習、提取目標有用信息,從而實現(xiàn)目標的準確檢測。基于深度學習的目標檢測算法通過卷積神經(jīng)網(wǎng)絡可以有效完成特征提取、分類和回歸,從而實現(xiàn)端到端的學習。深度學習算法可以分為一階段檢測算法和二階段檢測算法。其中二階段算法包括R-CNN[10],Fast R-CNN[11],Faster R-CNN[12]等。賀藝斌等在Faster-RCNN算法框架下通過融合ResNet50網(wǎng)絡來提高對多尺度人體特征的提取能力,但其對于光線昏暗的場所檢測效果欠佳[13-14]。陶祝等在Faster R-CNN網(wǎng)絡基礎上利用空間金字塔池化層替換原有池化層,并通過試驗證明該方法可以較好地解決大場景下人體部分遮擋問題[15]。雖然二階段檢測算法計算精度高但其檢測速度較慢,難以滿足復雜災害環(huán)境下的實時檢測需求。

一階段檢測算法只需提取一次特征即可實現(xiàn)目標檢測,能夠極大提高檢測速度,其中SSD[16],YOLO系列[17]算法表現(xiàn)較為出色。李國進等為了增強卷積網(wǎng)絡提取特征能力,在SSD網(wǎng)絡中增加FPN結構對人體進行檢測,并通過試驗證明所提出的方法相比于原始網(wǎng)絡具有更高的檢測精度[18]。

YOLO系列算法能夠保證檢測精度的同時較好地兼顧算法的實時性[19]。李巖等在YOLOv3的基礎上采用一種基于歸一化層γ系數(shù)的模型剪枝方法,該方法能夠在保證人體目標檢測精度的同時提高模型的檢測速度[20]。李挺等利用YOLOv4網(wǎng)絡對人體目標進行檢測,將原網(wǎng)絡中CSPDarknet53替換為Mobilenetv2以減少參數(shù)量,并在網(wǎng)絡中引入Bottom-up以連接減少淺層信息的丟失,最后加入CBAM注意力模塊增強人體目標特征的表達能力[21],該方法能夠準確檢測人體目標的同時,具有良好的實時性。鄒有成等在YOLOv5框架下將激活函數(shù)替換為SiLU激活函數(shù)來簡化網(wǎng)絡體系結構,從而提高重疊人體目標的檢測精度[22]。

盡管YOLOv5目標檢測算法具有模型體積小、檢測精度高、速度快等優(yōu)點,但是利用其進行災害環(huán)境下的人體目標檢測時,仍然存在以下3個問題：

1)基于YOLOv5的主干特征提取網(wǎng)絡由于采用大量的卷積運算易造成部分小尺度目標特征在進行卷積提取特征時信息丟失,進而導致災害環(huán)境下人體小目標檢測精度受限;

2)受復雜環(huán)境干擾,人體目標可能受到部分遮擋造成目標特征無法準確表達,進而導致網(wǎng)絡檢測精度低;

3)人體在復雜場景中易被遮擋,進而造成檢測網(wǎng)絡獲取的人體信息較少,最終導致預測框定位不準確。

針對上述問題,在YOLOv5的框架下提出一種基于雙分支頭部解耦檢測器和注意力機制的多尺度人體檢測網(wǎng)絡。主要貢獻和創(chuàng)新點如下：

1)為解決受災人體目標受多尺度影響及小目標特征提取困難的問題,將原有的三尺度特征層拓展為了四尺度特征層,并將同一特征原始輸入和輸出節(jié)點間建立連接以增強網(wǎng)絡多尺度特征融合能力;

2)為解決受災人體目標特征易淹沒于復雜背景中而導致檢測網(wǎng)絡精度下降問題,在C3模塊后引入注意力模塊以增強復雜災害環(huán)境下人體特征顯著性,同時抑制復雜背景干擾;

3)為精準定位目標位置,構建雙分支頭部解耦檢測器分別用于人體識別和定位,以使預測框坐標更加精準;

4)為了進一步提高密集人體目標檢測精度,在網(wǎng)絡中引入Varifocal Loss優(yōu)化網(wǎng)絡參數(shù),提升檢測框定位精度。

1 YOLOv5算法理論

YOLOv5模型網(wǎng)絡主要由輸入層(Input)、主干層(Backbone)、頸部層(Neck)和輸出層(Output)4個部分組成,其結構如圖1所示。

圖1 YOLOv5網(wǎng)絡結構Fig.1 Detection framework of YOLOv5

Input：將輸入圖像縮放到640×640,再經(jīng)過自適應縮放、mosaic數(shù)據(jù)增強,最后送入主干提取網(wǎng)絡中,并計算不同訓練集中的最佳錨框值。

Backbone：主干網(wǎng)絡主要由CBS、C3以SPPF等組成,C3由3次卷積的CSPBottleneck模塊組成,CSPBottleneck模塊采用通道分離的思想,將輸入特征圖分為2個部分,分別進行不同的處理。其中,一部分通過一個卷積層進行降維處理,另一部分則直接進行卷積操作,最后再將2個部分的結果進行拼接。這種方式既能夠增加網(wǎng)絡的感受野和特征表示能力,又能夠降低計算量和參數(shù)數(shù)量,從而提高模型的性能和效率。SPPF模塊通過使用多個小尺寸池化核來取代SPP模塊中的單個大尺寸池化核,指定一個卷積核,每次池化后的輸出成為下一個池化的輸入,從而提高網(wǎng)絡運行速度。

Neck：使用FPN和PAN[23]相結合的方式從而加強網(wǎng)絡的特征融合能力。

Output：主體部分使用3個Detect檢測器對網(wǎng)絡進行檢測。

2 構建檢測網(wǎng)絡

所提出的基于雙分支頭部解耦檢測器和注意力機制的多尺度災害環(huán)境下人體檢測網(wǎng)絡框架如圖2所示。所搭建網(wǎng)絡框架主要實現(xiàn)步驟如下。

圖2 改進的YOLOv5網(wǎng)絡結構Fig.2 Improved detection framework of YOLOv5

Step1：選取災害救援現(xiàn)場圖像和圖片數(shù)據(jù)制作數(shù)據(jù)集,其中2 624張作為訓練樣本,其余656張作為測試樣本。

Step2：標注訓練數(shù)據(jù)集并設置訓練初始參數(shù)進行訓練。

Step3：訓練過程中構建頸部網(wǎng)絡,擴充特征檢測尺度,在融合注意力機制同時將同一特征原始輸入和輸出節(jié)點間添加連接,以增強網(wǎng)絡對小目標特征提取能力和多尺度特征融合能力。

Step4：在輸出層構建雙分支頭部解耦檢測器分別用于人體識別和定位,使預測框坐標更加精準。

Step5：為了提升檢測框定位精度,引入Varifocal Loss優(yōu)化網(wǎng)絡參數(shù)。

Step6：訓練結束得到預訓練權重文件。

Step7：將預訓練權重文件在測試數(shù)據(jù)集上進行預測驗證。

2.1 頸部網(wǎng)絡重構

災害環(huán)境中,受災人員可能被廢墟掩埋或被洪水淹沒造成人體目標存在多尺度問題,從而造成傳統(tǒng)人體目標檢測算法難以有效檢測。針對上述問題,在原YOLOv5的Neck部分添加淺層特征網(wǎng)絡作為檢測層以增強檢測網(wǎng)絡對小目標人體識別能力;同時,在特征金字塔結構中添加連接,提高網(wǎng)絡多尺度特征融合能力;最后,嵌入輕量注意模型(Efficient Channel Attention,ECA)以抑制復雜背景干擾。

2.1.1 小目標檢測層

在YOLOv5的網(wǎng)絡中使用深度神經(jīng)網(wǎng)絡來提取目標的特征表示,原始圖片的輸入尺寸為640×640,頸部網(wǎng)絡通過對原圖片的多次采樣操作,分別生成新特征圖尺度,大小為80×80、40×40、20×20。但在實際災害環(huán)境中,受災人員的隨機分布會造成人體目標存在多尺度問題,尤其是一些尺寸較小的人體目標,經(jīng)過多次下采樣其大部分特征信息會消失,從而影響最終檢測效果。針對上述問題,在原YOLOv5網(wǎng)絡基礎上新增一層160×160的檢測層,將原有的特征融合部分改為四尺度特征融合,進而能夠捕捉更多小尺寸的人體目標信息。

2.1.2 特征金字塔重構

YOLOv5采用FPN和PAN相結合的方式來提取特征,如圖3(a)所示。但PAN結構無法提取網(wǎng)絡中的原始特征信息,會導致訓練學習出現(xiàn)偏差,影響檢測準確度。針對此問題,重構原有的Neck結構,在PAN結構的結點增加來自主干特征提取網(wǎng)絡中原始特征層的輸入,如圖2紅色箭頭線條所示。在訓練過程中獲得原始特征信息,避免訓練學習過程偏離預期,從而提高模型的準確性和可靠性,改進后的結構如圖3(b)所示。

圖3 特征融合結構示意Fig.3 Schematic diagram of feature fusion structure

2.1.3 ECA注意力模型

為了解決復雜背景干擾導致人體目標顯著度較低的問題,引入ECA通道注意力模型,將其嵌入到特征金字塔的多個特征傳遞分支結構中來提升人體特征提取的能力,進而提高檢測網(wǎng)絡的檢測精度。ECA通道注意力模塊是對特征圖進行特征通道自適應篩選,強調(diào)學習突出信息,采用一種不降維局部跨信道交互策略和自適應進擇一維卷積核大小的方法,以極少參數(shù)量顯著提升特征提取質(zhì)量,其結構如圖4所示。

圖4 ECA結構Fig.4 ECA module

從圖4可以看出,ECA通過全局平均池化,將輸入的特征圖從二維矩陣壓縮為具有全局信息的1×1×C數(shù)列(C為特征通道數(shù)),然后通過大小為k的快速一維卷積,在不降維的情況下生成通道權重,進行局部跨通道交互,共享通道參數(shù),獲取各個通道之間的相關依賴關系,見式(1)

ω=σ(C1Dk(y))

(1)

式中ω為特征權重;C1D為一維卷積;k為該區(qū)域跨通道交互的覆蓋范圍;y為聚合特征。

由于通道維數(shù)通常是2的指數(shù)倍,所以采用以2為底的指數(shù)函數(shù)來表示非線性關系,計算公式如下

C=φ(k)=2(γ*k)-b

(2)

因此,確定通道維數(shù)C,卷積核的大小k通過以下的公式計算得到

k=ψ(C)=|log2(C)/γ+b/γ|

(3)

式中γ,b分別為縮放因子和偏置項,分別取為2和1。然后把所得到各個通道的權重加權到原來的輸入特征圖上。

文中在C3模塊后引入ECA模型前后對比的結果如圖5所示,其中紅色部分表示顯著度較高的區(qū)域,并且顏色越深表示顯著度越高。

圖5 加入ECA前后對比Fig.5 Comparison results before and after adding CBA

從圖5可以看出,通過引入ECA,可以提高復雜背景下待檢測人體目標的顯著性,為后續(xù)進一步準確檢測人體目標奠定了良好的基礎。

2.2 雙分支頭部解耦檢測器

受復雜災害環(huán)境影響,受災人員肢體可能被建筑、洪水等物體遮擋,進而造成人體目標檢測難度增大。被遮擋的人體目標通常需要精確的定位信息來判斷位置,然而,在基于深度學習的目標檢測的分類和定位任務中,兩者的關注點存在顯著差異：前者更加關注如何將特征圖與已知的類別進行比較,以確定最佳的匹配結果;而后者則更加關注如何通過調(diào)整邊界框的參數(shù)來達到精確的定位。但通過同一個特征圖進行分類和定位的效果不佳,會發(fā)生失調(diào)的問題[24]。

針對災害環(huán)境中對被遮擋人體目標定位不準確的問題,文中將傳統(tǒng)的耦合檢測頭分離成2個具有獨立子任務的頭部分支,將輸入特征從空間維度進行解耦,分別用于分類和定位,以此來提升圖像中人體目標對分類和定位的敏感性和精確度,如圖6所示。

圖6 解耦頭結構Fig.6 Structure of decoupled head

圖6中,H,W,C分別為著輸入特征圖的高度(Height),寬度(Width)以及通道數(shù)(Channel)。解耦檢測器首先對輸入特征圖通過1×1卷積降低通道維數(shù),以降低參數(shù)量的產(chǎn)生。特征圖輸出包括2條支路,一條支路負責分類,先使用2個3×3的卷積提取特征信息后,再通過1×1的卷積將特征圖的通道維數(shù)調(diào)整至預測目標的類別數(shù)量,在該特征圖上完成分類;另一條支路負責定位,通過3×3卷積層提取特征后,將特征圖分為2個,一個根據(jù)獲取目標的置信度分數(shù)確定了該點真實目標框與預測框的交并比,另一個則預測邊界框的中心坐標以及框的寬度和高度{x,y,w,h}。相較于耦合頭部網(wǎng)絡,解耦頭部結構可以使網(wǎng)絡參數(shù)進一步降低,同時減少了特征共用,從而提升模型對人體的定位和分類能力。

2.3 變焦損失

在YOLOv5中使用的Focal Loss可以有效解決樣本中類別不均衡問題,其中函數(shù)表達式如下

(4)

式中p為經(jīng)過激活函數(shù)的輸出,即預測樣本屬于1的概率;y為真實標簽值;α為平衡正負樣本的權重;(1-p)γ,pγ為調(diào)制每個樣本的權重,減少容易分類的樣本的權重,使得算法模型能夠更加精細地識別復雜的樣本,從而提升準確度。

Varifocal Loss通過繼承Focal Loss的加權方法可以有效解決連續(xù)IACS(IoU-Aware Classification Score)中回歸時類別不平衡的問題,并且可以更好地優(yōu)化密集目標訓練中前景類和背景類之間極度不平衡的問題,從而更好地預測IACS,有效提升檢測目標的定位精度存在置信度和定位精度,Varifocal loss定義為

VFL(p,y)=

(5)

式中p為預測的IACS,代表目標分數(shù)。對于前景點時,將其ground truth類q設為生成的邊界框和它的ground truth(gt_IoU)之間的IoU,否則為0,在對于背景點時,所有類的目標q為0。引入Pγ縮放負樣本(q=0),同時將正樣本與訓練目標q加權,對gt_IoU較高的正樣本,則它對損失的貢獻將會較高。最后,為了均衡正負樣本之間的比例,在損失函數(shù)中增加可調(diào)比例因子α,文中取為0.75。

3 試驗結果及數(shù)據(jù)分析

試驗環(huán)境配置參數(shù)見表1。

表1 試驗環(huán)境配置參數(shù)Table 1 Configuration parameters in experiment

3.1 數(shù)據(jù)集采集

截取災害救援場景如泥石流、洪災等視頻中的3 280張圖片作為數(shù)據(jù)樣本。試驗中選取2 624張作為訓練樣本,其余656張作為測試樣本。

3.2 網(wǎng)絡模型訓練

在模型訓練過程中,將學習率設置為0.01,迭代批量大小設置為16。當訓練達到100輪時,學習率降至0.001,損失函數(shù)和精度也趨于穩(wěn)定,最終經(jīng)過300輪模型迭代訓練,得到模型的權重。

3.3 試驗結果及分析

為了全面評估文中算法的性能,采用mAP@0.5、召回率Recall、準確率Precision和平均檢測處理時間作為衡量標準,其相關參數(shù)計算公式如下

(6)

(7)

(8)

式中NTP,NFP和NFN分別為正確檢測數(shù)、誤檢數(shù)和漏檢數(shù);AP為P-R曲線積分;N為檢測類別數(shù)量。

所設計的網(wǎng)絡模型與YOLOv5的平均精度值(mean Average Precision,mAP)、召回率(Recall)和準確率(Precision)曲線對比結果如圖7、圖8和圖9所示。

圖7 mAP@0.5對比曲線Fig.7 mAP@0.5 comparison curves

圖8 召回率對比曲線Fig.8 Recall comparison curves

圖9 準確率對比曲線Fig.9 Precision comparison curves

從圖7可以看出,隨著迭代次數(shù)增加,文中算法和YOLOv5算法分別在迭代40輪和80輪時,mAP@0.5數(shù)值上升到0.85左右。算法通過重構頸部網(wǎng)絡和引入解耦檢測器,使得mAP@0.5值最終穩(wěn)定在0.9以上,達到較高的檢測精度。從圖8和圖9可以看出,算法的準確率和召回率也均高于YOLOv5算法。從圖10可以看出,優(yōu)化損失函數(shù)后,網(wǎng)絡的損失值降低,最終穩(wěn)定在0.044,文中所提出的檢測模型達到了較好的訓練效果。在融合淺層網(wǎng)絡、ECA注意力模塊、解耦檢測器以及損失函數(shù)優(yōu)化4方面進行改進,為了更好地評估各模塊的效果,設計消融試驗,其試驗結果見表2。

表2 消融試驗結果Table 2 Ablation experiment results

圖10 損失對比曲線Fig.10 Loss comparison curves

由表2可知,YOLOv5網(wǎng)絡檢測精度為89.4%,但在融合淺層網(wǎng)絡、引入注意力機制、解耦檢測器以及損失函數(shù)優(yōu)化4個方面的改進后,文中算法的檢測精度得到了提升,最終達到92.2%。為了進一步驗證所提算法的優(yōu)勢,選取具有代表性的4種場景對模型進行驗證,分別為：災害環(huán)境或救援環(huán)境中存在多尺度目標、嚴重遮擋/小目標、部分遮擋以及復雜背景情況。將試驗結果與其他常見檢測算法進行比較,檢測結果如圖11所示。

圖11 檢測結果對比Fig.11 Comparison of test results

圖11為人體被遮擋圖像,圖11(a)中為選取的4種災害救援場景情況并標注其中待檢測的人體,從左到右4組試驗結果及分析如下。

第1組試驗：待檢測人體出現(xiàn)多尺度情況,從第1組對比試驗可以看到,YOLOv3、YOLOv4、YOLOv5、SSD以及Faster RCNN對于多尺度目標有漏檢情況發(fā)生,然而文中通過構建解耦檢測器,有效提高了圖像中人體目標對定位和分類的敏感性和精確度,能夠檢測出所有目標。

第2組試驗：待檢測人體存在嚴重遮擋和小目標情況,從第2組對比試驗可以看到,原始算法、YOLOv3、YOLOv4、SSD以及Faster RCNN對于被遮擋的目標存在漏檢的情況,而文中算法通過增加淺特征檢測層,對微小人體目標的特征提取能力更強,能夠檢測出所有目標。

第3組試驗：待檢測人體存在部分遮擋情況,從第3組對比試驗可以看到,原始算法、YOLOv3對于在復雜情況下的標檢測能力有限,YOLOv4、YOLOv5、SSD以及Faster RCNN和文中算法可以檢測出所有目標,而文中算法通過對損失函數(shù)的優(yōu)化,相較于其他算法可獲得較高的置信度。

第4組試驗：待檢測人體存在復雜背景情況,從第4組對比試驗可以看到泥土顏色和人體膚色接近,使人體目標受到復雜背景冗余信息干擾,導致原始算法、YOLOv3、YOLOv4、SSD以及Faster RCNN對于被嚴重遮擋的目標存在漏檢的情況,而文中算法通過嵌入注意力機制,提高檢測模型對人體特征的特征表達能力,可以檢測出所有目標,并且相較于其他算法檢測框也更接近真實框大小。

為了更好地評估文中算法的性能,將其與SSD、Faster RCNN、YOLOv3、YOLOv4和YOLOv5檢測網(wǎng)絡進行了對比試驗。在這些算法的訓練過程中,采用相同的數(shù)據(jù)樣本和參數(shù),最終的檢測結果見表3。

由表3可知,文中算法的mAP@0.5%明顯高于其他算法,雖然檢測速度略低于YOLOv5,但是相比于其他算法實時性較好。

4 結 論

1)通過引入淺層檢測層并融合注意力機制可以使檢測網(wǎng)絡更好的學習小目標人體特征,進而提高樣本小目標人體的檢測精度。

2)通過在檢測網(wǎng)絡中構建解耦檢測器可以有效提升目標在復雜背景下的特征表達能力,在一定程度上減少復雜背景所導致的漏檢和誤檢。

3)利用災害救援場景的所得到的數(shù)據(jù)進行測試驗證,算法在多種不同復雜測試環(huán)境下,對災害人體的平均檢測精度可達92%以上,召回率可達90%以上,具有較好的實時性和魯棒性,對于分辨率為640×640的圖片檢測速度可達35 fps。