小目標(biāo)視頻檢測(cè)算法研究

趙旭章 焦自程

關(guān)鍵詞 小目標(biāo) 算法 傳統(tǒng)算法

1引言

目前，計(jì)算機(jī)視覺(jué)領(lǐng)域不斷發(fā)展壯大，使得越來(lái)越多的人開(kāi)始關(guān)注目標(biāo)檢測(cè)的內(nèi)容。目標(biāo)檢測(cè)作為圖像理解中的重要步驟，主要任務(wù)是從圖像中勾畫(huà)所有感興趣的區(qū)域，并確定它們的位置和大小，它是機(jī)器視覺(jué)領(lǐng)域的核心問(wèn)題之一。目標(biāo)檢測(cè)與跟蹤技術(shù)已在各領(lǐng)域獲得廣泛應(yīng)用，在檢測(cè)準(zhǔn)確率和實(shí)時(shí)方面均取得了不錯(cuò)的效果。但在一些特殊領(lǐng)域內(nèi)，由于目標(biāo)距離攝像機(jī)距離較遠(yuǎn)以及所檢測(cè)物體特別小，相關(guān)檢測(cè)和跟蹤仍然存在大量需解決的問(wèn)題[1] 。

2基于傳統(tǒng)算法的目標(biāo)檢測(cè)

在傳統(tǒng)的目標(biāo)檢測(cè)算法中，多尺度形變部件模型DPM 表現(xiàn)比較優(yōu)秀。DPM 把物體看成多個(gè)組成部件，采用各個(gè)部件之間的相互關(guān)系來(lái)對(duì)物體進(jìn)行描述，其中的特性非常符合自然界很多物體的非剛性特征。該模型繼承了HOG 和SVM 兩種算法的優(yōu)點(diǎn)，在進(jìn)行行人檢測(cè)以及人臉檢測(cè)上都取得了比較好的效果。但是，DPM 相對(duì)比較復(fù)雜，檢測(cè)速度也較慢，從而出現(xiàn)了很多改進(jìn)的方法。傳統(tǒng)目標(biāo)檢測(cè)主要存在三個(gè)問(wèn)題：手工進(jìn)行設(shè)計(jì)的特征對(duì)于多樣性的變化沒(méi)有特別強(qiáng)的魯棒性;基于滑動(dòng)窗口的區(qū)域選擇策略沒(méi)有針對(duì)性，復(fù)雜度高，窗口冗余較多;穩(wěn)定性較差，不能適應(yīng)大幅度的旋轉(zhuǎn)。

3基于深度學(xué)習(xí)的目標(biāo)檢測(cè)

在目標(biāo)檢測(cè)領(lǐng)域，深度學(xué)習(xí)方法主要分為兩類：以SSD 等一系列檢測(cè)算法為基礎(chǔ)代表的一階段算法;以Faster R?CNN 等系列檢測(cè)算法為基礎(chǔ)的二階段算法。

二階段算法要經(jīng)過(guò)兩個(gè)階段才能檢測(cè)圖像中的目標(biāo)，由算法生成一系列樣本作為候選框，再通過(guò)卷積神經(jīng)網(wǎng)路進(jìn)行樣本分類。它的檢測(cè)準(zhǔn)確率和定位精度較高，但速度慢。而一階段算法則摒棄了選擇候選區(qū)域這一步驟，僅需對(duì)輸入圖像中的目標(biāo)進(jìn)行分類與位置回歸，優(yōu)點(diǎn)是算法運(yùn)行速度快，缺點(diǎn)是精度略低。

小目標(biāo)難以檢測(cè)的原因是其分辨率低，圖片模糊，攜帶的信息減少。特征表達(dá)能力弱是指在進(jìn)行提取特征的過(guò)程中所提取的特征數(shù)量非常少，這非常不利于對(duì)小目標(biāo)進(jìn)行檢測(cè)。就目前算法而言，對(duì)于小目標(biāo)的相關(guān)檢測(cè)并不是特別友好。主要體現(xiàn)在以下幾點(diǎn)：第一，下采樣過(guò)大導(dǎo)致特征圖上的小物體所占據(jù)的點(diǎn)占不到一個(gè)點(diǎn);第二，感受野過(guò)大。淺層的特征圖感受野小，比較適合檢測(cè)小目標(biāo)，若要檢測(cè)大目標(biāo)，則其只有大目標(biāo)的一部分，有效信息不夠全面;而深層的特征圖感受野大，適合檢測(cè)大目標(biāo)，若要檢測(cè)小目標(biāo)則有很多背景噪音，導(dǎo)致檢測(cè)結(jié)果不準(zhǔn)確。

目前，對(duì)于小目標(biāo)的相關(guān)檢測(cè)人們提出了不少優(yōu)化方案，主要方法有：圖像金字塔設(shè)計(jì)和多尺度滑動(dòng)窗口檢測(cè)，它們可以對(duì)圖像中的目標(biāo)進(jìn)行檢測(cè);特征融合，將圖片分成小塊分別進(jìn)行檢測(cè);通過(guò)多視圖和多通道SSD 模型來(lái)改善SSD 模型，并性檢測(cè)、利用卷積融合特征;將輸入的圖片進(jìn)行處理，進(jìn)行局部細(xì)節(jié)的數(shù)據(jù)增強(qiáng);結(jié)合不同輸出層的特征圖，提出視覺(jué)推理策略。這些改進(jìn)方法在很大程度上改善了相關(guān)網(wǎng)絡(luò)對(duì)于小目標(biāo)檢測(cè)不敏感的問(wèn)題[2] 。

由于SSD 算法對(duì)于小目標(biāo)檢測(cè)具有不敏感性，我們采用YOLO 系列算法進(jìn)行了相關(guān)實(shí)驗(yàn)。本文著重介紹了YOLO 系列相關(guān)算法，該算法由Redmon 等人于2016 年提出，其可以一次性預(yù)測(cè)多個(gè)Box 位置和類別的卷積神經(jīng)網(wǎng)絡(luò)，真正意義上實(shí)現(xiàn)了端到端的目標(biāo)檢測(cè)，且發(fā)揮了速度快的優(yōu)勢(shì)，但是精度有所下降。

如圖1 所示，其為YOLOv5 算法網(wǎng)絡(luò)架構(gòu)。對(duì)于一般的目標(biāo)檢測(cè)算法來(lái)說(shuō)，我們通常可以將其分成通用的4 個(gè)模塊，具體包括：輸入端、基準(zhǔn)網(wǎng)絡(luò)、Neck 網(wǎng)絡(luò)以及Head 輸出端，分別對(duì)應(yīng)于圖1 中的4 個(gè)紅色框。

輸入端表示對(duì)輸入圖片進(jìn)行基本處理，該網(wǎng)絡(luò)輸入圖像為608?608，且該階段通常包含圖像預(yù)處理階段。將輸入圖像進(jìn)行縮放以達(dá)到網(wǎng)絡(luò)輸入的效果，并進(jìn)行歸一化等相關(guān)操作。YOLOv5 在網(wǎng)絡(luò)訓(xùn)練階段使用的是Mosaic 數(shù)據(jù)增強(qiáng)技術(shù)，是對(duì)圖片按照隨機(jī)縮放、隨機(jī)排布、隨機(jī)裁剪來(lái)進(jìn)行拼接而形成的，這極大地豐富了數(shù)據(jù)集，使用該操作來(lái)對(duì)模型的訓(xùn)練速度和網(wǎng)絡(luò)的精度進(jìn)行提升。同時(shí)，它將計(jì)算初始錨點(diǎn)的相關(guān)算法集合到整個(gè)代碼內(nèi)，這和之前版本的算法有所區(qū)別。

基準(zhǔn)網(wǎng)絡(luò)即Backbone，其是一種性能較為優(yōu)異的分類網(wǎng)絡(luò)，該模塊主要指用來(lái)提取一些通用的特征表示，在一些大型數(shù)據(jù)局上已完成預(yù)訓(xùn)練，擁有預(yù)訓(xùn)練參數(shù)的卷積神經(jīng)網(wǎng)絡(luò)。在YOLOv5 中，同時(shí)使用了CSPDarknet53 結(jié)構(gòu)和Focus 結(jié)構(gòu)來(lái)作為基準(zhǔn)網(wǎng)絡(luò)，加強(qiáng)了網(wǎng)絡(luò)特征融合的能力。

Neck 網(wǎng)絡(luò)通常位于基準(zhǔn)網(wǎng)絡(luò)和頭網(wǎng)絡(luò)中間，它可以進(jìn)一步提升特征的多樣性以及魯棒性，更好的利用了基準(zhǔn)網(wǎng)絡(luò)對(duì)目標(biāo)對(duì)象進(jìn)行特征提取。同時(shí)，其還延續(xù)了前幾個(gè)版本的FPN 和PAN 網(wǎng)絡(luò)結(jié)構(gòu)，自頂而下地將高層的特征信息通過(guò)上采樣的方式進(jìn)行傳遞融合，從而得到預(yù)測(cè)后的特征圖。

Head 輸出端可以用來(lái)完成對(duì)目標(biāo)檢測(cè)結(jié)果的輸出。對(duì)于不同的目標(biāo)檢測(cè)算法而言，輸出端的分支不相同，通常包含一個(gè)分類分支和一個(gè)回歸分支。它利用之前提取的特征對(duì)圖像做出預(yù)測(cè)，預(yù)測(cè)目標(biāo)的種類和位置。對(duì)于預(yù)測(cè)好的目標(biāo)框進(jìn)行刪選，需要進(jìn)行nms 非極大抑制操作，即挑選出位置合適的目標(biāo)框。

YOLOv5 提供了4 種網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)代碼中的參數(shù)對(duì)網(wǎng)絡(luò)的深度和寬度進(jìn)行控制。其中， depth _multiple 控制網(wǎng)絡(luò)的深度，而width_multiple 則控制著網(wǎng)絡(luò)的寬度。圖2 為Yolov5 作者對(duì)網(wǎng)絡(luò)模型結(jié)構(gòu)的算法性能測(cè)試圖。橫軸表示該算法在GPU 上推理所要消耗的時(shí)間，縱軸則是表示在coco 數(shù)據(jù)集中的AP值，是目標(biāo)檢測(cè)模型的評(píng)價(jià)指標(biāo)。在圖2 中，YOLOv5s所花費(fèi)的時(shí)間要比其他算法更少，但是精度方面較為欠缺。而YOLOv5x 則是所有算法中精度最高的，但是耗費(fèi)的時(shí)間也同樣更長(zhǎng)。我們可以根據(jù)現(xiàn)實(shí)中的場(chǎng)景選擇合適的模型。在本次實(shí)驗(yàn)中，我們采用的是效率和準(zhǔn)確率都較理想的YOLOv5l 模型[3] 。

我們同時(shí)使用了YOLOv5l 和YOLOv5x 進(jìn)行檢測(cè)，對(duì)比兩個(gè)視頻發(fā)現(xiàn)YOLOv5x 對(duì)遠(yuǎn)處的目標(biāo)識(shí)別要略遜色于YULOv5l。出現(xiàn)該問(wèn)題的原因可能是隨著網(wǎng)絡(luò)的深度的變化和感受野增大，小物體的特征會(huì)隨著深度的增加而漸漸丟失，從而導(dǎo)致檢測(cè)性能降低。所以，我們還是要根據(jù)自己的需求對(duì)相關(guān)網(wǎng)絡(luò)進(jìn)行配置和使用。

深淺層的特征各有優(yōu)劣，因此將深層的語(yǔ)義信息添加到淺層的特征圖中進(jìn)行檢測(cè)，可以做到優(yōu)勢(shì)互補(bǔ)，以此提高對(duì)小目標(biāo)的檢測(cè)準(zhǔn)確率及定位精度。如果圖像分辨率很大，但是又有很多小目標(biāo)時(shí)，直接將圖片輸入到網(wǎng)絡(luò)中的檢測(cè)效果并不好。最主要的原因還是特征圖感受野較大，對(duì)小目標(biāo)的特征不能很好地檢測(cè)。我們可對(duì)圖像進(jìn)行分割檢測(cè)，即將圖片分割成小圖，然后放入網(wǎng)絡(luò)中進(jìn)行檢測(cè)和識(shí)別。為防止分割的圖片將其中的目標(biāo)也分隔開(kāi)，我們?cè)诜指顖D片時(shí)可以設(shè)定重疊區(qū)域，在分別檢測(cè)完成后，將它們組合到一起，并對(duì)其中重復(fù)的目標(biāo)進(jìn)行刪選，最終達(dá)到對(duì)超高分辨率的圖像的目標(biāo)檢測(cè)。但是，采用這種方法可能會(huì)使計(jì)算量增加，從而耗費(fèi)時(shí)間，最終不能滿足實(shí)時(shí)性的需求。解決方法是盡量在可以檢測(cè)出來(lái)的基礎(chǔ)上采用更為輕量化的網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)相關(guān)功能。

4結(jié)論