改進的YOLOv3算法在視頻分析中的應用

康金龍 ，劉 濤 ，謝祎霖 ，許 濤 ，宮 勝

（1 西北大學經濟管理學院 陜西 西安 710000）

（2 西北大學網絡與數據中心 陜西 西安 710000）

（3 西北大學后勤集團 陜西 西安 710000）

0 引言

多目標檢測是計算機視覺領域亟待解決的基本任務之一，也是視頻監控技術的基本任務[1-2]。由于視頻中的物體有不同的姿態，經常出現被阻擋的情況，所以它們的運動是不規則的[3]。同時，考慮到視頻監控的分辨率、天氣、光線等條件和場景的多樣性，目標檢測算法的結果將直接影響后續跟蹤、分類、動作識別和行為描述的效果[4]。多目標檢測仍然是一個非常具有挑戰性的任務，有很大的潛力和改進空間。

1 多目標檢測的基本思想

Fast-rcnn通過建立多任務模型，利用神經網絡對操作進行分類，實現了實時端到端聯合訓練[5]。同時，Fast-rcnn實現了網絡終端同步訓練，提高了準確率，但分類步驟的性能沒有明顯提高。Faster-rcnn在Fastrcnn的基礎上增加了區域建議網絡（region proposal network，RPN），提取候選框并合并到深度神經網絡中[6]。通過交替訓練，建立了統一的深度神經網絡框架，既減少了重復計算，還大大提高了運行速度。YOLO的思想是用單個神經網絡直接訓練整個輸入圖像作為輸入，從而更快速地區分背景區域和目標，以更簡單、更快的方式對目標對象進行實時監控[7]。該方法將輸入圖像劃分為S×S大小的網格，每個網格單元預測邊界框和這些邊界框的可靠性。YOLO本質上解決了目標檢測的實時性問題，真正實現了“端到端”的CNN結構。YOLOv3的思想是通過特征提取網絡從輸入圖像中提取一定大小的特征映射，例如13×13[7]。然后將輸入的圖像劃分為13×13格。如果ground truth中一個對象的中心坐標落在網格單元格中，網格單元格將預測該對象，因為每個網格單元格預測固定數量的邊界框。在這些邊界框中，只有那些具有最大限度和ground truth的IOU被用來預測這些對象。可以看出，預測的輸出特征圖具有提取特征的兩個維度。其中一個維度是平面，例如13×13，還有一個維度是深度，例如B×（5+C），其中B表示每個單元格預測邊界框的數量，C表示邊界框對應的類別數。

2 改進的YOLOv3算法YOLOv3-ANV

現在流行的圖像檢測算法和視頻檢測算法有很多，它們都有各自的特點和優勢，適用于不同的情況。在YOLOv3和Faster-RCNN模型和人口密度估計下，對一般場景的人體檢測進行計數統計實驗。研究人員發現，當人數較少時，YOLOv3模型更準確。人群密度估計是在大量人群中必不可少的檢測方法[8-9]。人群計數的方法可以分為三種。第一種是行人檢測：這種方法比較直接，在人群較稀疏的場景中，通過檢測視頻中的每一個行人，進而得到人群計數的結果，一般是用基于外觀和運動特征的提升方法（boosting），貝葉斯模型為基礎的分割，或集成的自頂向下和自底向上的處理，但是這種方法在人群擁擠情況下不大奏效。第二種是視覺特征軌跡聚類：對于視頻監控，一般用跟蹤和聚類的方法，通過軌跡聚類得到的數目來估計人數。第三種是基于特征的回歸：建立圖像特征和圖像人數的回歸模型，通過測量圖像特征從而估計場景中的人數。在人口密度較高的情況下，人群密度估計算法常被認為是計算人口數量的有效方法。該算法采用基于像素的種群密度估計算法，通過圖像和背景相減得到運動前景，然后根據前景像素面積和前景邊緣進行線性回歸或分類[10]。在這些方法中，從圖像中提取前景的效果直接影響算法的性能。因為在視頻中，人相對于背景總是在移動，因此可以利用一種視頻幀差法獲取自適應背景。該方法利用時間軸上每個像素的變化信息，生成不含目標種群的背景圖像。基于像素的處理方法如圖1所示。

圖1 基于像素的處理方法示意圖

在現實生活中，異常的視頻片段可以保存為片段，用于回放，驗證當時的情況。研究人員的目標是提取一個超出視頻段中異常數量閾值范圍的視頻段。為了實現這一目標，研究人員需要得到幀序列圖片中的確切幀數。首先，運行IO流讀取采集到的視頻數據，IO流將檢測視頻的幀率并從視頻中提取幀序列，將這些幀和幀率的結果保存在本地。然后使用訓練后的分類器（在已標記的訓練數據集中）對圖像數據（來自視頻序列幀）進行識別，最終得到一系列標記區域（bound-box regression識別為人體區域）。通過統計標記區域的數量，研究人員可以得到對應圖像中的人數，并根據設置的“異常人數閾值”來判斷是否超過閾值，這樣就可以從原始視頻中截獲異常人數段的視頻。最后，根據檢測抖動算法，對識別結果進行優化。研究人員將原始圖像幀的識別結果作為標簽組合放到圖像中，然后使用FFMPEG程序（FFMPEG是一個開源的計算機程序，可以用來記錄、轉換數字音頻、視頻，并將其轉換為流）來重新生成視頻。生成的視頻對應一系列的標簽幀的數量。同時，研究人員將生成的圖像中包含人數的信息上傳到遠程系統，供顯示系統進行分析和顯示。

即使YOLOv3對小物體（包括人）的檢測效果很好，但在單幀圖像中也會有一定的漏檢。YOLOv3對大目標檢測不好，并且當待檢測的人數較多時，YOLOv3的檢測效果不理想。針對這種情況，為了在模型下獲得更好的結果，研究人員設置一個最大閾值N（在實驗中，N的值為25，在20人左右的情況下，模型的準確率可以達到90%以上）。一旦使用模型對一幀進行檢測的結果大于閾值N，將采用人群密度估計算法進行檢測，從而使檢測效果更加準確。為此，提出了YOLOv3-ANV算法，該算法的框架圖如圖2所示。

圖2 YOLOv3-ANV算法框架示意圖

由于模型本身具有一定的泛化能力，用訓練數據訓練的YOLOv3模型可以檢測到各種場景中的種群，但由于幀之間的變化，模型的檢測效果會變得不穩定，被稱之為不穩定變化：檢測抖動。因為視頻中出現的跳幀情況而導致生成的異常視頻片段不連續，因此檢測抖動會降低連續變化圖片的檢測精度（參考DME計算指標）。

假設研究人員找到一個與檢測結果前后不同的幀序列號，將其識別為x，并自定義一個糾錯區域（長度）的范圍，在實驗中，長度占視頻幀率的1/3。可由式（1）表示：

其中N為視頻幀率。并提取前后長度范圍的檢測結果進行統計。可由式（2）表示：

其中Count()表示計數的函數，x-length,x+length表示計數的范圍。x1，x2，...，xn表示該范圍內的各種檢測結果。取最大值r，然后用r替換x的檢測結果值，用來穩定檢測結果序列。同時，利用穩定的幀序列也可以獲得閾值外范圍內穩定的異常視頻片段。可由式（3）表示：

3 實驗部分

3.1 實驗數據集

本文采用萬方體育競賽數據集作為YOLOv3-ANV的主要測試數據集。它由7 h 16 min的體育視頻組成。研究人員使用Microsoft COCO訓練集來訓練YOLOv3-ANV。COCO的全稱是common objects in context，是微軟團隊提供的一個可以用來進行圖像識別的數據集，COCO是當前目標識別，目標檢測領域最重要，最權威的一個標桿數據集，在COCO數據集上可以做多種任務。2014版本的COCO數據集包括82 783個訓練圖像、40 504個驗證圖像以及40 775個測試圖像，其中有270 k是分割出來的人，以及有886 k是分割出來的物體。萬方體育競賽數據集包括：

（1）2016年美國大學生橄欖球聯盟：3 h 28 min 24 s的橄欖球比賽。

（2）2017年美國曲棍球聯賽：1 h 40 min 41 s的曲棍球比賽。

（3）2017年 NCAA籃球錦標賽：比賽時長1 h 54 min 57 s。

（4）賽馬：4 min 10 s的賽馬比賽。

3.2 實驗環境與實驗結果

研究人員在實驗室用的GPU為NVIDIA GeForce 1 080 Ti，顯存為8 GB；操作系統為Ubuntu 16.04 LTS。研究人員使用Python3.6版本；配置了NVIDIA CUDA 10.0和Cudnn7.4.1進行加速GPU運算；并且安裝了Tensorflow1.13.2和Numpy1.17.4等一系列第三方數據庫來支持代碼的運行。研究人員用aria2下載COCO數據集，采取weights參數傳遞模式，基于預訓練模型對COCO 2014數據集進行訓練，使用多尺度訓練完整的圖像，每經過10次迭代就隨機從320至608這10個輸入大小（以32為間隔）中選擇一個新的數作為網絡的輸入進行訓練。訓練采用動量因子為0.9的梯度下降法,共進行100個周期訓練。網絡設置不同大小的學習率,每25個周期分別設置學習率為0.001、0.000 1、0.000 01。研究人員對萬方體育競賽數據集進行了測試。使用faster-rcnn、YOLOv3和提出的模型（YOLOv3-ANV）對所有萬方體育比賽數據集進行測試。其中，檢測到的美國曲棍球聯賽的結果如圖3所示。

圖3 檢測美國曲棍球聯賽的結果

為了更好地反映檢測平均精度，使用如下公式（4）進行計算：

其中mL為檢測到的具有相同物體數的幀數，m2為具有相同物體數的真實幀數，p1、p2為檢測到的物體數和真實物體數，APd為檢測平均精度。結果如表1所示。根據表格可以得出，檢測精度得到了提高。

表1 不同方法對各個運動項目的計算精度

4 結語

本文提出了YOLOv3-ANV算法，該算法具有多尺度估計機制和檢測抖動預防機制，在多目標檢測中具有良好的應用前景。如體育比賽和公共區域的多人檢測。研究人員進行了相關實驗，實驗結果表明，YOLOv3-ANV在體育競賽數據集的多人檢測中具有較好的檢測精度。高分辨率相機記錄的特定圖像對任務更有幫助。最后，本研究還可以用于公安領域、交通安全領域、智慧化工領域、智慧加油站領域等。可降低資源與人員配置，對多目標進行識別，并進行分析判斷及時對異常行為做出反應，有效地對群體行為進行相應分析，從而保障監控區域的安全，減少不良事件發生，降低管理成本，具有一定的可拓展性。