基于OpenCV的深度學習目標檢測與跟蹤

柯研 劉信言 鄭鈺輝

摘要：目標檢測和跟蹤在工業應用中占有較大的比重，通過目標識別技術，可以快速準確的檢驗產品的一致性，降低工人勞動強度，提高企業效益，本文主要介紹了一種開源的計算機視覺庫——OpenCV，OpenCV中集成的模塊能夠減少開發人員工作強度。本文對OpenCV中用于目標檢測和跟蹤的模塊，和這些模塊的算法基礎進行了簡要的介紹，本文還將對OpenCV中提供的DNN深度神經網絡模塊的相關內容和算法框架進行簡要的介紹。

關鍵詞：OpenCV;DNN;目標檢測與跟蹤

中圖分類號：TP391.41? 文獻標識碼：A? 文章編號：1007-9416（2018）10-0000-00

人類獲取信息的主要途徑有聽覺、視覺、觸覺等，視覺是最直接、最有效的獲取信息的途徑。本文介紹了一種廣泛使用的計算機開源視覺庫——OpenCV。OpenCV作為一種計算機視覺庫，可以讓計算機像人類一樣獲取圖像的信息，讓冰冷的機器更加智能化。OpenCV中提供了多種集成了各種算法的模塊，開發人員可以利用這些模塊輕易開發出需要的程序。OpenCV中既包含了一些傳統的圖像處理方法，隨著神經網絡的普及，也集成了相關的深度網絡算法。

計算機視覺是通過計算機相關的算法，模擬出生物視覺功能的學科。通過圖像設備獲取圖像，傳入計算機進行處理，獲得圖像中有用的信息。傳統的圖像識別方法，主要是先通過提取一些特征點，然后再通過數學統計模型表示圖像，最后通過圖像匹配的算法對圖像進行識別，再次過程中，需要人工指定相關參數和方法。近年來發表的多篇論文[2]已經指出，未來圖像的處理方向會以基于神經網絡的模型來進行研究。深度神經網絡由于其層次多，復雜性高，能夠處理獲得圖像中更加復雜的特征信息。與傳統方法相比，深度神經網絡的表現能力更加優異，能夠表示更加復雜的函數關系。訓練完成的神經網絡，不需要人為的輸入某些值來優化結果，可以自動完成圖像學習和檢測，自己訓練自己，得到更精準的結果，同時也減少了人工勞動。

1 深度神經網絡

DNN全稱為深度神經網絡[3]，是多層神經網絡結構。深度神經網絡由感知機發展而來，結構上與多層感知機（MLP）極其相似，結構上二者都擁有輸入層、隱藏層、輸出層。多層感知機也稱為人工神經網絡，實際只含有一層隱層節點的淺層模型。感知機模型是機器學習中的一種淺層學習模型，深度神經網絡是更復雜更深層次的深度學習模型。

深度神經網絡與RNN循環神經網絡結構、CNN卷積神經網絡不同的是，深度神經網絡是一個更多層的全連接神經元結構，每層之間的節點之間做全連接，整個神經網絡結構包含了多種已知的神經網絡結構層，如卷積層、池化層、GRU等，將不同的神經網絡融合使用，真正達到了深度神經網絡的更深的深度，使得在應用中更容易達到最優解。

2 目標檢測與跟蹤

目標檢測使用圖像序列單幀信息或者靜態圖像，依據先驗知識、或者顯著等特性找到某些感興趣的區域。目標跟蹤僅用于連續的圖像序列，根據已有目標的位置，在后續幀中找到最佳匹配位置，更側重于目標的匹配上，形成目標的運動軌跡。目標跟蹤依賴于目標檢測，必須先定位目標位置，才能進行目標跟蹤。多數情況下目標跟蹤的第一幀由人工指定，也有通過目標檢測進行全自動跟蹤。但是目標檢測需要對整張圖像全局進行搜索，目標跟蹤只對上一幀圖像中的目標進行搜索，目標跟蹤的速度明顯快于目標檢測。當一張圖像出現多個與目標相似的圖像時，目標檢測很容易檢測出相似值，在視頻等連續多幀的圖像序列中，目標檢測很容易出現誤差，所以常用目標跟蹤以提高速度。

在OpenCV中提供了如下的幾個目標跟蹤與檢測的算法：

2.1基于SIFT特征匹配的對象檢測

SIFT，即尺度不變特征變換，是一種局部特征描述子，可在圖像中檢測出關鍵點，特征穩定，在圖像旋轉、尺度變換、亮度時有保持不變性，對視角變換、噪聲也有一定程度的穩定性。SIFT分為以下幾個步驟：建立尺度空間，尋找極值;尋找關鍵點準確位置與刪除弱邊緣;關鍵點方向指定;關鍵點描述子。

建立尺度空間，尋找極值：構建圖像高斯金字塔，求取差分，發現最大與最小值在每一級，構建的高斯金字塔，每一層根據求和的值不同，劃分等級。搜索圖像上的所有位置，通過高斯微分函數來識別潛在的對于尺度和旋轉不變的興趣點，尋找極值。

尋找關鍵點準確位置與刪除弱邊緣：通過Hessian矩陣特征值實現刪除弱邊緣，小于閾值的自動舍棄。

關鍵點方向指定：通過計算每一層對應圖像的梯度，根據給定的窗口大小，計算每個高斯權重。然后建立36個直方圖Bins，尋找最高值對應的Bin，大于80%最大值的Bin保留。通過這種操作實現了旋轉不變性，提高了匹配時候的穩定性。

關鍵點描述子：在每個關鍵點周圍的鄰域內，通過在一定范圍內設定的值，測量圖像局部的梯度，計算結果表示允許的局部形狀的變形和光照變化。

2.2基于SURF特征匹配的對象檢測

SURF（Speeded Up Robust Features）改進了SIFT的特征提取和描述方式，通過一種更高效的方式提取和描述目標特征。SIFT算法的優點是但是SIFT實時性不高，對提取邊緣光滑的特征點能力弱。SURF基于積分圖計算、快速提取關鍵點，具有尺度、光照不變性，快速的描述子匹配的特性。SURF的基本思想是：構建Hessian矩陣，生成目標的所有能夠用于提取特征的興趣點;構建尺度空間;特征點定位;特征點主方向分配;生成特征點描述子;特征點匹配。

2.3 HAAR特征人臉檢測

HAAR特征是一種常用算子，用來描述圖像的特征，多用于人臉檢測、行人檢測等目標檢測。特征模板內只有白色和黑色兩種顏色矩形，HAAR特征值反映了圖像的灰度變化情況。例如人臉的一些明亮深淺比較大的區域的特征，可以通過矩形特征進行簡單的描述，但矩形特征只會描述一些簡單的圖形結構，復雜的結構不能進行描述。HAAR的基本特征可以劃分為三類：邊緣特征、線性特征、點特征。

3 DNN模塊簡介

在深度神經網絡大火的今天，OpenCV也不甘落后。在OpenCV的發行版中提供了DNN模塊，但是開發人員想要使用該模塊的全部功能，還需要下載DNN模塊的相關擴展庫。OpenCV的DNN模塊可以實現多數計算機視覺的應用。OpenCV的DNN模塊功能強大，提供廣泛的支持，支持目前開發工作上流行的tensorflow、caffe、pytorch深度學習庫，支持LSTM、CNN、RNN等網絡層，也包含了Alexnet、GoogleNet、VGG等模型。

與其他深度學習網絡框架不同的是，OpenCV的DNN模塊是前饋網絡，不能進行訓練，開發過程中直接加載調用已經訓練好的模型，實現圖像的預測分類等功能。但在編寫檢測層代碼時仍需要分層編寫。

接下來介紹幾個OpenCV中常用的DNN對象檢測網絡：

3.1 SSD對象檢測網絡

SSD對象檢測網絡，或稱單目標多窗口檢測器[4]。SSD是基于卷積神經網絡的一種網絡結構，是第一個基于深層網絡的對象檢測器，相比于R-CNN、Fast-RCNN，SSD的準確性更高，實時性的預測速度表現更好。

SSD的網絡架構以VGG-16為基礎，因為VGG-16擁有高質量的圖像分類和遷移學習的能力。SSD對VGG-16進行了調整，刪除了VGG-16中的圖像分類，添加了額外的卷積層，減小圖像尺度，增加圖像深度，在更小的規模內保留了更多的圖像信息。SSD網絡的核心思想是分層提取目標圖像特征，只對圖像的分層進行特征提取的操作，并對邊框信息一次進行回歸分類。

3.2 YOLO對象檢測網絡

對象檢測網絡上分為兩種：兩步法、一步法。基于圖像分類加上滑動窗口的方式對象檢測是兩步法的代表，兩步法先進行卷積神經網絡的操作，再使用一個滑動窗口標注，但是這種方法太慢，預測一些感興趣的區域，計算量比較大，導致性能差，無法進行實時預測。

YOLO的一步法，對圖像每個區域只計算一次。YOLO先將圖像分為13x13的目標框，每個方格細胞負責預測5個目標框，輸出的置信度數值，告訴每個目標框包含某個對象的可能性是多少，不會直接輸出檢測的目標是什么，而是目標框形狀的契合程度，相似度越高，目標框就越粗。YOLO只對圖像進行一次計算，沒有進行池化和全連接層操作，大大減少了計算時間。

4 結語

良好的課擴展性和強大的可擴展性，使得OpenCV現在已經用于廣泛的工業生產之中，越來越多的手機客戶端軟件也是基于OpenCV開發的。本文簡單介紹了OpenCV中科院直接用于生產的方法，OpenCV仍然有一些框架值得開發者進行二次開發和研究，擴展庫中的方法仍然存在科院提升的地方以提高準確性、實時性。OpenCV中DNN模塊可以方便的實現基于神經網絡的目標檢測與追蹤，這樣也使得OpenCV能夠與當前流行的深度學習框架融合，開發出更好的應用。此外想要實現OpenCV中以外的功能，仍需研究人員自行開發。

最后感謝我的導師鄭老師給我提供了這次學習交流的機會，讓我可以與業界精英交流學習，解決了我對深度學習和圖像處理方面的許多疑惑。

參考文獻

[1]毛星云.OpenCV3編程入門[M].北京：電子工業出版社，2015.

[2]李衛.深度學習在圖像識別中的研究及應用[D].武漢：武漢理工大學，2014.

[3]白亞龍.基于深度神經網絡的圖像識別系統的研究與改進[D].哈爾濱：哈爾濱工業大學，2014.

[4]陳立里，張正道，彭力.基于改進Single Shot MultiBox Detector的實時檢測方法[J/OL]. 激光與光電子學進展：1-12[2018-10-29].

Deep Learning Target Detection and Tracking Based on OpenCV

KE Yan，LIU Xin-yan，ZHENG Yu-hui

（Nanjing University of Information Science and Technology， Nanjing Jiangsu 210044）

Abstract： Target detection and tracking occupy a large proportion in industrial applications. Through target recognition technology， product consistency can be quickly and accurately tested， labor intensity is reduced， and enterprise efficiency is improved. This paper mainly introduces an open source computer vision library— —OpenCV， the integrated modules in OpenCV can reduce the developer's work intensity. In this paper， the modules for target detection and tracking in OpenCV， and the algorithm basis of these modules are briefly introduced. This paper also briefly introduces the related content and algorithm framework of DNN deep neural network module provided in OpenCV.

Keywords：? OpenCV; DNN; target detection and tracking