基于深度學習的以圖搜圖架構及在公安圖偵中的應用

姜少波 甘彤 商國軍

摘要 隨著智能視頻分析技術的不斷發展，圖像檢索技術在公安圖像偵查領域發揮著越來越重要的作用，傳統基于內容的圖像檢索主要提取目標的低級特征，易受環境干擾，導致復雜監控場景的檢索準確率低下，實戰效果不理想。基于深度學習的以圖搜圖關注高層特征的抽象，能有效克服遮擋、光照、角度變化等因素的影響，應用于圖像檢索具有一定的優勢。本文主要介紹了基于深度學習的以圖搜圖架構及在公安圖偵中的應用。

【關鍵詞】深度學習 以圖搜圖 圖像偵查 應用

1 基于深度學習的以圖搜圖

1.1 深度學習原理

深度學習的基本思想是通過有監督或無監督的方式學習層次化的特征表達，對目標進行從底層到高層的描述，各層的特征不是利用人工工程來設計的，而是使用一種通用的學習過程從數據中學到的，含有隱層的多層感知器就是一種深度學習結構。深度學習模型的訓練過程是在大量樣本數據的基礎上進行的，采用反向傳播技術進行權值的迭代優化。在視頻圖像檢測與識別領域，卷積神經網絡（CNN）是主流的實現手段，通過設計出多層的人工神經網絡進行目標的特征提取和識別檢測，目前，基于深度學習技術在行入結構化、車輛結構化、人臉識別等方面取得了突破性的進步。

1.2 以圖搜圖架構設計

基于深度學習的以圖搜圖架構主要包括視頻檢索庫構建和目標檢索兩個組成部分。視頻檢索庫構建采用深度學習方法將監控視頻進行預處理，提取其中的目標類型和深度特征;目標檢索模塊通過提取待檢目標的特征，并和視頻檢索庫中的特征進行相似度比對，按相似度高低展現檢索結果。其架構如圖1所示。

架構中的核心模塊主要包括目標關鍵幀提取、目標分類與特征提取、特征匹配等模塊。

1.2.1 目標關鍵幀提取

目標通常以一段連續的軌跡出現在監控視頻畫面中，為了大大縮減后續處理的視頻幀數，提高整個視頻檢索庫構建速度，需要對目標進行檢測與跟蹤，提取目標關鍵幀。關鍵幀的提取采用速度快、準確性高的背景建模檢測和最大面積跟蹤法，并選取目標在場景中出現面積最大時的幀作為關鍵幀。

1.2.2 目標分類與特征提取

基于深度學習技術，對視頻關鍵幀進行目標分類與特征提取，首先需要對深度模型進行訓練。訓練模型所使用的數據集來源于實際監控視頻數據，涵蓋了白天、夜間、晴、陰、雨、霧等不同場景的多樣化數據，從而提高模型的泛化能力和準確度。根據公安圖偵的實戰需求，主要訓練了6個類別的目標：行人、小汽車、電動車、中巴車、大巴車、卡車。使用訓練后的模型對視頻關鍵幀中的目標進行檢測分類，并提取相應的深度特征構建視頻檢索庫。

1.2. 3 特征匹配

目標檢索時，需要將待檢圖片的深度特征與視頻檢索庫中的深度特征進行匹配，從而根據相似度高低展示檢索結果。由于深度特征具有表達能力強、維度低等特點，因此特征匹配的相似性采用歐幾里得距離進行度量，公式如下：

當兩個目標的特征向量相同時，S=100%，特征向量之間相差越大，相似度S越小。

2 以圖搜圖在圖偵中的應用

圖像偵查關注的目標主要為行人和車輛，因此，以圖搜圖在行人、小汽車、電動車等目標檢索方面得到了廣泛的應用。

2.1 行人以圖搜圖

在圖偵實戰中，通常需要從視頻圖像中快速查找、定位出具有某種特征的嫌疑人，常見的特征主要有人臉特征、衣著特征、附屬物等。以圖搜圖將行人的整體特征抽象為深度特征，能克服各種環境因素的影響，從而提高行人檢索的準確性。當把嫌疑人圖片導入以圖搜圖系統中，系統會自動提取目標人物的特征，并將所有待檢視頻中與該目標最為接近的行人都顯示出來，從而實現跨視頻的檢索。當目標的上半身和下半身的衣著具有某種特色，如上半身淺色衣著，下半身深色衣著，系統也可以搜索出相似的目標結果。

2.2 小汽車以圖搜圖

基于車牌、車型信息的車輛檢索應用廣泛，但限于攝像機拍攝角度，車輛車身和牌照有可能無法完全顯示，或者由于肇事車輛逃逸迅速，現場人員無法看清車型及車牌信息，此時車輛的局部特征分析顯得十分必要。車輛局部特征包括遮陽板是否打開、是否有年檢標、前大燈是否開啟、是否有破損、是否有掛件及是否有紙巾盒等細節信息，這些特征都可以作為以圖搜圖的依據，在多種視頻中搜索出相似的目標，還原車輛運動軌跡。

2.3 電動車以圖搜圖

電動車以快捷、輕便、價廉的優勢成為百姓的主要交通工具，隨之而來的電動車盜竊案件呈現上升趨勢。電動車的特征通常表現為是否有燈、車把手顏色及破損狀態、是否有車籃、擋泥板等，基于電動車整體特征的以圖搜圖能夠克服光照、遮擋等因素的影響，在多段視頻中可有效檢索感興趣目標，為案件偵破提供支持。

以上主要介紹了圖偵中常見目標的以圖搜圖，除此以外，其他目標如中巴車、大卡車、貨車等也可以通過以圖搜圖搜索相似目標。圖2是一個小汽車以圖搜圖的例子。

3 小結

基于深度學習的以圖搜圖作為一種抽象特征的檢索方法，克服了淺層特征的缺點，在視頻偵查實戰中得到了廣泛和常態化的應用。從目前來看，將深度學習技術應用于以圖搜圖具有明顯的優勢，然而由于實際應用場景非常復雜，這種檢索方式也可能出現效果不佳的情況。隨著深度學習技術的不斷深入，基于更大更深網絡結構的以圖搜圖將在圖偵中得到更加貼合實戰的應用。

參考文獻

[1]胡二雷，馮瑞.基于深度學習的圖像檢索系統[J].計算機系統應用，2017 （03）.

[2]易軍凱，何瀟然，姜大光.圖像內容理解的深度學習方法[J].計算機工程與設計，2017 （03）.

[3]尹寶才，王文通，王立春.深度學習研究綜述[J].北京工業大學學報，2015 （01）.