視頻結構化技術在公安實戰中的深度應用

吳普民 趙晉揚 陳德浪 王喆

1.江蘇省揚州市公安局 2.北京曠視科技有限公司

引言

隨著公安信息化建設的不斷推進，我國平安城市、雪亮工程、治安防控體系戰略的深入發展，公安機關已經建設了海量的視頻攝像機，初步構建起覆蓋公共區域、要害部位的“天網”，基本實現“全域覆蓋、全網共享、全時可用、全程可控”的公共安全視頻監控聯網應用。但大規模視頻產生的海量數據也讓指揮中心的工作變得更加繁重，這些晝夜不停記錄的攝像頭每天產生的視頻數據總和更是異常龐大，可想而知，僅依靠人力對視頻進行人、地、事、物、組織的甄別，無異于大海撈針。

視頻結構化技術的出現及不斷進步，為公安部門各警種實戰應用提供了有力的技術支撐，針對海量視頻分析、檢索及研判的問題，已逐步從人工分析轉向基于人工智能技術的視頻結構化分析，并且在實際案件偵破中起到了巨大的支撐和幫助，大大減輕了一線民警的工作負擔。

隨著社會形勢和實際案件的復雜程度不斷提高，犯罪嫌疑人的反偵察意識不斷加強，特別是疫情期間全員佩戴口罩出行對案件偵破帶來的新影響，現有視頻結構化技術研判支撐不足的問題日益突出。如何在沒有原始案件圖像的情況下獲取第一張線索圖片、目標人員戴口罩的情況下如何及時發現目標、當目標人員換裝后如何通過局部特征找到目標人員整體圖像等問題，已成為當前公安利用視頻結構化技術進行案件偵破工作必須面對和解決的重要問題。

一、視頻結構化技術在案件偵破中遇到的問題

（一）沒有目標人員圖像時，無法找到第一張線索圖像

在公安實際案件偵破中，絕大多數行人識別方法是拿一張拍到的行人圖片進行以圖搜圖，但某些情況下，可能無法拍到該人的圖像。特別是，刑偵中受害人或目擊者去報案，只能對見到的作案人員進行描述，例如穿了黃色上衣、黑色褲子、背著雙肩包、戴著帽子等。在這種情況下，只能通過目標人員屬性去尋找，但視頻結構化系統的屬性種類有限，不足以完整描述整個人的衣著、體貌特征，使得行人識別效率低下，也就無法找到第一張線索圖像。

（二）人員戴口罩或面部遮擋時，無法第一時間發現目標人員

在疫情期間，面對全民戴口罩出行的特點，即使公安機關掌握目標人員的人臉圖像，利用現有人臉識別系統進行人臉布控，也很難達到精準報警的目的，因為人臉被口罩較大范圍遮擋，必然會影響人臉識別的精準度，從而導致公安在目標人員布控抓捕時沒有更好的技術手段輔助。但即使目標人員戴口罩時，其人體衣著特征依然明顯，若能利用視頻結構化系統進行人體布控報警，則大大提高疫情期間公安案件偵破的效率。

（三）目標人員換裝后，無法發現有效線索

面對一些高反偵察能力的作案人員，當其離開作案現場后，更換作案時所穿戴的衣著并戴上口罩或進行面部遮擋后，當其再次出現時，視頻系統和技術很難再次發現目標人員。現有視頻結構化系統很難發揮實戰作用，給案件偵破和目標人員抓捕帶來了巨大的困難。

考慮到以上問題的同時，高智商犯罪案件頻頻發生，犯罪嫌疑人反偵察能力和作案手段層出不窮，公安民警越來越難以利用現有視頻結構化技術發現案件當中的有效線索，因此對視頻結構化技術的研判能力提出了更高的要求。

二、解決方案

視頻結構化應用平臺應充分利用人工智能、大數據、云存儲、云計算等先進技術，廣泛應用于公安部門各個警種，充分利用既有數據的價值，與各業務系統廣泛對接，實現日常業務、案件偵破流程化處理，強化事前、事中、事后的一體化操作流程。

（一）系統架構

1.數據接入

支持通過GB/T 28181-2016協議的TCP/UDP模式接入視頻監控聯網/共享平臺實現對接獲取視頻資源，支持通過GA/T 1400.4-2017協議接入視圖庫，支持RTSP等標準協議直接接入和管理前端攝像機資源，通過Kafka等協議直接接入和管理交通卡口資源，支持上傳 asf、 avi、 mp4、 mpeg等 H.264、H.265編碼的離線視頻，支持上傳fax、ico、jpeg等格式的離線圖片文件。

2.業務應用

系統支持對人臉、人體、機動車和非機動車的結構化分析，提供結構化結果查詢檢索功能；提供基于人臉、人體、機動車和非機動車屬性的以圖搜圖服務；提供基于GIS服務的目標展現、軌跡展現等應用；擁有統一完善的用戶權限和系統運維，可對系統硬件、服務狀態實時監控等。

3.系統展現

搭載B/S客戶端，實現對視頻接入資源（監控圖像、交通卡口、視頻共享/聯網平臺）的統一管理；提供視頻結構化的處理過程、結果分類展示，以及貼近公安業務的查詢檢索交互邏輯；可視化系統運維，系統軟硬件狀態一目了然。

（二）視頻結構化關鍵技術

1.行人畫像的生成及基于畫像的行人識別

隨著視頻結構化技術的不斷發展和突破，根據目擊證人的描述，對行人衣著、體貌特征的畫像以及基于虛擬畫像進行行人識別成為了可能。

傳統刑偵畫像是根據目擊者的語言描述，利用素描等方法模擬刻畫出犯罪嫌疑人相貌特征的技術方法，這項技術能夠為公安偵查破案、打擊犯罪活動提供一定的技術支撐與服務。基于視頻結構化技術的行人畫像檢索，一方面可以有效補充犯罪嫌疑人相貌特征信息不完整的情況下，利用行人人體信息挖掘價值線索；另一方面可以利用電腦技術，所見即所得，減少與目擊證人的語言溝通成本，豐富刑偵技術手段。

基于輸入信息生成待識別行人的行人畫像，以及基于行人圖像數據庫和所述行人畫像，利用訓練好的行人識別神經網絡進行行人識別以得到與所述行人畫像相對應的行人信息。同時，通過卷積神經網絡將所提取的畫像特征與圖像特征進行融合，生成基于畫像的行人識別方法、裝置、系統和存儲介質。對于無法提供待識別行人的行人圖像場景，通過生成行人畫像來實現對行人的完整視覺描述，并利用神經網絡基于生成的行人畫像實施行人識別。相對于基于文字屬性描述的行人識別，能夠顯著提高行人識別效率和準確度。

2.高精度行人重識別模型

行人重識別技術在公安應用已有多年，發揮了重要的作用，由于行人場景中存在許多和行人外觀十分相似的背景異物，導致行人檢測系統在這些場景中會出現錯誤檢測的情況，降低了行人檢測的精確度。在公安早期實戰場景中，經常出現檢索出的目標為樹葉、模糊的汽車等情況，無法發揮技術價值，錯誤的檢測結果甚至會導致嚴重后果，行人重識別也無法達到人體布控預警的精度，因而需要更加精確的檢測系統，以降低與行人相似的異物對行人檢測所造成的干擾。

為了提高行人重識別的精度，利用基于權重自調節的行人檢測模型訓練方法，將訓練圖像輸入至神經網絡，以生成關于訓練圖像中的目標對象的預測信息。預測信息包括檢測框位置、檢測框權重和檢測框分數，檢測框權重表示檢測框中目標對象與背景的相似性，相似性越高，則檢測框權重越低，計算檢測框分數與分數真值之間的第一分類誤差，并根據檢測框權重和計算檢測框位置與位置真值之間的位置誤差，進一步基于位置誤差更新所述網絡參數，使得在行人檢測模型的訓練過程中自動降低與背景相似的行人樣本的檢測框權重，從而降低了易混淆樣本對網絡參數的不利影響，極大提高了行人檢測的精度，使得利用行人重識別技術的人體布控成為可能。

3.行人局部目標重識別方法

在視頻結構化的諸多應用中，目標分析至關重要，特別是目標的身份識別在公安實戰中起著核心作用。目前已有行人重識別（Person Re-identification）[1]、車輛重識別（Vehicle Re-identification）[2]等身份重識別（Reid）技術。以行人重識別為例，該技術能夠基于待追蹤行人的一張圖像在城市龐大的攝像頭網絡所采集的各行人圖像中找到該人。

視頻結構化在實際應用場景下的數據非常復雜，會受到各種因素的影響，這些因素是客觀存在的，如在車站出入口前、高密度的人群等特殊場景下，行人容易被遮擋，造成只有局部身體暴露在圖像中，以及行人姿態、配飾、相機拍攝角度、圖片模糊不清、室內外環境變化、白天晚上光線差異等因素，行人重識別的精度必然會受到影響。現有方式通常是直接將局部圖像與圖像庫中的全身圖像進行匹配，匹配精度不高，重識別的準確率較低，無法達到以局部特征搜索全局特征的目的。

有鑒于此，通過大量算法研究及算法訓練，對于局部目標重識別的技術進一步提升，能夠有效提升局部圖像與全身圖像的匹配精度，從而提高重識別準確率。通過對已有目標的全身圖像及待識別目標的局部圖像，將全身圖像與所述局部圖像輸入預先訓練得到的局部目標重識別模型，使局部目標重識別模型基于局部圖像對全身圖像進行仿射變換處理，得到全身圖像的仿射圖像，并確定仿射圖像和所述局部圖像之間的特征間距，基于特征間距判別待識別目標是否與已有目標匹配。該技術與直接比對局部圖像與全身圖像的傳統方式相比，能夠更好地提升匹配精度，進而提升重識別的準確率。

在實戰應用中，通過行人局部目標重識別的方法，提高了視頻結構化技術對復雜多變場景的適應性。當目標人員被部分遮擋、姿態、配飾、相機拍攝角度、光線、外部環境等發生變化時，可利用其身體外表未改變的局部特征檢索整體人體圖像，提高檢索首位命中率，提升實戰價值，為后續室內外行人動線聯動、全城聯動打下基礎。

三、視頻結構化技術的深度應用

（一）畫像檢索

針對不掌握人臉、人體圖片的關注對象，可以根據其衣著、體貌特征進行多維虛擬畫像，以該虛擬畫像圖片在海量結構化數據中進行檢索，以找到相似度最高的人體圖片，還原關注對象的活動軌跡，為實戰應用挖掘更多信息。

同時必須提供符合一線民警操作習慣和要求的定制人體畫像工具，提供人體畫像搜索機制，靈活自由搭配人體外形屬性，包括但不限于發型、帽子、上衣、下衣、外套、鞋、包、配飾、顏色、紋理等細節繪制，進行跨攝像機的目標檢索。人體畫像工具如圖2所示。

（二）人體布控

疫情期間全員常態化佩戴口罩、作案人員蒙面及無法獲取目標人員臉部圖像等情況下，可利用基于高精度行人重識別技術的人體布控應用，對目標人員的人體進行精準布控，以實現目標人員再次出現時進行精準報警。

以案發時間、地點為基準，調取案發前后某一時間段的監控視頻，利用行人重識別技術在各視頻中開展相似目標的檢索，對于相似度較高的檢索目標，可作為主動布控預警的底庫信息，通過與平臺對接的實時視頻流進行比對分析，實現對關注目標人體的及時、準確布控報警。人體布控截圖如圖3所示。

（三）全目標以圖搜圖

通過對各種業務場景中不同視頻和圖片資源的接入，視頻結構化系統同時需要對接入的視圖資源開展全目標解析，即可將視圖資源中的人臉、人體、機動車、非機動車及車牌進行全目標解析，同時開展全目標搜圖應用。用戶通過上傳目標圖像，可實現對圖像中所有目標進行檢測（人臉、人體、機動車、非機動車及車牌），進而實現對檢測出的目標一鍵式以圖搜圖應用。同時對檢索結果支持按照目標類型、時間、地點、卡口類型等進行分類聚合，從而可從不同維度分析更多目標的線索規律。全目標以圖搜圖如圖4所示。

四、應用成效

（一）某地入室搶劫傷人案件偵破

某局接到案件，嫌疑人入室盜竊被發現后持刀傷人，社會影響惡劣。公安通過查找錄像并未發現有效線索圖片，嫌疑人防范意識強，人臉、人體都無法獲取，案件處于停滯狀態。

通過畫像檢索技術，辦案民警根據目擊證人對作案人員衣著、體貌特征的描述進行畫像，并通過畫像圖片在涉案視頻中進行檢索，檢索后命中該作案人員，后續成功確認其身份并掌握其活動規律，迅速抓捕歸案。

（二）某地摩托車盜竊案件偵破

2020年4月某分局轄區出現多起盜竊電動車、摩托車案件，警方僅掌握一張由小區內監控抓拍到的嫌疑人照片，且該嫌疑人戴著墨鏡和口罩無法進行人臉識別。經過兩天的排查沒有取得更多線索，案件處于停滯狀態。

經過警方進一步人體檢索研判分析，共獲取10個高價值線索，掌握其活動范圍及活動規律，后續通過人體布控，成功抓獲嫌疑人，高效完成了案件的偵破。

（三）某地入室盜竊案件偵破

某局接到報案，其轄區內發生了一起入室盜竊案件，由于案發地點在某地鄉村，監控點位稀少，經過警方排查，僅在某村民家中的視頻監控中發現了嫌疑人一張模糊的人體照片。經過對案發地附近的監控錄像檢索，并未發現其他相似度較高的人體圖片，案件一度陷入停滯。

經過警方進一步排查，利用全目標以圖搜圖技術，導入該人體照片進行全目標檢索，最終成功檢索出該作案人員騎摩托車的一張照片，并利用該騎摩托車的照片繼續進行全目標檢索，警方找到了更多作案人員照片。經過進一步研判分析，成功還原其作案軌跡并掌握其活動規律，最終成功將其抓獲。

五、結語

本文針對公安日常案件偵破工作中實際面臨的一些問題，總結探討了視頻結構化技術和產品在實戰工作中的深度應用，并且視頻結構化深度應用技術已經在實戰中取得了一些戰果。隨著作案人員反偵察意識的不斷增強、案件的復雜度不斷增加，提供更精準、更有效、更貼合實戰的視頻結構化應用技術是今后較長一段時間內公安實戰業務的研究和發展方向。