一種海關監管視頻要素提取設計方法＊

毛 柯，紀 允，孫 帆

(杭州海關科技處，浙江 杭州 310006)

0 引言

視頻監控技術經過二十多年的快速發展，已經在眾多領域中得到廣泛的應用，如在平安城市[1]、雪亮工程[2]、智慧交通[3]、家庭監控[4]等。視頻監控技術應用于海關，根據相關要求，作業現場均需部署視頻攝像頭，實現監管作業過程無死角全覆蓋。海關總署在2018 年成立了全國海關大數據應用中心，整合海關基礎數據，并和相關部委交換部分數據，構建大數據基礎平臺，利用大數據等技術在服務外貿[5]、打擊洋垃圾走私[6-7]等領域取得一定成效，但對于海關海量非結構化數據[8]如海關監管場所監控視頻數據的應用仍在起步階段，主要面臨數據體量大而價值密度低、缺乏有效的處理分析技術手段、難以與業務數據形成關聯等問題。

面對“十四五”期間海關信息化應用的新挑戰與新要求，在新一輪科技革命和產業變革深入發展背景下[9]，充分挖掘海關非結構化數據的價值將成為實現智慧海關建設的必由之路。本文擬對于監管現場監控視頻進行研究，利用邊緣計算[10-11]，在視頻源等邊緣側提取視頻關鍵要素，將要素上傳至云中心，根據需要構建相關主題庫，實現監管視頻智能化應用。

1 現狀分析

海關監管視頻主要是指海關對監管場所、運輸工具、行政相對人等進行執法過程中，由視頻采集設備記錄的視頻信息，如碼頭、陸路口岸、保稅倉庫、查驗場所、貨棧堆場等海關監管場所監控視頻[6-7]。海關監管視頻的應用，使得海關作業能力和水平得到了大幅度提升，也降低了人員工作量和相關風險。

目前海關監管視頻主要存在著智能化應用程度低、視頻價值密度低等問題，現場監管方式是由海關工作人員輪巡十幾路甚至上百路視頻圖像。海關工作人員每次只能觀看部分攝像畫面，監管范圍有限。且長時間肉眼觀看監控屏幕，容易視覺疲勞和注意力下降，增加了漏判和誤判的風險。

在萬物互聯的時代，網絡邊緣設備逐漸智能化，具備收集、存儲、傳輸、處理數據的能力。邊緣計算的核心設計是，將云中心的計算能力下沉到邊緣端，利用邊緣設備的計算能力對數據在數據源的本地進行處理，并將計算結果上傳至云中心，大大降低帶寬的需求。目前邊緣計算已經廣泛的應用在車聯網[12]、電力管理[13]等場景管理中。

2 系統架構規劃

本文擬將海關目前已有的云中心和邊緣計算相結合，融合邊緣計算敏捷性和云端大數據計算全局性的優勢，創新形成一套海關視頻數據應用的云邊融合基礎技術架構。在邊緣側將視頻數據中的重要信息進行抽象并提煉“要素”，“要素”上傳至云中心后，與業務數據關聯，建立標準化、工程化的海關監管視頻數據要素庫，打破非結構化視頻數據與結構化業務數據之間壁壘。云邊融合基礎技術架構部署示意如圖1所示。

圖1 云邊融合基礎技術架構部署示意圖

隸屬海關和業務現場構成邊緣側，主要側重數據的采集和前端智能處理。直屬海關作為云中心，主要側重多維數據的融合應用以及視頻數據主題庫、專題庫的建設。

3 視頻數據要素提取與應用方法體系

3.1 提取方法介紹

根據海關監管視頻數據應用研究目標，借鑒軟件工程中的“V”字模型理論，塑造海關視頻數據要素提取與應用的“V”字模型方法體系，如圖2所示。

圖2 要素治理方法模型

“V”字下行階段是監管視頻要素的定義階段，以“確定業務需求-拆解組成需求的場景清單-拆解構成場景的要素清單-確定現有數據是否符合要求”為路徑，從需求到數據源，層層剖析，由業務需求倒推要素定義。

“V”字的上行階段是監管視頻要素的治理階段，以“數據采集設備的源頭治理-要素數據的識別與提取-要素數據主題庫的建立-要素數據專題庫的建立”為路徑，從微觀到宏觀，實現要素數據的提取與標準化治理。

3.2 監管視頻要素的定義階段

要素就是業務場景中關注的單個“對象”，通過描述對象的屬性和識別對象行為，能夠在業務場景中清晰表達出“業務狀態”。因此要素具體定義需要通過真實的業務需求進行分解提煉，形成構成需求的場景清單，再針對不同場景進一步拆解為構成該場景的要素清單。

3.3 監管視頻要素的治理階段

3.3.1 要素數據的識別與提取

⑴視頻數據結構化處理。要素數據的識別在邊緣側通過視頻數據結構化技術實現。根據要素定義階段形成的要素清單，將這些要素信息轉變為可結構化描述的定義，再采用時空分割、特征提取、對象識別等處理手段，對視頻中的內容信息進行提取，組織成可供計算機和人理解的文本信息，并存儲轉換為二維的結構化數據。

⑵要素數據的清洗。經過結構化后的要素數據，還處于原始階段，需要通過數據清洗，提取出有價值、可應用的要素數據。針對視頻數據結構化后的信息，根據數據標準規則進行辨別和分離，對不符合要求的數據過濾，初步實現冗余及垃圾信息的濾除。然后基于初步識別的樣本和內容分析，對一些空值、失效信息進行再次辨別和過濾，被識別為重復或者無效信息的數據可以直接濾除，或標識后交由人工進一步處理。

3.3.2 要素數據庫的構建

為進一步產生應用價值，需要對“要素”數據分類、建庫，根據目前海關應用需求場景，可建立歸集庫、主題庫、專題庫三個層級。

⑴歸集庫根據規則匯聚部分原始視頻異常情事片段，或連續性的圖像截圖，以便原始視頻90 天存儲覆蓋后進行追溯，滿足信息溯源、原始場景回溯等業務需要。

⑵主題庫將采集同步的各類數據通過二次抽取、優化整合、邏輯關聯等方式，形成“人、車、貨、區域、地點”等多維主題庫。

⑶專題庫根據業務場景需求，將數據按照業務模型進行加工、分析、聚合形成專題數據，以滿足特定應用場景需要，并支撐其他各類上層業務和數據分析應用。根據“要素”應用需求，構建多種專題庫，例如“執法領域風險”專題庫、“打擊水客”專題庫等。

3.3.3 實際應用介紹

目前某直屬海關已經將該方法應用到海關工作人員防護服脫穿流程管理中，通過對監管視頻的要素提取，分析出海關工作人員是否佩戴口罩、面屏、防護服等裝備，并根據時間軸順序，判斷人在脫卸防護服時是否嚴格按照標準流程，發生錯誤時及時提醒/告警。告警如圖3所示。

圖3 防護服告警圖

4 展望

本文通過利用邊緣計算建設監管視頻主題庫的方法，可以篩選出重要的監管視頻信息，轉化為長期存儲的結構化數據，挖掘監管視頻價值，提升海關整體信息化水平和應用能力。該方法和建設的相關系統，可以推廣至其他業務場景，如跨境電商監管、加工貿易監管等，更好的支撐海關等政府機構服務社會。