視頻結構化平臺在地鐵線網系統中的應用

劉東方 倪建劍 徐國堅

摘要 文章結合杭州地鐵線網視頻結構化平臺建設，分析了人臉比對、ReID（行人重識別）、聚類、大數據，整合監控視頻、圖片中的各項關鍵信息，進行數據匯集、解析中心、布控比對、人員聚檔、技戰應用等模塊的集成和高度融合，以此構成了視頻結構化平臺。重點闡述了視頻結構化平臺在地鐵線網系統中發揮的廣泛作用和重要作用，以及未來展望。

關鍵詞 杭州地鐵線網；軌跡分析；計算機視覺；人臉識別；ReID；聚類

中圖分類號 U29-39文獻標識碼 A文章編號 2096-8949（2024）05-0004-03

0 引言

在以往的城市軌道交通系統中，主要利用各站點的監控攝像頭，通過抓拍到的圖片進行簡單的人臉識別和比對，找出重點布控的人員。單純的人臉識別系統雖然相比傳統依靠人工查看的方式有了一定進步，但是面對海量的數據分析和技戰應用，僅依靠人臉識別應用是遠遠不夠的[1]。杭州地鐵線網系統中的視頻結構化平臺，按照杭州地鐵軌道線路情況，通過國標協議匯集了各線路系統視頻流和圖片流。通過對視頻流和圖片流數據進行解析，結合ReID（行人重識別技術）、人臉識別、人臉比對、聚類、技戰法等諸多計算機相關的圖形學、人工智能、大數據處理分析等最新技術手段進行海量數據的采集、定位、預處理、身份確認和查找后進行訓練、碰撞。提供重點人員屬性分析、行動軌跡分析和研判，使得地鐵公安用戶可以在地鐵運行線路圖上直觀地查看重點人員目標在地鐵中的人員聚類檔案、人臉、人體屬性，站點出入活動軌跡等。該文對平臺架構和技術應用做出具體論述[2]。

1 數據匯集

匯聚模塊通過多種國標和私有協議的對接，實現杭州地鐵線網數據的分級整合、匯聚及共享。將各線路級數據接入線網視頻結構化平臺。

圖片流接入：在GA/T 1400的標準上提供多源、多級數據的接入、存儲、共享、分析，以及對外標準化接口服務的能力，從不同廠家的線路級結構化平臺中接入需要的站點抓拍數據。匯聚模塊通過MQ消息的方式將圖片流數據傳輸至結構化解析模塊。

視頻流接入：實現《安全防范視頻監控聯網系統信息傳輸、交換、控制技術要求》（GB/T 28181—2011）規范，滿足公安視頻圖像信息應用系統等相關標準要求，將需要的站點視頻流信息接入至線網視頻結構化平臺。

通過以上國標協議以及其他私有協議的對接，使得線網結構化平臺擁有了獲取各站點抓拍數據的能力。分布式解析服務將開始對視頻流和圖片流進行解析。對于解析后的人臉數據、人體結構化數據和聚類、告警等分析結果，匯聚模塊具備統一匯聚對外推送能力，以便上級級聯系統做進一步應用。

2 分析流程

如圖1所示，為平臺技術架構圖。

2.1 解析中心

解析中心集群由多個算法引擎構成的解析節點組成。

圖片流解析：解析服務器根據匯聚過來的人臉、人體抓拍圖片進行解析，提取人臉、人體相關屬性和特征。

視頻流解析：相對于單個靜止的圖像，視頻流序列能夠提供更多的信息，即從視頻序列中確定是否存在人臉并對其進行準確定位和保持跟蹤狀態。追蹤到的同一個人有大量圖像可供使用，通過視頻序列的時間連續性和識別對象身份的一致性為人臉識別提供信息；基于視頻序列的空間軌跡和概率模型進行匹配識別，將識別出的人臉、人體序列相關聯，因而其具有更好的魯棒性。

將人臉id、人體id、人臉屬性、人體屬性、設備信息、抓拍時間、經緯度等相關信息批量插入數據庫和Elasticsearch中。特征文件的寫入和存儲采用分層存儲，即本地+遠程集中式的方式，通過一致性hash進行路由分片（分片Key），滿足大數據量保存和快速檢索的需要。

2.2 調度模塊

調度模塊根據服務器資源動態調整各臺視頻流運行開啟次序、運行路數、運行顯卡分配，進行資源負載均衡。

服務器在后臺接收不同客戶端的cuda調用，將調用請求在隊列中進行優先級排隊，當有兩個及以上視頻流任務需要運行時，通過任務優先級標識優先開啟優先級較高任務。相同優先級情況下，對比任務預估消耗資源和剩余顯卡資源，計算最優分配。

當有任務運行完成后，通知服務端，服務器從任務隊列中匹配新的任務并發執行。當剩余資源不足以執行啟動任務時，需在隊列中等待。

運行過程中服務端會對顯卡運行狀況（剩余顯存、使用率等）持續定時采樣，保證GPU資源利用均衡，減少任務之間的沖突，提高整體運行性能。

2.3 布控比對

布控比對服務可以根據需要把布控人員的信息（包含姓名、性別、身份證號、人臉照片等信息）加入布控任務。然后按照時間、地點、相似度報警閾值等信息，關聯需要布控的視頻流或圖片流，對重點人員進行布防。系統對比任務中的人臉特征數據實時比對，如果人臉的相似度達到設定的報警閾值，系統會通過郵件、短信、系統彈窗方式通知管理人員，采取進一步處理措施。根據現場實際需要加入布控的人員，可通過系統進行現場拍照采樣或者上傳照片等多種方式一鍵加入布控任務。

人臉識別布控系統還具備豐富的人臉屬性檢測功能。在大多數環境下均能準確判別性別、年齡，戴眼鏡、口罩等各種人臉屬性，不受面部表情、胡須和發型變化的影響，以增加布控比對的準確度。

2.4 人員聚檔

人臉聚檔服務根據人臉圖像數據中的相似度指標，在視頻提取人臉軌跡級的特征來表征人物，將大量的人臉圖像分為不同的組別，其關鍵在于設計有效的特征表示方法和相似度度量方法。通過對監控畫面中的人臉進行聚類，可以快速識別出潛在威脅和異常行為，提高安全性能。聚檔服務通過將解析模塊發送的人臉特征加載至GPU進行人臉聚類，通過關聯關系檢索，可查看對應人體屬性及圖片鏈路。幫助地鐵運營進行人流量統計、客戶分析等工作。在滿足法律法規的前提下，還可以進一步應用于大規模數據挖掘研究，如人臉數據集的建立、人臉特征的提取等。隨著技術的不斷進步，人臉聚類技術將迎來更多的發展機遇和挑戰。

2.5 技戰分析

大數據服務器通過獲取以上解析比對等結果，相當于全地鐵范圍內做檢索等大數據分析應用。結合杭州地鐵軌道線路地圖，關聯的站點詳細位置，出入口，站臺等，通過計算出的站點位置進行軌跡劃線，渲染人員行走動態效果，運營人員可以較為直觀地查看軌跡線路，為地鐵軌道交通的治安防控、刑偵破案、反恐防暴等工作提供有力支撐。

3 技術應用

人臉識別：人臉識別是身份識別，而人臉屬性結構化是表征人臉的生物與非生物特性，包括性別、年齡、表情、是否戴口罩等，通過解析人臉圖像特征，獲得可視化的屬性特點，更直觀地驗證身份。我們的人臉屬性算法，采用多任務學習框架，每一個屬性都有獨立的屬性分支，同時，搭配注意力機制與多尺度機制，能準確地定位不同屬性的聚焦位置，更有效地提取人臉屬性信息，提高在監控場景下人臉屬性識別的準確度，對人臉結構化屬性搜索及定位提供了極大的便利[3]。

ReID：ReID是屬于圖像檢索的一個子問題，不同于人臉識別技術利用人臉圖像特征來完成檢索比對，它是指在多攝像設備網絡下對行人進行檢索，利用步態動作、身體特征等更為全面的信息來識別人物，可實現行人的相機檢索，解決人臉較小或者模糊情況下無法比對的問題。然而，由于ReID需要從不同攝像機拍攝的圖像或視頻中找出同一個人物，而這些攝像機所覆蓋的范圍彼此并不重疊，導致缺乏連貫的信息，而且不同畫面中人物的姿態、行為甚至外觀（比如正身、側身、背身）會發生較大變化，不同時間、不同場景、光照、背景和遮擋物各不相同，攝像機的分辨率也有高有低，人物在畫面中出現的位置有遠有近，這些都對ReID技術提出了極大的挑戰。針對行人姿態變化，環境光照以及局部遮擋等問題，構建了以Resnet為骨干網絡的多尺度模型，實現人體部件細粒度特征融合，結合數據增強方法和特殊訓練策略，實現人員的精確匹配。ReID技術和人臉的技術可以做一個補充，當能看到人臉的時候用人臉的技術去識別，當看不到人臉的時候用ReID技術去識別，可以延長行人在攝像頭連續跟蹤的時空延續性。因此，無論單獨使用還是與人臉識別相結合，ReID都能發揮更大的應用價值。

人員聚檔：聚類算法以密度聚類為基礎，搭配上層在線聚類，采用Region-Master模式進行區域與主體的聚類信息交互，并引入了“一類多核”的思想，兼具聚類準確性和完整性。同時，對特征比對進行了矩陣加速優化，可支持千萬級規模的聚類，大幅拓展了聚類的應用性。由此形成人員檔案信息并進行實名認證關聯，檔案容量支持1 000萬實時聚檔性能。通過人員檔案的抓拍關聯軌道交通地圖，可以實時查詢檔案人員軌跡情況。

4 結語

上述技術在結構化平臺的落地和發展，有效提升了地鐵公安用戶針對人員管控和安全防范的力度和效率。伴隨著AI、云計算和大數據等“新基建”技術的快速發展，地鐵軌道領域越來越多的技術落地，人工智能展現出了數據賦能的強大驅動力，為未來地鐵新線建設和既有線改造系統中的視頻分析相關內容的建設提供了有益參考。

隨著城市公共交通規模逐漸增大，日益增長的客流給運營安全和運營效率帶來巨大挑戰。在更側重于運營的當下，基于以上技術衍生出的翻越閘機、打架斗毆等應用場景分析會更多。當識別出這樣的行為之后可以采取智能措施，比如自動報警等，這有非常大的社會價值。很多場景所需的算法模型已經相對成熟，并且在其他行業已有應用案例，對地鐵的運營會有很大的助力。

參考文獻

[1]李輝， 石旭， 張京晶， 等. 新基建背景下智能視頻分析技術與智慧地鐵建設融合應用研究[J]. 現代城市軌道交通， 2022（9）： 21-27.

[2]李鵬程. “城市軌道交通智慧警務”課程建設構想[J]. 鐵道警察學院學報， 2018（2）： 122-124.

[3]章柏幸， 蘇光大. 人臉成像特性研究及人臉歸一化的目標[J]. 光電子·激光， 2003（4）： 406-410.