基于光流法的視頻分析技術在地鐵客流監測中的應用研究

■ 陳亮

1 概述

隨著各城市軌道交通系統的快速發展，線網規模逐步擴大，客運量逐年提高，車站人群高度聚集，特別是高峰期間人群擁擠嚴重，運輸壓力越來越大，給軌道交通的安全運營帶來極大挑戰。近年來，國內外軌道交通系統事故頻發，旅客滯留、車站關閉等現象時有發生，既延誤了乘客出行時間，降低運營服務水平，極大影響線路運營，又對軌道交通的安全運行構成威脅。在這種情況下，對站內的實時監控成為運營管理的必要手段。

目前，軌道交通系統均設有視頻監控系統（CCTV），能夠監視站廳公共區、站臺候車區、站內扶梯、閘機等重要區域。但隨著車站建筑規模的不斷擴大，監視區域需求增加，CCTV建設規模也越來越大，站內圖像達到幾十路甚至上百路，給車站值班員帶來繁重的監控工作量，很難及時發現前端異常狀況，大大降低視頻監控系統的時效性和可用性。

為了能實時分析、跟蹤、判別監控對象，使系統在關鍵事件發生時能智能提示并有效上報，為軌道交通運營管理部門及時決策、正確行動提供支持，在地鐵客流監測領域采用視頻分析技術是十分迫切和重要的，從而提高運營人員效率，提升運營服務水平，最大程度發揮CCTV的實時性和智能性。

2 視頻分析技術應用現狀

結合各城市軌道交通運營現狀、車站客流及物理環境等實際情況，目前比較迫切需要實現的視頻分析技術應用包含以下6種：客流監測、客流統計、人員逆向檢測、遺留物品/非法滯留檢測、扶梯運行監測、翻越扶梯監測。

2.1 客流監測

客流監測是指通過計算背景畫面中的客流密度，結合相應的交通參數（如速度、時間等），自動判斷指定區域內的擁擠狀況，并及時觸發報警。

城市軌道交通車站是客流集散的重要場所，高密度聚集的客流易產生站點的安全隱患。運營人員需要時刻關注重要區域的客流通行、疏散情況，必要時采取相應措施。

運用客流監測技術，運營人員可實時掌握客流集散區人流密度。當密度超限時，能夠及時觸發相應區域監控畫面，運營部門可根據實際情況立即采取應急措施，疏散客流，保障城市軌道交通站點客流高效安全集散，降低事故的發生率和嚴重性，提高站點營運效率。

2.2 客流統計

客流統計是指統計穿越指定區域的目標（人）數量，為各職能部門提供直觀的實時客流狀態，為換乘車站（站區）及時采取與客流狀態對應的客流疏導措施提供判定標準。

2.3 人員逆向檢測

人員逆向檢測是指當系統檢測到目標在單向通行區域反方向行走時自動產生報警。該應用適用于車站單向通道、單向換乘區域的報警檢測。

由于在單向通行區域人員流動相對有序，突然有目標逆向行走，容易引起摩擦或碰撞，特別是在客流高峰情況下有多個目標逆向通行時，影響其他乘客正常出行，因此需要車站值班員重點監控，有報警發生時，通知相關運營人員及時出面制止，保證正常的出行秩序。

2.4 滯留檢測

滯留檢測是指當一個物體在敏感區域停留時間過長或超過預定時間，系統就會產生報警。在人流頻繁的地區，經常會出現乘客遺忘包裹行李，或惡意丟棄包裹、擺攤、乞討等行為。對遺忘的行李和包裹及時發現，能夠給乘客帶來盡可能小的損失，也能及時發現非法滯留或惡意丟棄行為并給予阻止。

2.5 扶梯運行監測

扶梯運行監測是指當自動扶梯出現運行故障時（如急停、逆行）系統能夠自動報警。扶梯是軌道交通車站客流相對集中的區域之一，在換乘車站或交通樞紐站點，這一現象更為突出（如西直門站、北京站），上下車客流較多，自動扶梯經常處于滿載狀態，一旦扶梯故障，就會引發擁擠、踩踏事故，影響乘客出行安全。因此，及時發現設備運行異常狀況，能夠協助工作人員采取有效疏散措施，盡可能避免惡性事件發生。

2.6 翻越扶梯監測

翻越扶梯監測指當系統監測到有目標跨越扶梯時自動觸發報警信息。提醒工作人員及時出面制止，以免發生危險。

3 視頻分析技術研究現狀

目前，國內外對視頻分析技術的相關研究較多，主要的技術方法包括：根據圖像灰度變化進行監測的幀間差分法和背景差分法、根據圖像紋理變化的局部特征法、根據人體膚色進行監測的方法及監測物體運動的光流法等。

3.1 幀間差分法

幀間差分法是在對圖像序列間隔較短的圖像進行差分運算。由于間隔時間短，可以認為光照變化的影響較小，因此，幀間差分法對光照變化有著較強的魯棒性，并具有簡單、運算量小的特點，易于工程實現。

3.2 背景差分法

背景差分法是指用當前的圖像幀減去背景圖像，獲取的差分圖像直接就是前景圖像。與幀間差分法相比，背景差分法可以精確提取前景物的輪廓，對于背景不變的環境尤為適用。

雖然背景差分法中場景固定不變，但其光照條件一般都隨時間變化而變化，很難有固定不變的背景圖像。因此，背景差分法最關鍵的步驟是重建合適的背景圖像。背景差分法廣泛應用于道路車輛監測中。

3.3 局部特征法

局部特征法通過紋理特征和幾何形狀監測人體各個部位，從而監測出行人。有以下幾種特征分類：（1）SIFT特征；（2）HOG特征；（3）LBP特征；（4）HARR特征。

3.4 膚色監測法

膚色監測法是在圖像中選取對應于人體皮膚像素的過程，現已應用于人臉識別與監測、表情識別、手勢識別及人體監測等方面。膚色監測法分成2種基本類型：基于統計的方法和基于物理的方法。

利用膚色特征進行行人監測的方法具有計算量小、速度快、易于實時處理的優點，但其在復雜背景和復雜照明條件下的應用還有待研究，且此方法不適于有諸多不同膚色的地區。

3.5 光流法

生物學家Gibson在1950年提出圖像的變化是由帶有灰度的像素點的運動引起的，以此提出了光流的概念。光流可以看成是物體對應的像素在圖像平面運動時的瞬時速度場。

基于光流法的視頻分析，根據一定的約束條件估算出圖像中的像素點速度，由于圖像上的點與物體表面的點一一對應，因此可以較為準確地表征運動物體的實際運動。

光流包含物體運動的眾多信息（如根據對光流場的像素進行聚集獲取運動物體的輪廓信息；在提取物體運動的同時，觀察物體內部的相對運動和局部形變等），根據運動信息的變化情況觀察異常運動。

3.6 方法比較

（1）幀間差分法的優點是光照魯棒性較好，能夠適應各種動態環境，缺點是提取的圖像通常有空洞和邊緣缺省，無法提取出目標的完整區域。另外，當運動目標速度緩慢時，則可能監測不到；而運動目標速度過快時，將把部分背景也監測為運動目標。

（2）背景差分法對于動態場景的變化（如光照和外來干擾等）特別敏感，且分割精度易受噪聲影響。

（3）局部特征法從樣本中學習到行人很多固有特性，能解決人體形狀和外貌各式各樣的難點及人體的不同運動方式。但實際視頻分析監測過程中，對于解決客流分析不具優勢。

（4）由于膚色過濾迅速，且不受拍攝、人體姿勢的影響，膚色監測法已成為客流監測方法的基本監測方法之一，但由于自然界中有大量物質與人體膚色相近，且人類膚色本身存在很大差異，該方法會產生一些誤檢。

（5）光流法是機器視覺中運動圖像分析的重要方法，可以比較精確地反應對象的平移運動。在地鐵客流監測應用中，通過對圖像幀的光流進行計算，可獲知乘客客流的運動信息，繼而根據運動信息實現對客流情況進行運動分割和跟蹤、異常監測告警等。但光流法計算量較大，應用于實時監測系統中有一定的軟硬件配置要求；由于對于特定應用場景（如地鐵客流）監測效果較好，因此應用比較廣泛。

4 光流法在地鐵客流監測中的應用研究

4.1 光流法簡介

光流的計算是利用圖像序列中像素強度數據的時域變化和相關性確定各自像素位置的“運動”，即研究圖像灰度在時間上的變化與景象中物體結構及其運動的關系。將二維圖像平面特定坐標點上的灰度瞬時變化率定義為光流矢量。

考慮象素點m在位置（x，y）處t時刻的灰度值I（x，y，t），令點m的速度為vm=（vx，vy），若設點m的灰度保持不變，那么，在很短時間間隔dt內，有：

如果灰度隨x、y、t光滑變化，將上式左側泰勒展開為：

σ代表階數大于或等于2的項，消去I（x，y，t）并忽略σ， 同時設：

則式（2）可改寫成：

式（3）就是光流約束方程（Optical Flow Constraint Equation）。由于只有一個約束方程卻需求解2個未知數：光流的x分量u和光流的y分量v，因此無法通過一個方程確定光流，這種問題稱為孔徑問題。由于孔徑問題的存在，還需通過假設確立另外一個方程才能求解光流。

計算出的光流場與實際運動場有著密切的映射關系，但光流場并不總是完全對應。

（1）遮擋問題。當物體運動且在攝像頭平面的投影存在遮擋時，由于圖像沒有物體信息，無法在計算的光流信息中反映實際物體運行的狀態。

（2）均勻球體的圓周運動。在光源固定的情況下，具有均勻反射特性的圓球在相機前旋轉，雖然球面各處有亮度變化，但這個變化不會隨著球的轉動而轉動，圖像的灰度不會發生變化。因此，其運動場不為0，但其光流為0。

（3）光照的變化。當外部光照條件發生變化時，即使物體不動，也能根據前兩幀的圖像觀察到光流的存在。

盡管有上述問題的存在，光流法依然是最精確反應物體運動狀態的方法之一，并廣泛應用于各種運動客流估算的場合。

4.2 光流計算方法

光流的計算要求解光流，需要在光流約束方程的基礎上引入新的假設，常見方法有：Horn-Schunck方法、Lucas-Kanade（L-K）方法等。

Horn-Schunck方法的基本假設是光流的變化是平滑連續的，但實際上在運動物體的邊界處這一假設并不成立。因此，Horn-Schunck方法求解的光流場的精度往往不夠理想。

Lucas和Kanade提出了L-K光流計算算法，其假設如下：在一個小的空間鄰域Ω上運動矢量保持恒定，即在該區域內所有的像素具有相同的光流速度；光照恒定，在相鄰幀比較期間，物體表面像素的灰度值在監測期間保持恒定不變。

根據上述假設，在空間鄰域Ω中可建立如下方程：

可獲得一個超定方程組：

或表示為：

L-K方法也是一種密集光流計算，一般認為L-K方法在計算光流的正確性及運算方面均高于Horn-Schunck方法。

4.3 實驗結果

OpenCV開發工具（開放源代碼的計算機視覺類庫 OpenCV（Intel Open Source Computer Vision Library）由英特爾公司位于俄羅斯的研究實驗室開發，是一套由一些C函數和C++類開發所組成的庫，用來實現一些常用的圖像處理及計算機視覺算法）。在OpenCV中，提供L-K光流計算函數，可以簡單地調用庫函數即可實現對光流的計算。

圖1為光流法計算和顯示的效果圖。（a）、（b）是視頻流中的連續兩幀圖像，（c）是L-K方法求出光流場后作出的光流場圖。

4.4 光流法在客流監測中的應用

城市軌道交通由于其運量大、速度快、準時準點，已逐漸發展成為城市的主導公共交通方式。但正是由于城市軌道交通對客流的巨大吸引力，往往導致站點在高峰期客流壓力過大，對地鐵的運營安全、運營效率和服務水平造成重要影響。因此，需要對客流狀態進行監測，其中站廳走廊通行服務水平的監測是其中的一項重要內容。

4.4.1 客流狀態監測

城市軌道交通領域的客流監測研究人員邵巍躍提出了行人通道通行服務水平分級方法（見圖2）。

通過計算前后幀圖像間的光流，可十分方便地獲取當前運動個體的密度和速度，進而對通行的服務水平進行評級。

4.4.2 異常運動監測

選取南京地鐵某站的樓梯作為監測場景，圖3（a）為該樓梯的場景圖。為了防止陰影引起的光流對監測造成干擾，通過掩碼對原圖的無關部分進行掩碼屏蔽。

圖4為視頻流經掩碼后計算的光流圖，（a）、（c）、（e）為不同客流條件下的場景圖；（b）、（d）、（f）為在該時刻計算的光流場。

從圖4可以看出，客流密度與光流場占有效背景的面積的比值是一致的，因此基本可以根據光流場的密度推斷客流密度。當大于0的光流場密度占整個扶梯或樓梯有效面積80%以上時，認為有大客流發生。

需要注意的是，當客流特別大發生擁堵時，行人行進困難，此時樓梯上光流場的面積有時也較小，和客流較小時一樣。為有效區分這2種情況，將異常客流和較小客流的光流場做對比分析，發現有如下特征：客流異常時光流面積忽大忽小，光流位置的變換與光流的方向不一致；客流較小時，光流面積隨著位置的變換逐漸變換，光流位置的變換與光流的方向一致。根據上述特征，可對異常客流進行監測，并及時報警提醒工作人員注意。

服務水平A：表現為在地鐵站內AFC設施處的通行走廊上行人極少，乘客行走完全自由，AFC設施的路徑選擇完全不受客流交織的影響服務水平B：表現為在地鐵站內AFC設施處的通行走廊上有很少的客流量，行人行走速度自由服務水平C：行人行走速度自由，僅在視線上受到極少影響服務水平D：行人行走速度開始受到彼此間的限制，行人依然可以輕松超越前人，多角度的客流交織和客流渠化現象開始出現服務水平E：行人走廊上行人已經比較擁擠，行人移動速度受到很大限制，超越前人有一定難度，客流渠化現象明顯服務水平F：行人走廊上乘客極度擁擠，彼此之間的空間極小，甚至互相有身體接觸，行人行進較為困難，易引發行人踩踏事件

圖3 光流監測背景圖

圖4 不同客流場景下的光流圖特征

5 結論

光流包含物體運動的眾多信息，如根據對光流場的像素進行聚集，獲取運動物體的輪廓信息；在提取物體運動的同時，觀察物體內部的相對運動和局部形變等；根據運動信息的變化情況觀察異常運動。通過對比分析可知，光流法在地鐵客流監測領域的應用中，對客流狀態的監測和判斷有其獨到的優勢。

此外，光流法雖能在不知場景任何信息的條件下監測獨立運動的行人，但是大多數的光流計算方法需要多次迭代運算，計算復雜、耗時，難以滿足實時監測的要求。如何進一步提高其運算速度、實時性及其抗噪性是目前的研究熱點，也是需要后續跟進的重點。

[1] Park S C，Park MK，Kang M G．Super- resolution image reconstruction：A technical overview[J]．IEEE Signal Processing Magazine，2003，20(3)：21-36

[2] 徐慶賀．監控視頻流分析的關鍵技術研究及應用[D]．上海：上海交通大學，2008

[3] Lipton A J，Fujiyoshi H，Patil R S．Moving target classification and tracking from real-time video[C]．Proceedings of Applications of Computer Vision，1998

[4] Lucas B D，Kanade T．An iterative image registration technique with an application to stereo vision[C]．Proc．DARPA IU Workshop，1981

[5] Lucas B D．Generalized Image Matching by the Method of Differences[D]．PhD Dissertation：Carnegie-Mellon University，1984

[6] Lucas B D，Kanade T．An investigation of smoothness constraints for the estimation of displacement vector fields from image sequences[C]．DARPA Image Understanding Workshop，1981

[7] Intel Corporation. Open Source Computer Vision Library Reference Manual [S]，2001

[8] 邵巍躍．城市軌道交通站內AFC設備通行能力研究及應用[D]．南京：東南大學，2012