基于立體視覺的客流監控預警系統設計與實現*

馮化綱

（公安部第三研究所 上海 201204）

1 引言

近年來，我國人員密集場所發生了一系列的重大安全事故，造成了巨大經濟損失和人員傷亡［1～2］。國內外目前在客流聚集風險監測技術應用方面只是單獨考慮影響客流風險的某個側面，主要以肉眼觀察和現場疏導這兩個方面為主［3］，實現對客流聚集的自動化監測和實時預警勢在必行。

視覺是人類和其他生物認知和感知世界的重要途徑。現代科學表明，人類所感知的客觀世界的信息，80%以上是通過視覺獲得。人類視覺系統主要由雙眼和腦部神經組成。雙眼獲得周圍環境的信息通過神經組織傳遞給大腦神經組織，大腦神經組織根據先驗知識或者經驗，對得到的信息進行分析、計算以及推理，因此可以理解和識別周圍的空間環境。圖像包含非常豐富的信息，基于圖像的客流檢測技術已成為當今客流統計研究中一個十分活躍的新領域，該技術分為兩大類：一是基于單目視覺［4～5］，二是基于立體視覺［6～10］。單目視覺易受場景中光線變化、陰影等因素的干擾；而立體視覺則可以較好地解決單目視覺存在的問題。

雙目立體視覺（Binocular Stereo Vision）是機器視覺的一種重要形式，它是基于視差原理并利用成像設備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應點間的位置偏差，來獲取物體三維幾何信息的方法。雙目立體視覺在很多領域均具有應用價值，目前廣泛應用于機器人視覺、自主導航、客流監控、涉危涉爆等場合。本文將雙目立體視覺與客流監控相結合，根據現有的客流監控系統存在的問題進行了改進，設計并實現了基于雙目立體視覺技術的客流監控預警系統。

2 雙目立體視覺原理

自然界的物體都具有三維信息。三維空間的物體可以很方便地判斷每個物體之間的距離等相互關系。但是在我們獲得的圖像中，物體的三維信息被壓縮成了二維，這就造成了物體深度信息的丟失。三維重建就是將二維空間的圖像還原到三維空間、建立起真實場景的過程。而其中最關鍵的就是還原物體的深度信息。

人眼之所可以在看到物體的同時還可以判斷物體離自己的距離，是因為人的兩只眼睛從不同的角度看同一個物體，得到兩幅圖像，大腦根據兩幅圖像之間的差異進行處理就可得到物體離自己的距離。雙目立體視覺就是用兩臺攝像機模仿人眼獲得左右視圖，不同角度下同一個物體在左右視圖中的位置會有差異，叫做視差。根據視差利用三角關系就可以進行得到物體離攝像機的距離，這個距離就是物體的深度信息［11～13］。雙目立體視覺的原理圖如圖所示，其中圖1為原理圖，圖2為簡單示意圖。其中，Ol、Or分別表示同一高度平行放置的兩個攝像機的光心，攝像機的光心之間的距離叫做基線距離，記為T。fl、fr表示左右兩個攝像機的焦距，在實驗條件下fl=fr=f。P表示世界坐標系的中一個點，落在像平面上的點分別是Pl（xl，yl）和Pr（xr，yr），兩個像點的橫坐標的差xl-xr表示左右視圖的視差，記為d。利用原理中的三角關系，可得到空間中點P到攝像機之間的距離Z，如式（1）所示：

圖1 雙目立體視覺原理圖

圖2 雙目立體視覺簡單示意圖

上述參量中，f、T都可以通過攝像機的標定或者測量直接得到，但是視差d需要通過立體匹配計算得到。

3 系統總體設計

本項目采用3D圖像識別技術，它是一種比較新的尖端技術，3D圖像傳感器可以識別三個維度的立體數據，通過3D傳感器可以對傳感器下方的人體輪廓進行立體掃描，首先檢測到人的三維立體輪廓數據，類似駝峰形狀的立體發射面，再通過對3D數據的分析計算，由此可以判斷出通過的人數。系統根據歷史客流數據和當前客流信息，并結合其它數據，對不同時段和不同區域客流數據進行匯總、挖掘、對比與分析，實現實時預警功能。

人員密集場所由于人員超出正常的客流量，而造成的各類事故越來越多。單元（以下指各類人員密集場所）、區域（以下指某一大區域人員密集場所）內進行準確的客流統計顯得很重要。本解決方案采取客流統計及大數據挖掘技術輸出單元、區域人數的超員報警、區域內特殊單元的預警提示功能。給各級別安全智能部門提供實時的預警提示功能，增加安全預警的手段。

單元/區域內內安裝一個或多個監控終端，每個終端用于監控單元/區域內的人員進出情況，并實時將人員通行情況存入數據庫中，后臺系統通過調用應用數據接口估算各個單元/區域的人數匯總，并通過圖表（柱狀圖、折線圖等）顯示當天實時客流量監控，或通過圖表（柱狀圖、折線圖等）顯示歷史客流量統計。

4 系統硬件設計

客流統計算法運行在客流監控終端產品中的高性能數字信號處理器（DSP）［14～16］上，進行實時圖像分析。嵌入式客流分析終端中的DSP處理器，實時采集視頻圖像，并檢測運動目標的特征點（Feature Points），然后通過頭肩信息、圓心距等特征對特征點進行空域上的聚類（Cluster）和時域上的匹配，從而檢測并識別行人目標。通過對行人目標的實時雙向跟蹤，可以實現準確的計數和方向的判定。這些分析功能在終端產品內部完成，不需要占用網絡帶寬，不影響網絡性能。

客流監控終端產品方案框圖見圖3，左邊兩個攝像頭模組組成雙目攝像頭，攝像頭數據經過視頻解碼后送到高端DSP處理器，高端DSP處理器同時外接DDRFLASH和RTC等，終端產品對外接口有以太網接口、WIFI接口和電源接口。

圖3 終端產品方案框圖

5 系統軟件設計

客流監控預警后臺軟件對客流監控終端的數據進行全面的分析。可根據歷史客流數據和當前客流信息，并結合其他數據，對不同時段和不同區域客流數據進行匯總、挖掘、對比與分析，實現實時預警功能。同時能夠輸出多種類型圖表，為管理人員提高管理效率和進行管理決策提供諸多有價值的信息。

客流監控預警后臺軟件實現如下基本功能，其功能結構框圖如圖4所示。

圖4 預警后臺軟件基本功能

1）實時客流量實時監控

后臺管理系統可通過圖表（柱狀圖、折線圖等）顯示當天實時客流量監控。

2）客流量實時預警

當出現超員情況時，后臺管理系統可通過顏色變化顯示預警等級，并顯示當前實時客流量。當嚴重超員和危險超員時還可以通過聲音預警。

3）歷史客流量查看

后臺管理系統可通過圖表（柱狀圖、折線圖等）顯示歷史客流量統計。

4）系統設置

主要包括預警信息設置、單元/區域管理、終端設備管理、用戶管理等功能。

客流監控預警后臺總體架構如圖5所示，主要包括終端設備層、數據中心、接口層、應用層軟件幾部分。客流監控預警后臺軟件采用B/S架構。

圖5 預警后臺軟件總體架構圖

終端設備層：由多個單元/區域組成，每個單元/區域內安裝一個或多個監控終端，用于該進出口實時客流量統計。

數據中心：由應用服務器、數據庫服務器、防火墻、交換機等硬件設備組成。服務器上有數據庫、發布的接口應用程序等。

接口層：用于接收終端設備上傳的實時客流量統計，并進行客流預警計算。且為客流監控預警后臺軟件提供實時/歷史客流量數據。

應用層：為面向用戶的窗口，為用戶提供客流量實時監控、客流量實時預警、歷史客流量查詢、系統管理等幾個功能。

6 實驗結果與分析

在該實驗中，客流監控終端產品安裝在人員密集場所出入口的正上方，距離地面2.5m高的位置，垂直于地面，自上而下對進出人員的頭肩輪廓成像，實現客流統計。系統客流統計實現過程如圖6所示。

圖6 客流統計實現過程

所有出入口的客流統計數據都傳輸到后臺軟件，這樣系統就可以實現對人員密集場所客流密度的實時監控和預警。實驗中使用的鏡頭焦距為6mm，所拍攝圖像的分辨率為720×576。終端產品中的DSP同時使用A、B通道采集兩路視頻，DSP嵌入式程序對兩路視頻解碼芯片的配置是完全相同的。因此，兩路視頻圖像基本是同步采集的。

一般的人體高度處于1.2m～2m之間，而終端產品雙目攝像機距離地面的高度為2.5m，所以人體目標的深度值處于0.5m～1.3m之間。本系統結合運動目標的深度信息，判斷其深度值是否在設定的范圍內，從而能夠有效地判斷是否有人體通過。

在整個測試過程中，本文統計的是在15min內經過檢測區域的人數，本次實驗從5個不同的時刻開始，從而統計了5個15min內經過的人數，從而計算客流統計的準確率，其結果分析如表1所示。

表1 實驗結果數據

通過上表可以看出，利用本文設計的方法進行客流統計的平均準確率可以達到96.5%。

7 結語

主要探討了基于立體視覺技術的客流監控預警系統的設計方案和實現方法。該系統采用3D圖像識別技術，用于實時客流統計和監控預警。研究表明：該方案有效排除了一些非人員因素的干擾，解決了并排問題，大大提高了客流統計和監控預警的準確度；實現了人員高度過濾技術，可以自定義設置需要過濾計數的人員高度；采用非接觸式統計，裝置安裝隱蔽性好，不影響進出人員的感受。