基于視覺的乘扶梯人員安全行為預警

王國慶 鄭國華 邵衛華 李克祥 朱朝柯

（浙江索思科技有限公司，浙江溫州 325000）

1.設計背景

自動扶梯是一種類似于傾斜式傳送帶的運輸裝置，在機場、地鐵、火車站和商場等公共場合場所完成乘客和貨物的運輸。自動扶梯的大規模應用，給人們帶來了便利，同時其安全問題也日益凸顯。近年來，自動扶梯的安全事故時有發生，不僅影響了扶梯的運行效率，同時造成了一定的人員傷亡，因此提高自動扶梯的安全性受到普遍關注。當前，為了提高自動扶梯的安全性，人們采用了安排工作人員看守、語音提示、按緊急制動按鈕等方式，但是這些方式都有一定的弊端。首先，對于車站、商場等場所，使用的自動扶梯數量多，若每個扶梯都安排專人看護，人工成本大，而且在這些場所的人流量通常都比較大，因此單憑人工看守，很難第一時間采取應對措施。同時，隨著電動扶梯使用年限的增加，磨損和老化問題會不斷加劇，故障率會上升，不僅會導致自動扶梯運動維護的成本增加，而且安全性難以保證，因此建立一種自動的扶梯乘客危險行為監控和行為預警系統，對自動扶梯商人和物品進行自動監控，并進行預警，具有重要作用，可以顯著降低扶梯的安全事故?；诖吮疚幕谝曈X分析，建立了一個扶梯乘客危險行為監控和預警系統。

2.系統框架設計

本文設計的基于視覺的乘扶梯人員危險行為監控和安全行為預警系統，主要包括視頻接入模塊、智能數采模塊和云平臺模塊。其中，智能數采模塊包含3個子模塊，分別是視頻采集、算法計算和視頻流存儲，在實際運行過程中，視頻接入模塊的視頻流數據會被傳輸到視頻流存儲模塊，傳輸給算法計算模塊，由其對數據進行計算和分析，將根據不同的數據內容，將視頻內容分別儲存到視頻流存儲模塊和云平臺，方便后續應用。下面從各模塊出發，對系統的設計進行介紹。

2.1 視頻接入模塊

視頻接入模塊的主要功能是獲得扶梯運行和行人的視頻數據，主要的器件是高清攝像頭，安裝在扶梯入口、扶梯出口、扶梯中間以及扶梯底部等位置，通過這些高清攝像頭可以實時獲取各監控點的食品數據信息[1]。

2.2 智能數采數模塊

智能數采模塊包括視頻采集、算法計算和視頻流存儲等子模塊。其中視頻采集模塊的作用是采集視頻接入模塊獲取的視頻信息，并且將其傳輸給算法計算模塊；算法計算模塊在獲取到視頻數據以后，對數據進行分析和計算，根據分析和計算的結果，將視頻存儲到視頻流存儲模塊，或者上傳到云平臺。視頻流存儲模的作用是儲存視頻流。

算法計算模塊是智能數采模塊的核心，該模塊包括人流密度檢測、乘客檢測、逆行檢測、滯留判斷和越界判斷和增強現實展示等子模塊，各模塊的功能如下[2]：

（1）人流密度檢測模塊。該模塊的核心部件是尺度自適應的CNN網絡和濾波器，其能夠實現視頻視野內人數的統計，基于標定的空間尺寸數據，計算出人流密度。（2）乘客檢測模塊。該模塊的功能是檢測扶梯上是否存在乘客。（3）逆行檢測模塊。功能是判斷扶梯上是否有乘客逆行。（4）滯留判斷模塊。功能是判斷扶梯上是夠有大件物品滯留。（5）越界判斷。系統會設置有警戒線，若有乘客越過警戒線，則越界模塊會判斷出這一行為。（6）增強顯示模塊。增強顯示模塊能夠根據攝像機影響的位置和角度等信息對乘客的危險行為進行建模，從而展示出乘客的危險行為。

2.3 云計算平臺

云計算平臺主要包括數據分發、分布式算法計算、文件服務器和數據庫和應用服務等幾個子模塊，下面對這幾個子模塊進行介紹[3]。

（1）數據分發模塊。智能數采模塊的數據分析結果，會通過以太網經過數據分發模塊傳輸到云平臺，同時，云平臺上所有數據都由該模塊進行處理，并進行統一的分發。如搭乘時間分布、搭乘高峰曲線和危險行為數量等分布式計算結果，都有其進行處理和分發。（2）分布式算法模塊。在接收到智能數采模塊上傳的數據以后，云平臺上的分布式算法模塊將進行這些數據的計算和統計，包括搭乘時間分布、搭乘高峰曲線和危險行為數量等信息，計算結果將被制作成計算文件、標記信息和統計表格等，并被儲存到文件服務器和數據庫中。（3）文件服務器模塊。主要作用是存儲計算文件、統計表格等信息。（4）服務模塊。云計算平臺中的視頻展示功能由應用服務模塊來完成，該模塊能夠提供視頻和數據的服務調用接口。

3.乘扶梯人員安全行為系統運行過程

本文設計的基于視覺的扶梯乘客危險行為監控和預警系統的運行步驟如[4]：首先，在運行過程，高清攝像頭會對扶梯進行全方位的監控，獲取視頻數據，然后由算法計算模塊和分布式算法模塊對視頻圖像進行處理和統計分析。系統對采集到的數據進行分析，主要是計算扶梯上的人流密度；判斷扶梯上是否有乘客，并且檢測乘客是否有逆行、越界等危險行為；檢測扶梯上是否有大件物品滯留；系統還能夠根據攝像機影響的位置和角度等，建立特效圖像和動畫庫，從而實現乘客危險行為的圖形化建模，通過這樣的方式，當乘客發生危險行為動作時，其能夠進行顯示。當發現乘客有危險行為，或者是有大件物品滯留等情況以后，系統會進行報警，從而提高扶梯運行的安全性。其次，該系統的優點能夠實現扶梯運行情況的實時監控，并且具有多維感知、預警分析和行為報警等功能，當乘客出現逆行、越線等危險應為以后，能夠進行識別和預警，在發生突發事件以后，能夠快速的進行處理。通過應用這一系統，能夠加強扶梯運行全過程的管理，實現事先有預警、事中有相應、事后有記錄，在出現事故后能夠進行分析、取證和追溯，從而在發生事故之后能夠對責任進行準確的鑒定，避免法律糾紛。同時，通過對系統數據，包括人流密度、搭乘時間分布等數據進行分析，可以為扶梯的運營調度提供數據支持，提高扶梯管理調度的安全性，從而更好的保證扶梯的運行安全。在實際應用中，該系統還能夠根據出現的不規范行為，對分析算法進行優化，不斷能提高其功能。

4.重點功能介紹

4.1 扶梯人流密度檢測

本系統能夠實現人流密度的檢測，具體的方法如下：系統設定一個尺度自適應的CNN網絡及錄波器，其能夠根據CNN網絡不同網絡層的特征提取出視頻視野內的人數，并且進行統計，系統會標定空間尺寸，通過計算確定人流密度。CNN網絡包括圖像輸入層和卷積計算層，其中，圖像輸入層的主要作用是對原始數據進行取均值和歸一化等預處理；卷積計算層的作用是對數據進行計算和池化。

4.2 危險行為檢測

乘客的危險行為包括逆行和越界等，在系統運行過程中，其會將乘客正常行走的場景作為背景；同時，其還能夠獲取實時圖像，通過差分兩種圖像，確定運動目標的中心，并且通過對其位置進行預測和持續跟蹤，確定目標的運動狀態，并基于此判斷是否存在逆行行為。在越界行為檢測中，系統會設置越界警戒線，即扶梯靠外緣一側，系統會計算人體到直線的距離，若發現距離出現負值，則說明存在越界的情況。

5.結語

本文建立的乘扶梯人員安全監控和行為預警系統，具有人員密度檢測、逆行檢測、越界檢測和大件行李滯留檢測等功能，并對危險行為進行預警，能有效地提高扶梯運行的安全性。