電梯轎廂內乘客異常行為檢測探究

江蘇省特種設備安全監督檢驗研究院 南京 210036

0 引言

電梯轎廂內部作為暴力和恐慌事件的多發地，電梯內部多安裝攝像頭監控轎廂內的畫面，但工作人員需要時刻緊盯與攝像頭相連接的顯示器畫面，才能保證在暴力和恐慌事件發生的第一時間發出警報，這種方式由于使用人工監控，存在多種不足。電梯研究人員在電梯系統中使用乘客異常行為檢測系統，自動監控電梯轎廂內是否發生暴力或恐慌事件，該系統判定乘客行為異常后會立即發出警報，提醒工作人員趕到電梯處制止暴力或恐慌事件的發生。

1 研究背景

電梯轎廂在一段時間內都是暴力或恐慌事件的多發之地，很多安保措施較差的地區電梯經常發生搶劫、毆打等暴力事件，對周圍居民的生活帶來嚴重困擾。電梯轎廂內部的空間比較小，如果在電梯轎廂內部發生暴力事件，受害人很難反抗，電梯乘客的生命安全受到威脅，因而電梯轎廂內部才會設置異常行為檢測系統，電梯轎廂內乘客異常行為檢測系統可以檢測出暴力或恐慌事件[1]。

諸如此類的事件還有很多，如電梯轎廂內發生沖突后廝打、年紀較大的老人乘坐電梯時突發疾病、又例如多人乘坐電梯時突發故障，電梯緊急墜落，乘客感到恐慌而電梯系統對其沒有做到及時預警，導致反應與搶救時間長導致電梯乘客身心出現問題。電梯轎廂內安裝乘客異常行為檢測系統是保證電梯內部乘客身心安全的基礎，當乘客人身安全受到威脅時，該系統會立即對工作人員發出警報，工作人員會立即通知安保人員趕往現場，有效防止電梯乘客被不法分子侵害。除此之外，在電梯突發安全事故時其乘客異常行為檢測系統還能對電梯異常運行發出預警，有利于電梯維修人員在第一時間搶救電梯轎廂內部的被困乘客。

5G時代的到來使電梯5G物聯網系統的實現變成了可能，電梯轎廂內乘客異常行為檢測在使用物聯網系統檢測轎廂內部單人、雙人以及多人的行為異常之外還可以應用5G技術，提高該檢測系統反饋的效率，有利于提高電梯轎廂內乘客的安全保護，防止乘客乘坐電梯時遭遇暴力或者恐慌事件。

2 國內外研究現狀

2.1 國內研究現狀

國內電梯轎廂內乘客異常行為檢測系統當前主要使用幀差法、減背景法以及光流法三種，除使用視頻錄制設備收集電梯轎廂內部的圖像之外還需要與物聯網系統相互連接，電梯內部的監控設備、視頻錄制設備等都屬于物聯網系統中的傳感器，乘客異常行為檢測系統通過物聯網的傳感器收集電梯轎廂內部的圖像，然后再對電梯轎廂內部的圖像進行分析，最后根據分析結果判斷乘客行為是否存在異常。

幀差法是通過對相鄰兩幀的畫面進行對比，然后對相鄰兩幀的圖像做差分，得到幀差法的差分圖像，再對差分圖像進行二值化處理，最后運用形態學的處理方法使其與連通域相連接，即可判斷該圖像是否存在乘客行為異常情況，如果通過幀差法確定乘客行為出現異常應該立即發出警報，提醒工作人員進行處理。減背景法需要先對電梯轎廂內部的背景進行建模，然后根據差分圖像分析電梯轎廂內部乘客行為是否存在異常，最后再將異常行為檢測系統與報警系統相互連接。光流法則是根據圖像上的像素點的變化判斷乘客行為是否異常，電梯轎廂內部乘客運動時，其像素點在時間和空間上都會發生對應變化，然后計算光流法灰度圖像上的像素點的瞬時速度變化信息，即可判斷出乘客行為是否異常。如果電梯轎廂內乘客出現暴力或恐慌行為，其灰度圖像上的瞬時速度變化會非?？?，乘客異常行為檢測系統可以直接捕捉到這一信息，并且對電梯監控人員發出警報，保證電梯工作人員第一時間處理電梯轎廂內發生的暴力或恐慌事件[2]。

2.2 國外研究現狀

國外對電梯轎廂內乘客異常行為檢測系統中智能監控技術和行為識別技術研究較多，智能監控技術可以使電梯系統更加智能化和自動化，當突發暴力或恐慌事件之后電梯系統可以根據乘客異常行為檢測結果發出不同級別的警報。智能監控技術可以將乘客正常行為和異常行為區分開，有效降低了該檢測系統誤判的幾率，提高了該檢測系統的工作質量和效率。美國與歐洲等國家與地區都有很多智能監控方面的研究項目，并將該技術應用到公共場所中監控人類行為是否異常，如地鐵、火車站、機場等[3]。中東一些國家的智能監控技術同樣非常發達，這些國家的智能監控系統甚至可以從行動路徑和運動方向等方面分析出一個人的行為是否異常。

行為識別技術是智能監控的核心，只有先識別出圖像中的人類行為，才能對其行為是否異常進行判斷。該技術通過模擬人類的動作，然后判斷圖像中的運動特征是否符合人類運動軌跡，最后判斷出該人類的動作是否符合正常人類的規范，根據人類動作軌跡的數據庫可以對比判斷哪些行為存在異常[4]。

3 異常行為檢測樣本選擇

3.1 運動目標提取方法

運動目標的提取方法有幀差法、減背景法和光流法三種，其中減背景法和光流法的技術難度較高，本文對減背景法和光流法具體分析。

1）減背景法

減背景法的核心為建模，首先對相鄰兩幀的圖像進行對比得到差分圖像，然后再對其進行二值化處理，最后使用減背景法的建模分析電梯轎廂內乘客行為是否存在異常[5]。

減背景法中靜態建模將圖像中各像素點的均值作為背景的數據模型，可以得到

將式（1）代入光照對圖像的影響可得

式中：Bn為減背景法圖像中N幀圖像的平均值，N為圖像幀數，F為減背景法中圖像，Fn為第N幀中減背景法中的圖像。

式（2）中N值越大，其背景模型的值就越貼近真實，靜態建模使用圖像的像素平均值作為數據基礎。該方法檢測電梯轎廂內乘客行為是否異常的速度比較快、實時性比較高，有利于電梯工作人員快速對暴力或恐慌事件做好應對措施[6]。

減背景法中動態建模將圖像的所有像素點都作為數據模型，但是每一幀的所有像素點模型可以構成一個像素組。如果像素點與像素組相互重合，則可以將該像素點看作成該圖像中的背景。反之，則可以認為該像素點處于運動前置階段，該像素點所在位置的乘客處于待運動狀態，然后再對運動狀態的乘客檢測其行為是否存在異常[7]。

動態建模方法中利用單高斯模型將像素點的顏色分布表示為η（Xt，μt，Σt）得

當時間為t時其顏色值可以用It表示，可得

式中：t為時刻；Σt為當時間為t時刻高斯分布的平均值；Xt為當時間為t時像素點的顏色值[8]；α為學習率，當像素點與像素組不重合時α=0，當像素點與像素組不重合時α的值與像素組相同；μt+1為某一像素點的顏色值；Σt+1為某一像素點的協方差矩陣；若像素點有顏色，則μt、dt、It等值均為三維向量；當紅綠藍三個顏色的協方差相同時，可以將Σt的值看作σ2。

式中：σi為高斯函數的標準差，K一般取3～5。

2）光流法

使用光流法對電梯轎廂內乘客異常行為檢測算法有兩種，模板匹配法和狀態空間法。模板匹配法先對電梯轎廂內部的圖像進行建模，然后根據不同幀數下圖像的變化情況就可以判斷那些像素點是人物模型，最后即可根據像素點的變化情況判斷乘客行為是否異常。模板匹配法將乘客異常行為檢測分為三個階段，第一個階段需要建立電梯轎廂內的靜態特征模板，第二階段根據圖像序列與靜態特征模板之間的對比結果識別人類的行為，第三個階段判斷識別出來的行為是否異常，該方法計算比較簡單，但是沒有在計算中將行為動態特征考慮進去，所以檢測的乘客異常行為結果容易出現誤差。狀態空間法則是將根據空間中乘客行為的像素點作為檢測節點，再將檢測節點分成動態乘客行為和靜態電梯轎廂背景，即可檢測出乘客異常行為。但是該方法如果檢測節點較多容易出現故障，所以使用狀態空間法作為光流法檢測算法一般使用動態貝葉斯網絡或隱馬爾科夫模型[9]。

光流法通過檢測電梯轎廂內的稠密光流和稀疏光流即可判斷出物體的運動情況，一般光流法需要對灰度圖像中像素點的分布情況進行分析，然后再計算出像素點的瞬時速度變化情況，即可判斷出乘客行為是否異常[10]。

光流法中如果將圖像中的像素點用（x，y）表示；該像素點在t時間的亮度用（x，y，t）表示；該像素點的光流在水平方向的速度分量可以用u（x，y）表示；該像素點在垂直方向的速度分量可以用v（x，y）表示。最后可以得到公式

如果將像素點經過的時間設為△t，則可以將該像素點的亮度用I（x+△x，y+△y，t+△t），可以得到泰勒展開公式

當該像素點經過的時間△t為最短時，可以得到

根據光流圖各像素點的光流值可以計算出某一幀圖像的動能，動能簡化計算公式

急速加熱和快速質譜氣固相反應分析儀系統如圖 1，樣品在急速加熱裝置內實現快速升溫反應過程，在反應的同時通過飛行時間質譜分析儀獲得實時的氣體產物組分與濃度數據，通過熱電偶實時高速采集樣品的升溫數據，急速加熱裝置在電路系統控制下實現不同的升溫速率和反應終溫要求。

3.2 運動目標提取

在電梯轎廂內部設置物聯網傳感器攝像頭，即可根據光線的不同采集到不同的圖像信息，再根據電梯轎廂的背景圖像完成建模提取出運動目標。運動目標提取圖如圖1所示。

圖 1 運動目標提取圖片

3.3 運動目標人數估計

運動目標人數估計過程在運動目標提取與乘客異常行為檢測之間，本文采用像素統計方法估計運動目標人數，計算出前一幀像素個數與單人運動像素個數的比值并取整即可得到運用目標估計人數。運動目標人數估計結果如圖2所示。

圖 2 運動目標人數估計結果

根據圖2所示，單人所占像素個數為15 000左右，而本圖中前一幀畫面中運動人數像素個數總數為28 000左右，所以可以判斷該畫面中運動人數估計為2人。

4 電梯轎廂內乘客異常行為檢測

4.1 單人乘客異常行為檢測

1) 單人摔倒檢測

本文使用投影子窗檢測方法對電梯轎廂內單人乘客異常行為進行檢測，該檢測方法與單人運動檢測的方法相比較更加精準，避免了單人乘客異常行為檢測系統誤將靜止不動的乘客判斷為摔倒。

2) 單人異常行為檢測

電梯轎廂內單人異常行為檢測通過對乘客的輪廓投影線的長寬比進行計算，即可得到乘客是否摔倒在電梯內。

單人摔倒檢測中投影子窗口的選取圖像如圖3所示。

圖 3 單人異常行為檢測投影子窗口的選取圖

單人摔倒檢測中乘客站立狀態的投影圖像如圖4所示。

圖 4 單人異常行為檢測乘客站立狀態投影圖像

根據圖4即可先計算出乘客站立狀態的輪廓長寬比，當乘客摔倒時其輪廓的長寬比會有明顯變化。乘客摔倒狀態的投影如圖5所示。

圖 5 單人異常行為檢測乘客摔倒狀態投影圖像

乘客摔倒之后其輪廓的長寬比由0～1之間變成2以上，根據投影子窗檢測法可以判斷乘客行為是否異常。

3) 檢測結果與分析

該檢測方法檢測單人乘客異常行為的幾率準確度在90%以上，檢測速度可以達到27幀/s。當乘客摔倒過程中進行異常行為檢測容易出現誤差，靜態背景的幀數提取會直接影響檢測結果的準確度。

4.2 雙人乘客異常行為檢測

1) 暴力行為檢測

電梯轎廂內雙人乘客異常行為檢測使用的是光流法，該雙人異常行為檢測主要檢測電梯內部是否發生暴力行為，所以可以對其角點的光流值和動能進行計算，即可得到雙人乘客行為異常檢測結果。

2) 雙人暴力行為檢測

雙人暴力行為檢測可以使用隱馬爾可夫模型提取電梯轎廂內乘客的三維特征，并根據隱馬爾可夫模型計算出雙人乘客異常行為的似然概率。本文在電梯轎廂內雙人乘客異常行為檢測中使用的是角點動能模型法，該方法適合在檢測雙人乘客異常行為。雙人暴力行為檢測流程如圖6所示。

圖 6 雙人異常行為檢測流程圖

雙人暴力行為檢測需要根據灰度圖像中像素點的運動情況判斷出乘客行為的瞬時速度變化情況，最后根據光流法中動能簡化計算公式即可計算出該灰度圖像中動能變化情況，根據動能函數可以得到圖像如圖7所示。當動能函數變化較大時，可以判斷電梯轎廂內發生雙人暴力事件。

圖 7 動能函數變化情況

3) 檢測結果與分析

雙人暴力行為檢測準確率可以達到90%，檢測速度可以達到25幀/s。如果人數過多會導致光流法的行為異常檢測結果存在誤差，乘客異常行為檢測方法在人數上具有局限性。

4.3 電梯轎廂內多人乘客異常行為檢測

1)密集多人異常行為檢測

當電梯轎廂內乘客數量比較多時，為了防止出現恐慌事件，需要對其進行多人乘客異常行為檢測。多人恐慌行為檢測流程如圖8所示。

圖 8 多人恐慌行為檢測流程圖

2)多人恐慌行為檢測

電梯轎廂內多人恐慌行為檢測可以使用光流法計算出多人乘客二值圖像中的動能變化情況，再將其行為特征分為時間和空間兩個維度，最后建立多人恐慌行為模型，即可判斷電梯轎廂內是否存在多人恐慌行為。多人恐慌行為檢測特征提取如圖9所示。

圖 9 多人恐慌行為檢測特征提取圖

根據圖9可知，圖像中正常情況下非零像素點數量少、分布散亂，當發生多人恐慌行為時，非零像素點數量多、分布范圍密大。然后對其運動能量圖做直方處理，可以得到水平和豎直兩個方向的投影直方圖，如圖10所示。

圖 10 多人恐慌行為檢測直方圖

3）檢測結果與分析

如果電梯轎廂內多人恐慌行為檢測的能量分布函數值大于多人正常狀態下的最大能量分布值，則可以判斷發生多人恐慌行為。反之，則電梯轎廂內未發生多人恐慌行為。該方法檢測多人恐慌行為的準確率可以得到95%，檢測速度可以得到每25幀/s。

5 結語

電梯轎廂內乘客異常行為檢測應該具體分為單人摔倒檢測、雙人暴力檢測以及多人恐慌檢測三種，對不同人數的檢測需要使用不同的方法，才能保證檢測結構的準確率。在選擇檢測方法中，需要保證檢測速度達到一定數量值，否則不能在第一時間對乘客異常行為作出預警。