保護(hù)電梯門的動(dòng)態(tài)圖像識(shí)別方法

呂新知，谷明非，宋世杰，宮大為

（1.中國(guó)核動(dòng)力研究設(shè)計(jì)院，四川成都 610213；2.電子科技大學(xué)機(jī)械與電氣工程學(xué)院，四川成都 611731）

0 引言

電梯給人們生活帶來了便利，電梯門作為直接與用戶接觸最多的部件之一，其保護(hù)系統(tǒng)在電梯安全運(yùn)行中起著十分重要的作用。現(xiàn)有的門保護(hù)技術(shù)［1-2］主要包括：①機(jī)械安全觸板等接觸式保護(hù)方法；②光電式、紅外線光幕式等非接觸式保護(hù)方法。前一種方法弊端主要存在對(duì)行動(dòng)不便的人進(jìn)出電梯時(shí)造成困擾；后一種方法無論是二維式還是三維式保護(hù)，保護(hù)范圍都有局限性，存在死角。隨著科技的發(fā)展，電梯門保護(hù)系統(tǒng)要求更高，不僅要安全性、可靠性高，還要反應(yīng)快速、智能性好。

近年來，圖像處理技術(shù)在工業(yè)領(lǐng)域廣泛應(yīng)用［3-5］，為電梯檢測(cè)系統(tǒng)提供了新的發(fā)展思路，相關(guān)研究有：Liu 等［6］設(shè)計(jì)了一種基于圖像的電梯人數(shù)計(jì)數(shù)算法用于電梯控制，減少了電梯的等待時(shí)間和非必要停止次數(shù)；湯一平等［7］提出一種基于計(jì)算機(jī)視覺的電梯內(nèi)防暴力智能視頻監(jiān)控方法；黃穎昭［8］對(duì)電梯轎廂空間占用識(shí)別系統(tǒng)展開研究；張雷等［9］將機(jī)器視覺技術(shù)應(yīng)用于電梯的超載檢測(cè)，提高了電梯的輸送效率和智能化程度；Zou 等［10］將圖像處理技術(shù)應(yīng)用于電梯的過載檢測(cè)，檢測(cè)正確率達(dá)到了91.7%；葉凱［11］利用圖像處理技術(shù)對(duì)電梯轎廂的擁擠度進(jìn)行識(shí)別；金曉磊等［12］采用隨機(jī)Hough 算法對(duì)電梯監(jiān)控視頻圖像中的人數(shù)進(jìn)行識(shí)別；Zhao 等［13］提出一種基于圖像的電梯人流量檢測(cè)方法，該方法可對(duì)電梯門狀態(tài)、電梯的運(yùn)行狀態(tài)以及電梯中的人數(shù)進(jìn)行圖像識(shí)別。上述文獻(xiàn)表明，針對(duì)電梯應(yīng)用場(chǎng)景的圖像技術(shù)主要集中在過載檢測(cè)和人數(shù)檢測(cè)上，而針對(duì)電梯門保護(hù)的圖像識(shí)別方法較少，電梯門保護(hù)的圖像識(shí)別技術(shù)更強(qiáng)調(diào)動(dòng)態(tài)圖像識(shí)別以及識(shí)別的實(shí)時(shí)性。

將圖像識(shí)別技術(shù)應(yīng)用于電梯門保護(hù)系統(tǒng)主要存在以下3 個(gè)局限性：①圖像的信息量大，對(duì)系統(tǒng)響應(yīng)速度要求高；②數(shù)字圖像中各個(gè)像素不獨(dú)立，相關(guān)性大；③圖像處理技術(shù)綜合性強(qiáng)。因此，目前尚無成熟產(chǎn)品投放市場(chǎng)。

本文對(duì)比國(guó)內(nèi)外技術(shù)發(fā)展水平，針對(duì)物體進(jìn)出轎廂不易被準(zhǔn)確識(shí)別的難點(diǎn)，圍繞上述3 個(gè)問題展開分析，建立一套動(dòng)態(tài)目標(biāo)圖像識(shí)別方法。結(jié)合電梯關(guān)門的圖像特征進(jìn)行實(shí)時(shí)圖像處理算法研究，搭建試驗(yàn)平臺(tái)，并通過仿真試驗(yàn)進(jìn)行驗(yàn)證。

1 電梯門保護(hù)系統(tǒng)架構(gòu)

通過一個(gè)安裝在電梯轎廂上靠近轎廂門的圖像傳感器，拍攝電梯門間以及在門入口一塊區(qū)域內(nèi)的圖像，通過主控芯片對(duì)圖像進(jìn)行處理，給出開關(guān)門信號(hào)。系統(tǒng)硬件框架如圖1 所示。

Fig.1 Elevator door protection system圖1 電梯門保護(hù)系統(tǒng)架構(gòu)

電梯門保護(hù)系統(tǒng)主要分為圖像采集模塊、主控電路模塊、存儲(chǔ)模塊、數(shù)據(jù)通信模塊、人機(jī)交互模塊、電源和系統(tǒng)復(fù)位模塊。

主要實(shí)現(xiàn)過程：圖像信號(hào)采集模塊實(shí)時(shí)提取電梯門區(qū)的圖像數(shù)據(jù)，主控芯片將圖像數(shù)據(jù)進(jìn)行處理并保存至存儲(chǔ)模塊供下一次圖像對(duì)比，同時(shí)將信號(hào)處理結(jié)果顯示于人機(jī)交互模塊，最后將梯門啟動(dòng)信號(hào)經(jīng)過通訊模塊觸發(fā)。

2 動(dòng)態(tài)圖像特性算法

設(shè)一幅數(shù)字圖像有M行和N列，原點(diǎn)坐標(biāo)是（0，0）。以f（x，y）表示坐標(biāo)為（x，y）位置點(diǎn)的圖像灰度值，則整幅圖的灰度值可表示為：

對(duì)電梯門間圖像進(jìn)行動(dòng)態(tài)目標(biāo)檢測(cè)時(shí)，為了提升計(jì)算效率，常常將灰度圖像轉(zhuǎn)化為二值圖像處理，即像素灰度級(jí)非1 則0。

2.1 改進(jìn)的中值濾波圖像預(yù)處理方法

在對(duì)電梯門間圖像進(jìn)行預(yù)處理時(shí)，如果平滑濾波不當(dāng)就會(huì)丟失圖像本身的細(xì)節(jié)，如電梯門邊界輪廓、線條等變得模糊不清，從而對(duì)圖像的后期處理帶來困難。一般在圖像的平滑過程中既要控制圖像的噪聲，又要盡可能保持圖像的細(xì)節(jié)［14-16］。

中值濾波的輸出像素是由鄰域圖像的中間值決定的，因而中值濾波主要作用就是對(duì)周圍像素灰度值差別較大的像素重新賦值，成為與其周圍像素灰度值接近的值，從而消除孤立的噪聲點(diǎn)。中值濾波用數(shù)學(xué)公式表示如下：

式中，A 為窗口，g（m，n）為窗口的灰度中值，f（m-k，nl）為窗口A 內(nèi)各點(diǎn)的像素灰度值。

傳統(tǒng)的中值濾波算法中，窗口每次移動(dòng)都要進(jìn)行一次排序，以3x3 的窗口為例，傳統(tǒng)的中值濾波法需要36 次比較排序，這種做法實(shí)際上包含了大量重復(fù)比較的過程。本文算法以3x3 的窗口為例，窗口內(nèi)像素的排列如下：

經(jīng)過9 次比較可得：第1、2、3 列最大值記為Max（hi，1），Max（hi，2），Max（hi，3）；第1、2、3 列中值記為Med（hi，1），Med（hi，2），Med（hi，3）；第1、2、3 列最小值記為Min（hi，1），Min（hi，2），Min（hi，3），排除6 個(gè)非中值元素后可得：

由上式可得3x3 的窗口中值：

若在此時(shí)移向下一個(gè)窗口，只需要將新加入的一列｛N1，N2，N3｝代替原窗口的最左邊列｛X11，X21，X31｝即可。對(duì)新加入列進(jìn)行排序操作：

這里3 次比較后需要使用前一次比較的排序結(jié)果，去除肯定非中值的6 個(gè)元素，對(duì)最后的3 個(gè)元素取中值，此即為本次窗口的中值。因此，該窗口總共需要12 次操作。之后的每個(gè)窗口都只需要12 次操作即可，大大降低了比較次數(shù)。

2.2 基于類間方差法的閾值分割

采用最大類間方差法對(duì)全局閾值進(jìn)行分割，基本思想是按照?qǐng)D像的灰度特性，將圖像分成背景和目標(biāo)兩部分。背景和目標(biāo)之間的類間方差越大，說明構(gòu)成圖像的兩部分差別越大，類間方差最大的分割意味著錯(cuò)分的概率最小［17-18］。

通過對(duì)多幅圖像的仿真試驗(yàn)，采用最大類間方差法為主、基于經(jīng)驗(yàn)的固定閾值算法為輔的算法能得到較好結(jié)果。

最大類間方差算法實(shí)現(xiàn)過程：

設(shè)圖像f（x，y）灰度級(jí)范圍為L(zhǎng)，灰度級(jí)為i的像素點(diǎn)為ni，總像素為N，則灰度級(jí)為i的像素點(diǎn)出現(xiàn)的概率為：

按灰度級(jí)閾值t劃分為兩類區(qū)域C0和C1，C0和C1出現(xiàn)的概率ω0和ω1如式（12）和式（13）所示；均值μ0和μ1如式（14）和式（15）所示：

根據(jù)方差定義，可以求得：

如果同區(qū)域具有灰度相似的特性，不同區(qū)域之間則表現(xiàn)為明顯的灰度差異，當(dāng)被閾值t分離的兩個(gè)區(qū)域間灰度差較大時(shí)，兩個(gè)區(qū)域的灰度均值為μ0和μ1，與整幅圖像的灰度均值μ之差較大，類間方差便是描述這種差異的有效參數(shù)［19］。表達(dá)式為：

式（18）中：σB2表示圖像被閾值t分割后兩個(gè)區(qū)域之間的方差，顯然不同的t值會(huì)有不同的類間方差。經(jīng)整理可得：

當(dāng)被分割的兩區(qū)域間方差為σB2時(shí)達(dá)到最大值，認(rèn)為是兩區(qū)域的最佳分離狀態(tài)，由此確定閾值Th：

通過類間方差法計(jì)算出的全局閾值旨在去除大部分干擾噪聲，增強(qiáng)具有關(guān)聯(lián)性的動(dòng)態(tài)變化圖像識(shí)別的穩(wěn)定性。

2.3 基于區(qū)域過度生長(zhǎng)算法的動(dòng)態(tài)識(shí)別

利用動(dòng)態(tài)目標(biāo)跟蹤只需要得到電梯門間簡(jiǎn)單的目標(biāo)移動(dòng)矢量方向，而不需要該運(yùn)動(dòng)目標(biāo)的具體特征、外形等參數(shù)，因而本文研究的目標(biāo)跟蹤算法具有特殊性，與其他跟蹤法有較大區(qū)別。根據(jù)本圖像環(huán)境特點(diǎn)提出區(qū)域過度生長(zhǎng)算法，求取目標(biāo)的最小外接矩形以及其中心。最小外接矩形Rect的提取公式為［20］：

目標(biāo)區(qū)域內(nèi)的中心坐標(biāo)P（px，py）公式如下：

以該中心來定位運(yùn)動(dòng)目標(biāo)的具體位置，只需要暫時(shí)保存該位置坐標(biāo)數(shù)據(jù)，在后面幀序列產(chǎn)生新的位置坐標(biāo)時(shí)進(jìn)行對(duì)比，產(chǎn)生一個(gè)矢量。當(dāng)該矢量方向連續(xù)幾幀指向電梯門間時(shí)，系統(tǒng)判別為有目標(biāo)需要使用電梯，將電梯門打開；當(dāng)該矢量方向指向門外或者指向水平方向時(shí)，則判斷結(jié)果分別為目標(biāo)走出電梯門和目標(biāo)走過電梯門，而無需產(chǎn)生電梯的開門信號(hào)，繼續(xù)保持現(xiàn)行狀態(tài)運(yùn)行。

3 動(dòng)態(tài)識(shí)別數(shù)值模擬

3.1 改進(jìn)的中值濾波算法仿真

為了驗(yàn)證濾波算法的適應(yīng)性，仿真試驗(yàn)采用相同的濾波方法對(duì)不同電梯門的圖像處理結(jié)果進(jìn)行比較。不同電梯門背景選用依據(jù)是門背景圖像直方圖的像素分布情況，取有代表性的兩類背景直方圖如圖2 所示。

Fig.2 Elevator door background圖2 電梯門背景

電梯門背景（深色）的直方圖像素值大部分都低于150，而背景（淺色）的直方圖大部分大于150，深色與淺色代表了常見的電梯門背景黑（暗度）與白（亮度）兩種典型特征。采用傳統(tǒng)的均值濾波和改進(jìn)的中值濾波方法進(jìn)行對(duì)比，如圖3 和圖4 所示。

Fig.3 Filter comparison under dark color background圖3 深色電梯門背景的濾波比較

Fig.4 Filter comparison under light color background圖4 淺色電梯門背景的濾波比較

從圖3 和圖4 可以明顯看到，兩背景下均值濾波噪聲點(diǎn)的干擾都比較大，特別是目標(biāo)邊界處發(fā)生模糊現(xiàn)象時(shí)，改進(jìn)的中值濾波法在簡(jiǎn)化算法的同時(shí)能很好地過濾掉該背景的圖像噪聲，同時(shí)保持了邊界特征清晰。另一方面，由于淺色背景像素值較大，深色背景像素值較小，說明像素值較大時(shí)受到的噪聲干擾也比較嚴(yán)重。

3.2 動(dòng)態(tài)識(shí)別仿真

對(duì)電梯門背景下獲得的大量運(yùn)動(dòng)圖像進(jìn)行分析。背景具有相對(duì)穩(wěn)定的變化范圍，也提供了穩(wěn)定的特征值，此處特征值為電梯門移動(dòng)位置與移動(dòng)時(shí)間緊密相關(guān)。采用相鄰幀差法為主、背景差分法為輔的算法設(shè)計(jì)，不同電梯背景的多幅處理圖像都能從門移動(dòng)的背景中提取出移動(dòng)目標(biāo)。圖5 為人體進(jìn)梯時(shí)的動(dòng)態(tài)識(shí)別效果。

Fig.5 Dynamic identification result圖5 動(dòng)態(tài)識(shí)別效果

圖5 中，首先提取第N 幀至第N+3 幀圖片，如圖5（a）-圖5（d）所示。經(jīng)過中值濾波和類間方差閾值分割后對(duì)前后圖像進(jìn)行幀差二值化，可得圖5（e）-圖5（g）所示效果。將自學(xué)習(xí)的門背景位置當(dāng)前幀進(jìn)行背景減除法，最后得到動(dòng)態(tài)目標(biāo)圖5（h）-圖5（j）。在一個(gè)320x240 的窗口中，根據(jù)區(qū)域過度生長(zhǎng)算法公式計(jì)算求得：p1坐標(biāo)為（151，22）；p2坐標(biāo)為（151，28）；p3坐標(biāo)為（151，32）。從所獲得的目標(biāo)中心坐標(biāo)p1、p2、p3，可知目標(biāo)中心位移的矢量方向：在x 軸方向上坐標(biāo)僅在151 附近移動(dòng)，幾乎無變化；而在y 軸方向上，值從22→28→32，有明顯的遞增趨勢(shì)，與X 軸相比變化率較大，表明目標(biāo)向電梯門間移動(dòng)，能很好地反映在電梯門關(guān)閉過程中人向門走進(jìn)的一個(gè)矢量方向。

通過仿真對(duì)目標(biāo)進(jìn)行定位跟蹤，驗(yàn)證了最大類間方差分割法的有效性。采用相鄰幀差法為主、背景差分法為輔的設(shè)計(jì)，對(duì)物體進(jìn)出門梯以區(qū)域過度生長(zhǎng)目標(biāo)的方式進(jìn)行提取，獲得了良好的動(dòng)態(tài)目標(biāo)檢測(cè)效果。

4 門保護(hù)系統(tǒng)試驗(yàn)

4.1 硬件電路設(shè)計(jì)

根據(jù)上述理論與仿真分析，搭建門保護(hù)系統(tǒng)試驗(yàn)平臺(tái)，硬件電路如圖6 所示。

Fig.6 System verification platform圖6 系統(tǒng)試驗(yàn)平臺(tái)

圖6 中，1 為圖像傳感器OV9650，該部件裝于電梯門內(nèi)側(cè)上方；2 為電源線，試驗(yàn)中為獨(dú)立電源；3 為RS232 串口線，用于控制門機(jī)開關(guān)；4 為蜂鳴器，用于信號(hào)報(bào)警；5 為主控芯片S3C2440A；6 為人機(jī)互動(dòng)鍵；7 為JTAG 仿真器；8 為信號(hào)燈；9 為L(zhǎng)CD 屏幕。

4.2 門區(qū)劃分

研究電梯門在關(guān)閉過程中的特征，為達(dá)到高實(shí)時(shí)性和智能性，需要將圖像傳感器捕捉的電梯門間區(qū)域劃分為3個(gè)區(qū)域，如圖7 所示，分別為門禁區(qū)、門外區(qū)、門內(nèi)區(qū)，劃分原則是根據(jù)人們使用電梯的習(xí)慣和可能發(fā)生的各種情況，3 個(gè)區(qū)域的范圍在電梯門關(guān)閉過程中隨著門框邊緣的變化而變化，并有優(yōu)先級(jí)順序。

①門禁區(qū)，定義是電梯門間禁止區(qū)，優(yōu)先級(jí)最高。從電梯使用情況看，該區(qū)域在電梯門間，是轎廂門與門外的一個(gè)交界處，處于較危險(xiǎn)的區(qū)域，人要盡量減少該區(qū)域的停留，只要在該區(qū)域有移動(dòng)目標(biāo)出現(xiàn)則必然是正在使用電梯，在程序設(shè)計(jì)時(shí)，只要有移動(dòng)目標(biāo)出現(xiàn)，無需進(jìn)一步判斷就直接發(fā)送開門信號(hào)；②門內(nèi)區(qū)，定義是電梯門間偏向轎廂門內(nèi)側(cè)的一塊相對(duì)較小的區(qū)域，優(yōu)先級(jí)中等。該區(qū)域的設(shè)立主要是針對(duì)轎廂物體的移動(dòng)檢測(cè)；③門外區(qū)，定義是電梯門外的區(qū)域，優(yōu)先級(jí)低，該區(qū)域主要針對(duì)電梯使用人作出智能化響應(yīng)。

Fig.7 Diagram of the definition of three areas between doors圖7 電梯門間3 區(qū)域范圍定義

4.3 目標(biāo)識(shí)別試驗(yàn)

（1）目標(biāo)走近試驗(yàn)。目標(biāo)跟蹤算法實(shí)質(zhì)是捕捉移動(dòng)目標(biāo)中心點(diǎn)坐標(biāo)的軌跡，根據(jù)軌跡判斷當(dāng)前情況下電梯門所需要做出的動(dòng)作，在試驗(yàn)中以蜂鳴器響代表開門信號(hào)。目標(biāo)走近試驗(yàn)區(qū)主要是模擬最常見的情況，動(dòng)態(tài)識(shí)別效果如圖8 所示。

Fig.8 Results of approaching test圖8 走近試驗(yàn)動(dòng)態(tài)情況

通過觀察跟蹤的C 坐標(biāo)特征可以明顯發(fā)現(xiàn)，C 的x 坐標(biāo)也一直處于明顯增加狀態(tài)，由于y 方向的變化率較大使得x坐標(biāo)的變化率影響不大，C 坐標(biāo)值如表1 所示。

從試驗(yàn)效果上，系統(tǒng)在3 幀內(nèi)基本完成移動(dòng)目標(biāo)的跟蹤判斷。如在第8、第9 組試驗(yàn)中，移動(dòng)目標(biāo)以較快地速度跑至電梯門，只出現(xiàn)2 幀的C 坐標(biāo)值，即在門外區(qū)只需獲得2 組數(shù)據(jù)便可完成判斷，第3 幀的目標(biāo)移動(dòng)至門禁區(qū)，系統(tǒng)馬上發(fā)出開門信號(hào)，而未繼續(xù)跟蹤C(jī) 坐標(biāo)值，這也驗(yàn)證了程序設(shè)計(jì)的有效性，且與仿真結(jié)果相符，獲得了較好的識(shí)別效果。

Table 1 Target C coordinate value表1 目標(biāo)C 坐標(biāo)值

（2）目標(biāo)走過試驗(yàn)。該試驗(yàn)驗(yàn)證系統(tǒng)能否過濾因人路過而產(chǎn)生誤判斷發(fā)出開門信號(hào)情況。本文將0.3～0.6m/s 定義為慢速，0.8～1.2m/s 定義為中速，1.5m/s 以上定義為快速。將3 種狀態(tài)下的信號(hào)統(tǒng)計(jì)于表2，慢速運(yùn)動(dòng)物體識(shí)別效果如圖9 所示。

Table 2 Signal response statistics表2 信號(hào)響應(yīng)統(tǒng)計(jì)

比較3 種運(yùn)動(dòng)狀態(tài)，對(duì)目標(biāo)慢速移動(dòng)判別的誤判率最高為16.7%，目標(biāo)中速移動(dòng)判別的誤判率為6.7%，目標(biāo)移動(dòng)較快的判別沒有誤判。這從另一方面也符合實(shí)際情況，在目標(biāo)移動(dòng)較快時(shí)，目標(biāo)中心點(diǎn)的X 方向移動(dòng)較快，遠(yuǎn)遠(yuǎn)大于Y 方向的移動(dòng)幅度，而目標(biāo)移動(dòng)較慢時(shí)，目標(biāo)中心坐標(biāo)變化緩慢（如圖9 中C1 和C2 坐標(biāo)所示），難以快速判斷是否需要響應(yīng)門機(jī)信號(hào)。本試驗(yàn)結(jié)果說明系統(tǒng)對(duì)路過目標(biāo)的移動(dòng)速度越快判別得越準(zhǔn)確，而目標(biāo)移動(dòng)速度越慢則會(huì)對(duì)系統(tǒng)判別運(yùn)動(dòng)方向造成困擾。

Fig.9 Target localization of slow moving objects圖9 慢速運(yùn)動(dòng)物體目標(biāo)定位

5 結(jié)語

本文主要針對(duì)電梯門區(qū)圖像的動(dòng)態(tài)特征，提出一套適用于電梯門保護(hù)系統(tǒng)的圖像識(shí)別方法，并通過仿真和試驗(yàn)進(jìn)行驗(yàn)證分析。具體內(nèi)容如下：

（1）建立了改進(jìn)的中值濾波方法，簡(jiǎn)化了系統(tǒng)算法，通過與均值濾波方法的仿真對(duì)比，發(fā)現(xiàn)改進(jìn)的中值濾波算法可有效過濾掉背景的圖像噪聲，同時(shí)保持邊界特征清晰。

（2）采用類間方差法對(duì)圖像進(jìn)行全局閾值分割，建立以背景差分法為主、相鄰幀差法為輔的動(dòng)態(tài)目標(biāo)檢測(cè)模型，并采用區(qū)域過度生長(zhǎng)算法對(duì)動(dòng)態(tài)目標(biāo)進(jìn)行跟蹤。仿真結(jié)果顯示該方法能夠很好地實(shí)現(xiàn)對(duì)移動(dòng)目標(biāo)的跟蹤并便于進(jìn)一步判斷矢量方向。

（3）建立了門保護(hù)系統(tǒng)試驗(yàn)平臺(tái)，對(duì)門區(qū)優(yōu)先級(jí)進(jìn)行區(qū)分。對(duì)目標(biāo)走近過程進(jìn)行試驗(yàn)，在3 幀圖像范圍內(nèi)可對(duì)物體進(jìn)行識(shí)別。對(duì)不同速度的運(yùn)動(dòng)物體進(jìn)行多組識(shí)別試驗(yàn)，得出結(jié)論：系統(tǒng)對(duì)移動(dòng)速度越快的目標(biāo)判別得越準(zhǔn)確，而移動(dòng)速度越慢的目標(biāo)則越會(huì)對(duì)系統(tǒng)判別運(yùn)動(dòng)方向造成困擾。