機器人視覺的電梯轎廂門狀態(tài)識別系統(tǒng)

，

(1．福州大學 物理與信息工程學院，福州 350108；2．福建師范大學)

引　言

隨著中國經(jīng)濟的快速發(fā)展和國家新型城鎮(zhèn)化規(guī)劃(2014～2020年)的計劃，高層建筑的普及變成不可避免的事，因為電梯具有快捷、省力、相對安全的特點，電梯作為必要垂直運輸工具，得到了大量的應(yīng)用。過去十年間，國內(nèi)電梯擁有數(shù)總量持續(xù)增長，據(jù)國家質(zhì)量監(jiān)督檢驗檢疫總局數(shù)據(jù)，截至2016年底，全國在用電梯總量達到493.69萬臺[1]。電梯的安全問題一直是人民密切關(guān)心的問題，電梯一旦出現(xiàn)事故，致死的概率高達70%。然而在電梯運行中，電梯轎廂門的開關(guān)是不可避免的，所以其可靠性是評價電梯安全性能的關(guān)鍵因素[2-3]。根據(jù)國家質(zhì)量監(jiān)督檢驗檢疫總局的統(tǒng)計，在電梯的傷害事故中，超過80%是由于電梯轎廂門的故障導致的。減少電梯事故對人們在日常生活中的傷害，確保電梯轎廂門的安全可靠性，一直是電梯運維、電梯發(fā)展過程中一個重要的課題。

目前傳統(tǒng)的監(jiān)控方式分為人工監(jiān)督和通過觸發(fā)傳感器監(jiān)控，人工監(jiān)視階段對視頻圖像信息的處理也僅僅停留在獲取顯示階段，沒有對圖像進行智能化處理，以便更輕易地獲取現(xiàn)場信息。成人的注意力僅僅能高度集中20分鐘左右，20分鐘后人們的注意力就會顯著降低，監(jiān)控人員不可能一直保持警戒狀態(tài)，而且反應(yīng)速度慢，不能有效避免事故的發(fā)生。傳感器觸發(fā)的方式導致電梯控制系統(tǒng)結(jié)構(gòu)復雜，傳感器安裝麻煩，而且反應(yīng)速度慢、分辨率低。

現(xiàn)在電梯轎廂內(nèi)攝像頭變成了一個必備的設(shè)備，電梯轎廂內(nèi)的監(jiān)控視頻圖像可以很容易獲取，不需要額外的傳感器，因此選擇以視頻圖像處理為基礎(chǔ)，通過計算機視覺來實現(xiàn)電梯轎廂門狀態(tài)的識別。

因此設(shè)計一套具有實時智能識別視頻監(jiān)控電梯門狀態(tài)且安裝便利的設(shè)備變成了重要課題。綜上所述，采用Cortex-A9處理器作為整個系統(tǒng)的硬件處理器核心，通過在ARM-Linux中移植OpenCV作為系統(tǒng)的軟件處理核心，通過基于Hough線變換算法來作為電梯轎廂門狀態(tài)識別系統(tǒng)的核心算法[4]。

1　人數(shù)檢測系統(tǒng)總體設(shè)計

系統(tǒng)采用USB攝像頭加高性能的ARM作為整個系統(tǒng)的硬件架構(gòu)。在ARM_Linux系統(tǒng)上移植OpenCV，基于V4L2通過USB攝像頭采集視頻圖像，結(jié)合基于計算機視覺的門狀態(tài)識別算法，在ARM上實現(xiàn)電梯轎廂門狀態(tài)識別。系統(tǒng)總體設(shè)計方案如圖1所示，系統(tǒng)由硬件層、操作系統(tǒng)層、應(yīng)用軟件層三部分組成。

圖1　系統(tǒng)總體設(shè)計方案圖

① 硬件層部分：Exynos4412核心板作為電梯門狀態(tài)智能識別系統(tǒng)的控制處理中心，智能監(jiān)控系統(tǒng)的硬件平臺總體框圖如圖2所示。

圖2　系統(tǒng)硬件平臺總體框圖

② 操作系統(tǒng)層部分：操作系統(tǒng)部分選擇以U-Boot為基礎(chǔ)的BootLoader，使用Yaffs的文件系統(tǒng)，Linux選擇3.0.8版本的內(nèi)核。

③ 應(yīng)用軟件層部分：OpenCV結(jié)合相應(yīng)算法編寫應(yīng)用程序，實現(xiàn)電梯門狀態(tài)的智能識別。

2　系統(tǒng)開發(fā)平臺的搭建與圖像采集

2.1　系統(tǒng)開發(fā)平臺的搭建

(1)BootLoader制作

BootLoader用于引導操作系統(tǒng)內(nèi)核，為系統(tǒng)的啟動進行硬件初始化、分配內(nèi)存空間和系統(tǒng)配置等工作。BootLoader的移植過程分為4步：①解壓下載的u-boot.tat.bz2文件；②修改編譯腳本、添加Exynos4412的平臺信息；③選擇交叉編譯和編譯需要的文件；④執(zhí)行編譯，生成u-boot.bin文件。

(2)Linux內(nèi)核移植

本系統(tǒng)選擇Linux3.0.8作為系統(tǒng)的內(nèi)核，移植分為三大步驟：①下載Linux-3.0.8-20111118.tar.gz源代碼并解壓安裝；②清除原有配置與中間無效積累的文件；③配置和編譯內(nèi)核下命令解壓，配置主要包括：選擇Linux開發(fā)平臺為ARM、修改NandFlash分區(qū)表、修改內(nèi)核配置文件等。

(3)根文件系統(tǒng)移植

選擇Yaffs作為轎廂人數(shù)檢測系統(tǒng)的文件系統(tǒng)，Yaffs具有高效性易移植，且為專門針對嵌入式系統(tǒng)設(shè)計的文件系統(tǒng)。文件系統(tǒng)移植過程分為4步：①創(chuàng)建目錄；②創(chuàng)建設(shè)備文件；③加入配置文件；④添加內(nèi)核模塊。

(4)OpenCV移植

OpenCV的全稱是Open Source Computer Vision Library，OpenCV是一個基于BSD許可(開源)發(fā)行的跨平臺計算機視覺庫，可以運行在Linux、Windows和MacOS 操作系統(tǒng)上[5]，OpenCV內(nèi)部主要由C/C++實現(xiàn)。OpenCV在ARM上移植主要分為以下幾個步驟：①下載opencv-3.1.0.zip，解壓后進入解壓目錄；②編寫Makefile配置相應(yīng)信息；③選擇編譯器為交叉編譯工具鏈，C和C++編譯器分別對應(yīng)arm-arago-linux-gnueabi-gcc和arm-arago-linux-gnueabi-g++；④設(shè)置交叉編譯工具鏈的根目錄，用于查找需要的頭文件和庫。

2.2　基于V4L2的電梯轎廂內(nèi)視頻捕抓

V4L2是針對UVC免驅(qū)USB設(shè)備的編程框架[6]，主要用來輔助USB攝像頭采集視頻圖像等，圖像的采集過程分為打開設(shè)備、設(shè)置視頻的制式和幀格式、分配緩沖區(qū)及物理內(nèi)存、讀取數(shù)據(jù)、處理數(shù)據(jù)、關(guān)閉設(shè)備等步驟，函數(shù)編程的模式如圖3所示。

圖3　基于V4L2的電梯轎廂內(nèi)圖像采集過程

3　基于Hough線變換的電梯門狀態(tài)識別

電梯門狀態(tài)識別系統(tǒng)是通過Exynos4412驅(qū)動USB攝像頭，借助V4L2采集轎廂內(nèi)圖像信息，獲取一幀圖像，在ARM-Linux系統(tǒng)上對圖像完成預(yù)處理，預(yù)處理包括：灰度化、圖像去噪聲，將通過預(yù)處理之后的圖像進行邊緣檢測獲取邊緣圖像，為了得到更好的邊緣效果，對獲取的邊緣圖像進行膨脹處理，最后通過基于Hough的電梯門狀態(tài)識別算法獲得電梯門的開關(guān)狀態(tài)，門狀態(tài)識別系統(tǒng)總體流程如圖4所示。

圖4　門狀態(tài)識別系統(tǒng)總體流程

通過比較電梯轎廂關(guān)門和打開的狀態(tài)，可以發(fā)現(xiàn)，電梯關(guān)閉狀態(tài)下左右兩扇電梯轎廂門會形成一條為直線的門縫，如圖5紅色框所示，兩扇電梯門關(guān)閉形成的門縫。電梯門形成的門縫具有直線特性，通過圖像中特定的區(qū)域范圍判斷是否有超過特定長度的直線，從而判斷門的開關(guān)狀態(tài)，因此電梯門狀態(tài)可通過判斷圖像中固定區(qū)域檢測到直線的長度來實現(xiàn)。Hough線變換可以有效避免圖像中一些特征點遮擋現(xiàn)象的干擾，具有很好的容錯性和魯棒性，所以采用基于Hough線變換來作為電梯門狀態(tài)識別的核心算法。

圖5　電梯轎箱內(nèi)開關(guān)門狀態(tài)圖片

3.1　電梯門狀態(tài)識別算法原理分析

Hough變換是一種使用表決原理的參數(shù)估計技術(shù)[7]，基本思想是借助圖像空間和Hough參數(shù)空間的點與線之間對偶的關(guān)系，在一個參數(shù)空間中通過累積器使用一個符合預(yù)先設(shè)定的閾值得到一個符合該特定形狀的集合作為霍夫變換結(jié)果。

直角坐標系中直線L的方程為：

y=kx+b

(1)

用極坐標表示為：

r=x cos θ+y sinθ

(2)

式中，r為原點O到直線L的距離，θ為垂線與x軸之間的夾角，在直角坐標系中，xy平面的任意一條直線對應(yīng)極坐標系中的的一條曲線。Hough線變換的本質(zhì)就是點與線之間的對應(yīng)關(guān)系，直角坐標系中的任意一條直線對應(yīng)極坐標系中的一個點，直角坐標系的一點對應(yīng)極坐標系中的一條曲線。

電梯閉合時，門縫具有直線特性，本文提出基于Hough線變換的電梯門狀態(tài)識別算法，檢測出電梯關(guān)門狀態(tài)下形成的門縫，并計算檢測直線的長度，分析出直線長度和開關(guān)門狀態(tài)的關(guān)系。電梯開關(guān)門，門縫必定是出現(xiàn)在圖像中間的固定區(qū)域，在對圖像的Hough變換值進行搜索時，只需要在特定的固定區(qū)域進行搜索，可以減少搜索量，提高效率。

3.2　電梯門狀態(tài)識別算法具體實現(xiàn)過程

電梯門狀態(tài)識別算法具體實現(xiàn)步驟如下：

① 圖像去噪：因為采集的過程中一定會受到噪聲的影響，本文通過圖像平滑來減少噪聲對采集圖像質(zhì)量的影響，選擇采用5×5方形窗口的中值濾波器去除圖像噪聲，在圖像去噪聲的同時又保存了圖像中大部分細節(jié)信息。

② 運用Canny算法檢測獲取邊緣圖像，并進行二值化處理。

③ 計算轎廂寬度：通過角點檢測確定出電梯轎廂門兩個角落的角點，如圖6所示中的A、B兩點，計算兩個角點之間的距離L。

④ 建立坐標系：取A和B兩點之間中點作為直角坐標系的原點，建立x-y直角坐標如圖6所示。

⑤ 在坐標系中獲取門縫所在的目標區(qū)域S，如圖6所示。

⑥ 在S區(qū)域內(nèi)采用累計概率Hough變換，只在一定的范圍內(nèi)進行霍夫變換，計算單獨線段的方向以及范圍，從而減少計算量，縮短計算時間，大大提高效率。處理后的效果圖，如圖7所示。

⑦ 判斷檢測的直線是否存在連續(xù)的并且超過預(yù)先設(shè)定的長度，如果存在至少一條超過10 cm的直線，那么可以認為電梯門處于關(guān)閉狀態(tài)，反之處于打開狀態(tài)。

⑧ 檢測結(jié)束。

在夜間沒有燈光的情況通過紅外攝像頭采集的圖像如圖8所示，通過概率霍夫線變換一樣可以檢測轎廂門縫形成的直線，如圖9所示。

圖6　采集圖像的直角坐標系

圖7　采集圖像的概率霍夫線變換

圖8　夜間電梯內(nèi)拍照情況

圖9　夜間采集圖像的概率霍夫線變換

結(jié)　語

[1] 中國產(chǎn)業(yè)信息網(wǎng).2017年中國電梯產(chǎn)量、保有量及行業(yè)發(fā)展趨勢[EB/OL].[2018-01].http://www.chyxx.com/industry/201705/520639.html.

[2] 李健輝.電梯事故首負責任,行業(yè)無法承受之殤[J].中國物業(yè)管理,2015(2):8-10.

[3] 郭雯雯.電梯事故分析及監(jiān)督檢驗對策[J].質(zhì)量技術(shù)監(jiān)督研究,2006(8):102-104.

[4] 陳偉華,張?zhí)?基于ARM移動機器人視覺系統(tǒng)的設(shè)計[J].機電工程技術(shù),2012,41(7):26-29.

[5] Coombs,Joseph,Prabhu,et al.Overcoming the challenges of porting Open CV to TI's embedded ARM+DSP platforms[J].EN,2012,19(3):260-274.

[6] 潘寧,楊丹,宋恩民.基于V4L2的視頻設(shè)備驅(qū)動開發(fā)[J].計算機工程與設(shè)計,2010,31(16).

[7] 段汝嬌,趙偉,黃松嶺.一種改進Hough變換的直線快速檢測算法[J].儀器儀表學報,2010,31(12).

金曉磊(碩士研究生)，主要研究方向為嵌入式系統(tǒng)與計算機視覺；潘鵬(碩士研究生)，主要研究方向為大數(shù)據(jù)和數(shù)據(jù)挖掘。