地鐵列車障礙物視頻識(shí)別系統(tǒng)設(shè)計(jì)

王 維 梁汝軍 黃 濤

（中車南京浦鎮(zhèn)車輛有限公司，210031，南京∥第一作者，高級(jí)工程師）

列車運(yùn)行前方軌道障礙物檢測系統(tǒng)是城市軌道交通無人駕駛列車的關(guān)鍵裝備之一［1］。上海軌道交通10號(hào)線是目前國內(nèi)唯一一條正在運(yùn)營中的無人駕駛地鐵線路。其列車檢測前方軌道障礙物的系統(tǒng)為一個(gè)基于機(jī)械觸發(fā)原理的障礙物檢測系統(tǒng)，只有在列車高速運(yùn)行撞到障礙物后，才觸發(fā)列車車頭下方安裝的機(jī)械行程桿運(yùn)動(dòng)，進(jìn)而觸發(fā)繼電器開關(guān)電路，使列車緊急停車。該檢測系統(tǒng)存在明顯不足：一方面，系統(tǒng)不能對列車前進(jìn)方向軌道內(nèi)的障礙物實(shí)現(xiàn)提前檢測與預(yù)警，以確保行車安全；另一方面，通過機(jī)械的碰撞實(shí)現(xiàn)障礙物的檢測不可避免地會(huì)對車輛設(shè)備造成損傷。本文提出了一種基于視頻圖像識(shí)別技術(shù)的障礙物識(shí)別系統(tǒng)。該系統(tǒng)安裝在無人駕駛列車的前方，設(shè)置的雙目攝像機(jī)實(shí)時(shí)采集列車前進(jìn)方向的圖像，通過軟件智能分析識(shí)別列車前方是否存在障礙物以及距離障礙物的距離；并可根據(jù)列車離障礙物的距離自動(dòng)控制列車速度在安全范圍內(nèi)，如果列車與障礙物之間距離過短，系統(tǒng)可以直接觸發(fā)列車緊急制動(dòng)。

1 列車障礙物視頻識(shí)別系統(tǒng)的構(gòu)成

列車障礙物視頻識(shí)別系統(tǒng)主要由2臺(tái)高清攝像機(jī)、1個(gè)交換機(jī)、1臺(tái)視頻處理主機(jī)等關(guān)鍵設(shè)備組成，如圖1所示。

圖1 列車障礙物視頻識(shí)別系統(tǒng)的結(jié)構(gòu)

（1）高清攝像機(jī)。2臺(tái)高清攝像機(jī)安裝在列車司機(jī)室內(nèi)正上方左右位置，并水平對準(zhǔn)列車正前方軌道。高清攝像機(jī)主要用于采集列車前方高清圖像信息，并通過交換機(jī)網(wǎng)絡(luò)發(fā)送給視頻處理主機(jī)。攝像機(jī)主要技術(shù)參數(shù)為：采用H.264 High Profile編碼，逐行掃描圖像傳感器，輸出1080 P@30 FPS實(shí)時(shí)圖像，支持寬動(dòng)態(tài)范圍達(dá)120 dB，適合逆光環(huán)境監(jiān)控。

（2）網(wǎng)絡(luò)交換機(jī)。交換機(jī)用于系統(tǒng)數(shù)據(jù)的交換，采用工業(yè)級(jí)二次交換機(jī)，具有實(shí)時(shí)性好、可靠性高的特點(diǎn)。網(wǎng)絡(luò)交換機(jī)主要技術(shù)參數(shù)為：至少4個(gè)快速以太網(wǎng)M12端口，且為IEEE 802.3af兼容的PoE端口；通過EN 50155認(rèn)證；支持EtherNet/IP和Modbus/Tcp工業(yè)以太網(wǎng)協(xié)議；支持基于端口的VLAN（虛擬局域網(wǎng)）、IEEE 802.1Q VLAN和GVRP協(xié)議；支持輸入DC 110 V。

（3）視頻處理主機(jī)。視頻處理主機(jī)是系統(tǒng)的關(guān)鍵核心設(shè)備，其主要參數(shù)如下：英特爾酷睿i7-6700K，8 MB緩存，4.0 GHz，4核8線程，DDR3-1600 8 GB內(nèi)存，110 V電源。

該系統(tǒng)具有如下特點(diǎn)：攝像機(jī)采用低功耗的高清攝像機(jī)，支持PoE端口，可降低在車內(nèi)復(fù)雜狹小空間內(nèi)的布線和查線難度；該系統(tǒng)軟件具有自學(xué)習(xí)模式，可以將線路上一些特定物體加入線路障礙物數(shù)據(jù)庫，減少系統(tǒng)誤報(bào)故障的概率。目前，該系統(tǒng)在國內(nèi)軌道交通車輛行業(yè)屬于首次開發(fā)，并已在2017年安裝在列車上作了進(jìn)一步測試。

圖2 列車障礙物視頻識(shí)別系統(tǒng)的檢測流程

2 列車障礙物視頻識(shí)別系統(tǒng)的檢測流程

列車障礙物視頻識(shí)別系統(tǒng)采用雙攝像機(jī)同時(shí)采集列車前方圖像數(shù)據(jù)。由于雙攝像機(jī)之間的距離固定，從而基于雙目定距原理通過算法可實(shí)現(xiàn)圖像中障礙物的距離測量。該系統(tǒng)根據(jù)軌道路徑和列車運(yùn)行的列車安全限界設(shè)計(jì)參數(shù)由近到遠(yuǎn)繪制列車運(yùn)行安全界限，在安全界限內(nèi)的異常物體為障礙物，安全界限之外的物體將忽略。

列車障礙物視頻識(shí)別系統(tǒng)檢測流程如圖2所示。系統(tǒng)主要的功能模塊包括：

（1）視頻采集模塊：集成常見攝像頭品牌的二次開發(fā)包，可以快速獲取各種攝像頭的視頻圖像。

（2）圖像預(yù)處理模塊：對采集到的視頻圖像進(jìn)行初步處理，將YUV圖像轉(zhuǎn)換為RGB圖像，并對圖像進(jìn)行邊緣檢測、平滑、去噪等處理［2］。

（3）雙目測距模塊：利用車頭安裝的2臺(tái)攝像機(jī)同時(shí)拍攝的左右圖像對進(jìn)行立體匹配，根據(jù)立體匹配后的視差圖算出障礙物的距離。

（4）軌道檢測模塊：對經(jīng)過預(yù)處理的圖像進(jìn)行霍夫變換［3］、雙目匹配、兩軌間熟路判斷、邊緣檢測、曲線擬合與平滑處理后得到兩條軌道路徑。

（5）列車限界繪制模塊：根據(jù)兩軌之間的像素距離比例由近到遠(yuǎn)繪制列車的運(yùn)行限界。

（6）誤報(bào)特征建立模塊：在確定沒有障礙物的環(huán)境下，將程序識(shí)別得到的障礙物認(rèn)為是軌道上的設(shè)備，提取其圖像特征存入誤報(bào)庫。

（7）障礙物識(shí)別與誤報(bào)排除模塊：由實(shí)際情況可知，相鄰枕木間的軌道區(qū)段基本是一樣的，因此提取最近區(qū)段的軌道圖片，計(jì)算其7個(gè)圖像不變矩作為圖像特征，再與下一段軌道圖像的不變矩特征進(jìn)行對比。根據(jù)軌道路徑由近到遠(yuǎn)在列車運(yùn)行限界內(nèi)取圖像塊進(jìn)行特征對比，特征不一致的初步認(rèn)為是障礙物；將其特征與誤報(bào)庫中特征逐一對比，若與誤報(bào)庫中任一特征匹配，則排除是障礙物的可能，均不匹配則認(rèn)為是障礙物［4］。

2.1 圖像獲取

利用攝像頭廠家二次開發(fā)包連接攝像頭，通過其中的視頻回調(diào)函數(shù)在兩個(gè)線程內(nèi)同步接收左右攝像頭的視頻圖像（如圖3）。

圖3 視頻識(shí)別系統(tǒng)的圖像獲取實(shí)景圖

2.2 圖像預(yù)處理及車輛運(yùn)行界限提取

圖像預(yù)處理，就是在圖像分析中對輸入圖像在進(jìn)行特征抽取前所進(jìn)行的處理。輸入圖像由于圖像采集環(huán)境不同，如光照明暗程度以及采集設(shè)備差異等，往往存在噪聲、對比度不夠等缺點(diǎn)。預(yù)處理的主要目的是消除圖像中無關(guān)的信息，濾除干擾及噪聲，恢復(fù)有用的真實(shí)信息，以增強(qiáng)有關(guān)信息的可檢測性、最大限度地簡化數(shù)據(jù)，從而提高特征抽取的可靠性。

由于RGB圖像數(shù)據(jù)量較大，處理復(fù)雜且速度慢。為此首先將RGB轉(zhuǎn)換為灰度圖像，使用中值濾波對灰度圖像進(jìn)行去噪處理，使用Scharr算子進(jìn)行邊緣檢測［5］。此時(shí)的檢測結(jié)果會(huì)產(chǎn)生較多噪點(diǎn)與空洞，需要用高斯卷積方法對其進(jìn)行平滑濾波操作。其次，二次縮放增強(qiáng)圖像的平滑度和清晰度，再進(jìn)行腐蝕與膨脹操作消除圖像中孤立的噪點(diǎn)與空洞。最后，對圖像進(jìn)行二值化處理，消除多余的不清晰的邊緣信息，將包含完整軌道信息的圖像送入下一步處理過程。

軌道檢測模塊對經(jīng)過處理的圖像進(jìn)行霍夫變換檢測直線，對左右視圖采用SGBM算法的計(jì)算視差進(jìn)行三維重建［6］，再計(jì)算兩條軌道的直線距離。攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)換公式為

式中：

Xc，Yc，Zc——P點(diǎn)在攝像機(jī)坐標(biāo)系下的位置；

Xw，Yw，Zw——P點(diǎn)在世界坐標(biāo)系下的位置；

R——旋轉(zhuǎn)矩陣；

T——平移矩陣。

R和T可由雙目攝像機(jī)標(biāo)定的內(nèi)外參數(shù)得到。根據(jù)軌道在圖像中的形態(tài)特征可知，將最近處的軌道在固定位置的攝像機(jī)下出現(xiàn)相對穩(wěn)定的區(qū)域設(shè)定為ROI區(qū)域，對經(jīng)過圖像預(yù)處理后的ROI區(qū)域進(jìn)行直線檢測。根據(jù)成像原理可知平行直線在圖像中必相交，計(jì)算出兩直線各自斜率與其相交形成的夾角θ（tan θ＜0.1）。依據(jù)兩直線相交夾角θ與兩直線最下端距離確定最近處的軌道直線段后，再沿直線方向進(jìn)行邊緣檢測提取輪廓，并擬合為曲線，尋找與直線重疊度最高的曲線，對曲線進(jìn)行平滑處理后得到左右軌道路徑。雙目測距模塊基于視差原理，即采用三角法測量，由2臺(tái)攝像機(jī)對目標(biāo)進(jìn)行拍攝，對所得圖像提取特征，進(jìn)行匹配，得到視差，進(jìn)而由視差計(jì)算目標(biāo)距離。

列車安全限界繪制模塊根據(jù)兩軌之間的像素距離比例由近到遠(yuǎn)繪制列車的安全限界曲線。列車進(jìn)行圖像處理和安全限界提取后效果如圖4所示。

圖4 圖像預(yù)處理及列車運(yùn)行限界提取效果實(shí)景圖

2.3 試驗(yàn)結(jié)果

在訓(xùn)練模式下，人工確認(rèn)無障礙物的軌道環(huán)境后，在列車運(yùn)行條件下啟動(dòng)障礙物識(shí)別程序。系統(tǒng)根據(jù)軌道路徑由近到遠(yuǎn)在列車安全限界內(nèi)取圖像塊進(jìn)行特征對比和障礙識(shí)別；將識(shí)別到的障礙物均認(rèn)定為軌道設(shè)備，計(jì)算其圖像特征，將尚未存在于誤報(bào)特征庫中的圖像特征加入誤報(bào)特征庫。誤報(bào)特征庫以文件形式存于硬盤，正常模式下將誤報(bào)特征庫全部讀入內(nèi)存。

在正常模式下，根據(jù)軌道路徑由近到遠(yuǎn)在列車安全限界內(nèi)取圖像塊進(jìn)行特征對比，特征不一致的初步認(rèn)為是障礙物；將其特征與誤報(bào)庫中特征逐一對比，若與誤報(bào)庫中任一特征匹配則排除是障礙物的可能，均不匹配則認(rèn)為是障礙物。目前該系統(tǒng)已通過實(shí)驗(yàn)室功能仿真驗(yàn)證測試，測試效果如圖5所示。實(shí)驗(yàn)室仿真環(huán)境相對比較理想，目前可以實(shí)現(xiàn)對在列車前方80～500 m安全限界范圍內(nèi)的障礙物進(jìn)行識(shí)別，在500 m內(nèi)能夠識(shí)別出40 cm×40 cm以上大小的障礙物，如石塊、行人、車輛等；300 m內(nèi)能夠識(shí)別15 cm×15 cm等相對較小的物體，如掉落在軌道上的電氣設(shè)備等?？紤]到軌道車輛下方空間和觸發(fā)列車制動(dòng)的響應(yīng)時(shí)間（包括曲線限速），這樣的識(shí)別能力已足夠滿足安全要求。

圖5 障礙物檢測與提取效果實(shí)景圖

3 結(jié)語

通過基于圖像的障礙物視頻識(shí)別技術(shù)，實(shí)現(xiàn)列車前方障礙物的實(shí)時(shí)檢測，可有效代替司機(jī)的瞭望值守功能。該技術(shù)比目前上海軌道交通10號(hào)線上使用的機(jī)械式障礙物檢測系統(tǒng)在技術(shù)手段上更先進(jìn)，從而提高了列車運(yùn)行的安全性。但是目前該障礙物視頻識(shí)別技術(shù)還存在一些不足：如在復(fù)雜的光照和雨雪天氣下會(huì)對系統(tǒng)的檢測距離和檢測精度產(chǎn)生不良影響。為此，需要在以后的工作中，進(jìn)一步完善圖像處理算法，提高系統(tǒng)對障礙物檢測的精度和可靠性。