實(shí)景全息化與智能識(shí)別技術(shù)在貨場(chǎng)的應(yīng)用

陳 剛，夏 雷，梁多姿，陳 剛，袁錢芳，葉衛(wèi)春

（1．中國(guó)鐵路上海局集團(tuán)有限公司科技和信息化部，上海 200071；2．高新興創(chuàng)聯(lián)科技有限公司，杭州 310013）

1 項(xiàng)目背景

鐵路貨運(yùn)是國(guó)內(nèi)主要的貨物運(yùn)輸方式之一，鐵路貨物運(yùn)輸在國(guó)內(nèi)貨物運(yùn)輸市場(chǎng)中長(zhǎng)期處于主導(dǎo)地位。隨著國(guó)內(nèi)經(jīng)濟(jì)的高速發(fā)展，全社會(huì)貨物運(yùn)輸需求的持續(xù)增長(zhǎng)，加上電子商務(wù)的迅速發(fā)展，使鐵路貨物運(yùn)輸市場(chǎng)的需求量大量增加，客戶對(duì)貨物運(yùn)輸?shù)臅r(shí)效性、準(zhǔn)確性以及服務(wù)質(zhì)量的要求也不斷提高。

近年來(lái)鐵路貨場(chǎng)安全事故時(shí)有發(fā)生，目前貨運(yùn)站場(chǎng)內(nèi)主要通過(guò)人防手段對(duì)場(chǎng)內(nèi)人員、車輛、貨物、作業(yè)過(guò)程等進(jìn)行管控，信息化、智能化程度水平較低，無(wú)論是監(jiān)管力度還是監(jiān)管效率都有待提高，各種原因?qū)е碌亩嗥疬`章事故，給人員、財(cái)產(chǎn)安全造成較大的隱患。當(dāng)前部分貨場(chǎng)已經(jīng)部署了視頻監(jiān)控系統(tǒng)，但未充分發(fā)揮視頻的優(yōu)勢(shì)，信息化建設(shè)需要進(jìn)一步優(yōu)化提升，亟需建設(shè)一套實(shí)景全息化和智能分析于一體的智能安全管控系統(tǒng)來(lái)滿足現(xiàn)場(chǎng)安全生產(chǎn)需求。

2 關(guān)鍵技術(shù)應(yīng)用研究

2.1 增強(qiáng)現(xiàn)實(shí)技術(shù)

增強(qiáng)現(xiàn)實(shí)技術(shù)(Augmented Reality，AR)，是一種將真實(shí)世界信息和虛擬世界信息“無(wú)縫”集成的新技術(shù)，是把原本在現(xiàn)實(shí)世界的一定時(shí)間空間范圍內(nèi)很難體驗(yàn)到的實(shí)體信息(視覺、聲音、味道、觸覺等)，通過(guò)電腦等科學(xué)技術(shù)，模擬仿真后再疊加，將虛擬的信息應(yīng)用到真實(shí)世界，被人類感官所感知，從而達(dá)到超越現(xiàn)實(shí)的感官體驗(yàn)。真實(shí)的環(huán)境和虛擬的物體實(shí)時(shí)地疊加到同一個(gè)畫面或空間同時(shí)存在。AR 實(shí)現(xiàn)需要用到的底層技術(shù)包括計(jì)算機(jī)視覺、虛實(shí)融合、人機(jī)交互，顯示輸出等，這些技術(shù)是增強(qiáng)現(xiàn)實(shí)技術(shù)的基礎(chǔ)。AR 要進(jìn)行完美呈現(xiàn)，主要依賴于3 個(gè)方面。

1）虛實(shí)結(jié)合

AR 技術(shù)依靠計(jì)算機(jī)技術(shù)構(gòu)建出文字、圖片、視頻、音頻、網(wǎng)站鏈接、三維模型、三維動(dòng)畫、全景信息等和物理世界的結(jié)合，讓物理世界和虛擬對(duì)象合為一體。

2）虛實(shí)同步

AR 實(shí)現(xiàn)虛擬世界和物理世界的實(shí)時(shí)同步，滿足用戶在物理世界中真實(shí)地感受虛擬空間中模擬的事物，增強(qiáng)用戶體驗(yàn)效果。

3）交互自然

可以使用手部動(dòng)作與手勢(shì)控制所讀出的3D 模型移動(dòng)旋轉(zhuǎn)，以及通過(guò)語(yǔ)音、眼動(dòng)、體感等更多的方式來(lái)與虛擬對(duì)象交互。

2.2 基于AR技術(shù)的前端感知設(shè)備

基于AR 技術(shù)的前端感知設(shè)備由增強(qiáng)現(xiàn)實(shí)云眼攝像機(jī)和管理終端組成，如圖1 所示。增強(qiáng)現(xiàn)實(shí)云眼攝像機(jī)內(nèi)設(shè)有視頻信息采集模塊、地理位置信息采集模塊、姿態(tài)信息獲取模塊和視頻流處理模塊。視頻信息采集模塊采集監(jiān)控區(qū)域的視頻信息，地理位置信息采集模塊采集攝像機(jī)的地理位置信息，姿態(tài)信息獲取模塊獲取攝像機(jī)的姿態(tài)信息，由視頻流處理模塊將地理位置信息、視頻信息和姿態(tài)信息合成視頻流，傳送到增強(qiáng)現(xiàn)實(shí)管理終端。增強(qiáng)現(xiàn)實(shí)管理終端對(duì)地理位置信息和姿態(tài)信息進(jìn)行圖形化處理后，再疊加在實(shí)時(shí)畫面上進(jìn)行顯示。其中，地理位置信息采集模塊為GPS/北斗定位模塊，姿態(tài)信息獲取模塊為數(shù)字羅盤、加速度計(jì)等。

圖1 前端感知設(shè)備Fig.1 Diagram of front-end sensing equipment

2.3 基于AR技術(shù)的多信息融合顯示

視頻流獲取模塊獲取視頻流處理模塊傳送的視頻流信息，視頻流解碼模塊進(jìn)行解碼，同時(shí)將地理位置信息和姿態(tài)信息傳送到圖形化處理模塊進(jìn)行圖形化處理，并疊加在實(shí)時(shí)視頻畫面上進(jìn)行顯示。用戶也可以通過(guò)自定義標(biāo)簽添加模塊在顯示畫面上添加自己感興趣的信息，并送到圖形化處理單元進(jìn)行圖形化處理后，疊加在實(shí)時(shí)畫面上進(jìn)行顯示，實(shí)現(xiàn)用戶與畫面的互動(dòng)。

2.4 實(shí)景全息化

利用安裝在貨場(chǎng)制高點(diǎn)的增強(qiáng)現(xiàn)實(shí)云眼攝像機(jī)，并結(jié)合AR 技術(shù)和視頻地圖引擎，將云眼攝像機(jī)的實(shí)時(shí)視頻畫面與視頻覆蓋范圍內(nèi)的人、車、物、事件等信息以標(biāo)簽標(biāo)注的形式疊加到畫面中形成一張實(shí)景地圖。同時(shí)，接入既有業(yè)務(wù)系統(tǒng)的視頻、圖片、音頻、文本等信息，實(shí)現(xiàn)貨場(chǎng)實(shí)景全息化。

2.5 智能識(shí)別技術(shù)

視頻智能算法服務(wù)基于圖像處理和深度神經(jīng)網(wǎng)絡(luò)技術(shù)識(shí)別視頻。圖像處理是以識(shí)別各種模式的目標(biāo)和對(duì)象的技術(shù)，并對(duì)質(zhì)量不佳的圖像提供一系列的增強(qiáng)和重建技術(shù)手段。深度神經(jīng)網(wǎng)絡(luò)由多層神經(jīng)網(wǎng)絡(luò)層構(gòu)成，具有學(xué)習(xí)能力強(qiáng)、適應(yīng)性好、逐層表征圖像抽象特征、端到端訓(xùn)練等優(yōu)點(diǎn)，在視頻智能識(shí)別中被廣泛應(yīng)用。圖像處理技術(shù)和深度學(xué)習(xí)結(jié)合構(gòu)成了智能識(shí)別算法服務(wù)技術(shù)。系統(tǒng)利用智能識(shí)別技術(shù)識(shí)別車廂門、叉車、安全帽等物體，實(shí)現(xiàn)開關(guān)車門是否使用拉門繩、叉車司機(jī)未佩戴安全帽等應(yīng)用。

2.6 深度學(xué)習(xí)

深度學(xué)習(xí)以神經(jīng)網(wǎng)絡(luò)為主要模型，主要用來(lái)解決一些通用人工智能問題和推理決策等，是學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，這些學(xué)習(xí)過(guò)程中獲得的信息對(duì)諸如文字，圖像等數(shù)據(jù)的解釋有很大的幫助。深度學(xué)習(xí)使機(jī)器模仿視聽和思考等人類的活動(dòng)，它的最終目標(biāo)是讓機(jī)器能夠像人一樣具有分析學(xué)習(xí)能力，能夠識(shí)別文字、圖像等數(shù)據(jù)。系統(tǒng)利用深度學(xué)習(xí)技術(shù)識(shí)別車號(hào)、車輛等內(nèi)容，優(yōu)化貨場(chǎng)作業(yè)管理流程，實(shí)現(xiàn)車輛來(lái)車預(yù)警。

3 鐵路貨場(chǎng)安全智能管控系統(tǒng)方案研究

3.1 系統(tǒng)架構(gòu)

鐵路貨場(chǎng)安全智能管控系統(tǒng)（簡(jiǎn)稱系統(tǒng)）包括：采集層、接入層、服務(wù)層和應(yīng)用層。

采集層設(shè)備是整個(gè)系統(tǒng)感知信息主要來(lái)源，主要包括增強(qiáng)現(xiàn)實(shí)云眼攝像機(jī)、雷達(dá)視頻一體機(jī)、熱成像攝像機(jī)等。

接入層為各種前端感知設(shè)備配套的采集、處理、控制的子系統(tǒng)，如視頻監(jiān)控系統(tǒng)、安全預(yù)警系統(tǒng)、人臉車輛識(shí)別系統(tǒng)等。這些系統(tǒng)大都只是對(duì)數(shù)據(jù)進(jìn)行采集、簡(jiǎn)單分析處理。

服務(wù)層包含視頻管理服務(wù)、數(shù)據(jù)管理服務(wù)等，實(shí)現(xiàn)數(shù)據(jù)分析、發(fā)布等服務(wù)，是對(duì)接入層進(jìn)行整合、優(yōu)化，為上層應(yīng)用提供服務(wù)支撐。

應(yīng)用層在服務(wù)層的支撐下，結(jié)合增強(qiáng)現(xiàn)實(shí)技術(shù)，可視化、扁平化地將各種動(dòng)態(tài)運(yùn)行數(shù)據(jù)疊加到全局監(jiān)控的視頻畫面上，實(shí)現(xiàn)實(shí)景視頻地圖、智能識(shí)別、報(bào)警自動(dòng)推送、智能處置、可視化指揮調(diào)度等應(yīng)用。

系統(tǒng)以AR 增強(qiáng)現(xiàn)實(shí)技術(shù)和圖像智能識(shí)別技術(shù)為核心，以視頻地圖引擎為基礎(chǔ)，將整個(gè)貨場(chǎng)的人、車、物、事件等信息以標(biāo)簽標(biāo)注的形式疊加在視頻地圖上，通過(guò)各類智能圖像算法來(lái)識(shí)別作業(yè)過(guò)程中的安全風(fēng)險(xiǎn)，保障貨場(chǎng)內(nèi)的安全生產(chǎn)。同時(shí)對(duì)接防火系統(tǒng)、來(lái)車預(yù)警系統(tǒng)、人車門禁系統(tǒng)等，實(shí)現(xiàn)“貨場(chǎng)安全管控一張圖”的管理新模式。

系統(tǒng)框架如圖2 所示。

圖2 系統(tǒng)框架Fig.2 System framework

3.2 系統(tǒng)功能

系統(tǒng)實(shí)現(xiàn)安全智能管控全息化、貨區(qū)安全管理、入侵防護(hù)管理、作業(yè)安全管理、作業(yè)過(guò)程管理、人員合規(guī)管理、車輛管理和報(bào)警信息閉環(huán)管理等8 項(xiàng)功能。

1）安全智能管控全息化功能

系統(tǒng)可以用標(biāo)簽標(biāo)注的方式將整個(gè)貨場(chǎng)以一個(gè)視頻實(shí)景地圖顯示，在實(shí)景地圖可以打開任意位置的低點(diǎn)視頻，如圖3 所示。在發(fā)生報(bào)警時(shí)，自動(dòng)聯(lián)動(dòng)低點(diǎn)視頻進(jìn)行聚焦，并可一鍵打開可視化應(yīng)急預(yù)案。

圖3 安全智能管控全息化Fig.3 Holography for intelligent safety management and control

2）貨區(qū)安全管理功能

系統(tǒng)可以對(duì)雨棚、倉(cāng)庫(kù)等貨區(qū)進(jìn)行防火監(jiān)測(cè)，同時(shí)對(duì)不按規(guī)定擺放托盤、抽煙、打電話等行為發(fā)出報(bào)警，如圖4 所示。

圖4 貨區(qū)安全管理Fig.4 Safety management of freight yards

3）入侵防護(hù)管理功能

系統(tǒng)通過(guò)對(duì)實(shí)時(shí)視頻的分析，為鐵路周界包括咽喉區(qū)、月臺(tái)間股道提供全天候的入侵檢測(cè)及報(bào)警功能。通過(guò)對(duì)周界的各種報(bào)警事件進(jìn)行多維檢測(cè)，確定為人體目標(biāo)觸發(fā)報(bào)警規(guī)則，發(fā)出告警信息，如圖5 所示。

圖5 入侵防護(hù)管理Fig.5 Management of trespass prevention

4）作業(yè)安全管理功能

系統(tǒng)對(duì)作業(yè)安全進(jìn)行管理，如圖6 所示，自動(dòng)識(shí)別叉車司機(jī)是否佩戴安全帽，叉車是否超速，開/關(guān)車門是否使用拉門繩，人員過(guò)平交道是否打手勢(shì)，平交道來(lái)車是否做好防護(hù)，對(duì)有安全風(fēng)險(xiǎn)的行為和事件發(fā)出報(bào)警。

圖6 作業(yè)安全管理Fig.6 Management of operation safety

5）作業(yè)過(guò)程管理功能

系統(tǒng)對(duì)人員作業(yè)過(guò)程進(jìn)行監(jiān)管，通過(guò)巡檢儀并結(jié)合圖像識(shí)別算法，加強(qiáng)對(duì)人員巡檢作業(yè)過(guò)程的監(jiān)督管理，簡(jiǎn)化原有的作業(yè)流程，為巡檢作業(yè)人員提供便捷，提高作業(yè)過(guò)程管理能力。

6）人員合規(guī)管理功能

系統(tǒng)對(duì)人員進(jìn)出口進(jìn)行規(guī)范化管理，實(shí)名制進(jìn)/出，外來(lái)人員需通過(guò)訪客系統(tǒng)方可進(jìn)入。

7）車輛管理功能

系統(tǒng)對(duì)接當(dāng)前貨場(chǎng)車牌智能識(shí)別系統(tǒng)，對(duì)進(jìn)/出貨場(chǎng)的車輛進(jìn)行管控。并對(duì)車輛超速進(jìn)行監(jiān)控，當(dāng)車輛超速時(shí)，監(jiān)控中心將接收到報(bào)警提示，如圖7 所示；并可以對(duì)多次超速的車輛自動(dòng)設(shè)置為黑名單。

圖7 車輛管理Fig.7 Vehicle management

8） 報(bào)警信息閉環(huán)管理功能

系統(tǒng)設(shè)有專門的報(bào)警功能模塊，對(duì)所有接收到的報(bào)警信息進(jìn)行集中管理，并進(jìn)行分級(jí)，根據(jù)對(duì)應(yīng)的分級(jí)進(jìn)行閉環(huán)管理，如圖8 所示。

圖8 報(bào)警信息閉環(huán)管理Fig.8 Closed-loop management of alarm information

4 應(yīng)用價(jià)值

4.1 智能化提升產(chǎn)生的社會(huì)安全效益

通過(guò)建設(shè)貨場(chǎng)安全智能管控系統(tǒng)，可將貨場(chǎng)內(nèi)現(xiàn)有視頻監(jiān)控、出入口車輛識(shí)別系統(tǒng)、AI 智能識(shí)別系統(tǒng)、人臉門禁系統(tǒng)、來(lái)車監(jiān)測(cè)防護(hù)系統(tǒng)等多業(yè)務(wù)系統(tǒng)進(jìn)行融合，在實(shí)景視頻畫面中可隨時(shí)調(diào)用這些系統(tǒng)數(shù)據(jù)。當(dāng)出現(xiàn)異常報(bào)警時(shí)，能第一時(shí)間鎖定異常報(bào)警發(fā)生位置，可視化指揮周邊的巡邏人員趕赴現(xiàn)場(chǎng)處置，提高應(yīng)急處置效率，保障貨場(chǎng)運(yùn)營(yíng)安全。

4.2 工作效率提升帶來(lái)的經(jīng)濟(jì)效率

通過(guò)項(xiàng)目建設(shè)，集成現(xiàn)有視頻設(shè)備、網(wǎng)絡(luò)設(shè)備、消防監(jiān)控設(shè)備、門禁設(shè)備等，打通信息孤島，連接傳統(tǒng)的各個(gè)監(jiān)管、監(jiān)控平臺(tái)，提高設(shè)備利用率，減少作業(yè)人員的使用成本、培訓(xùn)成本、設(shè)備維護(hù)，從而加快工作進(jìn)度，落實(shí)各項(xiàng)工作開展，穩(wěn)定推進(jìn)貨運(yùn)行業(yè)發(fā)展，為貨運(yùn)的運(yùn)營(yíng)提升帶來(lái)較大收益，間接體現(xiàn)了工作效率提升帶來(lái)的經(jīng)濟(jì)效益。

5 總結(jié)

貨場(chǎng)安全智能管控系統(tǒng)在實(shí)際應(yīng)用中取得預(yù)期效果，包括全局視頻聯(lián)動(dòng)化、技術(shù)應(yīng)用創(chuàng)新化、貨場(chǎng)視頻實(shí)景全息化、安全管控智能化、報(bào)警聯(lián)動(dòng)立體化、數(shù)據(jù)資源一體化等效果。同時(shí)在新科研技術(shù)的帶動(dòng)下，為貨場(chǎng)解決實(shí)際問題，達(dá)到一張實(shí)景地圖、視頻資源上圖、多維聯(lián)動(dòng)、智能報(bào)警閉環(huán)管理等綜合運(yùn)用，最終實(shí)現(xiàn)貨場(chǎng)安全運(yùn)營(yíng)。