環(huán)衛(wèi)作業(yè)車的城市路況巡查系統(tǒng)設(shè)計(jì)與開發(fā)

胡金華

(浙江機(jī)電職業(yè)技術(shù)學(xué)院，浙江 杭州 310053)

0 引言

隨著社會(huì)發(fā)展與人口不斷增加，人們?nèi)粘Ｉa(chǎn)及生活中產(chǎn)生的垃圾也越來越多。由于城市空間和容積的有限性，生活垃圾不能在城市里長(zhǎng)時(shí)間停留，每天必須統(tǒng)一進(jìn)行集中無害化處理，否則會(huì)影響城市的正常運(yùn)行，嚴(yán)重時(shí)甚至?xí)斐沙鞘械陌c瘓。所以城市垃圾清運(yùn)系統(tǒng)的協(xié)調(diào)有序運(yùn)行是市容環(huán)境、衛(wèi)生安全以及城市可持續(xù)發(fā)展的基礎(chǔ)保障[1-4]。

每個(gè)城市的深夜或清晨，都有成百上千的環(huán)衛(wèi)車在城市的各個(gè)區(qū)域進(jìn)行垃圾的收集、運(yùn)輸及路面清掃。僅監(jiān)管巡查就需幾百人，大量的人力、財(cái)力物力在此消耗。基于此，本文研發(fā)了一種集成于現(xiàn)有環(huán)衛(wèi)車上的自動(dòng)化巡查系統(tǒng)。它在不增加額外巡查的基礎(chǔ)上采集市容市貌信息，尤其是路面信息，通過圖像處理和識(shí)別的方式代替人工巡查和記錄。既有利于保證交通的暢通，也能自動(dòng)提示警告市民亂扔亂丟亂擺雜物的現(xiàn)象并做出有針對(duì)性地處理，還能大大節(jié)省財(cái)政開支。因此，該系統(tǒng)設(shè)計(jì)具有重要的現(xiàn)實(shí)意義和實(shí)用價(jià)值。

1 路況巡查發(fā)展概況及發(fā)展現(xiàn)狀

1.1 路況巡查發(fā)展概況

近年來，城市設(shè)施的數(shù)字信息化發(fā)展日新月異，道路養(yǎng)護(hù)管理數(shù)字化系統(tǒng)也同步獲得關(guān)注，城市道路槽坑、裂縫和窨井蓋異常的檢測(cè)自動(dòng)化技術(shù)的研究與開發(fā)越來越受重視。目前，針對(duì)窨井蓋異常和路面槽坑、裂縫等狀態(tài)監(jiān)測(cè)方面，國(guó)內(nèi)外學(xué)者給出了大量研究結(jié)論[5-8]。

1.2 國(guó)外路況巡查發(fā)展現(xiàn)狀

當(dāng)前窨井蓋數(shù)字信息化工程大都是針對(duì)窨井蓋終端傳感器所實(shí)現(xiàn)的監(jiān)測(cè)處理。日本發(fā)明了地下井蓋電子標(biāo)簽（FRID）智能報(bào)警管理體系；德國(guó)研發(fā)了遠(yuǎn)程窨井蓋安全系統(tǒng)。針對(duì)路面表面破損檢測(cè)問題，國(guó)外從二十世紀(jì)六、七十年代就開始研究道路破損自動(dòng)檢測(cè)系統(tǒng)。近年來，國(guó)外研究機(jī)構(gòu)大都利用CCD(電荷耦合器件的簡(jiǎn)稱)攝像機(jī)和計(jì)算機(jī)圖像處理技術(shù)進(jìn)行數(shù)字化路面破損自動(dòng)檢測(cè)系統(tǒng)的開發(fā)，典型的有澳大利亞ARRB 開發(fā)的路面破損自動(dòng)檢測(cè)車；美國(guó)PAVEDEX 公司開發(fā)的路面信息檢測(cè)系統(tǒng)PASI；美國(guó)南達(dá)科他州運(yùn)輸部研制的路面信息檢測(cè)車；澳大利亞NSW 公路局與CRISO 公司共同開發(fā)的自動(dòng)化路面破損檢測(cè)車RoadCrack 等[9-13]。它們大都檢測(cè)精度與準(zhǔn)確性都較高，但價(jià)格也很昂貴。

1.3 國(guó)內(nèi)路況巡查發(fā)展現(xiàn)狀

國(guó)內(nèi)學(xué)者研究了基于GSM/GPRS(全球移動(dòng)通訊系統(tǒng)/通用分組無線業(yè)務(wù)的簡(jiǎn)稱)窨井蓋遠(yuǎn)程監(jiān)控系統(tǒng)和基于ZigBee 的窨井蓋防盜技術(shù)。這些系統(tǒng)雖然在一定程度上達(dá)到了窨井蓋監(jiān)測(cè)的目的，但在實(shí)用性、系統(tǒng)穩(wěn)定性上有所欠缺，且每個(gè)窨井蓋都需安裝可靠的終端傳感器。高清攝像頭的使用以及視覺識(shí)別等相關(guān)技術(shù)研究工作在國(guó)內(nèi)起步較晚。隨著我國(guó)數(shù)字圖像處理技術(shù)的不斷進(jìn)步，以及機(jī)器視覺理論與實(shí)踐研究的不斷深入，我國(guó)的圖像采集、模式識(shí)別與智能控制水平逐步提高，目前已成功研制出城市無人駕駛汽車。無人駕駛集自動(dòng)控制體系結(jié)構(gòu)、人工智能、視覺計(jì)算、視覺導(dǎo)航等眾多技術(shù)于一體，是計(jì)算機(jī)科學(xué)、模式識(shí)別和智能控制技術(shù)高度發(fā)展的產(chǎn)物，在國(guó)防和國(guó)民經(jīng)濟(jì)領(lǐng)域具有廣闊的應(yīng)用前景。系統(tǒng)的使用成本較高，導(dǎo)致普及程度不高，但它用到的視覺采集、模式識(shí)別、目標(biāo)定位等關(guān)鍵術(shù)在路況巡查任務(wù)中具有很好的借鑒作用[14-18]。

2 路況巡查系統(tǒng)簡(jiǎn)介

本系統(tǒng)在每輛環(huán)衛(wèi)作業(yè)車安裝前端CCD 攝像頭完成圖像數(shù)據(jù)采集，搭建人工智能終端系統(tǒng)調(diào)用OpenCV 計(jì)算機(jī)視覺庫進(jìn)行圖像分析與處理。對(duì)當(dāng)前行駛道路的路面異常情況進(jìn)行初步識(shí)別、分類、存儲(chǔ)，并根據(jù)車載GPS(全球定位系統(tǒng)的簡(jiǎn)稱)定位信息獲取該路面異常情況的位置信息，一起上傳到云端數(shù)據(jù)中心，實(shí)現(xiàn)與城市垃圾清運(yùn)智能管理系統(tǒng)的有效對(duì)接。主要研究?jī)?nèi)容如下。

⑴硬件系統(tǒng)搭建：硬件系統(tǒng)主要由CCD 攝像頭及其圖像采集系統(tǒng)、人工智能終端系統(tǒng)、遠(yuǎn)程數(shù)據(jù)通信系統(tǒng)組成。

⑵圖像預(yù)處理：圖像預(yù)處理用以消除各種因素造成灰度不均、傳輸以及存儲(chǔ)過程中產(chǎn)生的噪聲干擾。

⑶路面檢測(cè)區(qū)域分割：進(jìn)行圖像的初步分析，利用提取圖像直線信息進(jìn)行道路邊緣檢測(cè)，將處于道路外部的綠化帶、建筑物等區(qū)域的圖像信息剔除掉，提取有效的路面檢測(cè)區(qū)域。

⑷路況異常識(shí)別：窨井蓋異常采用簡(jiǎn)單的樣本模板匹配方式來識(shí)別；路面積水異常采用鏡面倒影相似性來識(shí)別；路面垃圾堆積異常采用靜止與否來粗略識(shí)別。如果出現(xiàn)有行人靜止或車輛臨時(shí)停靠的現(xiàn)象也當(dāng)作異常，上傳數(shù)據(jù)，等待后臺(tái)人工進(jìn)一步識(shí)別。

⑸數(shù)據(jù)上傳：將識(shí)別出來的異常圖片、異常類型、定位信息實(shí)時(shí)上傳到云端數(shù)據(jù)中心。

3 路況巡查系統(tǒng)設(shè)計(jì)方案

根據(jù)需求，本系統(tǒng)利用現(xiàn)有政府環(huán)衛(wèi)作業(yè)車輛資源，在其上加裝專用的計(jì)算機(jī)視覺傳感器及人工智能終端，在作業(yè)過程中實(shí)時(shí)采集視頻圖像信息。并通過人工智能終端進(jìn)行圖像處理與分析，完成諸如路面積水、槽坑或窨井蓋異常等路況識(shí)別，將結(jié)果通過4G 或5G信號(hào)發(fā)送至云端數(shù)據(jù)處理中心，如圖1（圖片來源于浙江杭鉆股份公司）所示。數(shù)據(jù)處理中心可對(duì)采集的大數(shù)據(jù)進(jìn)行應(yīng)用與分析并將最終結(jié)果發(fā)送至相關(guān)的監(jiān)管人員、巡查人員及現(xiàn)場(chǎng)作業(yè)人員的手機(jī)終端，進(jìn)行精準(zhǔn)的作業(yè)指導(dǎo)和監(jiān)管考核。

圖1 系統(tǒng)功能框圖

實(shí)現(xiàn)的方案如下。

⑴視頻及圖像采集：利用現(xiàn)有成熟的高清（300萬像素以上）黑光攝像組件，匹配低畸變鏡頭進(jìn)行前端圖像及視頻采集，視頻幀率根據(jù)車輛行駛速度及圖片采集密度考慮不低于15fps(幀/秒)。通過以太網(wǎng)傳輸技術(shù)或MIPI(移動(dòng)工業(yè)處理器接口的簡(jiǎn)稱)并行傳輸技術(shù)與智能分析終端進(jìn)行數(shù)據(jù)傳輸，確保采集高清圖像的實(shí)時(shí)傳輸。

⑵ 圖像處理分析硬件平臺(tái)：采用平板電腦或ARM 單片機(jī)技術(shù)，采用雙核1.2GHz 計(jì)算核心，7 寸1024*600 分辨率電容式觸摸屏。運(yùn)行內(nèi)存不低于1G,存儲(chǔ)單元不低于8G,千兆網(wǎng)口，板載MIPI 接口，RS232RS485接口確保能夠與前端采集設(shè)備進(jìn)行數(shù)據(jù)交互及正常運(yùn)行應(yīng)用程序及圖像分析程序。

⑶圖像處理分析軟件平臺(tái)：OpenCV 是一個(gè)基于BSD 許可（開源）發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺庫，可以運(yùn)行在Linux、Windows、Android 和Mac 操作系統(tǒng)上。它輕量而且高效，由一系列C函數(shù)和少量C++類構(gòu)成，同時(shí)提供了C#、Python、Ruby、MATLAB 等語言的接口，實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺方面的很多通用算法。OpenCV 的代碼經(jīng)過適當(dāng)改寫可以正常的運(yùn)行在DSP系統(tǒng)和ARM 嵌入式系統(tǒng)中。本系統(tǒng)以C、C++或Python 進(jìn)行底層開發(fā)，OpenCV 為基礎(chǔ)進(jìn)行圖像識(shí)別開發(fā)，JAVA、C#進(jìn)行應(yīng)用界面開發(fā)。確保操作系統(tǒng)的穩(wěn)定、底層開發(fā)和運(yùn)行的高效、算法模塊化程度高，獲取方便及交互界面的快速開發(fā)。

⑷路面檢測(cè)區(qū)域圖像分割技術(shù)：圖像邊緣檢測(cè)大幅度地減少了數(shù)據(jù)量，并且剔除了不相關(guān)的信息，保留了圖像重要的結(jié)構(gòu)屬性。本系統(tǒng)利用道路的路面邊界線、車道分界線或綠化帶臺(tái)階的直線，提取路面直線信息對(duì)路面檢測(cè)區(qū)域進(jìn)行圖像分割，剔除路面之外的圖像信息，大大地簡(jiǎn)化圖像分析處理的難度，提高運(yùn)算速度。

⑸路況異常識(shí)別技術(shù)：本系統(tǒng)的路況異常情況巡查首要目標(biāo)是窨井蓋缺失或異常，其次才是路面積水巡查，第三步是垃圾等靜止物體的識(shí)別。其中窨井蓋巡查是最簡(jiǎn)單也是最重要的巡查任務(wù)，屬于必須研制成功的任務(wù)。我們采用制作窨井蓋樣本模板圖片庫，提取窨井蓋橢圓邊緣特征，基于模板匹配的方式來識(shí)別異常，則記錄當(dāng)前的GPS 位置信息，將當(dāng)前幀圖像、GPS 位置以及異常類型上傳至數(shù)據(jù)中心并報(bào)警提示。實(shí)現(xiàn)第一步任務(wù)后，再進(jìn)行第二步、第三步的后續(xù)圖像分析與識(shí)別算法研究。

⑹GPS 信息采集技術(shù)：采用mini PCI-E 接口的EC20 模塊，集成4G、GPS 功能，具備UART 和USB 接口，可與諸多硬件平臺(tái)進(jìn)行兼容。具備較好的互換性，便于升級(jí)5G 及北斗定位模塊，同時(shí)可選模擬音頻接口可擴(kuò)充實(shí)時(shí)通話功能。能采集系統(tǒng)所需的GPS坐標(biāo)、實(shí)時(shí)車速等信息。

⑺GIS(地理信息系統(tǒng)的簡(jiǎn)稱)路網(wǎng)分析技術(shù)：本系統(tǒng)根據(jù)功能需求應(yīng)具備道路識(shí)別、定位、GPS坐標(biāo)轉(zhuǎn)換，利用百度或天地圖系統(tǒng)開發(fā)接口進(jìn)行相應(yīng)功能的開發(fā)。

⑻數(shù)據(jù)上傳技術(shù)：利用4G 網(wǎng)絡(luò)，采用UDP+握手協(xié)議和Socket 連接進(jìn)行圖片和文字?jǐn)?shù)據(jù)的上傳，UDP確保高并發(fā)狀態(tài)下的服務(wù)器正常運(yùn)行，Socket 確保重要數(shù)據(jù)交互的完整性。根據(jù)4G網(wǎng)絡(luò)的特性，開辟空間對(duì)因網(wǎng)絡(luò)信號(hào)差未上傳數(shù)據(jù)進(jìn)行緩存，并在恢復(fù)信號(hào)后第一時(shí)間上傳，確保數(shù)據(jù)的完整性和實(shí)時(shí)性。

⑼在線更新技術(shù)：后臺(tái)利用數(shù)據(jù)的上傳監(jiān)測(cè)AI終端的在線狀態(tài)和動(dòng)態(tài)IP，利用他們建立Socket 常連接，以進(jìn)行程序版本檢測(cè)和更新。

系統(tǒng)的拓?fù)淙鐖D2所示。

圖2 系統(tǒng)拓?fù)鋱D

4 總結(jié)

本文設(shè)計(jì)了一套環(huán)衛(wèi)作業(yè)車的城市路況巡查系統(tǒng)，整套系統(tǒng)包括CCD 攝像頭及其圖像采集系統(tǒng)、人工智能終端系統(tǒng)、遠(yuǎn)程數(shù)據(jù)通信系統(tǒng)組成，實(shí)現(xiàn)了與城市垃圾智能管理系統(tǒng)的有效對(duì)接。測(cè)試與應(yīng)用的結(jié)果表明，該系統(tǒng)簡(jiǎn)化了工作流程，節(jié)省了人力財(cái)力物力，具有廣闊的市場(chǎng)應(yīng)用前景。