基于視頻識(shí)別的路側(cè)堆積物檢測(cè)方法研究

薛紅軍 陳 瑜 ＊ 林海鵬 謝 斌

（1.南通市公路事業(yè)發(fā)展中心，江蘇南通 226000；2.華設(shè)設(shè)計(jì)集團(tuán)股份有限公司，江蘇南京 210000）

當(dāng)前我國(guó)公路交通信息化建設(shè)逐步向智能化轉(zhuǎn)型升級(jí)，公路交通作為江蘇公路交通運(yùn)輸體系的重要組成部分。公路養(yǎng)護(hù)是保障公路運(yùn)輸正?；闹匾画h(huán)，改變公路養(yǎng)護(hù)巡查的技術(shù)手段、開(kāi)展公路智能養(yǎng)護(hù)巡查智能終端示范應(yīng)用顯得格外重要?！丁笆濉眹?guó)家戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃》中指出，加快視頻、地圖及行業(yè)應(yīng)用數(shù)據(jù)等人工智能海量訓(xùn)練資源庫(kù)和基礎(chǔ)資源服務(wù)公共平臺(tái)建設(shè)，建設(shè)支撐大規(guī)模深度學(xué)習(xí)的新型計(jì)算集群。公路路側(cè)堆積物是國(guó)省干線(xiàn)上較為常見(jiàn)的一種路面異常事件，經(jīng)常出現(xiàn)在集鎮(zhèn)、廠(chǎng)礦工地等附近的公路上，主要包括農(nóng)作物、建筑材料、生活垃圾等，不僅產(chǎn)生公路交通安全隱患，還會(huì)嚴(yán)重影響公路衛(wèi)生環(huán)境。及時(shí)發(fā)現(xiàn)和清理公路路側(cè)堆積物污染，對(duì)于提高公路通行能力、保障公路通行安全、改善公路通行環(huán)境具有重要意義。

1 現(xiàn)狀分析

本文以南通市公路養(yǎng)護(hù)巡查業(yè)務(wù)為案例進(jìn)行研究。南通市路網(wǎng)目前已形成以“八橫十縱”為主、總里程約1 800 km的普通干線(xiàn)公路網(wǎng)。截至2019年末，南通市建成視頻監(jiān)控設(shè)施189套，密度為2 km/套，之前建設(shè)的97路攝像機(jī)清晰度為200 萬(wàn)pix，現(xiàn)在建設(shè)的為400 萬(wàn)pix。未來(lái)，南通市將會(huì)繼續(xù)在國(guó)省干線(xiàn)沿線(xiàn)布設(shè)大量視頻監(jiān)控設(shè)施。

目前對(duì)這類(lèi)公路污染物的發(fā)現(xiàn)主要依靠各級(jí)公路網(wǎng)管理部門(mén)通過(guò)人工的方式進(jìn)行巡查，即路網(wǎng)管理人員在公路監(jiān)控中心對(duì)接入的公路監(jiān)控視頻畫(huà)面進(jìn)行人工輪巡，通過(guò)人眼觀察的方式發(fā)現(xiàn)視頻中發(fā)生的公路路面異常，或派遣巡查車(chē)輛上路進(jìn)行巡查，現(xiàn)場(chǎng)查驗(yàn)沿途的路側(cè)堆積物事件。人工巡查的方式效率低、人力成本投入大、輪巡時(shí)間間隔長(zhǎng)，事件漏檢風(fēng)險(xiǎn)高，難以及時(shí)發(fā)現(xiàn)并處置公路污染物。

存在不足：

（1）人工巡檢人員不足。

通過(guò)調(diào)研發(fā)現(xiàn)，目前南通市國(guó)省干線(xiàn)里程長(zhǎng)、覆蓋范圍廣，路網(wǎng)巡檢包括路基路面狀態(tài)、沿線(xiàn)設(shè)施狀態(tài)、綠化修剪、橋梁健康狀態(tài)等較多內(nèi)容，造成一線(xiàn)養(yǎng)護(hù)巡檢任務(wù)重。

（2）人工巡檢實(shí)時(shí)性不足。

目前，公路分中心逐步完善視頻輪巡系統(tǒng)，依靠人工值班、人工視頻輪巡進(jìn)行事件檢測(cè)，難以實(shí)現(xiàn)對(duì)公路突發(fā)事件的及時(shí)發(fā)現(xiàn)和快速處置。

（3）人工巡檢成本高。

目前，通過(guò)人工或巡查車(chē)輛上路巡查的方式進(jìn)行日常路面的巡檢工作，會(huì)造成人工成本和車(chē)輛使用成本。

（4）智能化程度不足。

目前，路面事件檢測(cè)主要通過(guò)人工的方式發(fā)現(xiàn)，先進(jìn)的互聯(lián)網(wǎng)、人工智能等技術(shù)沒(méi)有得到充分充分利用，智能化程度有待提升。

2 算法流程設(shè)計(jì)

本方法主要流程包括視頻圖像采集、預(yù)處理、圖像檢測(cè)算法處理、事件檢測(cè)結(jié)果輸出等部分，分別承擔(dān)公路監(jiān)控視頻數(shù)據(jù)的采集、視頻圖像的幀提取、事件檢測(cè)和事件判別輸出等功能。

算法流程設(shè)計(jì)如圖1所示。

圖1 算法流程設(shè)計(jì)

3 算法實(shí)現(xiàn)

3.1 數(shù)據(jù)輸入

接入滿(mǎn)足實(shí)時(shí)信息傳輸協(xié)議的公路網(wǎng)監(jiān)控視頻，對(duì)視頻流解碼?？紤]路側(cè)堆積物將在較長(zhǎng)時(shí)間保持靜止，按1 幀/s循環(huán)讀取視頻圖像，對(duì)視頻圖像進(jìn)行預(yù)處理，將視頻幀圖像尺寸縮減為1 280 pix×720 pix，令k時(shí)刻輸出圖像幀表示為fk(x,y)，k∈Z+，x∈[0,127 9]，y∈[0,719]，x,y∈Z，分別為圖像寬度軸和高度軸上的坐標(biāo)。

3.2 算法處理

算法處理由視頻讀取與預(yù)處理、目標(biāo)提取、目標(biāo)過(guò)濾、目標(biāo)輸出組成。視頻讀取與預(yù)處理主要對(duì)初始視頻進(jìn)行讀取，并進(jìn)行預(yù)處理和路面區(qū)域獲?。荒繕?biāo)提取主要通過(guò)Yolov3的目標(biāo)檢測(cè)獲取堆積物相關(guān)的目標(biāo)集；目標(biāo)過(guò)濾主要進(jìn)行道路區(qū)域外目標(biāo)過(guò)濾；目標(biāo)輸出主要是輸出檢測(cè)目標(biāo)結(jié)果。

算法處理流程如圖2所示。

圖2 算法處理流程

視頻讀取與預(yù)處理：接入公路網(wǎng)監(jiān)控視頻流，對(duì)視頻流進(jìn)行解碼，每秒循環(huán)讀取1幀視頻圖像，并對(duì)視頻圖像進(jìn)行預(yù)處理，將輸入圖像轉(zhuǎn)換為灰度圖再進(jìn)行形態(tài)學(xué)濾波，降低噪聲干擾。使用ViBe方法檢測(cè)圖像中的運(yùn)動(dòng)前景圖像，檢測(cè)到有運(yùn)動(dòng)目標(biāo)時(shí)，提取運(yùn)動(dòng)目標(biāo)的輪廓，得到運(yùn)動(dòng)目標(biāo)的輪廓集合[cnti]，計(jì)算所有運(yùn)動(dòng)目標(biāo)輪廓的總面積，運(yùn)動(dòng)目標(biāo)的總面積小于閾值thcnts時(shí)，認(rèn)為這一幀圖像fx(x,y)包含的運(yùn)動(dòng)目標(biāo)所占區(qū)域較小，利用這一幀圖像進(jìn)行分割可以獲得較完整的路面區(qū)域，這一幀圖像fk(x,y)標(biāo)示為fB(x,y)。

目標(biāo)提?。豪没谏疃葘W(xué)習(xí)的Deeplabv3+圖像語(yǔ)義分割方法，對(duì)的圖像fB(x,y)進(jìn)行分割。利用基于深度學(xué)習(xí)的Yolov3圖像檢測(cè)算法，對(duì)每一幀視頻圖像進(jìn)行目標(biāo)識(shí)別，提取公路視頻巡查場(chǎng)景下圖像中與路側(cè)堆積物事件相關(guān)性較高的目標(biāo)。

目標(biāo)過(guò)濾：利用視頻預(yù)處理提取的道路區(qū)域?qū)μ崛〉哪繕?biāo)集T進(jìn)行過(guò)濾?；诮M成路側(cè)堆積物的目標(biāo)會(huì)在圖像中的固定位置持續(xù)出現(xiàn)的特點(diǎn)，重復(fù)前面視頻處理并記錄輸出的每一個(gè)目標(biāo)在圖像中相同位置出現(xiàn)的次數(shù)lopi。

輸出在固定位置重復(fù)出現(xiàn)次數(shù)超過(guò)預(yù)設(shè)閾值th0的目標(biāo)集合Ts：

對(duì)目標(biāo)的聚集性進(jìn)行鑒別，本研究借鑒密度聚類(lèi)算法的思想，遍歷搜索目標(biāo)集合Ts中相交或相距較近且呈現(xiàn)聚集性的目標(biāo)子集使輸出的每個(gè)元素滿(mǎn)足完成搜索后，輸出所有目標(biāo)子集的集合

目標(biāo)輸出：根據(jù)應(yīng)用場(chǎng)景的特點(diǎn)，從TCAND中比對(duì)挑選包含路側(cè)堆積物關(guān)鍵目標(biāo)類(lèi)別的元素輸出。

3.3 算法輸出

為保證事件時(shí)效性，達(dá)到事件即時(shí)發(fā)現(xiàn)即時(shí)處理，去除公路安全隱患，本實(shí)例通過(guò)調(diào)用應(yīng)用端的API接口進(jìn)行主動(dòng)推送方式事件信息。消息內(nèi)容主要包括事件編號(hào)、事件截圖圖片、事件視頻、事件類(lèi)型、事件時(shí)間。消息格式為JSON。

3.4 系統(tǒng)應(yīng)用

通過(guò)對(duì)本文的算法思路進(jìn)行設(shè)與實(shí)現(xiàn)，以南通路面事件養(yǎng)護(hù)巡查檢測(cè)業(yè)務(wù)為案例進(jìn)行研究，算法與公路養(yǎng)護(hù)業(yè)務(wù)系統(tǒng)進(jìn)行對(duì)接，實(shí)現(xiàn)算法應(yīng)用與業(yè)務(wù)系統(tǒng)的閉環(huán)。

算法運(yùn)行環(huán)境：I7-8700處理器；32 GB內(nèi)存：512SSD硬盤(pán)；GTX2080 8G顯卡；Ubuntu16.04操作系統(tǒng)。

其他模塊運(yùn)行環(huán)境：IntelXeon3106（8核-1.7 GHz）處理器；內(nèi)存配置≥32 GB；配置3塊600 GB10KrpmSAS2.5硬盤(pán)；CentOS7操作系統(tǒng)。

4 結(jié)語(yǔ)

本文設(shè)計(jì)并實(shí)現(xiàn)了一種基于視頻識(shí)別路測(cè)堆積物檢測(cè)方法，該方法實(shí)現(xiàn)了公路路側(cè)堆積物檢測(cè)的信息化、智能化，大幅降低人力成本投入、減少經(jīng)濟(jì)成本，提高了事件檢測(cè)實(shí)時(shí)性、節(jié)約了巡檢時(shí)間、優(yōu)化了業(yè)務(wù)流程等。本算法可為交通運(yùn)輸部門(mén)路面養(yǎng)護(hù)業(yè)務(wù)向非現(xiàn)場(chǎng)化、信息化、智能化方向發(fā)展和完善提供參考，符合《“十三五”交通領(lǐng)域科技創(chuàng)新專(zhuān)項(xiàng)規(guī)劃》中對(duì)路網(wǎng)基礎(chǔ)設(shè)施“交通重大基礎(chǔ)設(shè)施智能聯(lián)網(wǎng)監(jiān)測(cè)與預(yù)警”的要求，實(shí)現(xiàn)基于人工智能的交通重大基礎(chǔ)設(shè)施智能化養(yǎng)護(hù)，促進(jìn)公路養(yǎng)護(hù)行業(yè)的發(fā)展。