基于AI機器視覺的公路交通感知關鍵技術研究及應用

摘要 文章針對傳統(tǒng)公路交通行業(yè)管理低效模式，依托廣泛覆蓋的路網(wǎng)視頻監(jiān)測設施，研究基于AI視覺的公路交通感知技術，重點研究解決復雜環(huán)境下公路交通視頻數(shù)據(jù)采集與分析性能提升難題，研究公路交通涉及車、路、環(huán)境全要素特征的提取技術，研發(fā)基于AI機器視覺的公路交通感知應用平臺，實現(xiàn)路網(wǎng)運行監(jiān)測、路產(chǎn)路權監(jiān)測多樣化公路交通事件智能檢測。經(jīng)推廣應用實踐證明，可為公路交通行業(yè)管理提供低成本、廣覆蓋、精準化智能感知手段。

關鍵詞 公路交通感知；AI機器視覺；路網(wǎng)視頻監(jiān)測設施；路網(wǎng)運行監(jiān)測；路產(chǎn)路權監(jiān)測

中圖分類號 U495 文獻標識碼 A 文章編號 2096-8949（2023）08-0007-03

0 引言

傳統(tǒng)公路交通行業(yè)管理多依靠“車載人走”“人盯屏幕”方式開展路網(wǎng)運行監(jiān)測、路產(chǎn)路權狀態(tài)檢查，存在勞動強度大、漏檢風險高、主觀判斷強等問題，不利于公路交通行業(yè)管理提質(zhì)增效[1]。由此加強公路交通感知技術升級，為行業(yè)管理提供智能化、數(shù)字化手段成為研究熱點和發(fā)展趨勢。在眾多的公路交通感知手段中，視頻圖像包含廣域的、豐富的交通細節(jié)信息，因此，有效結(jié)合AI機器視覺技術，將為公路交通感知提供智能化、精準化的檢測手段。

目前的研究多聚焦于公路交通流參數(shù)、基礎設施信息采集及資產(chǎn)管理等具體領域AI機器視覺應用。國外美國、日本和澳大利亞等率先將機器視覺技術應用于路面狀態(tài)檢測領域，但多基于車載視頻圖像識別，比如進入我國市場的美國Waylink數(shù)字式高速公路多功能檢測車、澳大利亞ARRB多功能監(jiān)測車等，在車載終端安裝高清攝像頭、相關補光設備以及定位系統(tǒng)，可實時進行路面狀態(tài)自動檢測識別。該類型設備檢測較為穩(wěn)定、準確性較高，但存在購置成本較高、難以適應大范圍路面狀態(tài)檢測難題[2]。國內(nèi)路面狀態(tài)自動檢測技術研究也取得了顯著成果，典型的路面檢測系統(tǒng)有南京理工大學的JG-1檢測車、武漢大學的SINC-RTM檢測車等，武漢理工大學章先陣等也開展了基于視頻圖像的公路設施狀態(tài)檢測研究。國內(nèi)外現(xiàn)有研究成果涉及應用場景范圍較窄，與公路巡查業(yè)務缺乏有效結(jié)合，存在成本較高、難以大規(guī)模推廣應用等問題。

我國自“十二五”開始逐步建設、加密公路網(wǎng)視頻監(jiān)控體系，為公路交通感知提供良好基礎，但是目前AI機器視覺技術應用于路網(wǎng)視頻監(jiān)控體系尚存在廣度和深度不足問題。因此，該文重點研究解決復雜環(huán)境導致公路交通事件感知準確率低、泛化性能不足等共性技術問題，研究復雜環(huán)境下公路交通全要素特征提取及分析技術，進而研發(fā)面向基于AI機器視覺的公路交通感知應用平臺，實現(xiàn)路網(wǎng)運行監(jiān)測、路產(chǎn)路權狀態(tài)監(jiān)測多場景下多樣化公路交通事件精準感知并大范圍推廣應用。

1 總體思路

項目面向路網(wǎng)運行監(jiān)測、路產(chǎn)路權狀態(tài)監(jiān)測行業(yè)需求，針對復雜環(huán)境下公路交通事件視頻分析難題，研究公路交通視頻數(shù)據(jù)采集與分析的性能提升技術、全要素特征提取及分析技術，開發(fā)系列AI機器視覺的公路交通感知應用映泰，并進行研發(fā)成果轉(zhuǎn)化與產(chǎn)業(yè)化推廣應用。研究技術路線如圖1所示。

2 技術研究

2.1 研究公路交通視頻數(shù)據(jù)采集與分析的性能提升技術

針對公路交通事件復雜、隨機性強、視頻圖像干擾因素多樣等特點，通過公路視頻采集優(yōu)化技術、交通事件圖像樣本擴展技術、視頻圖像深度學習技術，提升基于視頻機器視覺的交通感知準確性和泛化性能，形成公路交通視頻圖像采集及處理的共性技術成果[3]。

該文首先研究公路網(wǎng)關鍵路段及節(jié)點辨識技術，提出公路網(wǎng)視頻監(jiān)測點優(yōu)化布局原則，為公路網(wǎng)異常事件的及時發(fā)現(xiàn)、處置提供功能適用、經(jīng)濟合理的最優(yōu)方案；在關鍵路段及節(jié)點辨識的基礎上，進一步研究公路事件視頻圖像采集技術要求，以保證復雜公路環(huán)境下的圖像采集效率及質(zhì)量；最后研究公路交通視頻云端一體化管理，在滿足公路管理者使用需求的基礎上，進一步滿足社會公眾的高并發(fā)訪問，實現(xiàn)視頻秒播。

2.1.1 公路交通視頻數(shù)據(jù)采集優(yōu)化技術

在資源有限的情況，公路網(wǎng)視頻監(jiān)測點位的布局應根據(jù)路網(wǎng)拓撲結(jié)構(gòu)、交通流特性以及歷史事件數(shù)據(jù)等，綜合考慮事件發(fā)生后對路網(wǎng)的影響、事件發(fā)生的概率以及事件的惡劣程度，根據(jù)這兩個因素找到關鍵路段和節(jié)點并進行優(yōu)先考慮，從而盡可能降低事件發(fā)生后對整體路網(wǎng)的影響程度。該文創(chuàng)新性地提出基于成本和事件檢測效果的路網(wǎng)監(jiān)測點位布設方法，運用路網(wǎng)動態(tài)配流模型，結(jié)合道路條件，分析視頻監(jiān)測點位布局與交通擁堵、低速緩行等路網(wǎng)事件檢測效率之間的相關性，獲得路網(wǎng)異常事件檢測效率與成本效益最優(yōu)的監(jiān)測點布局策略。研究視頻監(jiān)控安裝高度H與檢測范圍L的關系，得出L=15×H。通過此研究結(jié)論，提出攝像機安裝高度在8 m以上，推薦選用8 m、10 m和12 m的安裝高度，若攝像機的安裝高度低于8 m，則會造成檢測性能下降。

2.1.2 小樣本下的公路交通機器視覺精度提升技術

目前機器視覺精度提升多依賴大量樣本學習，制約了公路交通機器視覺應用。由于采集的公路視頻圖像數(shù)據(jù)庫，包含單個公路路產(chǎn)組成的圖像和多個公路路產(chǎn)組成的圖像，隨機剪裁、適當旋轉(zhuǎn)并不會影響其屬性，因此采用隨機縮放、旋轉(zhuǎn)圖像、鏡像翻轉(zhuǎn)、添加椒鹽噪聲等多種幾何變換以補充數(shù)據(jù)集，解決數(shù)據(jù)集樣本數(shù)量不足的問題。創(chuàng)新應用深度卷積生成對抗神經(jīng)網(wǎng)絡（DCGAN）進行數(shù)據(jù)增強，相同公路交通應用場景下相同模型的訓練樣本數(shù)量要求降低35%以上，深度學習模型識別精度提升5%以上；提出結(jié)合公路知識圖譜監(jiān)督學習的深度學習網(wǎng)絡優(yōu)化方法，融合雨雪條件下機器視覺算法精度提升技術，提高公路異常事件、靜態(tài)交通車輛識別精度5%以上。

2.1.3 復雜公路交通環(huán)境下的機器視覺算法泛化性能提升技術

目前機器視覺模型多依賴特定樣本學習，只能針對具體應用場景，難以適應真實、多變的公路交通環(huán)境，易受雨雪等環(huán)境因素影響。該文提出視頻數(shù)據(jù)結(jié)構(gòu)化方案，將非結(jié)構(gòu)化視頻數(shù)據(jù)轉(zhuǎn)化為批量標準化數(shù)據(jù)，提高樣本學習模型的通用性和識別精確性；研究批量正則化的復雜機器視覺模型構(gòu)建方法，進一步優(yōu)化學習模型泛化性能[4]。研究雨雪條件下交通事件視頻檢測算法精度提升技術，結(jié)合雨雪的物理特性，運用亮度平均、卡爾曼濾波等方法排除雨雪干擾因素，提高雨雪天氣情況下公路交通機器視覺數(shù)據(jù)采集的精度，顯著提高公路交通機器視覺數(shù)據(jù)的質(zhì)量。

2.2 研究基于視頻圖像的公路交通全要素特征提取及分析技術

為避免單一交通要素感知帶來的信息失真問題、突破交通多要素識別效能低等技術難題，結(jié)合多源信息融合，研究基于公路視頻的車、路、環(huán)境各交通要素特征提取與分析技術，構(gòu)建不同對象、不同特征、不同場景下的復雜目標檢測與特征辨識能力。

2.2.1 基于多維特征的車輛檢測及跟蹤技術

采用統(tǒng)計特征分析及深度學習相結(jié)合的方法，實現(xiàn)車輛目標的檢測與判別，并通過背景建模等方式，降低光線、天氣等環(huán)境變化所造成的干擾。研究基于部分確定軌跡的多假設跟蹤算法，解決多目標連續(xù)跟蹤難題，利用連續(xù)多幀圖像間的關聯(lián)信息，生成多種假設軌跡，并計算每一種假設的先驗概率，結(jié)合表觀和運動信息進行預測，同時引入顏色信息進行匹配，提高關聯(lián)精度，實現(xiàn)動態(tài)多目標的跟蹤。利用多幀關聯(lián)信息，優(yōu)化檢測結(jié)果，并通過軌跡分析及當前狀態(tài)檢測，實現(xiàn)路段、路口、匝道等多場景下的車流量、平均車速、車頭間距、車頭時距、車道空間占有率等信息綜合感知提取及結(jié)構(gòu)化分析，解決多車道、相互遮擋下多目標連續(xù)檢測跟蹤技術難題。

2.2.2 基于機器視覺的公路交通事件檢測技術

路面病害是公路養(yǎng)護的重點內(nèi)容。該文采用像素級語義分割的背景建模方法分離路面，創(chuàng)新運用基于Tamura紋理特征及深度學習的路面病害檢測技術，首先根據(jù)粗糙度、對比度、方向度等紋理特征，初步判斷大概率具有路面病害檢測的區(qū)域，進一步結(jié)合YOLO、Fast-CNN卷積神經(jīng)網(wǎng)絡進行路面病害定位檢測，顯著提升檢測精度。

2.2.3 基于機器視覺的路域環(huán)境異常檢測技術

傳統(tǒng)的路面濕滑狀況判別技術為人工或運用路面?zhèn)鞲衅鬟M行檢測，公路能見度的檢測也多依靠光學儀器，造價成本高、易受外界環(huán)境干擾因素影響。該文創(chuàng)新性地提出基于RBF神經(jīng)網(wǎng)絡的濕滑道路圖像判別方法，通過路面的灰度、形狀和紋理特征分析，智能檢測干燥路面、潮濕路面、水膜路面、淤泥路面、冰雪路面、松雪路面、積雪路面、水冰路面等8種濕滑路面的檢測。創(chuàng)新性地提出基于深度學習的公路交通能見度視頻檢測技術，以路側(cè)交通標志為參考物，提取公路視頻監(jiān)控場景內(nèi)交通標志對比度特征，融合溫濕度、交通視頻數(shù)據(jù)，運用D-S證據(jù)理論，從駕駛?cè)说囊暯敲舾袡z測能見度變化。

3 應用效果

創(chuàng)新應用公路視頻圖像采集與處理、特征提取技術，面向公路交通管理業(yè)務需求，提供基于AI機器視覺的公路交通運行監(jiān)測、路產(chǎn)路權異常檢測等系統(tǒng)功能，并進行推廣應用。

3.1 基于AI機器視覺的交通運行態(tài)勢分析系統(tǒng)

依托高速公路、國省干線廣泛覆蓋的路側(cè)視頻監(jiān)控，該文基于AI機器視覺的交通運行態(tài)勢分析系統(tǒng)提供交通運行監(jiān)測、路網(wǎng)事件時空規(guī)律分析。基于機器視覺技術，實現(xiàn)大范圍路網(wǎng)全局性的交通流、路網(wǎng)管理事件、養(yǎng)護事件、公路環(huán)境監(jiān)測。該系統(tǒng)在此基礎上，基于機器視覺的精細化交通流檢測技術，提供公路交通擁擠度、交通組成特征、交通運行指數(shù)、路網(wǎng)服務水平等多維度運行指標分析，基于GIS平臺可視化展現(xiàn)路網(wǎng)綜合運行狀態(tài)[5]。

該系統(tǒng)如圖2所示，自2019年以來在南京、連云港等普通國省干線開展示范應用，創(chuàng)新運用Faster R-CNN卷積神經(jīng)網(wǎng)絡，實現(xiàn)復雜交通流環(huán)境下的目標車輛快速識別、精準定位，機動車識別準確率可達96.1%；結(jié)合高清地圖、已有交調(diào)數(shù)據(jù)，提供實時的、現(xiàn)實場景映射下的交通流全視角、多過程運行狀態(tài)監(jiān)測；在天氣、視距良好、無視覺干擾、無背光或反光情況下，對機動車識別準確率為96.1%，對非機動車識別的準確率達到95.8%，對行人識別的準確率達到96.2%。

3.2 基于AI機器視覺的路產(chǎn)路權異常檢測系統(tǒng)

該文基于公路交通視覺數(shù)據(jù)關鍵技術、全要素特征提取及判別分析技術，開發(fā)基于AI機器視覺的路產(chǎn)路權異常檢測系統(tǒng)，包括公路養(yǎng)護與路網(wǎng)管理移動應用、平臺兩類應用，實現(xiàn)現(xiàn)場養(yǎng)護巡查、路政執(zhí)法稽查與后臺監(jiān)管、任務派發(fā)、統(tǒng)計分析的聯(lián)動。巡查平臺實現(xiàn)養(yǎng)護巡查、路政執(zhí)法、超限超載事件管理與統(tǒng)計分析，支撐公路交通基礎設施、沿線附屬設施的可視化管理，支持多部門人員協(xié)同調(diào)度與聯(lián)合執(zhí)法，提高公路養(yǎng)護與路政協(xié)同巡查工作效率。

該系統(tǒng)如圖3所示，自2019年以來在南通、徐州等普通國省干線開展示范應用，結(jié)合深度卷積神經(jīng)網(wǎng)絡的目標檢測、像素級語義分割的背景建模、改進的圖像多維特征提取技術，實現(xiàn)了公路客運上下客流及行人精確檢測，為公路客運沿途帶客管理、公路打谷曬場、違法設攤、未經(jīng)批準的現(xiàn)場施工等典型公路事件提供了智能檢測手段，實現(xiàn)公路客運違法上下客檢測準確率86%以上、違法設攤檢測準確率96.43%、違法施工現(xiàn)場檢測準確率96.77%、打谷曬場檢測準確率92%。

4 結(jié)論

該文依托廣泛覆蓋的路網(wǎng)視頻監(jiān)測設施，解決復雜環(huán)境導致公路交通事件感知準確率低、泛化性能不足等共性技術問題，研究公路交通涉及車、路、環(huán)境全要素特征提取技術，研發(fā)基于AI機器視覺的公路交通感知應用平臺，實現(xiàn)路網(wǎng)運行監(jiān)測、路產(chǎn)路權監(jiān)測多樣化公路交通事件智能檢測。

突破AI機器視覺與交通行業(yè)管理深度融合應用難題，賦能國省干線公路已有視頻資源，在南京、無錫、南通、徐州、連云港等多地部署應用，實現(xiàn)了人工巡查向智能巡查的轉(zhuǎn)變，極大地提升了公路交通行業(yè)管理效率，為公路交通提供低成本、廣覆蓋、精準化智能感知手段。

參考文獻

[1]何彥霖， 萬劍， 謝斌. 基于固定視頻的公路智能化巡查系統(tǒng)設計[J]. 交通科技， 2019（4）： 109-113.

[2]張羽西， 馮剛. 基于北斗衛(wèi)星定位的高速公路異物檢測[J]. 中國交通信息化， 2019（1）： 127-128+134.

[3]孫周， 曹愛輝. 基于三維視覺的高速公路視頻檢測技術[J]. 數(shù)字技術與應用， 2018（11）： 74-76.

[4]傅福林， 晉勝國. 基于物聯(lián)網(wǎng)的智能交通檢測與應急管理系統(tǒng)[J]. 中國公共安全， 2016（12）： 45-54.

[5]黃亮. 高清與智能在高速公路視頻監(jiān)控中的應用[J]. 中國公共安全（綜合版）， 2011（3）： 138-141.