基于深度學習的高速服務區車位檢測算法①

邵奇可,盧 熠,陳一葦

(浙江工業大學 計算機科學與技術學院(軟件學院),杭州 310023)

近年來,隨著我國高速公路事業的迅猛發展,服務區作為高速公路的重要配套設施,已經成為反映高速公路服務能力和展示地方經濟發展成果的重要窗口.服務區整體服務水平的高低和服務質量的好壞既影響高速公路的運行安全與效率,也關系著沿線區域經濟的健康發展.近年來,隨著公眾出行車輛數量的爆炸性增長,導致部分高速公路服務區在高峰期尤其是節假日車位緊張,許多車輛無處可停,公眾在服務區停留時的舒適度較差.因此,實時對外發布高速公路服務區的停車場車位信息,有利于滿足公眾高品質出行需求,提高高速公路服務區對外公共服務形象.

目前,針對停車場車位檢測方法主要分傳感器檢測和視頻檢測兩大類.傳感器車位檢測方法主要包括：感應線圈檢測[1]、聲波檢測[2]、紅外檢測[3]以及基于射頻識別技術檢測方法[4]等.其中,感應線圈檢測需要在每個車位地下埋設地感線圈,進而通過線圈內電流的變化來判斷相應車位上是否停有車輛,地感線圈的施工要求較高,并且地感線圈容易損壞且更換、維修成本高;聲波車位檢測是在每個車位上方安裝超聲波探測器,通過回波檢測來判斷車位上有無車輛停泊;紅外車位檢測是通過檢測車位上反射光或遮光的情況來判斷車位狀態是否發生變化.不難發現,不論是超聲波車位檢測方法還是紅外車位檢測方法,兩種檢測方法都需要在停車位表面逐個車位安裝檢測傳感器,除此之外,這兩種方法并不適合高速公路服務區停車場車位檢測的情況;至于基于射頻識別技術車位檢測方法,則是通過在每個車位內安裝一個射頻識別標簽來探測相應車位情況,為了獲取相應車位的信息,還需再配備專門的射頻識別閱讀器來讀取標簽里存儲的信息,然后將獲得的數據上傳到上位機.這種檢測方法可靠性良好,然而需要較高的成本,此外,其局限性還體現在對天氣條件的變化較為敏感.

另一方面,基于視頻檢測車位方法由于其利用現有的停車場監控設備,無須對停車場車位地面進行改動,而且設備維護與維修容易.因此,此類方法更具有推廣應用價值.目前,基于視頻的車位檢測算法可以分為兩大類,一類是基于車牌的檢測算法[5],一類是從車位狀態變化特點角度出發的檢測算法如：基于方差的檢測算法[6]、基于紋理特征的檢測算法[7]、基于邊緣檢測的檢測算法[8]、基于標記的檢測算法[9]以及基于相關性判別的檢測算法[10].基于車牌的檢測算法雖然精確度良好,但是需要從視頻中獲取車牌區域并且進行劃分和識別,需要非常精密的算法來支撐,實現的過程較為復雜,在實際應用中,這種方法對攝像頭安裝的位置與數量均有嚴格要求,一旦攝像頭安裝的角度不合理,發生了車牌遮擋等問題,那么檢測結果就會受到非常大的影響.基于車位狀態變化特點的檢測方法往往需要對固定的場景且在相對固定的光照條件下,去確定一個閾值,再對圖像進行二值化,從而達到圖像分割的目的,這在工程實際運用中缺乏普遍性,泛化能力差,受光線和場景影響較大.如：文獻[11]以灰度值對道路進行分割,該方法通過去噪點及小波邊緣檢測預處理,對預處理后的圖像進行閾值化,再結合道路的連通性識別道路,但是在雨雪天氣下分割效果極差.文獻[12]中提出用Canny 算子邊緣檢測的圖像分割算法,這種分割方法對有陰影遮擋的效果很差.文獻[13,14]中提出一種基于種子區域增長的道路分割算法,這種算法對彎曲的道路以及惡劣天氣環境下沒有很好的魯棒性.文獻[15]中提出使用特種攝像頭對車位進行檢測,這種方法雖然可以對車位的狀態進行識別,但是需要安裝基于特定場景、環境,需要定制和微調的定點定焦攝像頭,對實際工程成本開銷較大.在文獻[16]中指出一種非參數背景減除算法——核密度估計（KDE）,雖然有利于新訓練樣本的加入,但計算復雜度過大,去實時性較差,不適合應用于實際場景中.

為此,本文利用卷積神經網絡進行高速公路停車場區域分割與車輛檢測.在原有COCO 數據集的基礎上擴充自己的數據集;利用權重共享的方法,在區域分割與目標識別方面對特征提取網絡進行權重共享,從而達到聯合訓練的目的;進而,應用了特征金字塔網絡,解決目標檢測中多尺度問題,以提升小目標識別的性能;最后,利用車位的先驗值計算出剩余車位.

1 系統架構

整個高速公路服務區停車場管理系統主要由視頻采集系統、視頻分析系統以及信息發布系統組成.視頻采集系統主要功能是完成對現有停車場監控攝像頭的視頻采集;視頻分析系統的主要功能是車位檢測和數據分析,主要包括三個子模塊：車位識別模塊、數據分析模塊、信息匯總模塊.這些模塊用于出入于停車場的車輛信息,以及停車場的車位占用情況匯總,從而形成匯總數據存儲在云服務器.信息發布系統主要的功能是將現有的匯總數據,通過WEB 端和APP 方式發布出去,使用戶能夠在各個接入互聯網的設備上輕易的獲取需要的資源信息.系統整體架構如圖1所示.

圖1 系統整體架構

(1)視頻采集系統

本系統采用基于視頻的高速公路服務區停車場車位檢測與管理.為確保本系統提供的停車位信息實時、準確,就必須對分布在不同停車區域內的監控攝像頭進行實時的視頻采集.在實際應用過程中,高速服務區停車場的監控攝像頭由于種類多、廠家不一、型號多樣,因此必須采取統一的數據傳輸協議.本系統利用局域網直接訪問停車場內監控攝像機,并利用攝像機提供的rtsp 協議,調取服務區停車場內監控攝像頭的實時視頻流,系統采樣頻率5 s/幀.

(2)視頻分析系統

視頻分析系統采用C++,Python 等技術進行開發,對車位檢測算法和系統的業務邏輯進行分層處理.車位檢測算法的主要功能是將視頻采集系統獲得的停車場內視頻流數據進行車輛識別和車型識別,并實時統計該停車區域內不同車型的車輛數量.業務邏輯層根據算法檢測的實時車輛信息,利用停車場車位的先驗知識,實時計算出該區域的空余停車位信息,即在得到圖像中車輛數量以后,判斷該圖像位于第i 個點位,再由第i 個點位的先驗車位總數計算得出空余車位數量,最后完成對該停車場區域空余車位的統計及其數據存儲.

(3)信息發布系統

信息發布系統將形成對駕駛員是否進入服務區及進入服務區后如何快速停車的決策誘導,從而調節整個高速服務區的區域停車壓力.駕駛員可以通過系統提供的信息發布系統,利用移動APP 實時查看目的區域的空余停車位信息,進而選擇采取最高效的行車、停車方案.該系統通過視頻分析系統得到的停車場各個區域空余車位,進而實時傳送給本地停車場的LED 誘導屏,同時將視頻分析系統的業務邏輯層輸出的數據轉化成與Web 服務器相對應的格式,并上傳至云端.通過云端Web 服務器完成對手機端與Web 端的信息更新,以便出行者可以根據高速公路服務區停車場管理系統所提供的空余車位信息,選擇是否進入該服務區停車休息或者根據提示迅速找到空余車位.

2 車位檢測算法

考慮到高速公路服務區停車場管理需要對大車、小車停車區域嚴格細分,并且對不同車型尤其是畜牧車、易燃易爆的油罐車等特殊車輛的停車區域嚴格指定,因此需要車位檢測算法具有良好的復雜環境適應能力和魯棒性,能夠在不同區域有效的檢測出不同車型的車輛信息,才能有效利用停車場車位的先驗知識進行空余車位的統計.為此,本文首先對停車場的車輛信息進行擴充,建立一個涵蓋各種車型的車輛數據集.

2.1 車輛數據集的擴充

在許多公共數據集中,如COCO 數據集,大多數是國外的車型,側面、背面照較多,正面較少,且大卡車分了卡車與公共汽車類型,然而在高速公路服務區的停車場中,按管理要求對不同車型的停車區域需要嚴格細分.現有視頻監控系統在停車場中的攝像頭,一般多為俯視視角.因此,非常有必要對車輛數據集進行了擴充,除了包含車輛的側面、背面,車頂、正面的圖片.并且按不同的車型及其用途細分為畜牧車、易燃易爆的油罐車、工程維修車、普通貨車、房車和大巴車,如表1所示.本文用到的數據集全部來自于現場的攝像頭,篩選了在不同場景、不同天氣下所拍攝到的圖片33 000 多張,為了增加數據集的復雜性,另外采用了11 000 多張網絡車輛數據集.在篩選出的圖片中標注油罐車、工程維修車、普通貨車、房車、大巴車和小車六個車型的先驗框,制作樣本數據集,車型數據集分布如表2所示.使用json 文件進行標定,每張圖像都有對應各自的json 文件,采用端到端的訓練方法訓練.

表1 擴充前后數據集對比

表2 6 種目標車型數據分布

2.2 網絡結構與算法流程

考慮到需要有效檢測兩個停車區域的車位信息,因此本文使用了一種高效且有效的前饋網絡架構以共同推理語義分割和圖像分類.在兩個任務上共享一個編碼器以實現不同的解碼任務.其中解碼器1 的目標是解決在停車場中所拍攝到的車輛之間有遮擋且目標較小的問題,采取了多尺度特征提取的方式,這種全局特征和局部特征的融合,從不同尺度上盡可能地保留了車輛的特征信息,從而提高了網絡的特征表達能力.解碼器2 實現對停車場中的道路進行了分割.具體結構如圖2所示.

系統充分利用原有的停車場監控設備,首先要對視頻幀圖像進行語義分割.再將分割后的圖像進行精確的車輛檢測,檢測出的車輛依據車輛的坐標以及車輛的置信度IOU 等信息,統計出該區域已經占用的停車位數量.最后根據第i個點位的先驗總車位數量,計算出剩余車位數,并發布到現場顯示屏與手機終端,對該高速停車場進行實時的引導.具體算法流程如圖3所示.

圖2 聯合訓練網絡結構

2.3 區域分割

考慮到高速停車場原有監控設備主要滿足安防需求,沒有建立專用的車位檢測攝像頭,導致一個攝像頭可以覆蓋到兩個停車場區域.為了有效檢測兩個停車區域的車位信息,本文采用對兩個區域中間的道路進行分割,如圖4所示.

由于停車場場景復雜多變,利于本文聯合訓練,本文利用darknet53 卷積神經網絡對道路的特征進行特征提取,在目標識別與區域分割部分對特征提取層darknet53 的權重進行共享.考慮到分割時只分割道路,屬于二分類問題,所以在圖像分割部分選用logistic 邏輯回歸層對像素點進行分類,以達到分割效果.訓練集可表示為：

圖3 車位檢測算法流程圖

對這m個訓練樣本,每個樣本有n維特征.再加上一個偏置項x0,則每個樣本中共包含n+1 維特征：

其中,x∈Rn+1,x0=1,y∈{0,1},logistic 函數計算公式如下：

在選用損失函數部分,本文選用binary crossentropy 交叉熵損失函數,公式如下：

其中,hθ(x)為 預測值,y為真值.

圖4 蕭山服務區停車場道路分割

2.4 車輛檢測

由于高速停車場的攝像頭需要滿足安防需求,因此大多數攝像頭架在了高處,且本系統不打算再額外的安裝特定專用攝像頭.然而原來很多的目標檢測算法都只采用頂層特征做預測,但是底層特征的語義信息較少,高層語義信息比較豐富,這就導致了對小目標識別精度不高,因此本文采用多尺度的FPN 算法對小目標進行識別.FPN 通過添加第二個金字塔提升了標準特征提取金字塔的性能,第二個金字塔可以從第一個金字塔選擇高級特征并傳遞到底層上.通過這個過程,它允許每一級的特征都可以和高級、低級特征互相結合,如圖5所示.

圖5 金字塔特征融合結構圖

本文的目標預測是在不同特征層進行的,因此在網絡深層對整張圖像中的小目標預測具有良好的效果.在層與層之間使用ResNet 進行連接,以便在模型訓練的時候可以直接對網絡的殘差進行訓練,極大的抑制了梯度消失與梯度彌散的情況發生.聯合訓練的損失以分割,檢測和分類的損失總和給出.

2.5 聯合訓練

為了在訓練過程可以實現端到端的訓練,本文利用卷積神經網絡darknet53 作為語義分割和目標檢測的共享編碼器,在實現訓練端到端的復合卷積神經網絡的同時,使用json 文件格式進行標定,使得每張圖像都有各自對應的json 文件.

在聯合訓練中,分別計算了兩個解碼器的前向傳遞損失函數,在反向傳播過程中進行計算梯度下降.這具有一個優勢,即可對不同的解碼器進行各自不同權重的訓練.例如：目標識別需要對小目標部分進行特征金字塔的特征提取,而本文中的語義分割部分是對道路進行分割,區域比較大,不需要金字塔網絡的特征提取部分,同時這也極大的加快了對語義分割網絡的前向推理速度.

3 應用實例及性能分析

本文車位檢測算法已應用在杭千高速建德服務區、杭州繞城蕭山服務區的停車場管理系統中.通過對采集車輛、停車場數據制作數據集.在Imagenet 數據集下,利用darknet53 特征提取網絡進行預訓練.訓練采用的硬件配置如下：CPU,Intel Corei 7-6800k@3.40GHz×12;GPU,GeForce GTX 1080Ti×2.該算法對于區域分割與對車輛的目標識別準確率達94.74%,幀率達到25fps.分割算法可以很好的應對陰影遮擋、雨雪天氣,具有良好的泛化性,如圖6、圖7所示.

圖6 蕭山服務區陰影遮擋道路分割

由于停車場中一些車輛被遮擋超過70%,導致算法在處理圖像的過程中,所能獲得該被遮擋的車輛的像素點較少,以至于網絡在圖像中能提取的車輛細粒度以及紋理特征較少,在分類器分類的時候將其分類為目標背景,最后造成該車輛被漏檢的結果.在夜間強光照射下,燈會發出的強光會迎面射向攝像機,強光輻射功率大于停車場輻射功率的光源,會導致攝像機傳感器達到飽和,這樣就很難拍攝到停車場內的圖像,最后導致算法無法對該圖像進行車輛識別.

圖7 蕭山服務區雨雪天道路分割

在停車場中的攝像頭采集到的視頻中,由于有些只能拍攝到車輛的尾部或者頭部,因此算法對該車輛所能提取到的特征點較少,最后導致無法正確識別該車輛.例如只能拍攝到大貨車的集裝箱或者小車的引擎蓋部分,本文的算法對于車輛在圖像中占比低于30%效果較差,效果如圖8、圖9所示.本文算法在對于雨雪天氣車位狀態的檢測具有較好的魯棒性,如圖10所示.在夜間,由于車輛本身輻射光源較弱,因此算法對車輛識別率有所下降,如圖11所示.

圖8 建德服務區大車車位狀態識別

4 結論與展望

本文對darknet53 卷積神經網絡進行權重共享,為了達到區域分割的目的,采用改進的卷積神經網絡將圖像中道路進行分割,而后采用金字塔特征融合的結構對目標進行檢測,根據相關停車場車位先驗知識判斷車位信息.經實際應用表明,該算法三個月內車位檢測平均準確率達94.74%,檢測速度平均每秒可處理至少25 張圖片,能夠準確實時地對車位狀態進行有效統計.同時,由于現有停車場的監控系統的攝像頭主要滿足安防需求,并未對車位檢測架設專用的攝像機,因此,對于攝像頭是球機的場景,未能有很好的適應能力,突出表現為攝像頭轉頭時,隨著視覺所覆蓋的車位數量的改變,該算法檢測效果不是很理想.另外在夜晚由于路燈強光照射的原因,檢測效果也大幅降低.后續將對這些問題進行進一步研究.

圖9 蕭山服務區小車車位狀態識別

圖10 建德服務區雨雪天氣車位狀態識別

圖11 建德服務區夜間車位狀態識別