陳俊松 何自芬 張印輝



摘要:隨著社會汽車數量的急劇增加,停車難已成為城市發展過程中的難題之一。針對這一問題,提出一種基于改進YOLO算法的停車場車位檢測系統。通過網絡獲取、相機拍攝、三維建模3種方式分別獲取不同場合、不同時間段及不同光照環境下的數據集。通過改變YOLOv3網絡輸入分辨率、增大動量、增大權值衰減值、增大批尺寸、減小抖動、選擇合適的ignore_thresh值等6種不同措施對原網絡進行改進,得到相對原網絡檢測效果更好的新網絡YOL0-288x288。當IOU=50時,改進網絡的平均檢測精度由原來的86.5%提升到90.5%,查準率雖然降低了3%,但查全率提高了10%,平均IOU提高了1%。實驗結果表明,新的YOL0-288x288網絡優于原網絡,其具有更高的檢測精度、查全率及可靠性,能滿足停車場的車位檢測需求。
關鍵詞:YOLO網絡;車位檢測;機器視覺;卷積神經網絡
DOI: 10. 11907/rjdk.191974
開放科學(資源服務)標識碼(OSID):
中圖分類號:TP303
文獻標識碼:A
文章編號:1672-7800(2020)004-0037-05
Automatic Parking Space Detection System Based on Improved YOLO Algorithm
CHEN Jun-song, HE Zi-fen . ZHANG Yin-hui
(Faculty of Me.chanical and Electrical Engineering,Kurzming Univer.sity of Science and Teclznology , Kunming 65 05 00.China )Abstract: The numher of cars iii today ' s society has increased dramatically and parking difficulties have become one of the problemsin urban development. To solve this prohlem, a parking lot parking detection system based on the improved YOLO algorithm is pro-posed in this paper. The data sets in diff'erent occasions. different time periods and different illumination environments are obtained bythree methods: network acquisition. camera shooting and three-dimensional modeling. By changing the input resolution of YOLOv3network. increasing momentum. increasing weight attenuation. increasing batch size, reducing jitter and selecting appropriate ig-nore_thres value. a YOL0-288x288 network with better detection ef'fect was obtained. When IOU=50. the average detection accuracyof the improved network was increased from 86.5% t0 90.5%. Although the precision rate was reduced by 3c7e . the recall rate was in-creased by 10% and the average IOU was increased by l%. The experimental results shoWthat the new YOL0-288x288 network is su-perior to the original network, with higher detection accuracy , recall and reliahility and can meet the detection requirements of parkingspaces.Key Words : YOLO network ; parking space detection ; machine vision ; convolutional neural network
O引言
“智慧城市”是許多城市的建設目標,但由于汽車數量的急劇增加,停車難已經成為“智慧城市”建設中的難題之一[1-2]。
目前有多種車位檢測方法,主要分為兩大類,一類是基于雷達與傳感器的車位檢測方法[3-8],另一類則是基于機器視覺的車位檢測方法[9-11]。利用雷達與多傳感器對車位進行識別相對于機器視覺方式具有獨特優勢,例如對環境變化的適應能力較強、檢測精度較高等。但該方法也有諸多缺點,例如傳感器與雷達對周圍環境敏感度很高,容易把其它物體判定為汽車,從而造成誤檢或錯檢;雷達與傳感器造價相對昂貴,且安裝施丁過程繁瑣、成本較高,因此大多數中低端停車場并沒有資金預算對停車場車位進行改造,難以全面推廣使用。通過機器視覺方法對車位進行識別檢測,不僅不易受到其它物體干擾而產生誤檢情況,而且目前市場上的圖像采集設備價格比較經濟實惠;大多數停車場都有監控設備,不需要再次安裝圖像采集裝置;卷積神經網絡的性能越來越強大,其具有多層結構,可有效學習與反映輸入和輸出的復雜關系[12-13]。因此,基于機器視覺的車位檢測是目前的研究熱點之一[14-15],
針對基于雷達與傳感器的車位檢測,龐家成等“。提出一種以AMR磁阻傳感器采集車位節點信號,通過ZigBee無線傳感組網,以STM32F10X微控制器為協調器收集并分析處理信號裝置以檢測車位占用情況的檢測方法;祁海祿[2]設計一種基于地磁與雷達檢測的無線車位檢測器,通過將地磁靜態檢測與雷達動態檢測相結合實現對空閑車位的檢測;宋向前等[3]設計基于NB-IoT與地磁傳感器的車位檢測模塊,以MAG3110三軸地磁傳感器作為感知單元完成車位檢測;Abad等[4]提出一種傳感器三維建模方式,并通過對比計算出來的兩車位之間距離與本身車長判斷是否有空閑車位。
針對基于機器視覺的車位檢測,張一楊等[9]提出基于KL變換( Karhunen-Loeve Transform,KL)與支持向量機的空閑車位檢測方法,首先對經過灰度化和濾波處理后的車位圖像進行KL變換,將車位圖像從圖像空間映射至特征子空間,從而提取出用于檢測的特征參量,在此基礎上利用訓練后的支持向量機完成空閑車位檢測;安旭驍等[10]提出基于迷你卷積神經網絡的停車場空車位檢測方法,對傳統卷積神經網絡結構進行改進,通過減少網絡層數以縮短網絡訓練與識別時間;王梨等[11]提出基于視覺分析的室內停車場車位檢測,對采集到的實時圖像先進行分塊處理,通過灰度共生矩陣提取圖像塊O。、45。、90。、135。的能量、對比度、熵3個紋理特征參數,構建特征向量,并利用支持向量機(SVM)[16]方法對其進行分類,從而實現車位檢測。
為了解決傳統停車場車位檢測存在的問題,彌補基于傳感器與雷達檢測方法的不足之處,實現對車位的智能管理,本文提出一種基于改進YOLO(You Onlv Look Once)的停車場車位檢測方法,通過對YOLO算法的改進,得到一個檢測效果更好的檢測模型,以進一步提高停車場的智能化水平。
1相關研究工作
1.1YOLO介紹
YOLO算法是由Redmon等[17]于2015年首先提出的,其主要采用直接回歸的思路,對輸入圖像進行S*S的網格劃分,物體中心在哪個網格,哪個網格就負責對該物體進行預測,每個網格需要預測B個邊界框以及C個類別概率。YOLO通過設置閾值過濾掉概率低的候選框,再對保留的候選框進行非極大值抑制,即得到最終檢測結果。YOLO存在諸多缺點,如對于密集的小目標種群以及近距離目標檢測效果不理想、檢測結果定位誤差較大等。
2016年,Redmon等[18]。針對YOLOvl的缺點進行改進,提出YOLOv2網絡模型。YOLOv2網絡主要是在分類準確度不變的情況下,提高網絡的查全率及定位精度。YO-LOv2模型通過提高訓練圖像分辨率、在網絡中加入an-chor hox結構,以及利用卷積層替代YOLO vl中輸出層的全連接層等措施進行改進。YOLOv2網絡包含19個卷積層以及5個最大池化層,所以也被稱為Darknet19,最終YOLOv2模型在識別精度、定位精度、查全率等方面都得到了較大提升。
針對兩個近距離的同類或異類目標檢測問題,很多新算法不斷被提出,YOLOv3便是其中之一。YOLOv3網絡在近距離目標與小目標檢測上有很好的魯棒性,在一定程度上解決了這一問題。YOLOv3網絡是在YOLOv2模型基礎上,針對YOLOv2模型的一些問題作出改進,連續使用3x3和lxl卷積層;參考殘差網絡,在新網絡的一些層之間添加快捷鏈路,形成一個深度達到53層的網絡;利用多尺度特征進行對象檢測,通過獲得不同尺度的感受野,加強對不同尺度對象的檢測;用能夠支持多標簽對象的Logistic分類器替換YOLOv2模型中softmax[19]分類器。經過改進,最終提出了YOLOv3模型[20],也被稱Darknet53。
1.2 改進YOLO算法
本文通過減小YOLOv3網絡輸入分辨率、增大動量、增大權值衰減值、增大批尺寸、減小抖動、選擇合適的ig-nore_ thresh值等6種不同措施對原網絡進行改進,通過vo-lov3.conv.81預訓練權重進行加速訓練,并對各組參數用網絡搜索方法進行實驗,最終得到相對原網絡具有更高平均精度、查全率、查準率及平均IOU( Intersection over Union.IOU)的新網絡YOL0-288x288。
在損失函數中加入一些正則項可以防止網絡過擬合。在隨機梯度下降(SGD)中加入正則項對損失函數進行規范化。
由式(1)可知,權值衰減參數入越大,權重w則會不斷衰減。由式(2)可知權重w的衰減使得Z值不斷減小,實際上Z的取值范圍很小,因此激活函數呈相對線性,整個神經網絡會計算離線性函數近的值,該線性函數相對簡單且不會發生過擬合。權值衰減參數入越大,對過擬合的抑制能力越強。本文通過網絡搜索方式對0.0005(基準)、0.0010、0.0015、0.0020等4組參數進行訓練,結果顯示,當權值衰減取0.0015時,平均檢測精度最大,達到72.23%。
利用數據抖動可產生更多數據,防止過擬合。抖動是裁剪參數,抖動為0.2即在0-0.2中進行裁剪。在本文中,當抖動為0.2時,平均精度達到最大值72.32%,此時裁剪前后圖像見圖1、圖2。動量會影響梯度下降到最優值的速度,由式(3)可知,梯度下降法參數更新只與當前梯度有關。但動量梯度下降法是先求每個mini-batch的梯度,然后進行指數加權平均得到新參數Vv與Vv用于更新之前的參數。由于指數加權平均后的梯度中含有之前梯度更新方向的信息,所以利用指數加權平均之后的梯度對參數進行更新得出最終更新方向,是一種較優的梯度下降方法,其過程如式(4)所示。動量梯度下降算法不僅能夠增強穩定性,而且還能避免局部最優。若當前梯度與歷史梯度一致,則增強該梯度,反之,則梯度衰減以抑制震蕩,其作用效果如圖3所示。通過實驗,當本文動量取0.92時,平均精度達到最大值72.39%。
ignore_thresh是指參與計算的IOU閾值大小。ig-nore_t11-esh大小的選擇很重要,其決定參與loss計算的檢測框數量,igno-re_thresh值若過大則可能造成過擬合,但若ignore_thresh值過小,義會使參與計算的檢測框數量過多,并造成欠擬合現象。ignore_thresh通常會在0.5-0.7之間選取一個值,本文中ignore_thresh值取0.7時,平均檢測精度最高。
通常網絡輸入分辨率越高,對小目標的識別效果越好。由于全卷積網絡總共對輸入圖像進行了5次下采樣(步長為2的卷積或池化層),所以原圖應為最終特征圖的32倍。因此,輸入圖像大小應為32的倍數關系[21]。本文待檢測目標為空閑車位和有車的車位,兩者均不是小目標,且在圖片中都相對較大,所以通過對不同輸入分辨率的對比訓練實驗發現,當輸入圖像分辨率為288×288、輸出網格尺寸為9x9時檢測效果最好,平均檢測精度達到75.43%,其網絡結構見圖4。
批尺寸表示一次迭代訓練中輸入的圖片數量,批尺寸值越大,網絡訓練時間越長,但能夠找到更好的梯度下降方向,收斂的也越精細,因此在電腦顯存允許的情況下,需要盡可能地增大批尺寸值。但批尺寸值也不能過大,否則可能會陷入局部最優。綜上可知,合適的批尺寸值會使電腦內存利用率以及矩陣乘法的并行化效率都得到提高,一個epoch中迭代次數減少,并找到更好的梯度下降方向。過大的批尺寸值會使得電腦內存不足,訓練時間增長,對參數的修正也變得更加緩慢,梯度下降方向也基本不會因為批尺寸值的增大而再發生改變。本文通過增大批尺寸提高了平均檢測精度,當批尺寸為160時,平均檢測精度達到最優值80.56%。
1.3超參數優化結果
表l中所列為權值衰減、抖動、動量、ig-nore_thresh、網絡輸入分辨率、批尺寸等6個不同參數的數值組,用vo-lov3.conv.81預訓練權重對表1中的不同參數由上往下使用網絡搜索方法進行訓練,每次訓練次數為4000次,使得網絡的平均檢測精度、查全率、平均IOU、F1-score逐步得到提高,最終得到YOL0-288x288網絡模型。
通過網絡搜索方式對參數進行篩選,取其中的最優值。當權值衰減增大時,檢測效果有一定程度提高。當抖動增加時,檢測結果反而不如基準結果,但當抖動減小為0.2時,檢測效果義有一定程度提高。當動量與批尺寸值提高時,網絡可得到較好的檢測效果。網絡搜索比較后所確定的最終參數見表2。
2實驗與結果討論
2.1數據集準備
本文數據集主要通過網絡獲取、相機拍攝、三維建模3種方式獲取,其中包括不同時間段、不同光照條件、不同環境等多種情況下的不同圖片。本文數據集共包含493張圖片。其中355張圖片作為訓練集,138張圖片作為測試集。將數據集標注為A、B兩類,其中A是停有汽車的車位,B是空閑車位。數據集如圖5所示,其中包括有陽光的室外停車場圖像、傍晚室外停車場圖像、陰天室外停車場圖像、地下停車場圖像、三維建模圖像等多種不同條件下的圖像。
2.2實驗平臺
實驗主要在PC端完成,PC主要配置為:i7處理器,電腦運行內存為16G,GPU(GTX-1060),顯存為6G。開發環境為Vi-sual Studi0 2015,需要配置CUDA-9.0、C-UDANN-9.0、OpenCV3.0和YOLOv3物體檢測框架。
2.3實驗結果與分析
用YOL0-288x288網絡對darknet53.conv.7預訓練模型進行訓練,訓練次數為4000次,得到一系列檢測模型,訓練結果見圖6。由圖6可知,訓練到2200次時,檢測模型平均檢測精度最高,再分別令IOU=50與IOU=75對最優模型進行檢測,檢測結果見表3、表4。由表3可知,當IOU=50時,改進后網絡平均檢測精度提高了4%,達到90.5%,查準率降低了3%,為92%,但是查全率達到88%,相比改進前網絡提高了10%,平均IOU提高到75.75%,F1-score提高到0.9。當IOU=75時,改進后網絡的平均檢測精度、查準率、查全率、平均IOU、F1-score等都有大幅提高。從實驗結果可以看出,改進后網絡優于原網絡,相比改進前模型具有更高的檢測精度以及查全率,因此認為改進后的網絡更加可靠。
2.4測試結果對比分析
由于當IOU=50時,檢測模型的檢測精度較高,所以本文對IOU=50時改進后檢測模型與原網絡檢測模型進行測試,結果見圖7、圖8。在圖7(a)中從左往右,兩個空閑車位檢測精度分別為99%、96%。有車輛停放的車位檢測精度為91%,且檢測邊框位置不夠準確,而在圖7(b)中從左往右,兩個空閑車位檢測精度分別為99%、99%,有車輛停放的車位檢測精度為100%,且檢測邊框位置相對來說較為準確;在圖8(a)中從左往右,3個空閑車位檢測精度分別為95%、72%、91%,對于有車輛停放的車位并沒有檢測到結果,出現了漏檢,且檢測邊框位置不夠準確,尤其是從左往右第二個車位的檢測邊框位置與實際位置相差較大。在圖8(b)中從左往右,3個空閑車位檢測精度分別為100%、100%、100%,對有車輛停放的車位檢測精度為85%,且車位檢測邊框位置相對來說較為準確。由對比結果可以看出,由于改進后模型具有更高的平均檢測精度、查全率、平均IOU以及F1-score,所以檢測效果明顯優于
陳俊松,何白芬,張印輝:基于改進YOLO算法的車位白動檢測系統改進前模型,不僅檢測精度明顯提高,而且有更高的查全率以及更好的泛化能力與定位精度,不易發生漏檢情況。
3結語
本文提出一種基于改進YOLO算法的停車場空閑車位檢測方法,通過改變輸入網絡的分辨率、權值衰減、抖動、動量、ignore_thre-sh、批尺寸等不同參數進行優化調節,最終得到新的YOL0-288×288網絡。然后利用YO-L0-288x288網絡對包含不同時間段、不同光照條件、不同環境圖片的數據集進行訓練,最后得到一個相對改進前模型效果更好的檢測模型。當IOU=50時,其平均檢測精度達到90.5%,查準率達到92%,查全率達到88%,平均IOU達到75.75%,F1-score=0.9。實驗結果表明,該方法能滿足停車場空閑車位檢測需求,有利于智能停車場建設,進而推動智慧城市建設。在后續研究中將通過改進網絡層數、對不同圖像進行不同預處理等方法,進一步提高模型泛化能力與檢測精度。
參考文獻:
[1]史添添,曾潔,趙宏凱,等智能停車場的車位信息檢測及管理系統[J]電子設計工程,2017,25(4):185-188
[2]劉婧,關宏志,賀玉龍大城市中心區停車尋位研究[J].公路交通科技,2016,33(1):135-139.
[3]龐家成,徐新民.基于AMR磁阻傳感器的無線車位檢測設計[J].微型機與應用,2019,35(12):28-30.
[4]]祁海祿基于地磁和雷達檢測的無線車位檢測器設計[J]智能感知與儀器儀表,2018,37(7):78-81.
[5]宋向前,呂卅,趙蓉基于NB-IoT和地磁傳感器的車位檢測模塊設計[J].中外企業家,2018(8):133.
[6]ABAD F. BENDAHAN R, WYBO S,et al. Parking space detection[EB /OL].[2017-05-10].https://www.researchgat-e.net/puhlication/2287 1 6676_Parking_s-pace_detection.
[7]嚴曉明.一種基于改進幀差法的運動目標檢測[J].莆田學院學報,2011(5):69-72.
[8]李鍵,丁學明.視頻前景提取算法研究[J].軟件導刊,2018(2):135-139.
[9]張一楊,姚明林.基于KL變換和支持向量機的空閑車位檢測方法[J]機械設計與制造,2018(5):197-199.
[10]安旭驍,鄧洪敏,史興宇.基于迷你卷積神經網絡的停車場空車位檢測方法[J].計算機應用,2018,38(4):935-938.
[II]王梨,王飛,陳亮杰,等基于視覺分析的室內停車場車位檢測[J].軟件導刊,2019,18(4):13-15.
[12]俞汝劫,楊貞.基于深度卷積神經網絡的航空器的識別和檢測[J].計算機應用,2017,37(6):1702-1707.
[13]李玉罐,張婷.深度學習導論及案例分析[M].北京:機械工業出版社.2017
[14]李宇成,李國輝,趙興彩.基于ARM嵌入式系統的空閑車位檢測方法[J].科學技術與工程,2013,13(21):6118-6123.
[15]鄒初建,錢正洪,白茹基于三軸CMR傳感器的無線車位檢測系統[J]儀表技術與傳感器,2014(9):62-65.
[16]GHASSABEH Y A. Asymptotic stability of equilihrium points ofmean shift algorithmEJl. Machine Learning, 2015, 98(3):359-368
[17]REDMON J, DIVVALA S, CIRSHICK R. et al. You onlv look once:u nified, real-time object detection[C].CVPR, 2016.
[18]REDMON J, FARHADI A. YOL09000: better, faster, stronger[DB/OL J. https: //arxiv.org/pdf/1506.02640.pdf.
[19]LIU W,WEN Y. YL Z, et al. Large-margin softmax loss for conVolu-tional neural networks[C].Internatinnal Conference on InternationalConference on Machine Learning, 2016: 507-5 16.
[20]REDMON J,FARHADI A.YOLOv3: an incremental improve ment[DB/OL].https: //arxiv.org/pdf/1804.02767.pdf
[21]譚康霞,平鵬,秦文虎基于YOLO模型的紅外圖像行人檢測方法[J].激光與紅外,2018,48(11):1436-1442。
(責任編輯:黃健)
收稿日期:2019-07-09
基金項目:國家自然科學基金項目( 61761024,61461022)
作者簡介:陳俊松(1996-),男,昆明理工大學機電工程學院碩士研究生,研究方向為計算機視覺、深度學習;何自芬(1976-),女,博士,
昆明理工大學機電工程學院副教授、碩士生導師,研究方向為圖像處理;張印輝(1977-),男,博士,昆明理工大學機電工程
學院教授、博士生導師,研究方向為圖像處理、模式識別。本文通訊作者:何自芬。