基于多模式感知技術在共享單車停放監管的研究

張 成 范志恒 魯 駿 吳悅玲

（深圳市金溢科技股份有限公司，廣東 深圳 518000）

0 引言

共享單車以新興交通形態的形式在城市中發展，給人們出行帶來便利，共享單車的亂停放、區域異常聚集以及停車難等停放管理問題日益嚴重，共享單車停放問題成為廠商以及相關政府部門亟待解決的問題。

共享單車停放管理方案在實際應用中存在很多問題，例如基于GPS、北斗、藍牙、RFID定位技術與電子圍欄相結合的技術方案，存在定位精度差、無法判斷車頭車尾亂序停放、傾倒以及堆積等亂停放現象，定位模塊消耗大量電能會帶來供電問題。基于互鎖結構實現的技術方案，由于停放車輛被相互連接到一起，因此車輛移動維護不便。現有共享單車管理技術都不能兼容第三方共享單車進行整齊停放管理，也無法對亂停放車輛進行現場取證。

該文提出共享單車整齊停放管理方法，采用基于深度學習的視頻識別與UWB射頻高精度定位識別技術相結合的方法，對共享單車的位置、姿態等進行精準的停放管理，與停車管理系統相比具有明顯的優勢。該系統不僅對停車區域內的車輛位置進行停放管理，還實現了對車輛停放姿態、方向、兩車之間距離的監管，同時保存車輛停放現場圖像，為監管處罰提供依據。

1 視頻與射頻雙模識別技術研究

1.1 視頻識別技術

共享單車視頻識別技術通過攝像頭實時采集車輛指定停放區域的視頻圖像，根據深度學習識別模型，判斷所停放車輛的停放姿態，并且獲取在指定區域的車輛位置信息。通過對實時視頻圖像進行車輛識別，根據動態跟蹤技術[1]，可以篩選出正在停車過程中的車輛。最終，該模塊會將正在停車過程中的車輛的位置信息與姿態識別結果發送給共享單車停放數據處理模塊。

目前深度學習物體檢測算法很多[2]，經典的深度學習物體檢測算法有RCNN（Regions with CNN features）系列、SSD（Single Shot MultiBox Detector）和YOLO（You only Look Once）系列，在這3個系列的模型中，SSD和YOLO是Single Shot檢測器模型，模型的檢測速度更快。SSD在多個feature Map上進行多尺度預測，預測層是Detector/Classifier，是全卷積，而YOLO是全連接層。如圖1所示。

圖1 Faster R-CNN、SSD、YOLO檢測層示意圖

該項目采用的共享單車檢測模型是SSD目標檢測框架，包括sequeezenet-ssd、mobilenetv2-ssd等。預先設計的車輛停放姿態為直立停放、傾倒停放以及車身堆疊3類停車姿態。車輛停車姿態如圖2所示。

圖2 共享單車停車姿態

1.2 射頻UWB定位識別技術

UWB測距原理一般是雙向飛行時間法TW-TOF（Two Way-time of Flight）。UWB定位方法包括TOA（Time of Arrival）定位、TDOA(Time Difference of Arrival)定位和AOA(Activity On Arrow)定位3種。該文采用TDOA算法定位，TDOA技術不需要電子標簽與定位基站之間往復通信，只需要定位標簽發射一次UWB信號，工作時間短，功耗低，容易實現更高的定位動態和定位容量。并且TDOA定位只需要在基站之間進行同步，不需要在基站與電子標簽之間進行時間同步，基站的位置是固定不變的，所以TDOA定位精度會更高。

該定位系統是由安裝在停車區域4個角的基站、安裝在車身上的電子標簽和UWB控制器組成的。由于采用了4個基站同時工作的冗余設計，因此不受周邊無線通信設備的影響，抗干擾能力強，保證穩定的工作狀態。TDOA算法原理圖如圖3所示。

圖3 TDOA原理圖

該方法不僅可以定位電子標簽的精確位置，還可以通過廣播的報文傳輸電子標簽內存儲的關鍵車輛信息，其中關鍵信息包括共享單車的品牌、共享單車ID等信息。另外，由于共享單車在戶外使用，電子標簽采用太陽能充電的方式，可以解決定位模塊消耗大量電能所帶來的供電問題。

1.3 數據融合技術

通過實時接收視頻識別的車輛檢測識別數據，以及射頻UWB定位識別定位的電子標簽的數據，基于視頻檢測中共享單車的車身姿態數據、位置信息數據和電子標簽的精確位置等數據進行融合[3]，進而判斷該共享單車的停車行為是否符合停車規范要求。該項目引入了NTP（Network Time Protocol）服務，保證共享單車視頻識別和射頻UWB定位識別能進行時間同步。視頻數據與射頻數據的關聯配準時序如圖4所示。

圖4 視頻數據與射頻數據關聯配準時序

該技術分別實現了視頻和射頻對車輛姿態的檢測。在共享單車視頻識別技術中，基于視頻的檢測是通過車輛姿態檢測模型直接檢測出車輛停放時的車頭方向與停車姿態；基于射頻的車輛姿態檢測是在每輛共享單車上分別安裝2臺電子標簽，通過2個標定的坐標位置信息垂直投影到大地坐標系中的距離，來判斷車輛的車頭方向與停車姿態。射頻對車輛姿態檢測的狀態包括直立停放與傾倒停放。當車輛直立狀態時，2個電子標簽垂直投影到大地坐標系中的距離為D1；當車輛傾倒狀態時，2個電子標簽垂直投影到大地坐標系中的距離為D2，通過試驗數據可得其判斷共享單車姿態的閾值為0.38 m，其檢測的方法原理圖如圖5所示。

圖5 UWB姿態檢測方法原理圖

當檢測出的車頭方向與該指定區域要求的停車車頭方向相反時，即判定為停車車頭顛倒；當停車姿態出現車頭顛倒、車身倒地以及車輛堆疊的情況時，即判定為出現違規停車；通過電子標簽的精確位置數據即可以判斷相鄰車輛的停車距離。當停車距離過大時，，例如當停車距離大于1 m時，即判斷為停車不規范。

2 系統設計

該系統采用模塊結構化設計，主要由3個模塊組成，包括共享單車視頻識別模塊、射頻UWB定位識別模塊和共享單車停放數據處理模塊。系統的整體系統構成圖如圖6所示。

圖6 整體系統構成圖

3 系統軟件設計

共享單車智能監管系統軟件采用分層設計，主要分為數據訪問層、業務邏輯層和表示層。數據訪問層負責獲取硬件數據檢測信息，業務邏輯層負責通過獲取的數據判斷業務邏輯，表示層主要體現在演示中間件，用來顯示檢測結果與過程信息。

4 試驗驗證與分析

為了驗證深度學習視頻檢測與射頻識別定位技術的性能，該文在深圳科技園試驗場進行了共享單車智能監管系統的測試，試驗場景圖如圖7所示。分別進行共享單車違停識別的測試和姿態檢測的測試試驗。采用的測試工具見表1。

表1 測試工具表

圖7 試驗場搭建圖

該文利用3萬張單車樣本訓練Mobilenet-SSD模型，訓練誤差率0.1，測試集準確率為98%，深度學習視頻檢測效果圖如圖8所示。

圖8 深度學習單車檢測效果圖

4.1 定位精度測試

在測試場中，選定長30 m，寬20 m的停車區域，設定相機所在位置為該系統的坐標原點，通過共享單車智能監管設備對測試場中不同位置的共享單車進行定位檢測，每輛車重復定位5次，去平均值，定位車輛數量不少與10輛。其定位結果與全站儀測量的定位數據進行對比。試驗結果見表2。通過測試，智能監管設備的定位精度在0.2 m范圍內。

表2 共享單車智能監管設備定位精度

4.2 違停識別測試和單車姿態測試

通過在測試場地內劃定電子圍欄為停車區域，設定相機所在位置為坐標原點，通過共享單車智能監管設備定位單車的位置，以電子圍欄為依據判定單車的違停狀態（非違停車輛狀態In，違停車輛狀態Out）以及姿態測試。

針對違停識別測試，樣本車輛依次放在停車區域內、停車區域外不同位置；針對姿檢測試中車輛傾倒狀態、直立狀態進行不同位置測試。每個車輛重復測試5 次，測試車輛總數不少于20 輛，總共100 組數據。選取前20 組測試數據見表3。

表3 共享單車智能監管設備違停識別檢測與姿態檢測

通過計算，測試的違停識別準確率為96%，姿態檢測準確率為97%。

5 結論

該文將視頻深度學習技術和UWB射頻識別定位技術相結合，實現了對共享單車的智能監管，單車定位精度達到亞米級，單車違停識別率為96%，姿態檢測準確率為97%。采用該文方法能夠解決共享單車亂停放、入欄停車不規范、停放不整齊、不兼容第三方共享單車等問題，可以滿足共享單車精準監控的技術需求。