基于車載圖像的里程樁牌檢測及樁牌號識別

彭 帝 雷雪芹

（1.陜西交通控股集團有限公司，陜西 西安 710038；2.西安財經大學，陜西 西安 710100）

0 引言

公路交通行業以里程樁作為路線、路段長度或某一地點的參照標準［1］，用路況采集車來采集路況數據，由車載GNSS來定位路面病害位置。

光電傳感器只能檢測車輛行駛里程，無法準確定位車輛位置和方向。付開宇等［2］借助ArcGIS軟件對道路里程樁號進行推算，分別確定里程樁牌位置和里程樁牌號，但在構建道路線形時，將每一個轉彎位作為新的路段起點，即道路曲線由無數折線構成，不符合實際道路特征，且里程樁間距離計算的投影算法對應用環境要求高。趙祥模等［3］借助GPS 建立起視頻圖像公路信息管理系統，并將公路里程樁位置的關鍵視頻幀錄入該系統，內插得到每一幀在道路中的位置，從而建立路產信息管理系統。由于需手動錄入關鍵幀，該方法不適合大范圍應用。馬榮貴等［4］提出多傳感器信息融合的里程樁定位法，通過視頻來采集里程樁位置，并使用光電編碼器、陀螺儀來精確定位樁牌位置，但行車圖像為非連續的視頻，若任意一個公里樁牌號出現錯誤，全段道路定位錯誤。田智雁等［5］建立基于公路里程樁的公路數據采集平臺，通過現場測量、查閱資料等方式，獲取該平臺所涉及的公路基礎數據，但該方法的工作量大，部門之間的銜接要求高。

已有的方法大多基于車輛里程計、GPS 數據或視頻片段進行處理，從而推算出里程樁在道路中所處位置，并未結合連續視頻幀。其中，部分研究依賴采集人員的主觀行為，自動化程度低，不適合大范圍應用。為實現在衛星拒止環境下，利用里程樁牌號來獲取路面病害所在位置，本研究構建的路網信息庫包含道路編號、公里樁號、百米樁號及GPS 信息。當道路檢測車采集路面病害信息后，會及時捕獲車載GPS數據，并檢索路網信息庫，從而確定路面病害在路段中所處位置。

路網信息庫構建的關鍵是里程樁檢測和樁牌號識別。車輛在高速道路行駛過程中，靜態里程樁識別不符合實際場景定位需求。因此，本研究設計出基于視頻圖像的樁牌號檢測識別系統，設計思路如圖1 所示。視頻圖像中出現拖尾、模糊等現象，可先對視頻圖像進行預處理。①采用CLAHE 圖像增強技術來增強里程樁牌與圖像背景的對比度。②采用最大穩定極值區域（Maximally Stable Extremal Region，MSER）來定位樁牌的局部位置，并裁剪樁牌區域。③通過方向梯度直方圖（HOG）來提取樁牌所在區域的形狀特征。④以HOG提取到的特征集合為支持向量機（SupportVerticalMachine，SVM）輸入，實現對兩類樁牌圖像的分類。

圖1 基于車載圖像的里程樁定位及樁號識別系統

由于公里樁牌外形獨特、字體明晰、破損較少，可采用CRAFT 算法來提取公里樁牌號。而百米樁號目標較小，無法通過顏色特征與背景進行分離。處理方法如下：①由于百米樁牌外形呈圓形，可采用Hough 變換進行圓檢測，提取百米樁牌；②為提高車載設備的識別速度，采用基于多尺度梯度算子和局部像素隸屬度濾波的模糊C 均值聚類對百米樁樁號進行識別。

對樁牌號識別失敗的里程樁牌，結合前后正確識別出的樁號所對應的GPS 信息，用貝塞爾曲線來擬合兩樁牌間的道路線形，并使用等距等插值法來確定缺失樁牌的GPS信息。

1 里程樁目標檢測

1.1 里程樁視頻圖像采集

數據采集設備裝配模型如圖2 所示。攝像機安裝在車頂中線前端，使用有源線進行連接。使用度申科技相機進行采樣，其最大采樣頻率為24 FPS，像元尺寸為3.45μm×3.45μm，鏡頭焦距為3.5μm。車輛在行駛過程中，里程樁在T時刻進入相機視野，T'時刻離開視野。當里程樁離開相機視野時，車輛與里程樁間的距離最短，里程樁牌圖像質量較高，即T'時刻為關鍵視頻幀的時間戳。GPS 數據采集設備安裝在視頻采集設備正下方，該設備的天線具有信號增強功能，能預防多徑效應。

圖2 數據采集設備視野

1.2 里程樁牌定位

百米樁上層為綠底白字（用于標識百米段數），下層為白底綠字（用于標識百米段所處公里段）。公里樁為綠底白字，上層為公里段編號，下層為高速路編號。

高速公路上非必要不允許停車，無法獲取里程樁牌的靜態影像，可使用車載視頻進行里程樁定位及樁牌號識別。車載設備獲取的路牌圖像受行車環境、道路環境的影響，導致樁牌角度、尺度發生變化，影響里程樁牌檢測效率及樁牌號識別的準確度。為克服外界因素對圖像質量影響，可對圖像進行預處理。①采用CLAHE 圖像增強技術［6］，可避免視頻圖像出現色彩失真、樁牌區域細節丟失及樁牌邊緣模糊等問題，提高樁牌檢測效率。②使用MSER 來檢測不同視角的里程樁。里程樁號字符在整幅圖像像素中的占比小，對字符邊緣用形態學進行膨脹處理，并計算整個字符區域像素寬度及高度，以該高度和寬度為矩形截取樁牌號。樁牌號檢測如圖3 所示。由圖3 可知，不同角度和尺度的公里樁和百米樁在經過CLAHE 直方圖均衡化處理后，增強了里程樁細節信息，抑制了背景噪聲，使原本較小的樁牌目標突出。采用形態學MSER 檢測對里程樁所在區域進行閉操作，并計算字符區域的寬度和高度。根據字符區域的寬度和高度，對樁牌圖像進行裁剪，減少樁牌號識別的圖像尺寸、圖像像素信息，降低字符聚類網絡的計算量，提高樁牌號識別率。

圖3 樁牌號檢測

1.3 基于“HOG+SVM”的里程樁牌分類

由于采集到的里程樁牌圖像成像分辨率不高，且變化尺度較大，難以獲得精細紋理信息。方向梯度直方圖（Histograms of Oriented Gradients，HOG）對圖像邊緣及形狀的描述能力強，并具有對光照不敏感、平移不變性的特點［7-8］；SVM 分類樣本維度小、計算量小。因此，本研究使用HOG 的目標特征提取和SVM的目標特征分類對兩種樁牌進行分類。

1.3.1 HOG 字符特征提取。HOG 通過計算和統計圖像局部區域內的梯度方向直方圖來提取特征，其更關注形狀信息的分布情況。在具體邊緣位置未知時，邊緣方向的分布能很好地表示目標輪廓。HOG特征提取如圖4所示［9］，提取過程如下。

圖4 樁牌的HOG特征提取

①通過Gamma 校正來降低圖像局部光照變化產生的影響。

②將圖像劃分為若干單元格，計算每個單元格的梯度方向圖。

③將梯度直方圖合并為塊（Block），并計算每個塊的HOG特征。

④將每個塊的HOG 特征向量進行歸一化處理，降低特征向量受到的干擾。特征向量的歸一化函數見式（1）。

式中：ε為極小常數，防止分母為分別為v的L1、L2范數。

⑤生成HOG 特征向量。在圖像上以一個方格單元為步長對塊進行滑動，將塊的特征進行組合，得到圖像的HOG特征。

基于上述提取過程，每4 × 4的像素組成一個單元格，1 × 1個單元格組成一塊，每個單元格中有9個特征，則每個塊中也有9 個特征，將檢測窗口步長設置為4個像素，水平方向有3個掃描窗口，垂直方向有7個掃描窗口。此時，60×60的百米樁牌圖像共有3 ×7 × 9 = 189個特征。HOG通過圖像的像素梯度變化方向來反映樁牌輪廓信息，且對形狀、光照不敏感。

1.3.2 SVM 圖像分類。SVM 圖像分類不僅能減少計算量，還具有更好的分類速度與質量。其中，徑向向量機是基于SVM 圖像分類效果的關鍵。本研究選擇基于徑向基核函數的支持向量機分類算法。HOG 特征數據有部分噪點，易出現分類精度下降的問題，可通過構建邊緣像素分類超平面來解決該問題。

①構建SVM分類的目標函數，見式（2）。

式中：w為超平面權重；c為懲罰函數；ξi為松弛變量。

②根據SVM 分類機制，將式（2）轉換為凸優化問題，見式（3）。

由 于且ξi≥0，i=1,2,3,…,N，凸優化函數的解即為分類超平面的權重

④SVM分類最優超平面見式（5）。

1.4 基于CRAFT的公里樁牌號檢測

CRAFT 字符級文本檢測以單個字符為識別單位，再根據字符間的連接關系來確定最終的文本內容。CRAFT 特征提取主干網絡為VGG-16、Batchnormalization，解碼器采用U-net 方法。CRAFT 特征提取采用自上向下的特征聚合，輸出兩張特征圖，即單字符得分熱力圖（region score map）和相鄰字符連接關系得分熱力圖（affinity score map），將二者結合，采用連通域分析等圖像處理技術［10］，得到最終的文本內容。CRAFT文本識別流程如下。

1.4.1 高斯熱圖生成。自然圖像通過高斯熱圖生成region score 和affinity score。region score 為文字位置信息，affinity score 為文字間的連接關系。文本內部和文本外部的字符中像素點的位置不同，得分也不同。CRAFT 使用連續二維高斯分布對圖像進行高斯轉換，以減少非字符區域的細節信息，充分利用字符像素的位置得分［11］。將G85及G3002路段的相關公路里程樁牌圖像進行二維高斯轉換，生成的高斯熱力圖如圖5所示。

圖5 生成的高斯熱圖

由圖5 可知，字符中心與字符邊緣的色彩不同，字符中心的得分高、像素信息豐富，字符邊緣得分低、像素信息較少。圖5（a1）為公里樁牌的小尺度圖像，字符像素占整幅圖像的像素信息越多，字符中心的得分就越高。圖5（b1）為公里樁牌的大尺度圖像，其比小尺度圖像的像素信息更豐富，里程編號的像素占比多，字符得分高。公路編號所占像素較少，像素得分就較低。

1.4.2 數據標簽。每張公里樁牌圖像均可生成帶字符級邊框的region score 和affinity score，再生成ground truth label。字符標間的映射過程如圖6所示。由圖6 可知，與彩色圖像處理相比，灰度化處理能提高字符處理速度。通過高斯熱力圖的像素特征可獲取待檢測字符的檢測框CharacterBox，切割出待識別的單個字符，并獲取給定像素字符中心的概率（region score）。以對角線相連的交點為中心，得到兩個字符間的連接點，獲取相鄰兩字符間空白區域中心概率（affinity score）。將建成的affinity box作用在高斯熱力圖上，即可得到對應圖像的高斯熱圖標簽。

圖6 改進CRAFT文本識別網絡

采用下述步驟可近似生成region score 和affinity score 的ground truth：準備一個二維各向同性高斯映射；計算高斯圖區域和每個字符框間的透視變換；將高斯圖映射至字符框區域。訓練過程如下：從原始圖像中裁剪出字符級圖像；采用新region score 來預測每個像素點得分；根據字符像素點得分來判斷字符框數量和位置，并為每個字符生成字符標簽［5］；采用分水嶺算法來分割圖像框，采用字符邊界框來覆蓋區域；通過裁剪逆變換將坐標變換為原始圖像坐標。

由圖6 可知，公里樁牌圖像的角度、尺度并不影響CRAFT 識別效果，識別網絡的魯棒性高。視頻圖像可獲取同一樁牌的多張連續圖像，從而有效降低識別失敗的概率。

1.5 基于字符聚類的百米樁檢測

由于百米樁每隔100 m 布設一個，檢測量大，樁牌像素占比少，無法直接使用CRAFT 文本識別網絡。采用Hough 變換對百米樁進行圓檢測，精準定位百米樁所在位置，提高樁牌號的識別效率和準確率［12］。

百米樁牌號識別的關鍵是對百米段數字的識別，其下方公里段編號在公里樁牌號識別時就被正確識別出。由于百米樁的數量是公路里程樁的10倍，樁牌圖像樣本數量大，樣本中字符區域范圍小。基于聚類的字符識別算法的復雜度低、運行速度快，更適合車載設備的部署及快速識別。

模糊C 均值聚類（Fuzzy C-Means，FCM）受圖像噪聲影響較大，且字符聚類中心到鄰域窗口像素距離存在冗余計算，算法復雜度高，對計算設備要求也高，不適合在車載設備上部署。為解決上述問題，本研究提出多尺度梯度算子和像素局部隸屬度濾波的FCM 算法，通過形態學重建操作將圖像的局部空間像素信息吶入到FCM中［13-14］，保持圖像細節，以獲取精確的目標輪廓信息。將字符聚類中心與鄰域像素間的距離計算［15］改為像素區域間的局部像素濾波，不用計算局部空間鄰域像素與字符聚類中心像素的距離，能有效降低計算量［16］。

樁牌號區域在百米樁牌圖像中的占比小，使用本研究提出的字符聚類識別方法分別識別G3002和G85 路段的百米樁號，結果如圖7 所示。Hough 變換圓通過檢測界定感興趣區域，將百米樁牌從背景中分離出來。與傳統的梯度算子采用的閾值量化輸出邊緣斜率相比，多尺度梯度算子通過邊緣兩側的像素量化來確定。采用多尺度梯度算子識別，結果見圖7（a3）、圖7（b3），字符邊緣清晰，能很好去除部分局部像素中的‘谷底’，減少噪聲影響。基于局部像素濾波FCM 結果見圖7（a4）、圖7（b4），像素局部濾波能降低系統計算復雜度，字符像素占比越小，計算時間越短。大尺度圖像比小尺度圖像的像素占比更多，耗時更多。本研究提出的字符識別結果見圖7（a5）、圖7（b5），均能較好地識別出不同角度和像素占比不同的百米樁牌。

2 百米樁插值矯正

在采集數據過程中，除超車、換道外，車輛沿同一車道駕駛。采集GPS擬合的曲線始終與里程樁牌位置擬合曲線平行，完整的里程樁牌序列能構建出道路曲線線形。在對里程樁牌檢測識別過程中，出現樁牌檢測或識別失敗，會導致樁牌序列出現局部空洞。對缺失的里程樁牌，使用貝塞爾曲線［17］，并結合GPS 數據來擬合道路曲線，采用等距離插值算法來插值確定缺失的百米樁的GPS 信息，從而實現對斷裂里程樁牌的GPS 列表補充。具體方法如下：判斷程樁牌列表序列中首個公里段所缺失百米樁的個數N；采用貝塞爾曲線來擬合該公里段道路曲線線形；確定缺失的百米樁樁號X，并捕獲X前后相鄰的兩個公里樁牌號A、B；在［A，B］中采用貝塞爾曲線來擬合道路線性，以等距離插值方式，循環求出每一缺失百米樁H的GPS 信息。G3002 路段百米樁插值校正見表1。

表1 G3002路段百米樁插值校正

百米樁定位誤差取決于兩個相鄰公里樁的定位誤差。同時，要排除公里樁之間出現的多個百米樁人工安裝誤差d。通過對G3002 路段中K53～K54路段缺失的百米樁進行插值定位，以驗證上述方法的有效性。已知K53～K54路段的百米樁牌號9和7識別失敗，里程樁號GPS 序列斷裂，查閱GPS 信息表，捕獲缺失樁牌9和7前后兩個樁牌號對應公里樁的GPS 信息，用距離插值法來確定缺失百米樁所對應的GPS。通過貝塞爾曲線［18］來擬合道路曲線，在擬合曲線上等弧長取點，即該公里段內百米樁牌的GPS 信息。插值后的百米樁間距離均值與標準百米樁間距離（100 m）的距離差為插值誤差，由表1 可知，誤差值為0.087 2 m。

3 試驗結果分析

3.1 樁牌圖像檢測與分類

在G85 公路上共采集到7 769 張路牌圖像。其中，公里樁圖像1 165張，百米樁圖像6 604張。為驗證本研究提出的圖像分類方法的有效性，對G3002路牌圖像進行分類器訓練，再將在G85 上采集到的圖像送入訓練好的“HOG+SVM”圖像分類器中進行分類。同時，與決策樹分類器、樸素貝葉斯分類器、K近鄰分類器及隨機森林分類器進行比較。

用準確率（Accuracy）、查全率（Precision）和查準率（Recall）對分類結果進行分析，見式（6）到式（8）。

式中：TP為預測樣本為百米樁；TN為預測樣本為公里樁；FP為標識樣本是百米樁卻分類為公里樁；FN為標識樣本是公里樁卻分類為百米樁。

由式（7）、式（8）可知，FP和FN分別為分類失敗的百米樁和公里樁，Precision和Recall的值越大，分類錯誤的圖像數越少，分類正確的圖像數越多。分類器的分類效果如圖8所示。

圖8 分類器的分類效果

伯努利模型對模糊圖像、前景背景色彩變化小的圖像分類效果較差，出現多張無法識別圖像。K近鄰分類計算量大，且最為耗時，需計算每個K中心到每一個點的距離，計算量大，不適用于車載設備的部署，但準確率較好。本研究提出的分類方法的分類準確率要優于上述傳統機器學習法。

3.2 樁牌號識別

在實現對樁牌分類后，分別調用改進的CRAFT識別網絡和改進的FCM 對樁牌號進行識別。采用準確率和錯誤率對里程樁號檢測結果進行評估，見式（9）、式（10）。

式中：d為正確識別的里程牌數；D為路牌總數。

樁牌號識別結果見表2。總里程牌的正確識別率為93.29%，僅有6.71%的總里程牌識別錯誤。其中，百米樁牌目標較小，受換道、車速等的影響較大，有明顯的拖動模糊，其識別準確率為92.99%，而公里樁牌特征明顯、字體明晰，其識別正確率為95.02%。整個高速公路編號一致，任意一個公里樁的公路編號都能正確識別出一張樁牌圖像，即可完成路網信息數據庫中樁牌號的錄入。在同一公里段內，百米樁僅需正確識別百米段號即可。

表2 樁牌號識別

3.3 缺失樁牌插值

百米樁目標較小，易出現拒絕識別，導致百米樁序列出現局部缺失。需要對缺失百米樁進行插值校正，結果見表3。表3 中的百米樁3 在路網信息數據庫中并無記錄。觀察視頻圖像后發現，該路段正在施工，百米樁牌所在區域被完全遮擋，無法正確識別樁牌號。在K554～K555 中，先通過連續GPS 點來擬合該公里段內的道路線形，再采用等距離插值確定該缺失樁牌號的GPS信息，插值誤差為0.938 m。

表3 缺失百米樁牌插值校正

4 結論

針對GPS 在復雜路況環境下定位難、與公路里程樁聯系不緊密等問題，本研究通過對高速公路上的公里樁和百米樁進行識別，結合GPS信息，構建路網管理信息表，提高了道路定位的精度和效率。經過試驗驗證，得到以下結論。

①CLAHE圖像增強技術對后續采用MSER的里程樁提取及樁牌HOG特征提取發揮著重要作用。采用基于HOG特征提取的SVM 圖像分類方法，能有效解決小樣本、二分類中的問題，具有極好的性能，實現了對公里樁和百米樁的分類，便于后續操作中能合理調用樁牌號識別算法，提升系統檢測效率及精確度。

②采用加入灰度化模塊的CRAFT 文本檢測來識別公里樁號，能壓縮圖像存儲大小，提高檢測速度。采用基于多尺度梯度算子和局部像素隸屬度濾波FCM 來識別百米樁，且其檢測文件僅有1.4 MB 大小，適用于車載設備的快速部署。本研究提出的針對樁牌特性的樁牌號方法，對樁牌號檢測精度達到93.29%。通過樁牌號對應的視頻時間戳來調用GPS信息，可定位該樁牌的GPS位置信息，實現路網信息表中的樁牌號及對應GPS信息的錄入。

③針對樁牌序列中局部百米樁空洞問題，使用貝塞爾曲線來擬合道路線形，可確認缺失百米樁數目。根據已知公里樁的GPS 信息，采用等距離插值方式求出缺失百米樁的GPS信息。前后相鄰兩百米樁牌間距平均誤差為0.093 8 m，而《公路干線定位準則》對道路前后相鄰兩里程樁間的定位精度要求為20 cm，即該方法符合定位精度要求。與依賴于GPS加陀螺儀的定位方法相比，本研究提出的方法具有定位速度快、定位精度高、系統設備易于部署等優點。