基于多示例深度學習與損失函數優化的交通標志識別算法

張永雄 王亮明 李東

摘 要： 為了解決當前交通標志種類繁多和所處環境多變，導致智能識別正確率不高的問題，提出基于多示例深度學習的交通標志識別算法。根據樣本圖像塊與其對應的標簽設計一個包含顏色、幾何、區域特征的訓練集，得到樣本特征與標簽的對應規律；根據權重修正反饋，推導包與標簽的邏輯關系，建立多示例訓練學習算子，準確分類交通標志。進行訓練集損失函數計算，通過最優分類器響應減少訓練數據損失。最后，基于大數據樣本驅動形成背景約束，從而去除示例中模棱兩可的訓練數據，完成交通標志的準確識別。基于QT平臺，開發相應的識別軟件。實驗測試結果顯示，與當前交通標志識別技術相比，所提算法擁有更高的識別正確性與魯棒性，且對各類交通標志具有較高的識別準確率，在智能汽車、自動交通監控等領域具有一定的應用價值。

關鍵詞： 交通標志識別； 損失函數優化； 訓練集； 多示例； 深度學習； 背景約束

中圖分類號： TN911.73?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2018）15?0133?04

Traffic sign recognition algorithm based on multi?instance deep learning and

loss function optimization

ZHANG Yongxiong1， 3， WANG Liangming2， LI Dong1

（1. School of Software Engineering， South China University of Technology， Guangzhou 510006， China；

2. School of Computer Science & Engineering， South China University of Technology， Guangzhou 510006， China；

3. Guangzhou College of Technology and Business， Guangzhou 510850， China）

Abstract： Since the current traffic signs recognition algorithm has low intelligent recognition accuracy due to its various types of traffic signs and changeable environments， a traffic sign recognition algorithm based on multi?instance deep learning is proposed. According to the image block of samples and its corresponding label， a training set including color， geometry and regional characteristics is designed to obtain the correspondence rule between the sample characteristic and tag. On the basis of feedback of weight correction， the logical relation between package and label is derived， and the learning operator of multi?instance training is established to classify the traffic signs accurately. The loss function of training set is calculated by means of the optimal classifier response to reduce the loss of training data. The background constraint is formed on the basis of large data sample driver， so as to eliminate the ambiguous training data in the instance and accomplish the accurate recognition of traffic signs. The corresponding recognition software was developed with QT platform. The experimental results show that， in comparison with the current traffic signs identification technology， the proposed algorithm has higher recognition accuracy and robustness. The algorithm has high recognition accuracy for various traffic signs， and a certain application value in the fields of intelligent vehicle and automatic traffic monitoring.

Keywords： traffic sign recognition； loss function optimization； training set； multi?instance； depth learning； background constraint

0 引 言

隨著城市汽車保有量的上升，在交通擁堵和事故日益多發的背景下，主動安全駕駛技術越來越受到企業和人們的重視。作為主動安全駕駛技術的核心之一，交通標志識別在主動安全系統中有著重要的作用，當駕駛員由于疲勞未注意交通標志時，自動識別算法可以準確及時地識別并提醒駕駛員，由此可以避免發生交通事故，達到主動安全駕駛的目的[1]。目前交通標志識別的難點在于標志種類繁多，且每種標志隨著天氣、時間和季節會發生視覺特征的變化，從而使得樣本量巨大，對識別算法的抗干擾性提出了挑戰[2]。

為此，在交通標志識別方面，國內研究人員已經取得了一定研究成果。文獻[3]提出基于優化卷積神經網絡結構的交通標志識別算法，綜合批量歸一化（BN）方法、逐層貪婪預訓練（GLP）方法，以及把分類器換成支持向量機（SVM）這三種方法對卷積神經網絡（CNN）結構進行優化，提出基于優化CNN結構的交通標志識別算法。但是，此技術未充分考慮交通標志樣本的海量多變，往往影響了識別準確性。文獻[4]提出基于分塊自適應融合特征的交通標志識別算法，交通標志由外部輪廓和內部指示符號組成。HOG特征可較好地描述圖像輪廓但易受噪聲影響，而LBP特征對圖像細節刻畫好，提出基于分塊HOG?LBP自適應融合特征的交通標志識別方法；通過分塊計算梯度直方圖得到的權重系數判斷該塊是屬于輪廓還是內部指示，前者選擇HOG權重大，后者選擇LBP特征權重大，將自適應串行融合后的特征送入支持向量機識別。然而，這種技術思維仍然是算法驅動，而不是大數據驅動，在交通標志超出樣本范圍時往往不準確。

為提高交通標志的識別率，本研究以數據驅動的思維提出多示例深度學習算法，完成大數據樣本的收集整理標注工作；綜合特征向量（顏色、幾何和區域特征），建立數據訓練?算法的邏輯推導關系；最后加入訓練集損失函數計算，進一步去除特征數據冗余，完成對交通標志的準確識別。

1 本文交通標志識別算法

人類大腦學習過程主要是根據過去的經驗形成總結或者規律；計算機學習過程，就是根據已有數據進行樣本訓練，得到分類器或者擬合函數的過程。以學習過程分類，其中分為監督學習、半監督學習和非監督學習。其中，監督學習中每個訓練樣本都有已知標記，半監督學習中部分樣本沒有標記，而非監督學習中樣本都沒有標記[5]。

多示例學習中有：包（bags）和示例（instance）兩個概念。包由多個示例組成，本研究中一張幅圖片就是一個包，圖片分割出的圖像塊（patches）就是示例。在多示例學習中，包帶有類別標簽而示例不帶類別標簽，最終目的是給出對新的包的類別預測[6]。由于用于訓練分類器的示例是沒有類別標記的，但是對于包所屬標簽定義卻存在類別標記，因此，在本文中，多示例學習是介于監督學習與無監督學習之間且不同于半監督學習的一種學習方法。另外，在本文多示例學習機制中，如果一個包里面存在至少一個被分類器判定標簽為“+”的示例，則該包為正包，反之，若其示例均被分類器判定標簽為“-”，則其為負包[6]。

在本文中，當一個bag的標記為A時，這個bag里面所有數據的標記都是A；當一個bag的標記為B時，這個bag里面至少有一個數據的標記為B，目標是把每種交通標志，即每個包分別歸類。如圖1所示，圖中交通標志種類繁多，即本研究的識別對象。

1.1 基于多示例深度學習算子的標志分類

本研究首先設計一個訓練集[X]，其中[Xi]代表訓練集[X]中第[i]個包，每個包含有一系列示例，如有[m]個示例：

2 實驗與討論

為了體現本文算法的優勢，將交通標志識別性能較好的技術，即文獻[3?4]設為對照組；并基于QT平臺開發識別軟件。執行算法實驗參數為：多示例模型分子= [38，96，12，4]，特征模型為[12，7，57，34]。

本文開發的交通標志系統界面如圖4a）所示，系統功能具有實時視頻開啟、主動安全開啟、多示例學習、深度學習、智能識別等。本研究先設計訓練集，包含顏色、幾何、區域特征，建立包與標簽的關系，然后進行損失函數計算，得到最優分類器，如圖4b）所示，本文算法能夠準確識別交通標志。

利用對照組文獻[3]技術，把分類器換成支持向量機（SVM），這三種方法對卷積神經網絡（CNN）結構進行優化，提出基于優化CNN結構的交通標志識別算法。但是，此技術未充分考慮交通標志樣本的海量多變，往往影響了識別準確性，如圖4c）所示，識別有誤差，左上角標志識別錯誤。

利用對照組文獻[4]技術，通過分塊計算梯度直方圖得到的權重系數來判斷該塊是屬于輪廓還是內部指示，前者選擇HOG權重大，后者選擇LBP特征權重大，將自適應串行融合后的特征送入支持向量機識別。然而，這種技術思維仍然是算法驅動，而不是大數據驅動，在交通標志超出樣本范圍時，識別往往不準確，如圖4d）所示，識別有誤差，右下角標志識別錯誤。

為了進一步測試三種算法的穩定性，基于本文整理的500 000個交通標志作為測試數據庫，測試結果見表1。由表1可知，本文算法的穩健性最高，在這種大型樣本庫中，其準確識別率為96.3%，而文獻[3?4]兩種算法的準確識別率要低于所提算法，分別為91.7%，93.4%。這表明所提交通標志識別算法具有更理想的穩健性。

3 結 論

為了解決交通標志識別算法容易受到標志種類變化和環境時間變化的干擾，導致交通標志識別系統存在識別力不足，影響系統功能實現。本文分別從大數據樣本收集標注、多示例深度學習、集成智能識別出發，提出基于多示例深度學習的交通標志識別算法。基于大數據樣本與深度學習算法彌補了傳統算法驅動技術的不足，即將規則人為寫入程序；而本研究采用數據驅動的深度學習技術，不僅賦予系統更多的智能反饋自調節，同時保證了識別精度與穩定性。實驗結果表明本文交通標志識別算法具有更高的準確度和穩定性。

參考文獻

[1] 謝錦，蔡自興，鄧海濤，等.基于圖像不變特征深度學習的交通標志分類[J].計算機輔助設計與圖形學學報，2017，29（4）：632?640.

XIE Jin， CAI Zixing， DENG Haitao， et al. Classification of traffic signs based on image invariant feature depth learning [J]. Journal of computer aided design and computer graphics， 2017， 29（4）： 632?640.

[2] KR??K E， TOTH ?. Traffic sign recognition and localization for databases of traffic signs [J]. Acta electrotechnica et informatica， 2011， 11（4）： 31?35.

[3] 王曉斌，黃金杰，劉文舉.基于優化卷積神經網絡結構的交通標志識別[J].計算機應用，2017，37（2）：530?534.

WANG Xiaobin， HUANG Jinjie， LIU Wenju. Traffic sign re?cognition based on optimized convolutional neural network [J]. Computer applications， 2017， 37（2）： 530?534.

[4] 戈俠，于鳳芹，陳瑩.基于分塊自適應融合特征的交通標志識別[J].計算機工程與應用，2017，53（3）：188?192.

GE Xia， YU Fengqin， CHEN Ying. Traffic sign recognition based on block adaptive fusion feature [J]. Computer enginee?ring and applications， 2017， 53（3）： 188?192.

[5] ZHOU Shusen， ZOU Hailin， LIU Chanjuan. Deep extractive networks for supervised learning [J]. Optik： international journal for light and electron optics， 2016， 127（20）： 9008?9019.

[6] FARIA A W C， COELHO F G F， SILVA A M. A new approach for multiple instance learning based on positive instance selection and kernel density estimation [J]. Engineering applications of artificial intelligence， 2017， 59（12）： 196?204.

[7] 劉占文，趙祥模，李強，等.基于圖模型與卷積神經網絡的交通標志識別方法[J].交通運輸工程學報，2016，16（5）：122?131.

LIU Zhanwen， ZHAO Xiangmo， LI Qiang， et al. A traffic sign recognition method based on graph model and convolutional neural network [J]. Journal of traffic and transportation engineering， 2016， 16（5）： 122?131.

[8] ZHONG Jingjing， TSE P W， WANG Dong. Novel Bayesian inference on optimal parameters of support vector machines and its application to industrial survey data classification [J]. Neurocomputing， 2016， 211： 159?171.

[9] YU Yongtao. Bag?of?visual?phrases and hierarchical deep mo?dels for traffic sign detection and recognition in mobile laser scanning data [J]. ISPRS journal of photogrammetry and remote sensing， 2016， 11（7）： 36?39.

[10] OUERHANI Y. Advanced driver assistance system： road sign identification using VIAPIX system and a correlation technique [J]. Optics and lasers in engineering， 2016， 12（2）： 71?76.