基于深度學習的輪胎標識點顏色識別

張 奇，于 源

（北京化工大學機電工程學院，北京100029）

1 引言

隨著我國經濟水平的顯著提高和汽車制造技術的不斷創新，對汽車行業而言，機遇與挑戰并存，質量管理和品質保證成為企業生命鏈中最為關鍵的一環。輪胎是汽車上一個重要避震器，對成品輪胎要進行嚴格的動平衡測試和均勻性測試，采用具有不同顏色和形狀的標識點在輪胎上標記出重要位置和信息，用于輪胎及其配件安裝時的配重平衡。因此，在輪胎出廠前應確保輪胎上的標識點完整且正確。傳統的輪胎標識點檢測方法是利用人工對輸送線上運動的輪胎進行標識點識別，工作強度大，工作環境相對惡劣，易產生視覺疲勞，出錯率較高，無法保證識別準確率和檢測效率。

近年來，智能制造為制造業升級和轉型提供了突破性技術手段［1］，機器視覺又為智能制造迅速發展提供了有利的技術支撐，利用機器視覺對輪胎外觀和以及對輪胎磨損等的監測受到企業越來越多的關注［2］。輪胎標識點識別作為輪胎智能檢測的重要一環，得到了德國和日本等國家智能測試儀器研發公司的高度重視。例如，國外某公司開發的IRIS-M 系統［3］和國外某公司研發的Identity CONTROL TMI 8303.I 閉環控制系統［4］可進行在線輪胎標識點識別。國外某公司提出了一種輪胎標識點識別裝置，完成輪胎標示點的打印以及識別［5］。可以看出，上述輪胎標識點識別系統主要側重系統整體解決方案并未涉及圖像處理技術層面。事實上，要保證輪胎標識點自動識別的性能指標，除了機器識別硬件設備和控制系統作保障，還需要有優良的圖形處理技術。文獻［6］通過使用背景相減法實現輪胎定位。文獻［7］提出使用支持向量機的方法識別輪胎標識點的顏色。國內外關于輪胎標識點自動識別的圖形處理方法和智能算法屈指可數。為提高輪胎標識點在線識別的正確率，將輪胎標識點顏色識別分為標識點預定位和基于深度學習對其進行分類這兩個步驟進行，即在提高輪胎定位精度和標識點定位精度的基礎上，利用深度學習對標識點進行顏色識別，旨在為后續的輪胎標識點形狀識別和完整度計算奠定基礎，實現智能工廠對輪胎標識點顏色識別的嚴格要求，為輪胎工業智能檢測技術奠定基礎。

2 輪胎圖像采集

輪胎圖像采集系統，如圖1所示。當輸送線上的輪胎通過條碼∕RFID讀碼器時，讀碼器將該輪胎條碼發送至上位機。上位機通過遠程訪問的方式從MES（Manufacturing Execution System）對該條碼進行匹配，并獲取輪胎品號、輪胎規格、輪胎標識點信息等基本信息。輪胎通過光電開關，根據預設延時觸發光源和相機，當輪胎經過彩色CCD工業相機和光源時，獲取輪胎圖像，并傳送至上位機進行圖像處理和識別。上位機的配置為：CPU 為Intel（R）Core（TM）i5-3470M，主頻3.2GHz，內存4G，GPU 為Nvidia GT1030，操作系統為64 位Windows10，實驗軟件平臺為Visual Studio 2015 以及OpenCV3.2.0。采集得到2000 張500 萬像素的輪胎圖像，圖像高度和寬度分別為2056像素和2454像素。其中1250張輪胎圖像用于深度學習的訓練和測試，750張輪胎圖像用于驗證算法的有效性。

圖1 輪胎圖像采集系統示意圖Fig.1 The Diagram of Tire Image Collection System

3 基于Hough變換的輪胎定位

通過輪胎定位確定輪胎內外徑間的區域即獲得了標識點的有效區域，可以減小傳送帶上的反光點對白色標識點粗定位造成的影響，同時也能夠提升輪胎圖像處理的速度，因此輪胎定位是輪胎標識點識別的前提。輪胎定位首先在輪胎圖像中定位輪胎的內徑圓，利用從MES中獲取的輪胎規格信息中內徑和外徑的比值來確定輪胎的外徑，從而定位輪胎區域。輪胎內徑在采集的輪胎圖像中形狀特征比較明顯，輪胎內徑圓定位的精度決定了輪胎定位的精度。定位輪胎的內徑圓，需要使用邊緣檢測算子檢測輪胎的邊緣輪廓。Canny算子常用于邊緣檢測，該方法不容易受噪聲干擾，并且可以檢測到圖像的弱邊緣［8］。故使用Canny算子檢測輪胎內徑圓。

最小包絡圓和Hough變換是兩種常用檢測圓的方法。當使用Canny算子檢測到的輪胎內徑圓不連續或者部分殘缺（＞50%）時，使用最小包絡圓的方法不能準確定位輪胎的內徑圓，而使用Hough變換的方法能夠準確定位輪胎內徑圓，這種方法是將平面空間中圖像輪廓點映射到參數空間，根據同一個圓的累加值對候選圓進行排序，累加器值最高的圓即為解［9］。

在采集的圖像中，如圖2（a）所示。由于不同輪胎內徑亮度存在差異，使用Canny算子時，較高的強邊緣閾值會導致內徑亮度較低的弱邊緣無法被檢測到，如圖2（b）所示。導致Hough變換不能檢測到輪胎內徑圓。通過迭代法逐步減小Canny算子的強邊緣閾值，直到檢測到相對完整的輪胎內徑圓輪廓，如圖2（c）所示。在其基礎上通過Hough變換得到輪胎內徑圓。

圖2 Canny檢測器檢測圖像Fig.2 Canny Detector for Image Detection

基于Hough變換的輪胎定位計算流程為：

（1）使用高斯濾波器對輪胎圖像進行濾波后，對圖像進行兩次金字塔下采樣，用以在保證圖像信息不被丟失的同時提升圖像處理速度。

（2）設定Canny算子的強邊緣閾值初始值Th，并設定強邊緣閾值的下限值Tl；

（3）使用Canny算子檢測圖像的邊緣輪廓；

（4）使用Hough的變換查找輪廓圖像中的內徑圓，如圖3（a）所示。

圖3 輪胎定位結果Fig.3 Result of Tire Location

（5）當沒有檢測到輪胎內徑時，遞減強邊緣閾值Th，重復步驟（3）～步驟（4），直至找到內徑圓；當Th = Tl時，若沒有找到輪胎內徑圓，可確定此圖像中沒有輪胎。

（6）使用內徑和外徑的比值得到輪胎的外徑圓，從而定位輪胎的位置，如圖3（b）所示。使用基于Hough變換的輪胎定位方法對輪胎圖像進行輪胎定位，驗證集輪胎圖像為750張，其中定位準確輪胎的圖像為748張，定位存在偏心的圖像為2張，圖像處理速度為每張圖片0.03s。

4 輪胎標識點顏色識別

4.1 候選輪胎標識點獲取

通過輪胎定位，得到了標識點在圖像中的有效區域。輪胎標識點常見的顏色有紅色、黃色和白色三種，其顏色差異比較明顯。顏色直方圖常被用來描述顏色特征，表征不同的色彩在整幅圖像中的分布信息，適合描述那些難以用邊緣、閾值等方法分割的圖像。直方圖反向投影反映直方圖模型在測試圖像中的分布情況。圖中每一個像素點表示某個顏色特征的概率，如果這個點越亮，就說明這個點屬于該特征的概率越大。因HSV顏色空間中可對色調（Hue，H）飽和度（Saturation，S）分別進行表征，更能體現不同顏色特征之間的差異，故通常將圖像從RGB顏色空間轉化為HSV顏色空間，計算H-S顏色直方圖。輪胎標識點的顏色特征對其大小、方向、形狀依賴性較小，因此，采用H-S顏色直方圖反向投影獲取候選輪胎標識點。紅色標識點基準圖像對輪胎圖像的H-S 顏色直方圖反向投影圖，如圖4 所示。輪胎標識點原始圖像，如圖4（a）所示。圖4（b）中的高亮區域，表征屬于紅色標識點基準圖像的概率很高，且與圖4（a）中紅色標示點位置一致。

圖4 紅色標識點反向直方圖投影Fig.4 The Color Histogram Back Projection of a Red Marking Point

獲取候選輪胎標識點計算流程為：

（1）分別建立紅色標識點和黃色標識點直方圖基準模型，將RGB格式輪胎測試圖像轉換為HSV格式后，再分別計算H和S通道的顏色直方圖；

（2）分別使用紅色標識點直方圖基準模型和黃色直方圖基準模型對輪胎測試圖像生成反向投影圖；

（3）將生成的直方圖反向投影圖二值化，然后進行形態學閉運算，將部分不連續的像素形成連通域，并且剔除面積較小的區域，最后得到的區域作為候選輪胎標識點，獲取候選紅色和黃色輪胎標示點。

（4）對于白色標識點在灰度圖像下采用固定閾值將圖像二值化，對得到的二值化圖像做形態學閉運算，然后剔除面積過大和過小的區域，最后得到的區域作為白色候選輪胎標識點，獲取候選白色標示點。

利用上述算法在1250 張輪胎圖像上獲取候選標識點共計4367個，其中，70%用于標識點顏色識別訓練集，30%用于標識點顏色識別測試集，部分候選標識點，如圖5所示。

圖5 候選輪胎標識點Fig.5 Candidate Marking Points

4.2 輪胎標識點顏色識別模型構造

可以看出，得到的候選輪胎標識點中，存在部分非輪胎標識點的圖像。使用深層卷積神經網絡對候選標識點進行分類，將候選標識點分為非輪胎標識點，紅色標識點、黃色標識點以及白色標識點四種類別。卷積神經網絡通過誤差反向傳播學習卷積層中權重，可以自動提取圖像中的特征，相比傳統計算機視覺方法和人工設計的特征，卷積神經網絡在圖像識別，目標檢測等領域有非常廣泛的應用，并且具有很高的精度［10］。通過構造一種基于深度學習的卷積神經網絡模型，即顏色分類器，對候選標識點顏色進行分類，即進行識別，如圖6 所示。首先通過（5×5）的卷積（conv）獲得相對較大的感受野，再通過一個（3×3）的卷積提取圖像中的特征；使用3個Residual塊［11］，解決網絡隨著深度增加而帶來的網絡退化問題；每個Residual 塊之間連接有最大池化層（max_pool）；使用神經元數目為50的全連接層（fc）將卷積提取到的特征映射到一維維度，減少特征位置對分類帶來的影響；最后為一個神經元數目為4的全連接層，代表模型要輸出的4個類別，即紅色、白色、黃色標識點以及非輪胎標識點。網絡模型激活函數使用Relu函數，模型中使用的Batch Normalization，加快網絡的收斂速度，并且減小過擬合，損失函數使用交叉熵損失函數。將樣本圖像統一至（48×48）像素，作為卷積神經網絡模型的輸入，采用隨機梯度下降法對分類器進行訓練，設置初始學習率為0.001，動量因為為0.9，批量樣本數目為128，訓練輪次為25，訓練損失在前3輪急速下降，隨訓練輪次增加趨于穩定，如圖7所示。經過訓練后，該分類器對測試集的測試準確率達到99.97%。

圖6 卷積神經網絡結構模型Fig.6 Model of Convolution Neural Network

圖7 卷積神經網絡訓練過程Fig.7 Training Process of Convolution Neural Network

4.3 輪胎標識點顏色識別結果

使用上述算法對驗證集中750張輪胎圖像進行測試。這些輪胎圖像中實際包含1407個輪胎標識點，通過3.1節算法獲取候選輪胎標識點2520個，包含1405個實際標識點（白色標識點583個、黃色標識點109個、紅色標識點713個），分析其原因，發現其中未召回的2個標識點，是由于通過形態學閉運算容易將面積較小的輪胎標識點漏掉。錯誤定位的標識點1115個，主要是由于在使用閾值分割的方法預定位白色的候選標識點時，容易將部分背景點以及條碼等作為候選的標識點。

將2520個候選輪胎標識點送入3.2節建立的深度學習模型中進行分類，標識點識別正確1404個（白色標識點582個、黃色標識點109個、紅色標識點713個），1個白色標識點被識別為非輪胎標識點（漏檢）。非輪胎標識點中有1個被識別為白色標識點（誤檢）。基于受試者工作特征（Receiver Operator Characteristic，ROC）曲線對輪胎標識點顏色分類器性能進行評價。ROC曲線以特異度（假陽性率）為X軸，以敏感度（真陽性率）為Y軸［12］。其中Area Under Cure（AUC）是一種評價分類模型性能優劣的指標，指ROC曲線與坐標軸圍成的面積。AUC值越大，分類器性能越好。分類器識別出的紅色標識點、白色標識點、黃色標識點和非標識點的ROC曲線，如圖8所示。可以看出四種類別的Area Under Cure（AUC）指標值均大于0.99，這是由于上述顏色識別分類器具有很好的泛化性能，能夠對候選標識點進行準確識別。對上述750張輪胎圖像標識點識別結果進行綜合分析：漏檢輪胎標識點3個，誤檢輪胎標識點1個。使用召回率和精確度衡量算法的準確性，其中召回率為識別正確的輪胎標識點個數（1404）與實際包含輪胎標識點個數（1407）的比值，計算值為99.78%；精確度為識別正確的輪胎標識點個數（1404）與被召回的輪胎標識點個數（1405）的比值，計算值為99.93%，且處理速度為每張圖片0.04s。由于輪胎定位的處理速度為每張圖片0.03s，所以整個圖像的處理速度為每張圖片0.07s。

圖8 輪胎標識點顏色識別分類器四種類別ROC曲線Fig.8 ROC Curves of Four Categories for Color Recognition of Tire Marking Points

5 結論

提出一種基于深度學習的輪胎標識點顏色自動識別算法：（1）使用Hough變換對輪胎定位獲取標識點有效區域，再利用顏色直方圖反向投影獲取候選輪胎標識點，完成標識點預定位，以提高輪胎定位精度和標識點定位精度；（2）建立基于深度學習的卷積神經網絡模型，對候選輪胎標識點進行分類，完成標識點顏色識別。（3）該算法在保證識別精度的同時提升了標識點識別速度，避免了采用機器視覺傳統方法或者深度學習目標檢測的方法對整個圖像進行大量計算而引起的實時性差等問題。（4）對750條輪胎進行算法驗證，綜合分析結果是：輪胎標識點顏色識別的召回率為99.78%，精確度為99.93%，且識別速度為每張圖片0.07s，滿足智能工廠中對輪胎標識點顏色識別的高精度和實時性要求。