基于神經網絡的芯片表面字符檢測識別系統

唐銘豆，陶青川，馮謙

（四川大學電子信息學院，成都 610065）

0 引言

當前，在許多車間工廠需要對產品進行測試，在生產、試驗的各測試環節，需要將產品編號與測試數據一一對應地記錄保存，以滿足質量控制、跟蹤管理等方面的要求。而往往進行測試時，由于產品數量巨大以及產品失效等客觀原因，產品編號和測試數據是分開管理的，在對產品進行測試前，需要先對產品進行排序，產品編號的記錄工作通常采用人眼觀察排序的方式，效率低下并易出錯。而通過計算機視覺技術，利用模式識別及人工智能相關算法來實現器件編號的自動識別與記錄，可以極大地提高測試效率，提高準確率，減少人工，且實現產品編號和測試數據同時獲取與記錄保存，將非常有利于測試自動化程度的提高，對生產測試過程的效率起到極大的改善作用，并降低人工失誤帶來的損失。

在利用計算機視覺和神經網絡來進行檢測和識別文字字符在近年來也取得了一些成果。在目標檢測領域，S Ren等人在16年提出的Faster R-CNN[1]在ILS?VRC和COCO 2015比賽中檢測準確率都取得了第一名的成績，其檢測速度可以達到每秒5幀。而由J Redmon等人提出的YOLO[2]方法在檢測目標時速度更快，可以達到每秒45幀，但付出的代價是準確率會在一定程度上有所下降。而識別文字字符實際上是一個圖像分類的過程，利用圖像的HAAR,HOG,LBP特征來進行SVM分類是一種成熟的圖像分類方法，但具體選取哪種特征需要人為選定，在場景遷移上魯棒性不高。在這個領域比較著名的是Ian J.Goodfellow在2013年提出的街景多位數識別[3]，是基于CNN網絡，可以實現多位數字符的識別，但需要預先給出待預測的字符序列的最大長度。另外一種常用的方法是RNN結合CTC的方法，該方法不需要預先分割字符，直接對整行字符進行識別，但它的計算效率沒有CNN高，并且還有潛在的梯度爆炸和梯度消失的問題。無論是RCNN還是YOLO，在進行檢測時依賴于GPU的計算能力，在實際工業生產領域，考慮低功耗且由于GPU的成本過高，而直接使用CPU利用RCNN或YOLO檢測又存在時間過長的問題，因此提出了一種在低配置下利用傳統方法分割字符，CNN網絡識別字符來進行字符提取的方法。

1 系統方案

識別系統由軟件和硬件兩大部分組成，硬件部分主要完成圖像采集與傳輸，軟件部分負責對圖像進行處理，得到器件編號的識別結果，并將結果保存。硬件部分主要由相機、鏡頭、光源、支架、計算機組成。將相機固定于支架上，對器件（樣本）進行成像，采集的圖像通過千兆網傳輸給計算機。識別軟件對采集的圖像進行分析處理，輸出并保存識別結果。系統設計圖如圖1所示。

圖1 系統結構示意圖

算法流程圖如圖2所示。

圖2 算法流程圖

2 圖像預處理

當計算機得到相機采集的圖片后，雖然相機的分辨率很高，能夠獲得高清的芯片字符，但由于現場燈光環境復雜，會有少量光照不均勻的現象，在一定程度上會影響后續檢測和識別結果，因而需要對圖像進行預處理。

直方圖均衡化[4]在處理光照過亮或過暗時有很好的效果，其基本原理是將原圖的灰度直方圖進行拉伸，將原來直方圖灰度覆蓋范圍擴大，使得圖像局部的明暗對比度更大。首先根據式（1）求得圖像的灰度直方圖：

其中Pk是灰度的每一級，即0-255，rk是每一級灰度所對應的像素個數，n是整副圖像對應的所有像素個數總數。在均衡化時選取灰度的累積概率作為原圖到新圖的映射函數，根據式（2）求得圖像的累積直方圖：

再根據式（3）求得變換后新圖像素:

其中M為最大灰度級，Di為變換后新圖像素，F(Pk)代表灰度級為k時在原圖的累積概率。

預處理效果圖如圖 3（a）、圖 3（b）所示。

圖3

灰度直方圖對比效果如圖 4（a）、圖 4（b）所示:

圖4

由圖可見，整幅圖像的清晰度得到了極大的提高，同時也消除了一些噪點，有利于后續的檢測識別字符。

3 字符定位

由于字符位于芯片區域內，所以在對字符進行定位前先進行對芯片區域的定位可以提高對單個字符定位的準確度。根據芯片具有一定范圍內的長寬比，且是圖片中最大的連通區域這兩個特點可以很快定位出芯片區域。

首先對圖片進行二值化操作，二值化是為了讓目標跟背景分離，將圖片像素值與閾值進行大小比較，使得圖片只有黑白兩種顏色，閾值大小的選取直接關系到二值化后的效果。人工選取閾值具有太多的不確定因素，而大津法二值化[5]可以自適應的確定閾值即類間方差最大的閾值。設最終選取的閾值為T，圖像的高為M，寬為N，令小于等于閾值的像素點為目標像素點，大于閾值的像素點為背景像素點，設目標點的個數為N1，背景點的個數為N2，目標點占總像素點的比例為w1，目標點的平均像素值為 p1，平均灰度值為背景點的比例為w2，背景點的平均像素值為p2，圖像的平均像素值為p，設類間方差為g，則有：

由式（4）-（7）可以推出：

對于閾值T均有對應的類間方差值gt，若灰度級為255，則當閾值T從0取至255時，gt最大時，此時閾值即為求得的閾值。二值化后效果圖如圖5所示。

圖5 二值化后效果圖

在二值化完畢后對圖像進行查找連通區域[6]的操作，即查找像素值為255的連通區域。在查找連通區域時，采用一種基于路程的標記算法，只需遍歷一次圖像，相比輪廓搜索算法效率更高。

在定位出芯片區域之后重新對芯片區域進行二值化，二值化后并查找連通區域，再求得正外接矩形即可定出若干個字符區域如圖6所示。

圖6 字符定位效果圖

對于字符中寬度異常的字符如圖中的629矩形框，需要進行字符分割處理，分割時，求得該區域的上下輪廓邊界，如圖7所示。

圖7 “629”外輪廓示意圖

在參照其他已定位字符寬度的同時，對于上邊界輪廓，求得輪廓Y坐標的極小值，對于下邊界輪廓，求得輪廓Y坐標的極大值，而分割字符線就即為輪廓的極小極大值所在點的縱向切線，這樣就將原來的粘連字符分割為3個單獨的字符，通過以上方式即可完成字符的檢測定位。

4 卷積神經網絡訓練和識別

在圖像分類和圖像識別領域，卷積神經網絡已經取得了許多突破性的研究成果。卷積神經網絡[7]（CNN）由生物學家Hubel和Wiesel于20世紀60年代在研究貓的腦皮層時發現在對于神經元的選擇時具有獨特的網絡結構，并且可以使前反饋網絡的復雜性得到有效降低。卷積神經網絡的最大優勢是可以減少在前期對圖像的各種提取特征，而直接將原始圖像輸入到網絡中。用卷積神經網絡來進行識別和分類數字可以使得特征提取和模式識別兩個過程同時進行，且提取的特征是非線性的，意味著特征更復雜更符合，另外，輸入圖像可以通過監督自學習進行特征的提取和計算。LeNet5[8]結構的卷積神經網絡是Yann LeCun設計的用于手寫數字識別的卷積神經網絡，在圖像分類和識別方面效果顯著，利用其網絡來進行手寫體識別，準確率可以達到99%以上，結構圖如圖8所示。

圖8 結構圖

LeNet5結構由卷積層conv，池化層pool和全連接層組成。卷積層由多個特征平面組成，特征平面又稱作特征圖，特征平面里由一系列排列為矩形的神經元構成，權值由每個特征平面里所有神經元共享，而這里共享的權值即為卷積核，卷積核初始化時會賦予隨機小數矩形，經訓練后得到合適的權值。池化層又稱作子采樣層，子采樣可以看作一種特殊的卷積過程，通常有均值子采樣和最大值采樣兩種形式，通過池化層可以簡化模型復雜度，減少模型參數。卷積層和池化層并作一起，共同構成了特征抽取層，從原始圖像中提取合適的特征。卷積神經網絡的訓練過程與傳統神經網絡類似，和普通神經網絡類似，分為兩個階段。第一階段為向前傳播階段，首先從樣本集中取一個樣本（X,Yp），X為輸入向量，Yp為理想輸出結果，將X輸入網絡，從輸入層經過逐級的變換，傳送到輸出層。在這個過程中，網絡執行的是輸入與每層的權值矩陣點乘，如式（9）所示：

其中Qp為實際輸出，訓練的第二階段為向后傳播階段，當算出實際結果后，計算Qp與Yp的差，再按極小化誤差的方法反向調整權值矩陣。

在卷積層中將卷積核與前一層的所有特征圖（Fea?tureMap）進行卷積求和，再加上偏置量，輸入激活函數生成當前層的神經元，即構成該層不同局部特征的特征圖。卷積層的計算公式如式（10）所示:

在式（10）中，?為卷積操作，l為當前層，l-1為上一層，為第l層的第j個特征圖，為上一層的第i個特征圖，Wi,j為當前層第j個特征圖與前一層第i個特征圖之間的卷積核，為當前層的第j個特征圖的偏置量，M為當前層所有特征圖的數量，θ(·)為激活函數，這里可以使用Sigmoid或者ReLU來實現，激活函數使得訓練后得神經網絡具有稀疏性，可以很好地解決參數調整過程中梯度消失的問題，從而加速網絡收斂。

隨著層數增加，特征圖的個數也隨之增加，使得維度變大，網絡的計算成本增大，為了解決此問題，通常對特征圖進行下采樣降維，這就是池化層的作用，相當于選取了部分具有代表性的特征來代替原來全部的特征，通常采用最大池化（Max-pooling）操作來進行下采樣，若下采樣的窗口的大小為n×n，則經過一次池化層后，特征圖大小為初始特征圖的1/n2，其計算公式如式（11）所示：

在經過最后一次池化層后，接入全連接層，由于要求此時輸入必須是一維數組，在完成池化操作后的特征圖轉換為多個一維向量，再以串聯形式連接起來，形成的特征向量作全連接層的輸入。全連接層上的每個神經元的輸出計算公式如式（12）所示：

其中，hw,b(x)為神經元的輸出，x為神經元的輸入的特征向量，w為權值向量，b為加性偏置。

經全連接層輸出后接入最后的分類層，在分類層中，每一個神經元輸出待測樣本所屬類別的概率值，最終選取概率值最大的神經元作為待測樣本的分類結果。

從以上可知，訓練過程就是神經網絡的向前傳播以及反向傳播過程，而測試過程就是只包括神經網絡的向前傳播過程。

5 分類結果對比分析

在定位字符時，與掃描線檢測字符以及Faster RCNN定位方法進行了對比，結果如表1所示：

表1

將CNN分類方法與利用LBP、HOG特征來進行SVM分類方法進行了對比，結果如表2所示：

表2

測試環境均為Windows 10操作系統，CPU型號為Inter i5-4200U，內存4G，樣本總數為33070個，其中訓練樣本為23149個，待測試樣本為9921個，將樣本分為37類，其中包括數字字符10類、英文字符26類以及其他字符1類。從表1、表2可以看出，連通區域法在時間性能上是較優的，CNN在性能上是較優的，兩者結合能達到快速且高精度的效果。當字符歷經檢測分割識別后，字符間根據坐標對應關系可整理成多行字符，并輸出結果。

6 結語

OCR一直是圖像處理領域的熱點，有著十分廣泛的應用場景，本文采用輪廓方法檢測字符，用深度學習的方法識別字符，既保證了時間上的快速性，又保證了極高的準確率。經大量測試，在Intel i5處理器的計算機配置下，平均檢測識別準確率大于95%，平均識別時間小于0.1秒，單個字符最小識別尺寸為1.5mm×1.5mm，能夠在實際生產線中穩定工作運行。

參考文獻：

[1]Ren S,Girshick R,Girshick R,et al.Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2017,39（6）:1137.

[2]Redmon J,Divvala S,Girshick R,et al.You Only Look Once:Unified,Real-Time Object Detection[C].IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,2016:779-788.

[3]Goodfellow I J,Bulatov Y,Ibarz J,et al.Multi-digit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks[J].Computer Science,2013.

[4]任艷斐.直方圖均衡化在圖像處理中的應用[J].科技信息，2007，（4）:37-38.

[5]李了了，鄧善熙，丁興號.基于大津法的圖像分塊二值化算法[J].微計算機信息，2005（24）:76-77.

[6]高紅波，王衛星.一種二值圖像連通區域標記的新算法[J].計算機應用，2007,27（11）:2776-2777.

[7]周飛燕，金林鵬，董軍.卷積神經網絡綜述[J].計算機學報，2017,40（6）:1229-1251.

[8]Zhao Z H,Yang S P,Zeng-Qiang M A.License Plate Character Recognition Based on Convolutional Neural Network LeNet-5[J].Journal of System Simulation,2010,22（3）:638-641.