基于EAST與CNN的鋼材表面字符檢測與識別方法

馮謙，陶青川

（四川大學電子信息學院，成都 610065）

0 引言

當前，國內各大鋼材生產企業正逐步將一些生產環節從人工操作轉變為自動化操作[1]。在鋼板的表面有鋼板的唯一編號，在測試試驗的各個環節，需要把鋼材編號與測試數據對應起來保存，以達到質量檢測的要求。因此如何在實際生產環節中利用計算機視覺方法來進行自動化字符區域檢測與識別，成為了一個亟需解決的問題。目前字符定位及識別的方式以人工目測法為主，效率不高且浪費人力。利用計算機視覺技術和神經網絡技術，可以大大提高檢測和識別的準確性和速度，并且可以減少對勞動力的依賴。本文旨在通過工業相機采集到鋼材表面圖片，再經過圖像處理和預先訓練的神經網絡進行識別，實時精確且快速地得到當前鋼材的編號。

近年來，在目標檢測和字符識別取得了一些比較突破的成果。目標檢測領域中，HOG結合SVM的方案是較為成熟的方案，提出時率先應用于自然場景中的人臉檢測[2]，之后在物體檢測中也取得了很好的效果[3]。傳統的OCR解決方案中，基于形態學的圖像處理往往能在特定場景的目標檢測取得很好的效果，例如發票票據信息檢測[4]，駕駛證證件信息區域檢測[5]。字符識別領域中，基于ANN的神經網絡對字符識別有著較高的識別率[6]。華中科技大學的白翔團隊受到Mask R-CNN的啟發提出了一種用于場景文本識別的可端到端訓練的神經網絡模型：Mask TextSpotter[7]。端到端訓練的方式可以省去字符切割的步驟，字符分割效果不好的情況下會對下一步字符識別造成一定的影響。在實際的工業生產線上，計算機普遍配置不高且不具有高端顯卡，對識別速度也要求較高。因此，需要一種網絡結構簡單，速度較快，能在較低配置計算機上正常運行的解決方案。

1 圖像預處理

盡管工業相機成像質量較好，但由于現場環境復雜、鋼材表面坑洼以及光照不均勻等多種原因，會造成圖像噪聲過多、過亮、過暗等情況，對后續檢測和識別造成影響。

圖1 圖像預處理流程

高斯濾波處理噪聲的同時較好地保留了字符的邊緣，對后續算法影響最小。

其中標準差σ是事先定好的常數，將求出的結果離散化為模板與原圖做卷積即可。

使用直方圖均衡化處理圖像整體較暗或較亮有較好的效果[8]。本文針對文本檢測的要求使用伽馬變換，突出文本區域信息，弱化背景區域信息。

將γ值設置為3以拉伸具有更高灰度級的圖像區域，即文本區域，同時，對灰度較低的區域進行壓縮，增強了圖像文本區域的對比度。

圖2 圖像預處理結果圖

由于字符區域位于整個鋼材的中央區域，因此在定位每一個字符的區域前先獲取整體文本的位置是一種普遍的方法。傳統的區域檢測算法包括圖像邊緣分割和形態圖像處理，以找到連接區域并獲得目標區域。一個強大的基于神經網絡的文本檢測算法——EAST text detector在場景文本檢測上具有優異的效果[9]。

EAST文本檢測器是一種基于新穎架構和訓練模式的深度學習模型。該方法使用單個神經網絡直接預測整個圖像中任意方向的四邊形文本行，消除了不必要的中間步驟，例如候選區域聚合和字符分割。模型可以分解為三個部分：特征提取器、特征合并分支和輸出層。最初可以使用卷積層和池化層交錯的卷積神經網絡進行預訓練，以獲得四級特征圖像。大小分別是原圖的1/32、1/16、1/8和1/4。合并分支的功能在特征合并部分中逐漸合并它們。要使圖形的大小加倍，然后與當前特征圖級聯。接下來是一個3×3卷積層，它融合了信息并最終產生文本合并階段的結果。輸出層對應于RBOX，由軸向邊界框和旋轉角度表示。

圖3 EAST網絡結構圖

圖4 EAST識別成多段文本

EAST文本檢測器有其缺點，一個文本區域有時會被檢測到多個文本區域，這不利于長文本的檢測。而最終需要整體的文本區域，因此需要將多個文本區域聚合。

基于長文本區域檢測的要求，改進了EAST方法的輸出層，使長文本預測更加準確。EAST是使用所有像素的預測頂點坐標的加權平均值計算最終的頂點坐標。而對于長文本的四邊形來說從短邊一側的若干像素來預測另一側的兩個頂點難度較大。因此設計了一個有頭尾方向的文本框邊界輸出層模式。頭部像素只負責預測其一側的兩個頂點，尾部像素負責另一側。

表1 改進后網絡輸出層

改進后網絡輸出層分別是第一位是否在文本框中，第二位和第三位是否屬于文本框邊界像素以及是頭還是尾。最后四位是邊界像素可以預測的兩個頂點的坐標。

運行模型預測得到輸出后，還需要根據輸出計算得出最后的文本框坐標，這個過程如下。由預測矩陣根據配置閾值得到激活像素集合；按先左右后上下的順序將相鄰集合合并生成其頭和尾邊界像素集合；每個邊界像素點預測值的加權平均值作為最后的預測坐標值。

圖5 改進后EAST文本檢測效果

2 字符區域矯正與分割

通過EAST檢測到的文本區域有著一定的傾斜角度，傾斜角度過大會對下一步的分割造成干擾。因此，有必要矯正圖片的文本部分以進行下一步。旋轉角度根據字符區域的包圍矩形的長邊與水平軸的夾角確定，旋轉中心根據字符區域的包圍矩形的中心點確定，根據以上結果計算仿射變換矩陣。

圖6 矯正效果圖片

對圖像傾斜矯正后需要將字符從背景中分割出來，一般采用Ostu算法或者Sobel算法。手動選擇閾值的方法不利于多種場景下的分割，因此需要自適應閾值選擇方法使用。選擇基于Ostu算法（最大類間方差法）的二值化操作對圖片進行處理。

對于閾值T，將圖像分為了目標點和背景點，其中目標點的比例為w1，像素平均值為 p1，背景點的比例為w2，像素平均值為p2。當閾值T求得上式類間方差值為最大的時候，可以確認閾值。

二值化后，可以通過搜索連接區域并找到正外界矩形來確定多個字符區域。對外部矩形寬度異常的字符進行個別判斷。運用列的線性掃描，在異常區域尋找上下輪廓的極小值，同時比照正常區域寬度進行分割得到切分正常的單個字符。將切分正常的單個字符順序輸入訓練好的卷積神經網絡得到最終的識別結果。

圖7 二值化后效果圖

3 卷積神經網絡

CNN是卷積神經網絡。LeNet5作為早期的卷積神經網絡很快應用在了支票上手寫數字的識別。21世紀后，隨著深度學習理論的發展和計算機設備的不斷完善，卷積神經網絡得到了迅速發展，并被廣泛應用于計算機視覺、自然語言處理等領域。

卷積神經網絡的結構有三部分，分別是卷積層、池化層和全連接層。在普通神經網絡的情況下，圖像的每個像素作為連接到所有像素的神經元將導致過多的參數。卷積神經網絡有兩種方法可以減少參數的數量。第一種是局部感知，由于圖像具有強相關性的特點，距離相近的像素相關性較強，距離較遠的像素點相關性較差。因此，每個神經元僅需要局部感知，并且僅需要卷積核心的像素數量的參數。另一種是權重共享，即每個卷積內核是一種提取特征的方法。只要確認了提取某一種特征的卷積核，就能對整個圖像學習到同樣的學習特征。為了使特征提取充分，使用多個卷積核，可以學習多種特征。可以計算圖像區域上的特定特征的平均值或最大值以表示該區域的特征。這些匯總統計特征不僅減少了特征的尺寸，而且使其難以過度擬合。此聚合操作稱為池化，這簡化了模型的復雜性和參數。在實際應用中，使用多層卷積，然后將完整連接層用于訓練。層數越多，學習的特征就越全局化。本文對鋼材表面圖片字符先進行粗略切割然后保存，將其中字符圖片分為數字0到9一共十類，分作訓練集和測試集兩個集合。運用LeNet5結構的卷積神經網絡對字符進行訓練，將訓練后的權值保存作為后續檢測的方法。

4 實驗結果與分析

實驗平臺：

處理器：英特爾酷睿i5-7300HQ

圖8 卷積神經網絡結構

顯卡：GTX 1050M

操作系統：Windows 10

系統內存：8G

在定位文本時，將改進后EAST文本檢測方法與傳統的掃描線檢測法以及單獨的EAST方法進行了對比，測試樣本共有1000個圖像，結果如表2所示。

表2

傳統的掃描線檢測法與單獨的EAST方法準確率相差不多，但單獨的EAST方法可以得到文本的角度信息。改進的EAST方法大幅提升了定位準確度，很好地解決了定位的問題。

本文對已有的鋼材表面圖片字符先進行切割然后保存，將字符圖片分為0到9一共10類，一共46889張訓練圖像以及4812張測試圖像。將卷積神經方法與人工神經網絡方法進行了比較，結果見表3。

表3

從表2-3看出，改進后的EAST在文本區域檢測上是性能最優的。字符準確切割后的識別使用CNN是準確度最高的。兩者結合能達到高準確度的結果。

5 結語

本文采用改進的EAST文本檢測方法對文本進行檢測，局部最小法對文本進行切分，并采用卷積神經網絡方法進行字符識別。保證了在較低配置的計算機上時間的快速性和檢測的準確性。經過測試，在測試集上獲得了95%的綜合識別率，能夠在實際生產中應用。