基于深度學習的微觀芯片字符識別系統

李曄彬，劉娟秀，王旭東，王興國

(1.電子科技大學 光電科學與工程學院, 成都 610054; 2.電子科技大學 智能顯微技術聯合研究中心， 成都 610054)

1 引言

在工業芯片生產過程中，廠商往往在每一顆生產的芯片表面上加工字符，芯片字符由一串數字和字母組成，作為芯片的唯一標識，以方便芯片整個生命周期的追溯和管控。目前，現有工業芯片上的字符識別方法存在效率低、精度和魯棒性差等一系列問題，而且流程復雜，需要人工全程在現場勘誤并記錄結果，無法滿足工業現場的字符智能化識別需求。相較于傳統方法，深度學習就體現出巨大的優勢。深度學習可以讓計算機自動學習樣本特征，并將特征學習融入到建模的過程中，從而減少人為設計特征的不完整。目前深度學習在OCR領域的主要應用是宏觀自然場景下字符識別和文檔識別兩大方面，而對于微小半導體芯片上的微觀字符進行光電成像識別還尚未有大量的應用。

本文中將深度學習應用到微小半導體芯片上的微觀字符識別，提出了一種基于深度學習的面向顯微光學的智能字符識別系統，顯著提高了識別正確率，實現工業芯片字符識別的智能化。

2 檢測與識別算法設計研究

本文中提出的OCR系統分為文本檢測、方向分類和文本識別3個階段，3個階段分別訓練深度模型最后進行串聯檢測。文本檢測基于最新的DBNet模型，負責檢測圖像中的字符區域并將文本框變成水平方向。方向分類基于一個二分類網絡，可判斷文本是否是顛倒的，如果是則旋轉180°再識別。文本識別使用一個基于CNN的字符識別模型，可處理檢測到的文本框，識別其中包含的字符。本文中提出的OCR系統結構如圖1所示，在識別過程中，首先將訓練好的深度學習模型部署在服務器上，然后通過顯微鏡采集芯片的顯微圖像并上傳到服務器，圖片在服務器端經過深度學習模型的識別推理之后得到相應的識別結果并返回給前端界面，在前端界面可以實時查看識別結果，從而能夠更好地反饋指導芯片前段的工藝制造過程。

2.1 文本檢測模型

本研究中檢測的目的在于定位圖像中的字符區域。在OCR系統中，使用基于分割的DBNet文本檢測算法，可以得到字符區域的包圍框，而且DBNet的后處理比較簡單，整體推理速度非常快，方便實際應用。為了提升檢測速度，將DBNet的特征提取器更換為了MobileNetV3。文本的檢測模型結構如圖2所示，首先圖像后經過特征提取器和特征金字塔(feature pyramid networks，FPN)得到4張大小為原圖的1/4、1/8、1/16、1/32的特征圖，然后將這些特征圖分別上采樣至原圖的1/4大小，并將它們進行特征融合，得到特征圖，由得到概率圖(probability map)和閾值圖(threshold map)，通過和計算可以得到近似二值圖B(approximate binary map)。最后根據B計算損失函數，反向傳播進行參數優化。

其中分別通過一次卷積操作和兩次反卷積操作得到和，其中卷積操作的卷積核大小為3×3，反卷積操作的卷積核大小為2×2，卷積步長為2。具體過程為先經過卷積層，將通道壓縮為輸入的1/4，然后經過歸一化和ReLU激活函數計算得到相應的特征圖；然后將得到的特征圖進行第一次反卷積操作，得到的特征圖大小為原圖的1/2大小；再進行第二次反卷積操作，輸出的特征圖通道為1，其大小與原圖大小相同；最后經過sigmoid激活函數，輸出概率圖和閾值圖。

最后和是經過一個可微分二值化公式，計算得到了近似二值圖B。由于標準二值化的結果只有0和1兩個值，導致訓練過程中梯度不可微，無法使用梯度下降法優化網絡。為了解決梯度不可微的問題，文本檢測引入了可微分二值化

(1)

式中：其為概率圖；為閾值圖；為放大倍數。

圖1 面向顯微光學的智能字符識別系統結構示意圖

圖2 檢測模型結構示意圖

2.2 方向分類器

由于芯片上的字符序列都是橫排的文本行，為了保證后續字符識別階段的效果和效率，希望檢測模型輸出的文本框都是水平的且字符是正向的，如圖3(a)所示；如果文本行是傾斜或顛倒的則會導致后續識別錯誤。這里通過檢測框矯正和方向分類器來實現。文本檢測模型輸出的包圍框是一個不規則的四邊形，由4個頂點的坐標來表示。為了將其變為規則的矩形，通過仿射變換將這個四邊形變成水平方向(長邊在水平方向)或豎直方向(長邊在豎直方向)的矩形，并對于豎直方向的矩形將其旋轉90°變為水平方向。經過上述處理后所有輸出檢測框變為水平方向的檢測框。然而矩形框內的文字內容可能是180°顛倒的，如圖3(b)所示。經過大量實驗驗證，字符識別網絡對于倒立的字符識別效果不佳。因此，使用一個基于二分類網絡的方向分類器判斷文本框的旋轉角度是0°還是180°，如圖4所示，并根據分類結果將旋轉后的文本框輸入至字符識別網絡進行識別。

圖3 方向分類數據示例圖

圖4 方向分類器網絡結構示意圖

2.3 文本識別模型

文本識別階段是基于CNN模型和CTC損失來生成每個字符的轉錄，如圖5所示，首先圖片經過特征提取器ResNet34得到特征圖，將其輸入至全卷積網絡中得到特征序列以及它的概率分布，最后經過CTC解碼得到最終的輸出結果。因為芯片字符序列中字符與字符之間無明顯上下文關系，所以不需要使用顯式的遞歸模塊或者任何注意機制，而是直接生成每個字符的概率。卷積操作可建模字符之間的交互關系，計算效率更高。

圖5 識別網絡模型結構示意圖

該模型使用CTC損失進行訓練，它解決了2個問題，一是不需要字符級的標注，只需根據神經網絡輸出的特征向量和相應的ground-truth(GT)文本輸入到CTC損失函數中進行計算。二是對于解決編碼重復的字符，通過引入一個偽字符(比如空格)，在編碼時可以在任意位置插入任意多的空格，在解碼時刪除空格，但是必須在重復的字符之間插入空格。CTC損失理論上可以預測任意長度的文本。

3 實驗過程

3.1 數據來源與數據標注

模型訓練所需的芯片圖片數據由四川光恒公司提供，芯片型號為DFB半導體芯片。通過光學成像顯微鏡拍攝芯片字符圖片共得到2 026張。原圖為1 280×960像素大小的圖片，其中字符區域只占了很小一部分，需要對原圖進行標注，得到模型訓練所需的圖片和對應的標簽。

首先使用矩形框將字符區域在原圖中框出并記錄從矩形框的左上角開始順時針依次得到的4個點坐標即文本檢測網絡需要的標簽。然后將矩形框中的區域從原圖中裁剪出來，并將其中的文字內容記錄下來得到字符識別網絡所需的圖片和標簽。最后把識別所用標簽的文本內容替換為0°和180°，就得到方向分類器所需的標簽。

3.2 數據擴充與增強

為了能夠獲得良好的字符識別性能，數據集應包含較大數量的芯片圖像數據，尤其是包含所有可能出現的字符且各個字符的分布是均勻的，否則可能導致部分字符識別錯誤。然而獲取大量數據需要花費較長時間且人工標注較昂貴，此外DFB半導體芯片未進行大批量生產，數量有限。因此所收集數據集中圖像數量較少，不足以訓練字符識別網絡，需要進一步對數據集進行擴充。統計了數據集中各個字母和數字在訓練樣本中出現的頻次，對于出現頻次較少的字符進行數據擴充處理。具體的擴充手段是通過傳統圖像處理的方法，將待擴充的字母或者數字剪切出來，然后將它們與其他字母和數字進行隨機組合從而得到一批新的數據。合成圖像與其對應的標簽如圖6所示。

圖6 數據合成示例圖(左側為合成數據 右側為對應標簽)

合成前后的數據集如表1所示。合成前后數據集中各個字符的分布情況如圖7、圖8所示。

表1 合成前后的數據集

圖7 數據擴充之前各個字符數量統計直方圖

圖8 數據擴充之后各個字符數量統計直方圖

考慮到實際工業環境的復雜性，顯微鏡采集到的原始圖像存在幾何位移和光照不均勻等問題，會對檢測識別造成較大影響，所以在網絡的每一輪訓練過程中使用數據增強提高算法的魯棒性。數據增強方式包括：隨機旋轉、隨機模糊、隨機銳化、隨機亮度、隨機噪聲。

3.3 評價指標

在深度學習中，Precision是檢索到的相關實例的比例，Recall是實際檢索到的相關實例總數的比例。精度-查全率(PR)曲線是精確值在軸上，查全率值在軸上的圖表。是曲線與軸、軸所圍成的面積，是目標檢測中廣泛使用的評價指標。對于檢測任務，使用Precision、Recall和Hmean來衡量模型的性能，公式如下：

Recall()：可與預測框匹配的真值框占所有真值框的比例。

(2)

Precision()：可匹配真值框的預測框占所有預測框的比例。

(3)

Hmean()：為和的調和平均數。

(4)

式中：代表正類判定為正類；代表父類判定為正類；代表正類判定為負類；代表負類判定為負類。

對于識別模型，使用正確率和誤檢率作為衡量指標，正確率是正確識別的圖片數占所有圖片總數的比例，誤檢率代表將一張正常圖像識別錯誤的概率。

精度的計算是基于對整個驗證集的預測統計量的準確性。為了精確計算，一個預測只有在預測字符和真值完全匹配時才被計算為正，準確率指標提供正確識別單詞的百分比信息。

推理時間：檢測模型的推理時間表示為檢測所花費的時間和計算圖像中所有可見文本邊界框的時間。識別模型的推理時間表示為運行識別模型識別每個檢測文本框所花費的時間。使用單個GPU下檢測和識別串聯推理運行時間作為系統最終的推理時間，單位為秒(s)。

4 實驗結果及分析

在文本檢測階段使用1 826張圖片作為訓練集，剩余200張作為測試集。在字符識別階段將擴充后的數據集劃分為訓練集和測試集，分別為21 549張圖片和2 400張圖片。方向分類器同樣使用擴充后的訓練集和測試集。

本文的算法基于paddlepaddle框架，環境：Window 10(64bit)Intel(R)Core(TM)i7-5960xmCPU@3.00GHz,NVIDIA GeTorce GTX 1080 Ti GPU。

同時，在云端完成識別推理之后，用戶不需要再去工業現場回收結果，可以直接在云端工作臺遠程查看、統計并分析識別結果，如圖9所示，極大地提高了效率并簡化了整個工業流程。

圖9 云端可視化識別結果界面

在該OCR系統中，文本檢測部分是推理過程中計算量最密集的部分同時也是最耗費時間的部分。考慮到實際的工業現場中的高實時性和易部署的需求，選取了DBNet作為檢測網絡，因為它可以在分割中執行二值化操作，自適應設置二值化閾值，簡化了后處理，使得它相較于其他檢測網絡更加高效。并且對比了不同backbone下DBNet的性能。backbone這個單詞原意指的是人的脊梁骨，后來引申為支柱，核心的意思。在神經網絡中，尤其是計算機視覺(CV)領域，一般先對圖像進行特征提取(常見的有vggnet，resnet，谷歌的inception)，這一部分是整個CV任務的根基，因為后續的下游任務都是基于提取出來的圖像特征去做文章(比如分類，生成等等)。所以將這一部分網絡結構稱為backbone。更換對比了backbone后最終選取了MobileNetV3作為文本檢測網絡的backbone，如表2所示，在保持較高檢測精度的情況下提升了模型的運行速度同時使模型更加輕量，方便在終端部署。

表2 不同Backbone下檢測網絡性能參數

對于文本識別模型，因為其計算量相較于文本檢測要小很多，訓練和推理的速度都很快，所以更關注它的正確率指標。同樣也對比了不同backbone下識別模型的性能，在考慮了速度和準確率之后選取了ResNet-34作為識別網絡的backbone，如表3所示。

表3 不同Backbone下識別網絡性能參數

此外，深度學習里面所謂的卷積運算是將圖像矩陣中，從左到右，由上到下，取與卷積核同等大小的一部分，卷積核滑動的同時，每一部分中的值與卷積核中的值對應相乘后求和，最后的結果組成一個矩陣。滑動卷積核時，我們會先從輸入的左上角開始，每次往左滑動一列或者往下滑動一行逐一計算輸出，將每次滑動的行數和列數稱為步長。步長的作用就是成倍縮小尺寸，比如步幅為2，輸出就是輸入的1/2；步幅為3，輸出就是輸入的1/3。以此類推。

本文中所使用的芯片圖像經過檢測網絡之后會得到一個矩形的文本框切片，然后這個文本框切片作為輸入進入到識別網絡。由于這個文本框的長寬比相對較大也就是它的寬度本身就比較小，如果在識別網絡訓練過程中對寬度方向不斷進行下采樣壓縮，那么豎直方向的特征就很不清楚。因此，只對水平方向進行下采樣。也就是說，將所使用的骨干網ResNet-34的水平卷積步幅更改為2，垂直卷積步幅更改為1，盡可能保留寬度上的序列信息，以保留更豐富的文字信息。

經過訓練測試在測試集上的識別準確率由0.986提高到0.987，識別精度提高了0.001。

最后為了檢驗該OCR系統的性能，在測試集上對比了現有的幾種常見的OCR識別算法，如表4所示。

表4 幾種字符識別算法結果

由于圖片中待識別的字符區域占整張圖像的比例較小，并且是短文字行，所以一些基于回歸的目標檢測算法如 Faster-RCNN和主流的識別算法如CRNN效果并不理想。端到端的識別算法雖然模型更小、速度更快，但并沒有針對顛倒的文本行做特定的處理，所以對顛倒的文本行雖然可以準確檢測出字符區域卻無法準確的識別。本OCR系統采用了DBNet文本檢測網絡和基于CNN模型的字符識別網絡，并針對顛倒的文本行專門加了方向分類器進行角度判斷，在工業芯片字符的識別中實現了準確率高達99%識別效果。綜上對比分析，本OCR系統在工業芯片字符識別中具有更高的性能。

表5 測試結果統計

5 結論

2) 通過數據增強、數據擴充和網絡優化，有效對背景進行抑制，正確識別工業環境下光照不均勻、芯片臟污等復雜背景下的芯片字符圖像。

3) 所設計的OCR系統速度達到平均0.56 s/張，識別結果在云端遠程查看，無需人工現場回收結果，有效地節省了人力、提高了效率，對實現工業智能化檢測具有重要意義。