基于改進CTPN的駕駛證打印信息檢測方法*

高劉雅, 孫 冬, 高清維, 盧一相, 黃志祥, 吳 丹

(1.安徽大學 電氣工程與自動化學院,安徽 合肥 230601；2.安徽大學 計算智能與信號處理教育部重點實驗室,安徽 合肥 230601；3.安徽超遠信息技術有限公司,安徽 合肥 230088)

0 引 言

文本檢測是文本識別的前提條件,許多傳統方法[1～3]在文本檢測任務上采用的都是bottom-up的縱向檢測,先檢測目標圖像中的字符,再將字符串成最終要標注的文本線,因為簡單低級的字符更容易被準確識別出來。文獻[4]中指出,文本檢測的難點在于非字符組件的過濾以及進一步驗證檢測到的文本行的準確性。在復雜場景下,文本語言的多樣性以及文本字符排序的多層次化、文本行的方向性、手工設計特征等因素都使得文本檢測的魯棒性和可靠性較低。正如文獻[3]中所述,目前流行的bottom-up場景文本檢測方法會在復雜模糊的場景下逐漸累積檢測中的錯誤,降低最終的準確性。針對上述問題,近年來提出了許多基于深度學習的技術方案,它們從邊緣[5]、手工特征提取[6]、文本字符置信度[7]等角度分別對傳統目標檢測方法進行了改造,極大地提升了復雜背景下圖像中文本檢測的準確率。論文根據2016年Tian Z等人[8]提出的 CTPN文本定位檢測原理,在預處理階段引入兩幀相減的幀間差分法[9],并通過加入非極大值抑制(non-maxima suppression,NMS)算法進一步精簡檢測框,提升檢測效果。從對比實驗的結果看,改進的CTPN文本檢測在駕駛證打印過程中的文本信息檢測上用時更短,效果更加魯棒。

基于CTPN模型,本文首先在預處理階段引入兩幀差分法,對打印的駕駛證圖像進行差分運算去除背景,幀間差分差法的優點在于不受拍攝過程中微弱的光照變換的影響；其次,采用VGG—16網絡的前5個卷積層輸出作為圖像的特征,并在第5個卷積層上使用基于滑動窗口的方法,檢測圖像中字符的候選區域；最后,引入NMS算法對文本行進行細化分割,提高檢測的精度。

1 CTPN模型

CTPN[8]是針對水平或微斜的文本行提出的文本檢測方法,駕駛證的文本打印嚴格遵循水平排序,同一文本行的每個字符間可以互為上下文,訓練模型時檢測模型就會自動學習上下文之間的統計規律,以提高預測階段的準確率。

1.1 特征提取網絡

CTPN模型在提取局部圖像特征時,采用經典的VGG—16作為基礎網絡,其擁有的5個卷積段通過卷積層之間的參數共享和局部連接減少整個網絡的計算參數量,不包含全連接的VGG—16網絡模型示意如圖1所示。

圖1 VGG—16網絡模型的前5層結構示意

網絡使用前5個卷積(Conv)層即可進行深度特征的提取,每個卷積層后接入最大池化(max pooling)層,其中前4層均采用3×3的卷積核和2×2的最大池化層,卷積層不改變輸入矩陣的大小,但加深了矩陣的深度,可以獲取更多的特征；最大池化層用于縮小圖片尺寸,將長寬變為1/2,可以認為是降低了圖像分辨率,減少了網絡的參數。

本文提取第5個卷積層作為待檢測圖像的特征,Conv_5后不再接入最大池化層,而是設計一個循環神經網絡(RNN)層,將Conv_5上的滑動窗口產生的每個特征作為下一節點的連續輸入,同時提出加入雙向LSTM(BLSTM)層提取文本序列的上下文特征,BLSTM的雙向鏈式結構可以遍歷許多遺漏文本,減少了文本檢測的錯誤。BLSTM的網絡結構如圖2所示,是一個無環圖,網絡的輸出既考慮前一刻因素的影響,也考慮下一刻因素的影響,更能適應長度不同的文本序列,使算法更具魯棒性。

圖2 BLSTM網絡結構

BLSTM網絡建立在RNN層的LSTM結構基礎上,通過雙向鏈式連接形式構成,整個結構形成一個無環圖,由下到上含有4個層,前向傳播層與反饋傳播層分別經過正向(0時刻到t時刻)計算和反向(t時刻到0時刻)計算保存每一時刻隱藏層的前向輸出和反向輸出,最終,在輸出層輸出每個時刻的結果為前向傳播和后向傳播的并行計算,表達式如下

y2=g(VA2+V′A′2)

(1)

A2=f(WA1+UX2)

(2)

(3)

1.2 文本檢測網絡結構

如圖3所示,CTPN模型使用VGG—16網絡的5段卷積作為前端輸入,并在Conv_5后輸出特征圖,大小為W×H×C,其中,C為特征圖的個數；該網絡結構中Conv_5后不再接max pooling層,而改用3×3的滑動窗口在獲得到的特征圖上進行特征提取；接著通過RNN層,利用RNN層中的雙向LSTM結構繼續學習上下文特征,輸出一個W×256的結果到全連接層(FC)進行預測,最終輸出3個預測結果的參數,分別是2k個縱向坐標y的值,2k個分數,k個文本框優化時產生的水平偏移量x。

圖3 CTPN模型結構

2 改進的網絡結構

2.1 引入NMS算法的檢測結構

改進CTPN算法相對于其他文本檢測方法的創新性在于,對文本框的處理上。不是先畫出Anchor,再對所有Anchor做回歸;而是通過預處理,用(Xmin,Ymin,Xmax,Ymax)來表示每個圖片上Anchor的位置坐標。先將每個Anchor劃分成N個寬度固定(width=16)的子區域,對每個子區域進行預測后再合并,得到最后的文本框位置。該方法減少了傳統方法里尺寸較大的Anchor對文本的漏檢,引入NMS算法后的CTPN的可視化過程如圖4所示。

圖4 檢測輸出可視化過程

圖4(a)檢測出來的原始文本框相互交叉,產生很多重復檢測,增加了運算量；圖4(b)引入NMS算法,去掉Detection中得分較低且重復的檢測框,檢測框精簡許多；對小區域檢測框進行預測回歸后,得到圖4(c)的輸出結果,檢測框整行分割顯示；調參后,文本框的檢測精度進一步提高。

2.2 損失函數

由于該網絡輸出3個預測結果參數,因此,CTPN損失函數主要包括三部分,即分類誤差、坐標誤差以及邊緣修正誤差

(4)

3 實驗結果與分析

3.1 訓練結果

本次實驗中,使用MSRA_TD500數據集訓練網絡,該數據集包含眾多隨機拍攝的街景圖,具有相對復雜的背景,但文本位置清晰。訓練過程中的Loss曲線變化如圖5所示,隨著Batch的增大,網絡的Loss值逐漸下降,當Batch值達到600時,損失函數收斂趨于穩定,模型的整體損失較小,具有較好的穩定性。

圖5 Loss變化曲線

3.2 不同文本檢測效果分析

本文使用3種不同的文本檢測方法(MESR,EAST,CTPN)驗證所提方法的優越性,檢測效果如圖6所示。

圖6 不同方法檢測結果

對比實驗結果表明,MSER文本檢測方法[10],即使引入了NMS算法,對于包含多類型文本的圖像,檢測效果不是很理想；EAST文本檢測方法在駕駛證的打印文本識別中,不能完整獲取更多長文本信息,輸出的文本框預測效果不具有魯棒性,且多語言背景下的文本檢測丟失了駕駛證中的重要信息(如駕駛人照片下的身份證號信息)；相比之下,CTPN文本檢測方法在水平方向含長文本行時,具有更完整的檢測輸出。進一步分析,改進后的CTPN的方法對打印的駕駛證進行文本檢測時,能夠更好地查找定位圖片中的信息,而且對于不同位置、不同大小的字符,該算法能自動調整輸出的文本框的尺度,漏檢概率低,幾乎可以檢測出圖像中所有的關鍵信息,本實驗中對于處理后圖像的平均檢測速度只需0.87 s。

3.3 檢測結果與分析

為了驗證本文所提算法對駕駛證打印文本的信息檢測的有效性,實驗選取多張模擬打印駕駛證信息頁,以其中一個樣本為例(分辨率為3 120像素×4 160像素)進一步分析。首先,對打印的駕駛證做背景擦除,因為檢測的目標是打印的文本信息,所以，去除模板背景中的紋理和字符是提高檢測速度的關鍵。如圖7所示,兩個輸入分別是打印之前采集的圖像和打印結束后采集的圖像,兩幀圖像時間間隔短,空間位置相同,做幀間差分后的圖像即只保留打印的文本信息,所有圖像均放入測試集。

圖7 幀差預處理流程框圖

然后,同時對測試集內各類圖像做CTPN文本檢測,比較圖8中處理前和處理后的圖像,發現原始圖像中的噪聲干擾對檢測結果影響較大,頂部標注的文本框有交叉現象,且檢測時間久；通過濾波后,識別精度有所提升,但紅色公章部分的文字沒有被單獨識別出來；引入幀間差分后,駕駛證的背景紋理和原始字符可以有效地去除,雖然幀差后的圖像像素值較低,但在CTPN算法下的檢測精度很高。

圖8 文本檢測結果對比

本文記錄一系列該過程的處理時間,并以運算時間的平均值作為最終指標,檢測結果如表1所示,幀間差分后的圖像在檢測時間上取得了有效的提升。

表1 文本檢測時間

4 結 論

本文針對駕駛證打印文本的特點,提出引入幀間差分和NMS算法的CTPN文本檢測方法,改進后的方法去除了紋理、原始字符對待檢測文本的干擾,提高了算法的魯棒性。對比原始檢測方法,幀間差分后的弱文本圖像的信息完整度不變,但檢測速度更快,該方法對于自助駕駛證打印系統的優化有很大的參考價值。文中對于換行打印的長文本內容,本文檢測方法輸出上下平行的兩個文本框,沒有自動識別文本的上下文連續性,該不足之處還有待進一步分析形成原因,下一步將繼續對此進行研究,改善檢測的精度。