剪枝優化的文本區域檢測算法*

周翔宇 高仲合 趙镥瑤 魏家豪

（1.曲阜師范大學軟件學院 曲阜 273100）（2.南京理工大學自動化學院 南京 210014）

1 引言

隨著計算機視覺領域的飛速發展，近年來出現了諸多基于神經網絡的目標檢測算法［1～2］應用于圖像檢測領域。OCR技術［3］作為圖像檢測的重要分支，能夠快速從圖像、視頻等非結構化數據中提取文本內容信息，被廣泛應用于RPA工作系統、圖像文本解析系統、自動信息錄入等業務場景下。

場景文本檢測在國內外都有著廣泛的研究，基于紋理的方法將圖像中的文本區域看作一種特殊的紋理，進行紋理特征［4］的提取。基于連通域的方法通過顏色、亮度聚類或極值提取等方法得到的候選連通域，常用的方法有MSER［5］等。混合方法結合兩類方法中的優點，具有較好的性能。Jain等［28］提出一種通過在輸入圖像上使用顏色聚類算法對候選連通域進行分割的方法。該算法對于顏色特征依賴度過高，不適用于復雜的自然場景的文本區域定位。近年來，深度學習技術飛速發展，出現了Faster R-CNN［6］、SSD［7］、YOLO［8～10］等目標檢測算法，并基于這些方法改進出一系列文本檢測算法，如Jiang等提出的R2CNN［29］是基于Faster R-CNN針對文本區域對象的長寬比變化大的問題提出的檢測方法。

當下許多行業與文本檢測密不可分，如車牌識別、證件識別、票據識別等，都是文本檢測技術的應用［11～13］。近年來隨著智能手機和相機等設備的發展，自然場景圖片數量飛速增長，其中的文本包含了豐富的信息［14～15］，對自然場景圖片中的文本信息進行檢測與識別有非常重要的意義［16］。

針對實際應用場景中輸入圖片的多方向與檢測效果問題，本文提出了一種基于剪枝優化的多方向文本區域檢測算法。該算法首先通過混合剪枝的方法改進VGG16［17］進行文本方向預測任務，并使用OpenCV操作將輸入圖片調整為統一方向，然后通過級聯淺層信息的方法改進YOLO實現文本區域定位任務，得到文本區域，實現端到端的文本檢測任務。

2 圖片方向預測模型

VGG16是一個具有圖像分類功能的深度網絡模型，經過實驗驗證對于本文的分類任務其遷移學習后具有良好的泛化性能，因此本文基于VGG16進行優化和改進實現對圖片的文字方向預測。

由于VGG16具有較多的參數和較高的模型復雜度，而圖片方向預測時的分類任務相對簡單，只需將待檢測圖片分成文本方向為0°、90°、180°、270°，如圖1所示。因此本文提出一種混合剪枝的方法，對VGG16進行輕量化改進，在保證檢測準確率的前提下有效減少模型的復雜度，使模型具有更快的計算速度和更小的訓練開銷。

圖1 車牌檢測系統輸入圖片示例

2.1 混合剪枝算法

卷積神經網絡的構成規模龐大，使用單一的模型壓縮方法雖然可以有效地在特定方面減少網絡模型的參數數量，但不具有通用性。通過混合使用多種類型的剪枝方式可以使模型壓縮率更高且具有較好的泛化性能，因此本文設計并實現了一種混合剪枝策略。

混合剪枝方法的算法流程如圖2所示。與多數剪枝算法僅是對層間、通道［18］或卷積核［19］進行單一目標修剪不同的是，本文同時對通道和卷積核進行剪枝。本文方法對VGG16的三個全連接層進行修剪。這是由于大型卷積神經網絡模型中卷積層主要作用是提取圖像特征，對VGG16的卷積層部分進行參數權重凍結，從而減少了參數學習計算量，加速模型的訓練效率和推斷效率。

圖2 混合剪枝流程圖

算法首先凍結VGG16的卷積層并進行預剪枝。通過引入縮放因子的方法［18］，將BN層的縮放因子λ與每一個通道關聯起來進行訓練，定義比例系數公式如下：

其中（x，y）表示訓練輸入的樣本數據，W表示需要訓練的模型權重，g(γ)表示懲罰項，本文使用的懲罰項定義為g(λ)=|γ|，即使用L1范數作為懲罰項進行優化。在訓練的過程中，對比例系數逐漸變小的通道進行修剪。

然后對網絡進行二次剪枝，具體流程如算法2所示。此時的工作是懲罰排名低于閾值的卷積核，可表示為需要在全連接層（FC）中找到當損失ΔC最小時對應的卷積核參數子集W′。使用泰勒展開的標準［19］對網絡全連接層神經單元的重要程度進行驗證，使用一階泰勒公式在參數i的輸出hi=0處展開求近似ΔC(hi)，去掉高階項，得到修剪后的特征圖，由此對全連接層卷積核參數的重要程度進行驗證，找出一組最優參數子集。具體流程如算法1所示。

2.2 實驗結果與分析

本文硬件實驗環境為兩顆Intel Xeon CPU E5-2620，內 存64G，GPU使 用 兩 張NVIDIA Ge-Force GTX 1080 Ti進行加速運算，每張顯存為11GB，軟件實驗環境為Ubuntu 16.04及Python 3.7.1。

使用的數據集為ICDAR2013和自行采集的場景文本數據集TDS。相關信息如表1所示。劃分訓練集和測試集，圖像按照文本方向分別為0°、90°、180°、270°四個類別進行樣本生成。

表1 數據集信息

1）VGG16剪枝訓練曲線分析

設 置epoch為500分 別 訓 練VGG16、剪 枝VGG16模型，在多方向文本圖片數據集上訓練，生成對應的訓練過程中準確率（acc）和損失函數（loss）的變化圖像，如圖3所示。

圖3可以看出，VGG16訓練600輪后收斂，loss值約為0.4，而剪枝后的VGG16經過少數輪次訓練后即可趨于收斂，loss值約為0.2，且準確率可以達到95%，相比于原模型精度損失較少。剪枝后VGG16模型的準確率接近VGG16且訓練達到收斂用的輪次更少，因此剪枝后的VGG16的訓練效率更高。

圖3 訓練acc loss對比圖

2）與基礎方法對比與分析

綜合對比VGG16模型、文獻［18～19］中兩種模型、幾種主流模型與剪枝后的VGG16模型在本文數據集上的分類準確率、模型文件大小、單圖推斷時間指標，如表2所示。

表2 VGG16剪枝前后對比

表2可以看出，文獻［18］中的方法雖然能夠大幅度縮減模型大小和單圖推斷時間，但分類準確率受影響較大。文獻［19］中的方法能夠在準確率影響范圍較小的前提下提升模型的性能，但單圖推斷時間較長。本文提出混合剪枝策略優化后的VGG16的模型文件大小顯著壓縮，推斷時間有明顯提升，且準確率良好，對之下綜合性能優于其他模型。

2.3 小結

本節實現一個適用于文本方向預測的經過剪枝優化后的VGG16四分類模型。相比于原模型，在預測精度差別不大的前提下，達到有效壓縮模型參數，提高模型效率的作用。

3 文本區域定位模型

使用YOLO目標檢測算法進行文本區域定位任務。針對YOLO v3的網絡結構進行分析，對網絡的淺層信息利用不充分問題進行改進，使網絡的訓練效率提升，并通過實驗結果分析說明改進方法的有效性和可行性。

3.1 YOLO v3模型分析

YOLO v3的特征提取網絡模型龐大而豐富，前面0～74層為卷積層和Res層組合，用來進行特征提取，后面75～105層為yolo層，具備檢測功能。在檢測層中，采用特征金字塔（FPN）［20～21］的思想，用于檢測的三個不同尺度（Scale1、2、3）的特征圖均來自殘差結構的后三組殘差塊，并且后三組殘差塊在網絡結構中的的使用數量大于前兩個殘差塊，造成網絡中的淺層空間信息丟失嚴重，從而存在對淺層信息利用不充分的問題。由此，淺層信息的大量丟失勢必會影響到整體的檢測效率與準確率。

針對YOLO中存在的由于淺層信息丟失影響檢測性能這一問題進行改進，提出一種基于級聯淺層信息的新模型，用于本文的檢測任務。

3.2 改進的YOLO模型

在網絡的特征提取過程中，為了使淺層信息利用更加充分、在整個卷積操作過程中丟失較少的特征信息，本文采用了級聯（Concat）操作。級聯操作的具體數學原理，如下公式所述：

其中，X1，X2，…XC和Y1，Y2，…YC分別為兩路輸入的通道，“*”代表卷積操作。卷積之后的特征圖有三個維度：寬、高和通道，本文將級聯應用在通道維度，保證原本存儲在寬度和高度中的深層與淺層信息不受影響。

具體地，將第一個殘差塊卷積出來的特征圖和第二個殘差塊卷積出來的特征圖分別和最后一個殘差塊卷積出來的特征圖、倒數第二個殘差塊卷積出來的特征圖做級聯，使最后輸出的特征圖包含深層文本信息和淺層空間信息。級聯操作的使用避免了直接相加對內存產生的壓力和對信息造成的負面影響，并且逐元素加和的方式要求不同層的特征圖具有完全一致的通道數量。C-YOLO模型中采用的級聯是將淺層卷積出來的特征圖和深層的卷積出來的特征圖在通道維度進行拼接，這樣保證級聯之后的特征圖具備：1）淺層特征圖具備更豐富的空間信息；2）深層特征圖具備更豐富的文本信息。

如此，網絡模型中的Scale1和Scale2在原本具有大感受野和豐富的文本信息的基礎上也同時具備淺層的空間信息，方便實現對文本的精確定位，為接下來的檢測操作提供支撐，提高檢測的準確率。改進后的網絡結構如圖4所示。

圖4 C-YOLO網絡結構

3.3 實驗結果與分析

分別對原始YOLO v3和本節改進后的YOLO v3進行訓練，通過訓練過程中損失函數來衡量實驗結果。

1）C-YOLO訓練曲線分析

訓練設置epoch數量為300，batch_size大小為32，學習率為0.001。圖5（a）是原始YOLO模型訓練的loss曲線，圖5（b）是C-YOLO模型訓練的loss曲線。

分析圖5可知，由曲線橫軸可以看出，C-YOLO模型在訓練150輪左右收斂，而未改進的網絡在190輪左右收斂，C-YOLO網絡模型收斂速度更快。由曲線縱軸可以看出，改進后的網絡收斂后loss在8.7左右，而未改進的網絡在12左右，改進后的網絡模型訓練loss值更小。

圖5 訓練loss曲線

3.4 小結

本節使用提出的C-YOLO模型實現了文本區域定位任務。選擇YOLO v3網絡作為基礎特征提取網絡，通過級聯淺層信息的方法優化原網絡結構，得到一個高效準確的改進模型。相比于原方法，訓練效率明顯提升，結果準確率和召回率較好。

4 組合方向預測及區域檢測方法

4.1 檢測流程

聯接剪枝VGG16文本方向預測模型和C-YOLO文本區域定位模型實現端到端的文本區域檢測流程圖像處理邏輯如圖6所示。

圖6 圖像處理邏輯

使用者上傳圖像至預先啟動的檢測服務中，首先通過文本方向預測模型進行圖像方向的預測，調用剪枝VGG16模型預測出文本的方向，并使用OpenCV對于非正向的圖像進行旋轉操作，輸出文字方向為正向的圖像處理結果。然后將經過旋轉處理后的正向圖片進行臨時存儲，同時調用文本區域定位的函數，最后調用C-YOLO文本區域定位模型并輸出最終的文本區域檢測結果。

4.2 檢測結果展示

圖7為本文方法在ICDAR2013和TDS數據集上的部分檢測結果。數據集中圖片均按四種方向相同比例調整，通過基于耦合改進VGG16和YOLO的文本檢測方法后可以得到較為準確的檢測效果。

圖7 系統在ICDAR2013 TDS數據集上的部分檢測結果

4.3 小結

本節將剪枝后的VGG16與C-YOLO模型進行耦合，得到一種適用于多場景的文本檢測方法。輸入的多方向圖片首先通過剪枝后的VGG16進行快速高效的方向分類任務，并使用OpenCV操作調整為正向，然后通過C-YOLO模型進行高效的文本區域定位，最終完成了一個端到端的高效文本檢測流程。

5 結語

文本檢測技術的應用日益廣泛，多數文本檢測算法不僅完成了文本區域定位這一單一任務，而實際的應用系統中還存在輸入圖片方向混亂的問題。因此本文設計并實現了一種端到端的適用于多種場景的文本檢測方法，使用剪枝算法優化后的VGG16網絡進行圖片分類任務，C-YOLO網絡結構進行特征提取與定位任務，實現了圖片方向預測和文本區域定位的任務，并通過耦合兩個算法模塊實現了一個完整的多方向文本區域檢測流程。實驗結果表明，提出的方法可以應用于多數場景下的文本檢測，且效果較好。此外，在傾斜文本檢測方面還需進一步優化，這也是本文的下一步研究方向。