基于光照不均的場景文本提取算法

◆李佳琪 楊碩

基于光照不均的場景文本提取算法

◆李佳琪 楊碩

（沈陽化工大學計算機科學與技術學院 遼寧 110142）

場景文本檢測與識別對于自然場景的理解、圖像中物體信息的獲取以及自動駕駛與導航等研究有非常重要的作用。其中文本字符提取屬于場景文本檢測與識別的一個分支。在自然場景中，針對當前場景文本圖像的不均勻照明等問題，提出一種基于邊緣檢測和改進的全局自適應文本提取模型結合的文本檢測提取方法。首先，對輸入的圖像先做灰度處理和邊緣檢測，然后，將文本邊緣圖像進行二值化和形態學處理，獲得候選的字符區域，最后，將其輸入到改進的全局自適應文本提取模型中進行分類篩選，從而實現文本字符的檢測提取。實驗結果表明，該方法具有較好的場景文本字符區域提取能力。

二值化；邊緣檢測；全局自適應文本提取模型；字符提取

隨著信息技術發展、人們工作生活的日常需要，使得自然場景圖像的獲取和傳輸變得越來越便捷。其中文字作為自然場景圖像中的一個重要興趣點[1]，往往蘊含著場景的關鍵潛在信息，當前許多應用程序中都有用到從場景圖像中檢測文本，例如身份證號碼識別、名片信息識別、票據信息識別、車牌號識別、視頻字幕檢測識別[2]，也可以進一步應用于場景理解、商品推薦、自動導航與駕駛等。其中，場景文本的檢測成功率越高，越能降低場景文本識別的復雜度[2]。自然場景圖像背景復雜，使用簡單的技術分離背景與字符比較困難；字符形式多樣，自然場景下的字符，通常具有不同的字體、尺寸和顏色。計算機要讀懂場景圖像中的字符需要兩個步驟：文本檢測和文本識別。

由于圖像在不均勻的光線照射下，可能存在明顯的亮部和暗部，對文本提取效果不佳。考慮基于邊緣檢測的分析不易受整體光照強度變化的影響，許多圖像理解方法都以邊緣為基礎。邊緣檢測強調的是圖像對比度。檢測對比度即亮度上的差別，可以增強圖像中的邊界特征，而邊緣是階梯變化的位置。可以使用微分使邊緣變化增強，檢測邊緣位置。常見的邊緣檢測算子有：（1）Roberts邊緣檢測算子對具有陡峭的低噪聲的圖像處理效果較好，但利用Roberts算子提取邊緣的結果比較粗，因此邊緣定位不是很準確[3]；（2）Kirsch邊緣檢測算子和Prewitt邊緣檢測算子對灰度漸變和噪聲較多的圖像處理效果較好[4]；（3）Laplacian邊緣檢測算子對圖像中的階躍性邊緣點定位準確，對噪聲非常敏感，丟失一部分邊緣的方向信息，造成一些不連續的檢測邊緣；（4）LoG邊緣檢測算子經常出現雙邊緣像素邊界，而且該檢測方法對噪聲比較敏感[5]，因此，很少會用LoG算子實現邊緣檢測，只是用它來判斷邊緣像素是位于什么位置，是圖像的明區還是暗區；（5）Canny邊緣檢測算子可以在抵抗噪聲與邊緣檢測之間獲得一個最佳的折中[6-7]，具有很好的邊緣監測性能，但是容易把噪點誤判為邊界；（6）Sobel邊緣檢測算子對灰度漸變和噪聲較多的圖像處理效果比較好，對邊緣定位比較準確[8-9]。因此，研究利用Sobel邊緣檢測算子實現邊緣檢測。經過二值化操作和形態學處理后提取感興趣區域。其中，常用的二值化算法分為局部二值化和全局二值化。局部二值化方法以像素的鄰域的信息為基礎來計算每一個像素的閾值，局部閾值化算法經常會出現大量噪點，而且運行時間也較長。例如Bernsen算法、Niblack算法、Sauvola算法等。全局二值化方法對每一幅圖計算一個單一的閥值，灰度級大于閾值的像素被標記為背景色，否則為前景。主要有灰度平均值法、基于谷底最小值的閾值、迭代法、OTSU法等[10]。其中，最大類間方差法（簡稱OTSU）是一種自適應的閾值確定的方法，類間方差越大，錯分概率越小。因此本文選擇OTSU二值化算法，結合灰度圖，獲得全局自適應文本提取模型，最后實現文本提取。

1 場景文本檢測

場景文本提取主要分為目標區域提取和目標文本提取兩大部分完成，其主要流程如圖1所示：

圖1 文本提取流程圖

1.1 目標區域提取

（1）灰度圖像

對輸入的RGB圖像，它在每個顏色分量上分解并分別由R、G和B表示。在做邊緣檢測之前，先將RGB圖像轉為灰度圖像。灰度圖像的灰度值表示如式（1）所示，其中Y表示灰度值。

（2）邊緣檢測

Sobel邊緣檢測算子是兩個Prewitte模板中心像素的權重取2倍的值。Sobel算子的這個通用形式縮合了一條坐標軸上最優平滑和另一條坐標軸上的最優差分。該算子包含兩組3*3的矩陣，將之與圖像作平面卷積，可分別得出橫向和縱向的亮度差分近似值[11]。其公式如（2）所示：

其中A代表原始圖像，x及y分別代表橫向及縱向邊緣檢測的圖像梯度值；再根據圖像每個像素的橫向和縱向梯度值進行融合，得到該點像素的灰度值，其公式如（3）所示：

由于Sobel算子是濾波算子的形式，用于提取邊緣，可以利用快速卷積函數，簡單有效。邊緣檢測后得到文本字符邊緣圖像。

（3）圖像二值化

圖像二值化是將邊緣檢測后的圖像轉化成一個只有0或者255的二值圖像的過程。邊緣檢測后圖像包含要測試的文本和相應的背景噪聲[3]。要從多色值圖像中提取目標文本，首先，要將圖像進行歸一化處理，讓其像素值在0-255之間，然后，再根據自適應閾值otsu進行二值化，公式如下：

其中，gxyf（i，j）表示圖像的整體梯度，mag是圖像梯度最大值，D（i，j）表示該點像素值，P表示自適應閾值otsu；經過二值化后可以濾除邊界周圍細小的噪聲，二值處理結果如圖2所示：

（4）形態學處理

將圖像二值化后，得到清楚的字符邊緣二值圖像，由于各個像素點不是都連通的，無法形成目標區域，因此，進行膨脹處理，得到感興趣區域（像素值為255的點）。其形態學處理圖像如圖3所示：

圖3 形態學處理圖像

1.2 目標文本提取

（1）全局自適應文本提取模型獲取

全局自適應文本提取模型獲取的過程是將提取的感興趣區域與灰度圖像相相結合，得到目標區域灰度圖，再對目標區域灰度圖進行模糊化的過程。融合的過程為：

其中，（，）表示融合后的圖像，（，）表示灰度圖像像素值，（，）是二值化后的形態學處理圖像，在（，）中，（，）=（，）時表示前景，（，）=0時表示背景。

將得到的前景圖像，通過模糊化的方式獲得局部閾值。具體做法是：

其中，（，）是全局自適應文本提取模型，是計算參數，表示以2為半徑的圓內，同時在目標區域內的像素點的積分平均數，表示二值化后膨脹圖積分處理，表示（，）圖積分處理，（，）表示二值化后膨脹圖。圖4（a）和4（b）分別為目標區域灰度圖和全局自適應文本提取模型：

（2）目標文本提取

目標文本獲取是將灰度圖像與全局自適應文本提取模型作比較，全局自適應文本提取模型上的像素值是提取灰度圖像中字符的閾值。根據以下公式實現文本提取：

其中，（，）表示目標文本提取圖像。通過以上方法，可以清晰準確地提取到文本信息。

圖4（a） 目標區域灰度圖

圖4（b） 全局自適應文本提取模型

2 結果與分析

根據上述算法進行實驗，本實驗在 Qt5.9.6+OpenCV環境下實現，計算機配置為：主頻為2.6GHz（Inter（R） Core（TM） i5-4210M），運行內存為8GB。實驗數據包含4幅場景文本圖像，主要來源于手機拍攝。實驗結果如圖5所示：其中：（a）是亮度對比較明顯的光照不均字符圖像，（b）是其提取結果；（c）是亮度對比較暗的光照不均字符圖像，（d）是其提取結果；（e）光照不均車牌圖像，（f）車牌提取圖像；（g）光照不均身份證原圖，（h）身份證提取圖像。

圖5 測試最終結果圖

3 結語

在本次研究中，光照不均是導致圖像質量下降的重要原因，考慮基于邊緣檢測的分析不易受整體光照強度變化的影響，因此，充分利用了該方法來獲取場景文本圖像邊緣信息，經過二值化操作和形態學處理后提取感興趣區域，并結合使用了全局自適應文本提取模型做分類，實現字符文本提取。實驗結果證實了所提算法的有效性，由于算法的復雜度較低，算法可以用于視頻實時處理，具有較高的實用性。但是，此算法仍然存在問題，單一的靠邊緣信息對文本區域定位和提取有誤檢的問題，不能準確定位目標區域，使后續的檢測識別更加耗時，接下來對該問題將繼續深入研究，期待找到更好的文本檢測方法。

[1]Peng，Xu，Jin，et a1．Cascade-Based License Plate Localization with Line Segment Features and HaarLike Features[C]Intemational Conference on Image&Graphics．IEEE，2011．

[2]張哲，汪毓鐸.結合邊緣檢測與CNN分類場景文本檢測的研究[J].現代計算機，2019（13）：67-70.

[3]曾友州，胡瑩，曾偉一，鄭曉霞.提取數字圖像邊緣的算法比較[J].成都航空職業技術學院學報，2009，25（04）：69-72.

[4]江笑嬋，萬振凱，陳利.基于matlab邊緣提取的幾種方法的比較[J].電腦知識與技術，2006（02）：138-141.

[5]樊思萌. 面向車輛識別的目標檢測與分割模塊設計[D].沈陽理工大學，2019.

[6]Cesar Bustacara-Medina， Leonardo Florez-Valencia， Luis Carlos Diaz. Improved Canny Edge Detector Using Principal Curvatures[J]. Journal of Electrical and Electronic Engineering，2020，8（4）.

[7]李長有，陳國璽，丁云晉.改進Canny算子的邊緣檢測算法[J].小型微型計算機系統，2020，41（08）：1758-1762.

[8]Roma Jain，Jijo S. Nair. Intelligent Parking Space Detection System using Sobel Edge Detection in Open CV[J]. Journal of Innovation and Social Science Research，2019，6（2）.

[9]Chang-Yong Lee，Young-Hyung Kim，Yong-Hwan Lee. Optimized Hardware Design using Sobel and Median Filters for Lane Detection[J]. JOURNAL OF ADVANCED INFORMATION TECHNOLOGY AND CONVERGENCE，2019，9（1）.

[10]劉明興，劉澤平，李斌，符朝興，孟含.基于OTSU處理不均勻光照圖像改進算法研究[J].青島大學學報（工程技術版），2020，35（03）：27-32.

[11]吳進，趙雋，李聰，吳漢寧.機器視覺中邊緣檢測算法的SDSoC加速實現[J].計算機工程與應用，2019，55（12）：208-214.