復雜背景下的票據字符類型識別方法

陳湘 孫章 丁雪凇

摘? 要： 由于銀行規定用戶需用黑色碳素筆填寫票據中信息，但實際操作中存在信息填寫不規范現象。針對這種情況，提出一種自動識別用戶書寫字符類型的算法。該算法首先識別字符顏色，并根據字符在紅外圖像下是否存在，對字符類型進行粗分類;其次，選擇正面紅外和正面彩色圖像中較清晰的圖像作為字符分割的原圖像，分別采用閾值法和改進的連通域分析方法對票據正面紅外和正面彩色圖像中的字符做分割;再次，根據字符筆墨顏色和形體特征，對字符進行顏色判定、基于閾值法的粗細判定、基于位置關系的手寫體或打印體判定;最后，設計字符類型識別器，準確識別字符類型。經過實際銀行票據圖像測試，相比于現有方法，該文采用的方法不損壞票據樣本，能夠準確地識別出銀行票據中的字符類型，具有較好的應用前景和商業價值。

關鍵詞： 銀行票據字符; 字符類型識別; 字符分割; 字符顏色判定; 識別器設計; 圖像測試

中圖分類號： TN911?34; TP391.41? ? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）08?0044?05

Method of bill character type recognition under complex background

CHEN Xiang1， SUN Zhang2， DING Xuesong1

（1. Xihua University， Chengdu 610039， China; 2. School of Electrical and Electronic Information， Xihua University， Chengdu 610039， China）

Abstract：? Although the bank stipulates that its users should fill in the bill with a black carbon pen， there? are still some non?standard phenomena of information filling in the actual operation. An algorithm for automatic recognition of the character types written by the users is proposed to solve above problems. In the algorithm， the character color is recognized firstly， and then the character type is roughly classified based on whether the character exists in the infrared image. After that， the clearer images are selected from the front infrared and color images as the original images of the character segmentation， and the characters in the front infrared and color images of the bill is segmented by means of the threshold method and the improved connected component analysis method respectively. According to the ink color and physical feature of the characters， the color judgment， the thickness judgment based on the threshold method， and the handwriting or print judgment based on the position relationship are carried out in the character judgment. The character type recognizer is designed to accurately recognize the character type. The testing results of actual bank bill images show that， in comparison with the existing method， the method adopted in this paper does not damage the bill sample， and can accurately identify the character type in the bank bill， which has a good application prospect and commercial value.

Keywords： bank bill character; character type recognition; character segmentation; character colour judgment; recognizer design; image test

0? 引? 言

銀行票據是一種特殊文檔，已被廣泛應用在現代經濟、生活的各個方面。利用計算機技術對票據中要素進行識別、驗證，對于確保業務安全，提高工作效率有重要意義。票據中用戶填寫的內容非常重要，銀行規定用戶使用黑色的碳素筆來填寫票據上的信息，但實際操作中很多用戶信息填寫不規范，如用戶使用紅色/藍色的碳素筆或鉛筆或圓珠筆填寫等，導致票據涂改、文書變造等案情的發生。目前，對書寫的各種票據中字符類型的檢測大多是檢測字符的字跡種類、不同筆跡的色痕、字跡的書寫墨水等[1?2]。使用方法有顯微分光光度分析法，高效液相色譜法，傅里葉變換顯微紅外光譜法等，這些方法大多使用顯微鏡等精細儀器，對字符的化學特性、顯微紅外光譜圖等進行檢查，在特定約束條件下能取得一定效果，但其共同缺陷是損壞票據樣品，特別對紙張上微量字跡的檢測受到一定的限制。

觀察銀行提供的大量填寫完整信息的票據正面彩色和正面紅外圖像，發現書寫的字符使用的筆的類型（碳素筆/圓珠筆/鉛筆）不同，顏色（黑色/藍色/紅色）不同，票據影像上字符存在情況不同，兩種票據圖像中存在像素情況統計表如表1所示。

作為票據自動處理識別系統中的一部分，為了在不損壞票據樣本的前提下，能夠準確和快速識別出規范的使用黑色碳素筆書寫的字符，本文提出一種能應用于實際的字符類型識別方法。首先，對字符顏色進行判定，并對字符類型進行粗分類;其次，選擇正面紅外和正面彩色圖像中較清晰的圖像作為字符分割的原圖像，分別采用閾值法和改進的連通域分析方法對兩種圖像中的字符做分割;再次，根據字符筆墨顏色和形體特征，對字符進行顏色判定、粗細判定、手寫體或打印體判定;最后，設計字符類型識別器，準確識別字符類型，取得較理想的效果。本文提出的票據字符類型識別方法流程如圖1所示。

1? 票據字符的分割

銀行票據字符分割的質量直接影響字符類型識別的準確性。對于票據正面紅外圖像，圖像中除紅外下能顯示的字符外，幾乎沒有干擾，唯一的缺點是顯示的字符在有些情況下可能比較淺。對于票據正面彩色圖像，其背景復雜，有由多條固定長度的紅色線條組成的區域，有由淺綠色的底紋組成的區域，根據底紋不同，將背景分為紅水線區域和非紅水線區域，如圖2所示。本文將票據正面彩色圖像中的字符分割方法分為紅水線區域字符分割方法和非紅水線區域字符分割方法。

使用最大類間方差法（OTSU）對票據的正面紅外圖像進行二值化處理，判斷票據的正面紅外圖像中是否存在字符，若存在，則分割其字符;若不存在，則分割票據正面彩色圖像下的字符。

分割正面紅外圖像下的字符算法是利用前景模型的水下圖像增強算法[3]增強票據中字符的顏色，同時降低字符周圍噪點的影響;使用OTSU對增強后的圖像進行二值化處理，精確地分割出圖像中的字符。分割票據正面紅外圖像下的深色字符結果如圖3b）所示，淺色字符結果如圖3d）所示。

票據正面彩色圖像紅水線區域字符分割方法步驟如下：

1） 使用多尺度Retinex方法[4]對紅水線區域圖像進行預處理。遍歷預處理后圖像，若某像素點藍色分量值小于閾值B，且藍、綠、紅三色分量兩兩組合，差值均小于閾值T時，將滿足上述條件下像素點的像素值置為白色（字符），其他位置像素值置為黑色（背景），粗略分割出字符。其中Retinex方法中最大尺度為200，尺度數量為3，對比度為2。經實驗統計，B取值為50，T取值為50。

2） 對步驟1）中得到的圖像進行高斯濾波，然后采用固定閾值法進行二值化處理，閾值取40。

3） 對步驟2）中得到圖像使用3×3的橢圓結構進行1次膨脹操作，然后進行1次開運算處理。

4） 將步驟1）中圖像與步驟3）中圖像進行與運算。

5） 采用連通域標記算法[5]標記圖像步驟4）中獨立小區域，并去噪，精細地分割出字符。

分割票據紅水線區域中的字符結果如圖4b）、圖4d）所示。

票據正面彩色圖像中非紅水線區域字符分割方法是首先使用基于局部標準差的自適應對比度增強算法對此區域圖像進行預處理，水平和垂直分塊數均為8，裁剪限幅為0.01，對比度控制為1.5，不進行通道分離;然后，對預處理后圖像進行灰度化和二值化處理;最后采用連通域標記算法標記圖像中獨立小區域，并去噪，同時去除待檢測區域的邊框直線，分割出非紅水線區域中的字符。

分割非紅水線區域中字符結果如圖5b）所示。

2? 票據字符的顏色判定

票據正面彩色圖像上的字符顏色一般為灰色/黑色/藍色/紅色。分析其有效信息（數字和漢字）的顏色，以便對字符類型識別進行粗分類。設票據正面彩色圖像上某像素點（i，j），其紅、綠、藍三基色的分量對應的灰度值分別為R，G，B。

灰色字符的判定步驟是采用基于局部標準差的自適應對比度增強算法對待檢測區域進行圖像增強;然后采用圖像的R，G，B顏色分量信息對字符進行分割，遍歷每一個像素點，提取出同時滿足：B

藍色字符的判定步驟是首先提取待檢測字符圖像藍色通道圖像，并采用OTSU方法進行二值化處理，得圖像A;其次使用圖像的RGB顏色分量信息對字符進行分割，遍歷每一個像素點，提取出同時滿足（B-R）>T1，（B-G）>T2的像素點，得到圖像B，經實驗統計，閾值T1，T2分別取30，20;最后將圖像A和圖像B相與，得到的圖像即為分割出的藍色字符圖像。

藍色碳素筆和藍色圓珠筆兩種藍色區分方法是提取待檢測字符區域的藍色通道圖像，采用固定閾值法對圖像進行二值化處理，并統計圓珠筆藍和碳素筆藍像素點個數，分別記為b1，b2。由實驗統計，若b1>T1（取400），或b1>T2（取400），則表明字符為藍色碳素筆;否則，字符為藍色圓珠筆。

3? 票據字符的粗細判定和手寫體或打印體判定

觀察銀行提供的大量票據樣本發現黑色圓珠筆和黑色碳素筆在顏色上差別小，但使用黑色圓珠筆書寫字符比碳素筆書寫字符細，本文提出一種比較字符粗細的方法來判定字符為黑色圓珠筆或黑色碳素筆。具體步驟是首先使用本文提出的票據字符分割方法，對待檢測區域中字符進行分割，統計分割后的字符像素點個數a;其次對圖像A進行細化處理[6]，統計細化后圖像像素個數b;然后獲得a與b的比值R;最后將比值R與閾值T比較，如果R>T，則說明字符較粗，判定字符為黑色碳素筆;如果R≤T，則說明字符較細，判定字符為黑色圓珠筆。由實驗驗證和統計，得出閾值T取2.0。

在實際用戶填寫信息的票據中，有一種情況是用戶填寫信息處的內容為機器打印，且打印的字符顏色往往比手寫的黑色碳素筆字符顏色淺很多，為避免將顏色較淺的灰色打印碳素筆誤識別為鉛筆，本文提出一種基于位置關系的手寫體或打印體判定方法。算法具體步驟如下：

1） 精確提取分割出的字符輪廓，并提取長度和寬度均大于閾值Th的外接矩形。由實驗驗證和統計，閾值Th取15。

2） 去除和待檢測區域一樣大的外接矩形，并將切分出的字符按順序排列和輸出。

3） 比較各字符外接矩形的y坐標值、高度、寬度、兩字符間間距是否同時滿足兩兩外接矩形的y坐標值之差小于Y，高度之差小于H，寬度之差小于W，三字符中兩間距之差小于D。若滿足，則初步判定此單字符為打印字體，并計數;若不滿足，則初步判定此單字符為手寫字體，并計數。重復上述操作，直至遍歷完所有字符，最終打印和手寫字體個數分別記為a和b。由實驗統計，閾值Y，H，W，D分別取8，10，6，5。

4） 將A/B與閾值T比較，若比值大于T，則判定字符為打印字體;若比值小于T，則判定字符為手寫字體。由實驗驗證和統計，閾值T取0.65。

4? 票據字符類型的識別器設計

復雜背景下的票據字符類型識別器設計過程如下：

1） 采用本文提出的票據字符顏色判定方法，分別統計正面彩色圖像中待判定字符的黑色、藍色、紅色像素點個數black，blue，red，同時統計正面紅外圖像中待判定字符像素點個數p。

2） 由于銀行票據底紋不同，故識別器判定條件不同。對于非紅水線區域，若black>T1，blueT4，blueT6同時滿足，表明待檢測字符可能為黑色碳素筆，或黑色圓珠筆，或鉛筆，通過實驗驗證和統計，閾值T1，T2，T3，T4，T5，T6分別取100，400，800，630，50，800。接下來，根據紅外圖像下字符是否存在、字符粗細判定、字符為手寫體或打印體判定等方法做進一步判斷，具體過程如下：

① 如果pT2，表示字符為黑色碳素筆，否則為黑色圓珠筆。由實驗驗證和統計，對于非紅水線區域上的字符，閾值T2取1.6，對于紅水線區域上的字符，閾值T2取2.0。

② 如果p≥T1（取100），表明正面紅外圖像中待判定區域字符存在，此種情況字符類型為黑色碳素筆或鉛筆。接下來，根據正面彩色圖像中待判定字符的顏色，及字符是手寫體或打印體判定，區分出具體字符類型。首先，使用正面彩色圖像固定閾值法，統計出字符像素點個數A，初步區分出待檢測字符顏色為灰色，還是黑色;其次，根據字符粗細判斷，獲得字符粗細的量ball，如果A>T2且ball

3） 如果blue>T（取55），表明待判斷字符為藍色碳素筆或藍色圓珠筆。若p≥T（取400），表明正面紅外圖像中待判定區域字符存在，則字符類型為藍色碳素筆;若p

對于字符類型為紅色碳素筆、紅色圓珠筆的判斷，過程與步驟3）相似，只需修改閾值red>T1（取800），p< T2（取400）。

5? 實驗結果及分析

實驗樣本圖像為銀行提供的用戶填寫完整信息的票據，票據類型主要包括支票、轉賬支票、銀行匯票、現金支票、進賬單、銀行承兌匯票等11種。其中票據中字符類型有黑色/紅色/藍色的碳素筆、鉛筆、黑色/紅色/藍色的圓珠筆。樣本圖像是使用深圳辰通智能股份有限公司的A4憑證掃描模塊進行采集。首先，通過使用模板匹配方法定位用戶填寫的收款人、出票人賬號、人民幣、用途、密碼、行號、票號、簽發日期、賬號等票面要素信息;然后，使用本文提出的識別方法對其進行識別;最后，得出識別結果。表2為識別結果。

實驗結果表明，本文提出的算法取得了較好效果，適用于識別銀行票據中顏色較深的漢字和數字;適用于識別部分淺色漢字和數字。同時，對誤識別的票據進行了分析，發現原因多種多樣。如圖6a）中的誤識票據1，本方法將鉛筆誤識為黑色碳素筆，原因是在用鉛筆寫的字符上使用黑色碳素筆覆蓋寫了一層，使鉛筆顏色加深，檢查出很多黑色像素點，導致誤報。而圖6（b）中的誤識票據2，黑色碳素筆誤識為鉛筆，原因是數字“0”都連在一起，兩個數字“0”沒有分割開來，將打印體識別為手寫體，導致誤判為鉛筆。

筆者相信，當進一步優化圖像預處理方法，會獲得更好的識別率。