基于非下采樣輪廓波變換的離線簽名識別

莫龍飛，麥合甫熱提，朱亞俐，吾爾尼沙·買買提，庫爾班·吾布力+

(1.新疆大學(xué) 信息科學(xué)與工程學(xué)院，新疆 烏魯木齊 830046；2.新疆大學(xué) 教務(wù)處，新疆 烏魯木齊 830046)

0 引 言

手寫簽名分為在線和離線兩種類型。在線簽名[1]依靠手寫簽名板獲得，通常提取簽名的壓力、速度、運(yùn)動方向等動態(tài)特征。離線簽名[2]獲取的是圖像的靜態(tài)特征。在線簽名中幾乎不存在動態(tài)信息，這使得離線簽名識別有一定的難度系數(shù)，識別率沒有在線簽名識別率高。因此提高離線簽名識別的準(zhǔn)確率十分重要。

Ruangroj Sa-Ardship等[3]提出自適應(yīng)方差簡約算法，對包含英文、日文等多種語言的數(shù)據(jù)庫進(jìn)行實驗，平均識別率達(dá)到94.79%。Kumar等[4]融合圖像上包絡(luò)與下包絡(luò)計算其協(xié)方差，準(zhǔn)確率為93.98%。BH Shekar等[5]使用分塊的局部二進(jìn)制模式，采用支持向量機(jī)作為分類器，最終得到的準(zhǔn)確度為97.27%。Chen等[6]提取簽名的形狀特征特偽動態(tài)特征，使用LSVM分類器，識別率為84.83%。Pan等[7]提取簽名的網(wǎng)格特征和全局特征，使用SVM分類器得到了較高的結(jié)果。SA Angadi等[8]提取了全局和局部能量特征，使用歐幾里德距離決策工具，平均準(zhǔn)確率在90%至100%的范圍之內(nèi)。Murat等[9]提取簽名的HOG特征，使用廣義回歸神經(jīng)網(wǎng)絡(luò)進(jìn)行分類得到98.33的識別率。Pham等[10]提取簽名的形狀特征與直方圖特征，在荷蘭文與中文的簽名數(shù)據(jù)庫進(jìn)行對比實驗，分類方法采用相似性度量，分別得到97.67%和80.04%的準(zhǔn)確率。Hafemann等[11]使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，平均識別率達(dá)到98%。

針對新疆少數(shù)民族的文種簽名識別發(fā)展較慢，近幾年也有相關(guān)的研究。庫爾班·吾布力等[12]提取了簽名的密度特征，使用K-NN分類器分類，得到了96%的識別率；艾海提·伊敏等[13]將不同投影方式的像素點(diǎn)及局部中心點(diǎn)作為簽名特征，使用距離量度和相似性進(jìn)行訓(xùn)練識別得到97.1%的識別率。

本文對維吾爾文和柯爾克孜文這兩類文種簽名圖像提出了一種基于非下采樣輪廓波變換子帶紋理特征的離線簽名識別方法，利用SVM和BP神經(jīng)網(wǎng)絡(luò)兩種分類器進(jìn)行實驗，獲得了較好的識別結(jié)果。

1 手寫簽名識別總體系統(tǒng)

本文的離線簽名識別系統(tǒng)由4個大的模塊實現(xiàn)。分別是數(shù)據(jù)集建立、預(yù)處理、特征提取、分類決策。該系統(tǒng)具體的總體流程如圖1所示。

圖1 離線簽名識別系統(tǒng)總體流程

1.1 離線手寫簽名采集

手寫簽名數(shù)據(jù)的采集是離線手寫簽名識別的第一步工作。根據(jù)環(huán)境優(yōu)勢收集了兩類不同文種的簽名數(shù)據(jù)，其中包括100人的維吾爾文簽名和100人的柯爾克孜文簽名，每人需要使用黑色碳素筆在已畫好小矩形框的A4紙上簽寫20個簽名，通過Photoshop將簽名剪切后保存，格式為.bmp，因此本文建立了共4000個簽名的多文種數(shù)據(jù)集。

1.2 簽名預(yù)處理

由于在簽名采集與硬件設(shè)備掃描過程中不可避免噪聲混入，這些噪聲會對該系統(tǒng)的性能產(chǎn)生影響，所以需要對圖像進(jìn)行預(yù)處理，使得到的簽名圖像盡可能小的被噪聲因素所影響。通過預(yù)處理，圖像中無用信息減弱，有用特征信息增強(qiáng)，并且可使數(shù)據(jù)庫中圖像規(guī)格、大小完全統(tǒng)一。在本文中采用加權(quán)平均法獲得灰度圖像，然后通過OTSU算法得到二值化圖像，并使用雙邊濾波對其進(jìn)行去噪，這樣可以更好地保存圖像內(nèi)部信息和邊緣信息。預(yù)處理的圖像如圖2所示。

圖2 預(yù)處理后的簽名圖像

1.3 非下采樣Contourlet

(1)

式中：NSCT分解在第j個尺度方向的低頻子帶信息用ij表示，第k個方向的子帶信息用dj,k表示。NSCT濾波器組結(jié)構(gòu)如圖3所示。

圖3 NSCT濾波器組結(jié)構(gòu)

NSCT變換后簽名圖像的有效特征信息更加明顯，通過多尺度方向分解提取簽名圖像的邊緣和輪廓特征等細(xì)節(jié)信息。在簽名圖像中存在筆畫間斷，字體大小不統(tǒng)一等因素，通過實驗，本文在NSPFB中使用“maxflat”濾波器組，對簽名圖像進(jìn)行3重尺度非下采樣金字塔分解，并在NSDFB中使用“l(fā)ax”濾波器組分別從低到高尺度進(jìn)行21，22，23個方向的分解，最后得到了1張低頻子圖和14張各尺度不同方向的細(xì)節(jié)子圖，其中圖4(a)為原始圖，圖4(b)為低頻子帶圖，圖4(c)、圖4(d)為第一尺度子帶圖，圖4(e)～圖4(h)為第二尺度子帶圖，圖4(i)～圖4(p)為第三尺度子帶圖，NSCT子圖像如圖4所示。

圖4 NSCT子圖像

通過NSCT變換后得到子帶圖像，計算其各子圖像的均值方差作為實驗所需要的紋理特征，均值和方差公式如式(2)和式(3)所示

(2)

(3)

2 特征提取

2.1 GLCM特征提取

灰度共生矩陣[16]通過計算灰度圖共生矩陣的部分特征代表圖像紋理特征。圖像中相距δ=(Δx,Δy)的兩個灰度像素同時出現(xiàn)的聯(lián)合概率分布作為灰度共生矩陣。若灰度級為N的圖像，其共生矩陣是N×N矩陣，用Pδ(i,j)表示。為減少計算過程，本文(Δx,Δy)選取0°、45°、90°和135°這4個方向，如圖5所示。

圖5 求解灰度共生矩陣當(dāng)前像素與領(lǐng)接像素的位置關(guān)系

簽名圖像壓縮后，計算圖像的N×N階灰度共生矩陣Pδ(i,j)，δ為距離。根據(jù)灰度共生矩陣可以計算最多14個紋理特征向量，本文分別計算了對比度、能量、熵、相關(guān)性、逆矩陣的值，具體計算公式如下：

對比度

(4)

能量

(5)

熵

(6)

相關(guān)性

(7)

逆差矩

(8)

2.2 多級區(qū)域局部二值模式

多級區(qū)域局部二值模式算法(multi-block local binary pattern)參見文獻(xiàn)[17]。在MBLBP特征值的計算過程中，首先定義任意一個3s*3t大小窗口，規(guī)格為s*t；再計算子區(qū)域得到一個3*3的整數(shù)矩陣的平均灰度值，然后運(yùn)用式(9)計算得出此區(qū)域的LBP值；最后將中心區(qū)域的灰度值用LBP值代替。一個具體的MBLBP運(yùn)算如圖6所示。

圖6 MBLPB算法

對簽名圖像進(jìn)行分塊后，使用式(10)和式(11)計算出子區(qū)域平均值，通過式(12)計算LBP值，最終得到MBLBP值

(9)

(10)

(11)

(12)

其中，s、t決定MBLBP分塊尺度的大小。

3 訓(xùn)練和分類

一個完整的離線手寫簽名識別系統(tǒng)包括：簽名圖像的采集、預(yù)處理、特征提取、分類決策，本文分別使用支持向量機(jī)和BP神經(jīng)網(wǎng)絡(luò)兩種分類器進(jìn)行實驗。

3.1 SVM分類器

支持向量機(jī)(support vector machine)在機(jī)器學(xué)習(xí)中解決小樣本有較強(qiáng)優(yōu)勢，SVM算法[18]通過非線性映射把樣本在原始空間中非線性可分變?yōu)榫€性可分，在新的線性可分空間中找到不同類樣本最大間隔的最優(yōu)線性分界面。為提高分類性能，需設(shè)置SVM參數(shù)，其中參數(shù)-c和-g默認(rèn)為1，核函數(shù)采用徑向基核函數(shù)，具體公式如下

(13)

在分類前需要對訓(xùn)練集和測試集特征向量進(jìn)行歸一化處理，此操作可以加快訓(xùn)練及分類收斂速度并提升分類效果。本文對向量歸一化區(qū)間為[-1,1]，其歸一化公式如下

(14)

式中：x,y∈Rn，xmin=min(x)，xmax=max(x)。

3.2 BP分類器

BP神經(jīng)網(wǎng)絡(luò)參見文獻(xiàn)[19]，實驗中使用包含輸入、輸出、隱層的三層網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。

圖7 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)由正向傳播、誤差計算、反向傳播、各層權(quán)值修正4個部分構(gòu)成。

(1)正向傳播：通過神經(jīng)元的連接，數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)后計算出每個神經(jīng)元的實際值

net=wTx+b

(15)

式中：w代表網(wǎng)絡(luò)權(quán)值向量，x代表訓(xùn)練樣本，b代表閾值。

激活函數(shù)

(16)

(2)期望值與實際值誤差計算。通過實際輸出和期望輸出的差值與閾值相比，若高于閾值，則進(jìn)行反向傳播。

誤差向量

error=d0-y0

(17)

(3)反向傳播過程計算。若正向傳播計算值與期望不符，可依據(jù)誤差調(diào)節(jié)相應(yīng)權(quán)值，logit函數(shù)為

(18)

輸出誤差計算：更新的輸出層權(quán)值需要計算誤差反向傳播的輸出層梯度和微分，其輸出層誤差表示為

(19)

式中：who代表隱含層與輸出層連接權(quán)值，yi代表隱含層實際輸出。

隱含層誤差：更新隱含層權(quán)值需要計算誤差反向傳播的隱含層梯度和微分，其表達(dá)式為

(20)

式中：wih代表輸入層與隱含層連接權(quán)值，hi代表隱含層輸入向量。

(4)各層權(quán)值修正。計算各層神經(jīng)元梯度與微分修正權(quán)值。

更新隱含層

(21)

更新輸出層

(22)

其中，N代表當(dāng)前迭代次數(shù)，η代表學(xué)習(xí)因子，δo代表輸出層梯度，δh代表隱含層梯度。

在本次實驗中，使用了三層神經(jīng)網(wǎng)絡(luò)作為簽名識別的分類器，該神經(jīng)網(wǎng)絡(luò)具有輸入層、隱藏層及輸出層。輸入層節(jié)點(diǎn)的數(shù)量是提取特征向量的維度，輸出層節(jié)點(diǎn)的數(shù)目為100，表示分為100類，隱節(jié)點(diǎn)的數(shù)目由經(jīng)驗公式可得，如式(23)所示

(23)

式中：h為隱含層節(jié)點(diǎn)的數(shù)目，m和n分別是輸入層和輸出層節(jié)點(diǎn)的數(shù)目，a為1-10之間的調(diào)節(jié)常數(shù)。

4 實驗結(jié)果與分析

4.1 實驗設(shè)備環(huán)境

本文的實驗平臺是Inter(R) Core(TM) i5-6500@3.20 GHz 3.20 GHz處理器、8 GB內(nèi)存的Windows 10 64位系統(tǒng)上使用MATLAB 2016b實現(xiàn)非下采樣Contourlet變換離線簽名識別系統(tǒng)。

4.2 實驗數(shù)據(jù)

在實驗中，NSCT有兩個濾波器組，分別為NSDFB和NSPFB，當(dāng)使用不同的濾波器進(jìn)行組合時，會產(chǎn)生不同的結(jié)果，為研究兩種濾波器的組合方式對系統(tǒng)性能的影響，本文將常用的非下采樣方向濾波器組和非下采樣金字塔濾波器分別進(jìn)行實驗。此次實驗使用維吾爾文簽名50人作對比，每人10個簽名用作訓(xùn)練樣本，共500個訓(xùn)練樣本，其余作為測試樣本。將10次的平均值作為最后的結(jié)果，具體結(jié)果見表1。

從表1可以知，當(dāng)NSDFB選用“l(fā)ax”濾波器時，NSPFB選用“9-7”與“maxflat”濾波器在維吾爾文手寫簽名上識別率最高分別為97.6%和98%，當(dāng)NSDFB選用“pkva”濾波器時，NSPFD選用“pry”與“pyrexc”濾波器識別率最高分別為96.6%和96.5%。總體來說使用NSDFB中“l(fā)ax”或“pkva”都有較好的效果，但“l(fā)ax”濾波器比“pkva”濾波器平均識別率高0.55%，并且當(dāng)NSPFB選用“maxflat”濾波器，NSDFB選用“l(fā)ax”濾波器在所有組合中準(zhǔn)確率最高為98%。因此本文采用了“maxflat+lax”濾波器的組合方式進(jìn)行的實驗。

表1 組合不同的NSPFB和NSDFB實驗結(jié)果/%

在下面的實驗中，為驗證本文方法的魯棒性，使用包括維吾爾文和柯爾克孜文兩種語言簽名，每種簽名100人，每人20個簽名，共4000個簽名圖像的數(shù)據(jù)庫進(jìn)行實驗，并且采用維吾爾文、柯爾克孜文單類文種和維柯混合兩類文種數(shù)據(jù)集進(jìn)行實驗。為比較不同的訓(xùn)練集對系統(tǒng)性能的影響，把簽名數(shù)據(jù)集分為兩種，分別是1600和1000個簽名作為訓(xùn)練，剩余作為測試集。通過NSCT變換對預(yù)處理簽名進(jìn)行操作，在此基礎(chǔ)上提取MBLBP和GLCM紋理特征進(jìn)行實驗，最后有效融合兩種特征進(jìn)行實驗。分別使用了SVM和BP神經(jīng)網(wǎng)絡(luò)進(jìn)行分類實驗。實驗結(jié)果見表2～表4。

由表2～表4可以看出，在使用維吾爾文、柯爾克孜文及其混合文種離線手寫簽名數(shù)據(jù)庫時，通過NSCT變換后分別提取GLCM特征和MBLBP時，在分類器性能上，選擇相同的特征NSCT+GLCM和NSCT+MBLBP，使用相同的訓(xùn)練集數(shù)目，使用SVM分類器時識別率比使用BP神經(jīng)網(wǎng)絡(luò)分類器要低，這表明了BP神經(jīng)網(wǎng)絡(luò)的優(yōu)勢，對于維吾爾文、柯爾克孜文及維柯混合文種最高識別率分別達(dá)到92.75%、92.5%和95.5%。

表2 NSCT變換后提取GLCM和MBLBP在維吾爾文數(shù)據(jù)庫上的實驗結(jié)果/%

表3 NSCT變換后提取GLCM和MBLBP在柯爾克孜文數(shù)據(jù)庫上的實驗結(jié)果/%

表4 NSCT變換后提取GLCM和MBLBP在維柯混合數(shù)據(jù)庫上的實驗結(jié)果/%

為驗證訓(xùn)練集數(shù)目對離線手寫簽名識別系統(tǒng)性能的影響，采用了使用1600個訓(xùn)練集和1000個訓(xùn)練集，可以看出當(dāng)訓(xùn)練集的數(shù)目從1600個減少到1000個時，無論哪種分類器，識別率都有所下降，說明分類器的性能依賴訓(xùn)練集所選取的數(shù)目。在特征選擇上，當(dāng)使用相同的訓(xùn)練數(shù)目，融合NSCT+MBLBP的效果好于NSCT+GLCM，說明根據(jù)分塊理論的MBLBP提取簽名圖像具有更好的表現(xiàn)力。當(dāng)使用不同語言的數(shù)據(jù)庫時，識別率也未出現(xiàn)大幅度波動，說明此方法具有一定的魯棒性。

由表5～表7可以看出，當(dāng)在NSCT變換后提取GLCM特征和MBLBP特征并融合兩種特征，對于維吾爾文、柯爾克孜文及其混合文種的3種不同語言數(shù)據(jù)集，使用SVM分類器時識別率最高達(dá)到91.75%，92%，94.75%，使用BP神經(jīng)網(wǎng)絡(luò)時識別率最高達(dá)到94%，94.25%，96.75%，實驗結(jié)果表明，此方法融合NSCT+GLCM+MBLBP特征，可以提高一定的識別率，此方法對維吾爾文、柯爾克孜文及維柯混合數(shù)據(jù)的離線的手寫簽名都具有較好的描述性。

表5 NSCT變換后融合GLCM和MBLBP在維吾爾文數(shù)據(jù)庫上的實驗結(jié)果/%

表6 NSCT變換后融合GLCM和MBLBP在柯爾克孜文數(shù)據(jù)庫上的實驗結(jié)果/%

表7 NSCT變換后融合GLCM和MBLBP在維柯混合數(shù)據(jù)庫上的實驗結(jié)果/%

為更好探究本文提出的基于非下采樣輪廓波變換的離線簽名識別方法具有一定的有效性及優(yōu)勢，將本文中的實驗結(jié)果與其它實驗結(jié)果相比較，具體對比實驗結(jié)果見表8。

表8 本文和相關(guān)工作的比較結(jié)果

由表8可知，本文方法在對維吾爾文、柯爾克孜文及混合文種的離線簽名識別中，在使用BP神經(jīng)網(wǎng)絡(luò)，提取NSCT變換的GLCM和MBLBP的融合特征時，使用1600個訓(xùn)練集，400個測試集，最高識別率達(dá)到96.75%。本文的研究內(nèi)容彌補(bǔ)了維吾爾文、柯爾克孜文的新疆少數(shù)名族離線手寫簽名識別問題研究空白。與現(xiàn)有實驗對比，本文的方法在準(zhǔn)確率方面有一定提升空間。

5 結(jié)束語

本文使用NSCT對離線手寫簽名圖像進(jìn)行多尺度和多方向分解，再對分解子帶分別提取MBLBP和GLCM特征。在此實驗中建立了維吾爾文，柯爾克孜文手寫簽名共4000張圖像的實驗數(shù)據(jù)庫，分別使用了SVM、BP神經(jīng)網(wǎng)絡(luò)兩種分類器進(jìn)行對比實驗，且在使用BP神經(jīng)網(wǎng)絡(luò)的識別率較高，最高識別率為96.75%。本文在兩種不同的少數(shù)名族語言及其混合數(shù)據(jù)集上的實驗結(jié)果驗證此方法的具有一定魯棒性，實驗結(jié)果表明NSCT對簽名圖像的非下采樣分解，可有效提取紋理特征。在今后的工作中，將收集其它語言手寫簽名樣本及擴(kuò)充數(shù)據(jù)量，并對NSCT變化提出改進(jìn)，結(jié)合其它紋理特征進(jìn)行實驗，繼續(xù)提高離線手寫簽名識別結(jié)果。