手勢識別身份認證的連續隱馬爾可夫模型

李 富,孫子文,2

1(江南大學 物聯網工程學院,江蘇 無錫 214122) 2(物聯網技術應用教育部工程研究中心,江蘇 無錫 214122)

1 引 言

隨著智能手機的日益普及,針對智能手機各種安全威脅和隱私泄露的問題,需要一個安全的身份認證系統.由于人的生物特征具有唯一性,難以被其他用戶模仿,安全系數高,因此可以作為用戶身份認證的依據.生物特征認證主要分為生理特征認證和行為特征認證,生理特征認證包括指紋識別[1]、虹膜識別[2]、臉型識別[3]等,行為特征識別主要包括簽名識別[4]、擊鍵識別[5]、步態識別[6]等.

隨著智能設備的迅速普及,手勢識別生物特征身份認證方法成為一種新型的身份認證方法.通過智能手機采集手勢數據進行身份認證,較使用Kinect設備[7]與MEMS傳感器[8]進行手勢身份認證用戶無需其他傳感器設備,可增強用戶的舒適感;同時,由于更能體現用戶的個體特征,而具有更高的準確性和可靠性.目前,主流的手勢認證方法有:采用支持向量機(Support Vector Machine,SVM)算法,通過核映射方法轉化到高維空間解決線性數據可分問題,完成數據模型訓練及認證[9];采用動態時間規劃(Dynamic Time Warping,DTW)算法,通過測量兩個特征時間序列之間的差異,或者預測待測特征時間序列與模板特征時間序列之間的相似程度,通過模板匹配完成身份認證[10];采用改進的豪斯多夫距離(Modified Hausdorff Distance,MHD)計算驗證特征與模板特征的匹配值,通過對匹配值的歸一化處理并采用最大-最小融合規則得出匹配結果[11];采用反向傳播神經網絡(Back Propagation Neural Network,BPNN)模型與粒子群優化的徑向基函數網絡(Practical Swarm Optimisation-Radial Basis Function Network,PSO-RBFN)模型進行特征訓練與用戶識別[12].然而文獻[9-12]的方法存在以下不足:使用手勢特征序列建立的模型不能很好地解決手勢特征序列在時間上的差異性,同時,使用等錯率作為建模時依據,而實際應用系統應盡可能降低錯誤接受率要求.

針對文獻[9-12]算法中存在的不足,采用隱馬爾科夫模型建立手勢身份認證模型.作為一個強有力的概率統計模型,在模式識別領域里隱馬爾科夫模型可用于模擬隨機信號時間離散的變化性.通過智能手機采集用戶手勢的運動軌跡及壓力信息,分析手勢運動過程中時空變化條件下的運動軌跡特征序列,綜合運用時空特征序列表征手勢運動過程的位置、方向、壓力以及時間上的差異,為每個用戶建立一個手勢HMM,采用此模型進行身份認證.根據觀察值序列是否連續,HMM模型分為離散的隱馬爾科夫模型(Discrete Hidden Markov Model,DHMM)和連續的隱馬爾科夫模型(Continuous Hidden Markov Model,CHMM)[13],相對于CHMM,DHMM需要將手勢特征序列進行矢量量化,但量化過程會嚴重影響手勢特征序列的準確度,從而影響手勢建模和認證結果,因此本文采用CHMM進行手勢身份認證建模.

2 手勢認證系統結構

手勢特征CHMM身份認證系統的認證過程可以分為兩個階段:

1)注冊過程,即根據用戶手勢訓練樣本建立手勢模型;

圖1 手勢認證系統結構Fig.1 Gesture authentication system architecture

2)認證階段,即根據待認證手勢對給定CHMM的輸出概率進行判別.圖1為手勢認證系統的組成框圖,主要包括手勢數據采集、預處理、特征提取、模型訓練和認證識別過程,其中虛線箭頭表示注冊過程.

3 手勢數據預處理

通過智能手機的觸摸屏及壓力傳感器采集用戶運動手勢原始數據,如公式(1)所示:

(1)

由于多方面因素的存在,導致運動手勢原始數據直接用于認證的準確性較低.一是冗余數據,由于手勢的前后一致性,手勢數據會含有冗余數據;二是噪聲,同時,由于智能手機干擾及用戶手指不同幅度抖動等因素,使得原始運動手勢數據中含有噪聲;三是手勢大小和起始位置,用戶每次書寫手勢在觸摸屏上的大小和位置都不相同.這些因素對后期特征提取、匹配認證過程都會產生影響,因此,對用戶手勢原始數據進行大小歸一化及平滑去噪預處理.

3.1 歸一化

調整手勢書寫起始位置和手勢尺寸歸一,以消除手勢書寫位置和大小的不確定性對認證的影響,提高手勢認證的精度和避免誤判.調整手勢起始位置采用手勢序列平移位置,得位置歸一化的計算公式如公式(2)、公式(3)所示:

(2)

(3)

手勢尺寸歸一化[14]公式如公式(4)、公式(5)所示:

(4)

(5)

3.2 平滑去噪

對手勢數據集進行平滑去噪,以消除由采集手勢數據環境產生的數據誤差.采用滑動平均濾波器去除手勢數據噪聲,計算公式如公式(6)-公式(8):

(6)

(7)

(8)

4 手勢特征提取

手勢原始數據經過預處理后,從三個基本數據序列中獲取三個隱含的特征序列[10],隱含特征分別為手勢軌跡正切角度θt,軌跡速度大小vt,軌跡加速度大小at,隱含特征計算公式如公式(9)-公式(11):

(9)

(10)

(11)

定義手勢軌跡特征的每個采樣點特征矢量ot由三個基本特征和三個隱含特征組成,如公式(12)所示:

ot=[xt,yt,pt,θt,vt,at]

(12)

其中t=1,…,n.則每個手勢軌跡采樣點組成了一個n×6的特征矢量矩陣,如公式(13)所示:

o=(o1,o2,…,on)T

(13)

5 手勢認證算法

手勢認證算法包括手勢CHMM訓練與認證:

1)手勢CHMM訓練,獲取每個手勢特征序列的矢量矩陣o作為CHMM的觀察值向量,利用o初始化CHMM,并為每個用戶建立一個CHMM手勢模型;

2)手勢認證,獲取每個待測用戶手勢的特征矢量矩陣o,作為CHMM輸入觀察值向量,利用Viterbi算法計算相應CHMM輸出觀察值向量的概率,如果輸出概率大于或等于設定閾值,判定為真實用戶手勢,否則為非法用戶手勢.

5.1 手勢CHMM訓練

5.1.1 連續隱馬爾科夫模型

CHMM表示一個雙重隨機過程,包含基本的馬爾科夫鏈和與狀態相關聯的觀察值序列.該模型可以表示為λ=(N,π,A,B),一個完整的左右結構CHMM如圖2表示:

圖2 完整的左右結構CHMM(N=5)Fig.2 Complete left and right structure CHMM(N=5)

各個參數的具體含義如下:

1)模型的狀態數N.模型狀態集合為S={S1,S2,…,SN},t時刻模型所處的狀態記為

qt,qt∈S.手勢特征序列o=(o1,o2,…,on)T以模型狀態數N平均分段[16],即模型狀態一一對應于手勢序列分段.

3)狀態轉移概率矩陣A.A=(aij)N×N,其中aij=P(qt+1=Sj|qt=Si),1≤j≤N.aij表示從狀態i轉移到j的概率,即從狀態i對應的手勢序列分段到狀態j對應手勢序列分段的轉移概率.

CHMM模型的實際應用,需要解決三個基本的問題:

1)評估問題:根據給定模型λ和觀察序列o,計算當前觀察值序列對應的輸出概率P(o|λ).

2)解碼問題:根據給定模型λ和觀察序列o,尋找產生觀察序列o的最優隱含狀態序列Q*.

3)學習問題:通過不斷調整CHMM模型λ=(N,π,A,B)的參數,使得P(o|λ)達到最大.

5.1.2 手勢CHMM建立

CHMM建模之前,需確定CHMM的拓撲結構,CHMM的拓撲結構主要分為兩種:

1)遍歷拓撲結構,即模型中的一個狀態可以轉移到任意狀態;

2)左右拓撲結構,即模型中一個狀態只能轉移到下一狀態或者狀態本身.對比兩種拓撲結構,左右拓撲結構更加符合手勢運動軌跡的時間特性,且參數計算量較少,可以保證建模時系統擁有較快的運行速度,更加符合現實應用的需要.

CHMM初始參數確定的過程中,CHMM初始概率矢量π和初始狀態轉移概率矩陣A的設定對認證結果的影響可以忽略不計[13],本文中取初始概率矢量πi∈{π1,π2,…,πN},π1=1,πi=0,2≤i≤N,狀態轉移概率A=(aij)N×N,aii=ai(i+1)=0.5,aNN=1,1≤i≤N-1.而對應于狀態的觀察值輸出概率密度函數bj(o)初始值的設定則十分重要,通過3.1節可知CHMM狀態個數N和高斯混合密度函數個數M的設定對于手勢模型參數bj(o)的影響較大,根據多次實驗結果確定模型狀態個數N=4,高斯混合密度函數個數M=2.

5.2 手勢認證

(14)

τ=mean-ω×var

(15)

其中mean和var分別表示訓練用戶注冊手勢樣本集的均值與方差,ω為閾值系數,對于每個用戶的測試手勢集合,ω取值相同.

6 仿真實驗及結果分析

6.1 仿真環境

實驗仿真平臺采用MATLAB R2014a(8.3.0.532),所有用戶手勢數據通過華為MT1-U06和三星SVM-G9008V手機采集完成.

仿真手勢數據庫由8個用戶的食指手勢數據組成,用戶在不同數據采樣周期內一次獲取100個手勢數據,四次共采集3200組數據.其中用戶1和用戶5在采集手勢數據之前,進行過短時間練習.每個用戶的訓練樣本集的個數為10.

6.2 參數設定

公認的手勢認證系統的性能評估包含三個參數指標:

1)錯誤拒絕率(False Rejection Rate,FRR),即真實用戶不能通過手勢系統認證的概率;

2)錯誤接受率(False Acceptance Rate,FAR),即非法用戶通過手勢認證系統的概率;

3)等錯率(Equal Error Rate,ERR),即錯誤拒絕率和錯誤接受率相等時的概率.為了保障用戶信息的安全性,認證系統中需要確保FAR盡可能的小.

表1表示模型不同狀態個數N和不同高斯混合概率密度個數M對手勢識別認證結果的影響.此時,選取用戶1的100組手勢作為合法用戶數據,選取剩余用戶各100組手勢作為非法數據,通過選取等錯率確定最優的模型參數M=2,N=4,及認證系統的閾值系數ω=2.1.

表1 CHMM模型不同狀態及不同混合密度函數下的等錯率(%)
Table 1 Error rate(%)of CHMM model under different states and different mixed density functions

M=1M=2M=3M=4M=5M=6N=18．236．235．543．222．011．67N=25．024．026．055．232．834．08N=33．233．654．213．043．243．23N=43．511．222．823．011．652．01N=52．312．011．642．052．06—N=62．02—2．032．01——

6.3 仿真結果及性能分析

在智能手機采集手勢數據進行身份認證階段,當用戶測試手勢認證后的概率值大于相應閾值τ時,判斷為合法用戶,否則為非法用戶.認證過程中依次使用一位用戶手勢數據300組作為合法手勢用戶,其他7用戶數據共2100組作為非法入侵手勢數據.

表2 CHMM算法與DTW算法、SVM算法的單指認證性能比較
Table 2 Comparison of CHMM algorithm and DTW algorithm and SVM algorithm for single finger authentication

用戶FRR(%)FAR(%)CHMMDTWSVMCHMMDTWSVM12．684．064．321．654．973．2624．366．436．132．174．523．4134．236．526．531．434．634．2543．516．125．462．563．513．8752．834．264．251．634．073．4964．128．535．873．013．873．0773．757．235．812．674．254．1984．026．755．652．833．734．57均值3．696．245．512．244．193．76

通過表2數據可以看出,用戶1和用戶5在不同算法下的FRR和FAR均低于其他用戶,表明用戶在短時間內訓練后,可以獲得更加穩定的手勢特征信息,有利于保持合法手勢與非法手勢之間差異的同時,縮小合法手勢之間的差異.同時,表2中展示了CHMM算法與DTW算法、SVM算法的實驗均值對比結果,由表中的數據可知,本文采用CHMM模型算法對不同的用戶進行身份認證時,獲取的均值FRR和FAR分別為3.69%、2.24%,相比于DTW算法FRR的認證性能提升了2.55%,FAR的認證性能提升了1.95%;相比于SVM算法FRR的認證性能提升了1.82%,FAR的認證性能提升了1.52%.說明本文通過智能手機采集單指手勢及采用CHMM模型算法進行身份認證時,有效的提升了用戶的認證性能.

綜合表2的實驗數據可知,本文采用的單指觸摸手勢進行用戶身份認證時,可以有效降低合法用戶的錯誤拒絕率及非法用戶的錯誤接受率.

7 結束語

本文通過智能手機采集手勢軌跡的位置及壓力信息,并采用平均分段的方法對手勢序列進行分段,對采集的手勢數據序列提取6維特征.手勢認證系統會選擇合適的CHMM結構為每個手勢用戶建立參考模型用于認證.通過CHMM算法與DTW算法、SVM算法對比的仿真實驗結果可知,基于連續隱馬爾可夫模型的智能手機手勢識別身份認證系統具有更好的識別效果.

[1] Shabrina N,Isshiki T,Kunieda H.Fingerprint authentication on touch sensor using phase-only correlation method[C].International Conference of Information and Communication Technology for Embedded Systems,2016:85-89.

[2] Kim D,Jung Y,Toh K A,et al.An empirical study on iris recognition in a mobile phone[J].Expert Systems with Applications,2016,54(7):328-339.

[3] Shi Xiang-bin,Li Fu-zhen,Zhang De-yuan.Method for face recognition using sparse encoding the mandatory[J].Mini Micro Systems,2017,38(2):381-385.

[4] Li Dao-feng,Zhang Xiao-ping,Zhong Cheng,et al.Hierarchical identity based signature scheme in the case of lattice LWE[J].Mini Micro Systems,2016,37(1):96-99.

[5] Morgen B.Voice biometrics for customer authentication[J].Biometric Technology Today,2012,(2):8-11.

[6] Wang Kai-jie,Yang Tian-qi.Gait recognition based on column vector and SVM[J].Computer Engineering and Applications,2015,51(7):169-173.

[7] Cheng H,Dai Z,Liu Z,et al.An image-to-class dynamic time warping approach for both 3D static and trajectory hand gesture recognition[J].Pattern Recognition,2016,55(7):137-147.

[8] Muhammad P,Devi S A.Hand gesture user interface for smart devices based on mems sensors [J].Procedia Computer Science,2016,93(7):940-946.

[9] Antal M,Bokor Z,Szabó L Z.Information revealed from scrolling interactions on mobile devices[J].Pattern Recognition Letters,2015,56(4):7-13.

[10] Martinez-Diaz M,Fierrez J,Galbally J.Graphical password-based user authentication with free-form doodles[J].IEEE Transactions on Human-Machine Systems,2015,7(3):1-8.

[11] Jain A,Kanhangad V.Exploring orientation and accelerometer sensor data for personal authentication in smartphones using touchscreen gestures [J].Pattern Recognition Letters,2015,68(12):351-360.

[12] Nader J,Alsadoon A,Prasad P W C,et al.Designing touch-based hybrid authentication method for smartphones [J].Procedia Computer Science,2015,70(1):198-204.

[13] Ali M L,Monaco J V,Tappert C C.Hidden markov models in keystroke dynamics[C].Student-Faculty Research Day,2015:58-65.

[14] Pang Yong-chun,Sun Zi-wen,Wang Yao.Multi touch authentication algorithm based on touch screen sensor [J].Computer Application,2015,35(6):1780-1784.

[15] Shahzad M,Liu A X,Samuel A.Secure unlocking of mobile touch screen devices by simple gestures:you can see it but you can not do it[C].International Conference on Mobile Computing & Networking,2013:39-50.

[16] Quan Z H,Ji H W.Aligning and segmenting signatures at their crucial points through DTW[M].Advances in Intelligent Computing,Springer Berlin Heidelberg,2005:49-58.

附中文參考文獻：

[3] 石祥濱,厲復圳,張德園.采用強制稀疏編碼的人臉識別方法[J].小型微型計算機系統,2017,38(2):381-385.

[4] 李道豐,張小萍,鐘 誠,等.格LWE難題下分層的基于身份的簽名方案[J].小型微型計算機系統,2016,37(1):96-99.

[6] 王開杰,楊天奇.基于列質量向量和SVM的步態識別[J].計算機工程與應用,2015,51(7):169-173.

[14] 龐永春,孫子文,王 堯.基于觸摸屏傳感器多點觸摸身份認證算法[J].計算機應用,2015,35(6):1780-1784.