多元數(shù)據(jù)融合的非干擾身份識(shí)別方法

于佃存 陳益強(qiáng) 彭曉暉 焦 帥 李嘯海 鐘 習(xí)

1(中國(guó)科學(xué)院計(jì)算技術(shù)研究所 北京 100190)2(山東大學(xué)軟件學(xué)院 濟(jì)南 250101)3(中國(guó)科學(xué)院大學(xué) 北京 100049) (yudiancun@ict.ac.cn)

近年來(lái)，隨著智能終端設(shè)備特別是智能手機(jī)的普及，手機(jī)端的應(yīng)用與系統(tǒng)的安全性較低，如何做好終端設(shè)備的風(fēng)險(xiǎn)控制成為具有挑戰(zhàn)性的研究問(wèn)題.根據(jù)Newzoo 2018年預(yù)測(cè)，到2021年全球手機(jī)網(wǎng)民規(guī)模將達(dá)38億[1].“互聯(lián)網(wǎng)+”如火如荼的發(fā)展，使得越來(lái)越多的配套服務(wù)也在不斷的發(fā)展與完善[2-3]，各行各業(yè)都在積極地?cái)U(kuò)展互聯(lián)網(wǎng)業(yè)務(wù)，從而為廣大的智能終端設(shè)備用戶提供便捷、多樣、個(gè)性化的APP服務(wù)，手機(jī)也漸漸成為個(gè)人的“私人助理”、“支付助手”[4-5].因此智能手機(jī)設(shè)備中用戶隱私數(shù)據(jù)以及支付環(huán)境的安全性越來(lái)越引起我們的重視.然而在人機(jī)交互方面，系統(tǒng)往往為了提高用戶體驗(yàn)而降低了對(duì)隱私數(shù)據(jù)的保護(hù)，例如記住密碼、自動(dòng)登錄等.如何在確保這些數(shù)據(jù)安全的同時(shí)，又能給用戶提供友好便捷的交互方式已經(jīng)成為越來(lái)越突出的問(wèn)題.如：螞蟻金服推出風(fēng)險(xiǎn)控制系統(tǒng)取消手勢(shì)密碼[4]，通過(guò)對(duì)用戶賬號(hào)、設(shè)備、位置、行為、關(guān)系、偏好等維度的分析，提高安全系數(shù)、降低使用的復(fù)雜度，從而使支付寶APP使用更便捷安全等.

步態(tài)作為一種非干擾的身份識(shí)別方法獲得了廣泛的認(rèn)同.雖然通過(guò)圖像進(jìn)行步態(tài)分析的方法已經(jīng)很成熟，但是由于受到圖像步態(tài)信息數(shù)據(jù)采集條件的約束，該技術(shù)的推廣使用受到了嚴(yán)格的限制[5-6].利用加速度傳感器采集到的數(shù)據(jù)進(jìn)行步態(tài)分析，是一種典型的非干擾步態(tài)分析方法[7].這種傳感器設(shè)備作為基礎(chǔ)設(shè)備內(nèi)嵌在智能手機(jī)中，進(jìn)行步態(tài)分析，能夠很方便地進(jìn)行推廣普及.將基于步態(tài)的身份識(shí)別技術(shù)應(yīng)用到智能手機(jī)的風(fēng)險(xiǎn)控制系統(tǒng)中能夠在非干擾用戶的情況下對(duì)用戶的身份進(jìn)行識(shí)別，避免用戶重復(fù)進(jìn)行身份認(rèn)證如：輸入密碼、錄入指紋以及人臉掃描等，提高了身份識(shí)別的隱蔽性，同時(shí)也提高了安全性[8-9].考慮到易用性以及易推廣性可以將步態(tài)識(shí)別驗(yàn)證模塊內(nèi)嵌到智能手機(jī)的APP應(yīng)用中或?qū)⒆R(shí)別驗(yàn)證模塊作為智能手機(jī)操作系統(tǒng)的獨(dú)立模塊，為系統(tǒng)上的應(yīng)用提供統(tǒng)一服務(wù)，本文提出了一套通用的步態(tài)分析系統(tǒng)架構(gòu)方法可將其應(yīng)用到智能手機(jī)APP風(fēng)險(xiǎn)控制中.與傳統(tǒng)方法相比步態(tài)識(shí)別與手機(jī)的位置、用戶行為無(wú)關(guān)，同時(shí)，采用OS-ELM(online sequential extreme learning machine)在線增量的方式不斷更新模型從而提高準(zhǔn)確度[10].

1 相關(guān)工作

風(fēng)險(xiǎn)控制一直是備受關(guān)注的話題，尤其是在互聯(lián)網(wǎng)世界里信息數(shù)據(jù)都是以電子方式存儲(chǔ)容易泄露、丟失或被惡意篡改等.近年來(lái)，基于大數(shù)據(jù)的風(fēng)險(xiǎn)控制系統(tǒng)在不斷發(fā)展與完善，2015年7月“螞蟻金服”推出風(fēng)險(xiǎn)控制系統(tǒng)[11]，對(duì)用戶的日常行為、情緒以及行為進(jìn)行監(jiān)控分析，發(fā)現(xiàn)問(wèn)題及時(shí)介入處理.在智能手機(jī)中有很多APP為了提高用戶體驗(yàn)而提供記住密碼或自動(dòng)登錄功能等，使得用戶信息暴露在風(fēng)險(xiǎn)之下.雖然有些APP通過(guò)GPS或IP等信息分析用戶活動(dòng)區(qū)域，如果用戶不在經(jīng)常活動(dòng)的區(qū)域內(nèi)需要重新進(jìn)行身份認(rèn)證才能繼續(xù)使用APP以達(dá)到保護(hù)用戶信息的作用，但這些方法都不能對(duì)用戶身份做出準(zhǔn)確的判斷[12]；所以，將可以識(shí)別用戶身份的步態(tài)信息納入風(fēng)險(xiǎn)控制體系中能極大地提高對(duì)用戶信息的保護(hù)能力，同時(shí)也能提高用戶非干擾風(fēng)險(xiǎn)控制的體驗(yàn)[13].

傳統(tǒng)的身份驗(yàn)證主要采用如密碼、聲音、指紋、虹膜或人臉等[14-15]，這些方法相互配合能很好地保護(hù)用戶的隱私信息，但是這些方法都需要用戶顯式操作或者對(duì)設(shè)備與環(huán)境有特殊的要求[12].這樣使得人機(jī)交互變得復(fù)雜，用戶體驗(yàn)在降低.步態(tài)作為一種新的身份識(shí)別與驗(yàn)證方式越來(lái)越受國(guó)內(nèi)外研究人員的關(guān)注，并取得了一些研究成果.早在1999年Tong等人[13]使用陀螺儀固定在志愿者的腳踝處進(jìn)行步態(tài)分析.之后Mayagoitia等人[16]使用加速度傳感器和陀螺儀進(jìn)行步態(tài)分析，并與光學(xué)方式進(jìn)行的步態(tài)分析進(jìn)行了對(duì)比，但是這些傳統(tǒng)步態(tài)研究都存在一個(gè)問(wèn)題：通過(guò)加速度傳感器或陀螺儀等設(shè)備進(jìn)行步態(tài)分析的時(shí)候都需要將特有設(shè)備放在用戶的固定位置如：腳踝、膝蓋、腰部等，并保持特定的方向[17].同樣已存在的基于智能終端的步態(tài)身份識(shí)別系統(tǒng)也受到諸多類似的問(wèn)題限制，例如：需要將手機(jī)放在特定的位置如：腰部；手機(jī)的擺放方向也受到約束等[18].這樣都極大限制了步態(tài)身份識(shí)別在手機(jī)風(fēng)險(xiǎn)控制上的應(yīng)用與發(fā)展，因而，位置、行為無(wú)關(guān)性研究在步態(tài)身份分析識(shí)別方面具有重大意義.

2 步態(tài)算法分析與風(fēng)險(xiǎn)控制架構(gòu)

2.1 步態(tài)融合模型分析

本文提出了一種基于智能手機(jī)的與終端設(shè)備位置和用戶行為無(wú)關(guān)的步態(tài)融合身份識(shí)別方法，如圖1所示，該方法在進(jìn)行步態(tài)識(shí)別的過(guò)程中極大的消除了傳統(tǒng)步態(tài)識(shí)別方法對(duì)傳感器擺放的位置、朝向和用戶行為的約束.本文使用智能手機(jī)設(shè)備內(nèi)嵌的加速度傳感器設(shè)備進(jìn)行加速度數(shù)據(jù)的采集，從而獲取原始步態(tài)數(shù)據(jù).通過(guò)對(duì)用戶日常行為習(xí)慣的統(tǒng)計(jì)分析，用戶行走的過(guò)程中智能手機(jī)設(shè)備絕大多數(shù)放在褲口袋或擺動(dòng)的手中，因此步態(tài)分析方法建立在手持智能手機(jī)設(shè)備自然擺動(dòng)行走和智能手機(jī)放在褲口袋內(nèi)行走2種行為位置組合之上.針對(duì)用戶不可枚舉的行為與位置組合，首先對(duì)用戶的行為和手機(jī)的位置采用隨機(jī)森林(random forest, RF)方法進(jìn)行識(shí)別過(guò)濾，然后再使用OS-ELM方法對(duì)2種行為與位置組合所獲取的原始數(shù)據(jù)進(jìn)行特征提取并生成特征向量，最后采用增量的方式更新模型以提高識(shí)別的準(zhǔn)確度.步態(tài)融合模型流程如圖1所示:

Fig. 1 Gait fusion model flow chart圖1 步態(tài)融合模型流程圖

我們用概率的方法，將本文研究的問(wèn)題表示為

P(X|Y)=P(Y|AB)P(A|X)P(B|AX)=
P(Y|AB)P(A|X)P(B|AX)=
P(Y|AB)P(A|X)P(B|A)P(A|X),

其中，X為原始特征數(shù)據(jù)，Y為識(shí)別結(jié)果，A,B分別為識(shí)別的行為與位置，P(A|Y)對(duì)應(yīng)行為識(shí)別模型，P(B|X)對(duì)應(yīng)位置識(shí)別模型.

假設(shè)有n個(gè)任意加速度數(shù)據(jù)樣本ai，i∈(0,n)，采集到的加速度向量：

ai=(αi,βi,γi)，

其中α,β,γ為加速度傳感器的3軸分量.將3軸加速度值進(jìn)行位置無(wú)關(guān)處理：

Ai=αi+βi+γi，

將采集的加速度數(shù)據(jù)流進(jìn)行時(shí)間窗劃分用m表示，假設(shè)第j個(gè)時(shí)間窗表示為

Qi=[A(i,1),A(i,2),L,A(i,256)],i∈[1,m]

Qj中時(shí)間窗前后重疊50%.得到矩陣M：

M=[Q1，Q2,…,Qm]T,

獲得m個(gè)模型訓(xùn)練樣本(Vi,Ti)，i∈[1,m]，其中Vi是Qi中提取的x維的行為與位置特征向量：

Vi=[v(i,1),v(i,2),…,v(i,x)]∈x，
Ti=[t(i,1),t(i,2)]

為對(duì)應(yīng)的行為標(biāo)量，位置也如上處理，僅提取的特征向量略有不同.最后將行為與位置進(jìn)行分別且串聯(lián)預(yù)測(cè).

Fig. 2 Gait technology risk control system structure diagram圖2 步態(tài)技術(shù)風(fēng)險(xiǎn)控制系統(tǒng)結(jié)構(gòu)示意圖

RF算法使用決策樹(decision tree， DT)作為基本分類器，具有訓(xùn)練速度快精度高的特點(diǎn).使用RF算法對(duì)智能手機(jī)設(shè)備持有者的行為以及設(shè)備所在的位置進(jìn)行分別預(yù)測(cè)，通過(guò)信息增益(information entropy).盡可能地使得分支節(jié)點(diǎn)的包含節(jié)點(diǎn)屬于同一類.假設(shè)離散屬性b有v個(gè)可取值{b2,b2,…,bv}，

獲得信息增益越大，則意味著使用屬性a進(jìn)行劃分獲得效果越好.從而構(gòu)造出較好的分類器以此識(shí)別出用戶行為與位置.

OS-ELM算法是基于極限學(xué)習(xí)機(jī)器[19-20](extr-eme learning machine， ELM)的在線增量模型算法，使用該算法可以不斷積累用戶步態(tài)行為數(shù)據(jù)，以此不斷完善更新步態(tài)識(shí)別模型提高識(shí)別的準(zhǔn)確性.假設(shè)有m個(gè)任意樣本(Vi,Ti),i∈[1,m]，Vi是z維的步態(tài)輸入向量Vi=[v(i,1),v(i,2),…,v(i,z)]∈z,Vi是1維的身份目標(biāo)向量.其中有L個(gè)節(jié)點(diǎn)的單隱含層前饋神經(jīng)網(wǎng)絡(luò)(single hidden layer feed-forward neural networks， SLFNs)表示為

其中，ai,bi中是隱含層節(jié)點(diǎn)的學(xué)習(xí)參數(shù)，βi是隱含層第i個(gè)節(jié)點(diǎn)與輸出節(jié)點(diǎn)間的權(quán)重系數(shù).G(ai,bi,xi) 為激活函數(shù).計(jì)算SLFNs使得輸出的誤差最小，使得：

yi=ti,j∈[1,N],i∈[1,L].

矩陣表示為Hβ=T：

另外，OS-ELM采用的是在線增量的方式進(jìn)行模型更新，能及時(shí)更新識(shí)別模型提高算法的精度.

2.2 風(fēng)險(xiǎn)控制模塊架構(gòu)

圖2描述的是步態(tài)識(shí)別系統(tǒng)的結(jié)構(gòu)示意圖，加速度數(shù)據(jù)依次經(jīng)過(guò)行為模型、位置模型和步態(tài)模型(步驟1,2,3)對(duì)用戶的身份進(jìn)行識(shí)別，如果沒(méi)有通過(guò)則進(jìn)入步驟4.1激活其他驗(yàn)證方式，直到步驟5.1驗(yàn)證通過(guò)后則執(zhí)行步驟6將該用戶的加速度數(shù)據(jù)上傳云端.行為模型與位置模型區(qū)分度強(qiáng)，不需要在線增量更新，在嚴(yán)重影響準(zhǔn)確度的時(shí)候執(zhí)行步驟7.1,7.2更新整個(gè)模型，本文使用OS-ELM算法構(gòu)建步態(tài)模型，通過(guò)步驟7.3在線增量更新模型從而提高模型識(shí)別的準(zhǔn)確率.

本文設(shè)計(jì)與實(shí)現(xiàn)的步態(tài)識(shí)別系統(tǒng)可以作為應(yīng)用程序的非干擾風(fēng)險(xiǎn)控制模塊為智能設(shè)備的應(yīng)用提供很好的風(fēng)險(xiǎn)安全參考；同時(shí)可以將該模塊升級(jí)到操作系統(tǒng)層面，為其上的應(yīng)用提供便捷身份識(shí)別接口，從而使用戶驗(yàn)證變的簡(jiǎn)單、便捷與高效提高用戶體驗(yàn).

3 實(shí)驗(yàn)結(jié)果與分析

現(xiàn)有的步態(tài)識(shí)別方法對(duì)傳感器設(shè)備的位置都有較高的要求，如固定在腳踝、膝蓋、腰部或放在口袋里等.在識(shí)別的過(guò)程中采用多種傳感器設(shè)備，分析過(guò)程過(guò)為復(fù)雜以及采用較高的采樣頻率等方法不利于其在智能手機(jī)設(shè)備中的普遍應(yīng)用.這些方法都不能很好地應(yīng)用到實(shí)際的系統(tǒng)中進(jìn)行風(fēng)險(xiǎn)控制.本文采用的加速度傳感器采樣頻率僅為64 Hz，通過(guò)過(guò)濾模型將日常較為普遍的用戶行為和智能手機(jī)設(shè)備放的位置進(jìn)行預(yù)判斷，利用融合模型的方法對(duì)加速度數(shù)據(jù)進(jìn)行具體的分析以識(shí)別出用戶身份，從而對(duì)用戶智能手機(jī)進(jìn)行風(fēng)險(xiǎn)控制達(dá)到提高設(shè)備安全性的目的[21].

通過(guò)分析可知，智能手機(jī)設(shè)備放在手中和口袋中的概率最大，因此本文的身份認(rèn)證模型系統(tǒng)針對(duì)的是用戶行進(jìn)過(guò)程中智能手機(jī)設(shè)備放在擺動(dòng)的手中和褲口袋里這2種組合進(jìn)行實(shí)驗(yàn)分析，對(duì)于不同的場(chǎng)合可以根據(jù)需要增加組合，更新對(duì)應(yīng)模型從而覆蓋更多的行為類別.本文使用隨機(jī)森林算法對(duì)用戶的行為進(jìn)行分析預(yù)測(cè)，并將預(yù)測(cè)的結(jié)果以及提取的特征向量通過(guò)OS-ELM算法進(jìn)行識(shí)別與驗(yàn)證.本文中，我們對(duì)3種行為(走路、跑步、其他)和3種位置(擺動(dòng)的手中、固定在胸前、褲口袋)進(jìn)行了實(shí)驗(yàn).主要針對(duì)走路的步態(tài)進(jìn)行研究分析以達(dá)到非干擾身份識(shí)別與驗(yàn)證，從而進(jìn)行風(fēng)險(xiǎn)控制，提高設(shè)備安全性和用戶體驗(yàn).行為與位置的組合如表1所示:

Table 1 User Behavior And Smart Device Location

Note: √ is the combination of body parts when sampling the data.

3.1 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)邀請(qǐng)了32名志愿者(21男11女)按照表1所述的用戶行為與智能手機(jī)位置的不同組合情況，進(jìn)行數(shù)據(jù)采集并完成步態(tài)身份識(shí)別與驗(yàn)證實(shí)驗(yàn).32位志愿者分別完成“走路-擺動(dòng)的手中”、“走路-固定在胸前”、“走路-褲口袋”、“跑步-擺動(dòng)的手中”、“跑步-褲口袋” 5種行為-位置組合，對(duì)于每種組合，使用智能手機(jī)內(nèi)置的采樣頻率為64 Hz的加速度傳感器采樣3 min，并以4 s為一個(gè)時(shí)間窗，每一個(gè)時(shí)間窗即為一個(gè)樣本.每種情況共獲得樣本數(shù)為1 440個(gè).經(jīng)過(guò)多次實(shí)驗(yàn)驗(yàn)證，行為模型與位置模型使用RF算法識(shí)別的準(zhǔn)確率較高，如圖3所示.將過(guò)濾后的數(shù)據(jù)輸入不同的模型進(jìn)行數(shù)據(jù)分析，其結(jié)果如圖3所示:

Fig. 3 Common model and fusion model identification accuracy圖3 常見(jiàn)模型與融合模型身份識(shí)別準(zhǔn)確率

3.2 實(shí)驗(yàn)分析

如圖4所示,可以明顯看出RF對(duì)行為與位置的識(shí)別準(zhǔn)確率較高，并且RF算法的復(fù)雜度較低，更有利于在智能手機(jī)上使用，所以在行為與位置識(shí)別過(guò)程中采用的是RF算法.圖4是將常用的5種算法模型應(yīng)用到步態(tài)身份識(shí)別中，并與先進(jìn)行步態(tài)與位置預(yù)測(cè)的融合模型對(duì)比，發(fā)現(xiàn)融合模型識(shí)別精度高于其他模型，所以在進(jìn)行步態(tài)識(shí)別時(shí)采用本文提出的融合步態(tài)識(shí)別模型能有效地提高預(yù)測(cè)準(zhǔn)確率.因此，本文提出的方法為智能終端風(fēng)險(xiǎn)控制模塊提供新的非干擾式的身份判斷依據(jù)，能進(jìn)一步提高了用戶信息的安全性和用戶體驗(yàn).

Fig. 4 Common model behavior location recognition accuracy圖4 常見(jiàn)模型行為位置識(shí)別準(zhǔn)確率

進(jìn)一步比較本文步態(tài)識(shí)別算法和傳統(tǒng)步態(tài)識(shí)別算法的準(zhǔn)確率，使用相同的數(shù)據(jù)集進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)對(duì)比用戶在走路的時(shí)候智能手機(jī)設(shè)備在“擺動(dòng)的手中”、“固定在胸前”、“褲口袋”3個(gè)不同位置，實(shí)驗(yàn)結(jié)果如圖5所示：

Fig. 5 The accuracy of traditional and fusion models in different positions圖 5 不同位置下傳統(tǒng)與融合模型準(zhǔn)確率

通過(guò)圖5可以得出：對(duì)于在用戶走路行為中，智能手機(jī)設(shè)備放在“擺動(dòng)的手中”、“固定在胸前”、“褲口袋”這3個(gè)位置，本文提出的僅使用加速度傳感器數(shù)據(jù)的算法精度均優(yōu)于傳統(tǒng)的步態(tài)識(shí)別算法.傳感器、智能設(shè)備擺放的位置是用戶步態(tài)識(shí)別準(zhǔn)確率的重要因素，即使是同一個(gè)用戶在不同位置采集到的數(shù)據(jù)對(duì)用戶步態(tài)的識(shí)別也有著較大的影響.因此在進(jìn)行用戶步態(tài)識(shí)別之前，先對(duì)用戶的行為以及智能手機(jī)設(shè)備的位置的預(yù)測(cè)對(duì)隨后的用戶步態(tài)識(shí)別與驗(yàn)證有很大的幫助.二元預(yù)測(cè)的結(jié)果如表2所示:

Table 2 OS-ELM Volunteers Bivariate Prediction

本文在進(jìn)行步態(tài)識(shí)別的時(shí)候采用的OS-ELM在線更新模型，在用戶的使用過(guò)程中其步態(tài)信息會(huì)隨著首次身份確認(rèn)，在用戶授權(quán)的前提下同步將數(shù)據(jù)上傳保存到云端的步態(tài)指紋庫(kù)中.指紋庫(kù)的目的是不斷地更新步態(tài)識(shí)別模型，從而不斷提高步態(tài)識(shí)別的準(zhǔn)確度，為用戶步態(tài)安全模塊提供在線更新支持.步態(tài)識(shí)別模型在線增量更新準(zhǔn)確率如圖6所示：

Fig. 6 OS-ELM incremental learning accuracy map圖6 OS-ELM增量學(xué)習(xí)準(zhǔn)確率圖

3.3 人機(jī)交互體驗(yàn)問(wèn)卷

在每位志愿者完成人機(jī)交互實(shí)驗(yàn)之后，邀請(qǐng)他們完成一份關(guān)于人機(jī)交互體驗(yàn)的簡(jiǎn)單問(wèn)卷，每個(gè)問(wèn)題滿分為10分，分?jǐn)?shù)越高表現(xiàn)越好.如表3所示，本文提出的步態(tài)識(shí)別方法達(dá)到了非常優(yōu)秀的效果，人機(jī)交互體驗(yàn)也得到了志愿者的認(rèn)同.

Table 3 Human Computer Interaction Experience

4 結(jié)束語(yǔ)

本文提出了一種基于步態(tài)分析的非干擾身份驗(yàn)證方法，并將其應(yīng)用在智能終端風(fēng)險(xiǎn)控制中，同時(shí)我們構(gòu)建了一套風(fēng)險(xiǎn)控制識(shí)別系統(tǒng).本文提出融合步態(tài)識(shí)別方法與智能終端設(shè)備的位置、朝向無(wú)關(guān)，同時(shí)只過(guò)濾出走路-擺動(dòng)的手中、走路-固定在胸前和走路-褲口兜中3種情況的數(shù)據(jù)作為步態(tài)識(shí)別的輸入.鞋子的材質(zhì)類型以及人的情緒都會(huì)對(duì)用戶的步態(tài)產(chǎn)生影響，這也是以后工作要著重解決的問(wèn)題，這方面問(wèn)題增加了對(duì)步態(tài)影響的因素，因此，要想將步態(tài)識(shí)別與驗(yàn)證模塊更好地納入到操作系統(tǒng)內(nèi)置服務(wù)中，還需對(duì)更多的行為位置組合進(jìn)行步態(tài)分析，進(jìn)一步提高識(shí)別精度，確保用戶信息安全.