移動端用戶行為特征識別研究

楊帆

摘? 要：隨著移動互聯網的高速發展，智能手機已經成為人們社交、支付、出行、娛樂等活動中不可或缺的工具。而一旦手機被盜用，用戶的各類應用賬戶都可能被無限制地訪問，繼而導致身份冒用、隱私泄露、財產損失等嚴重后果。本文提出一種在移動端采集用戶行為特征，并通過神經網絡建模的識別方法，通過收集手機的傾斜角度、移動速度、加速度，以及用戶點擊、滑動屏幕的力度、速度、觸點形狀、面積等數據，驗證設備是否被他人盜用。這種身份驗證技術具有難以竊取和偽造、驗證流程用戶無感知、隱私性好等優點。

關鍵詞：行為生物識別;身份驗證;移動互聯網;卷積神經網絡

中圖分類號：TP311.52? ? ?文獻標識碼：A

Abstract：? With the rapid development of mobile Internet， smart phones have become an indispensable device in social activities， payments， travelling， entertainment and other activities. Once the mobile phone was stolen， the user's various application accounts might be accessed without restrictions， leading to serious consequences such as identity fraud， privacy leakage， and property loss. This paper proposes a recognition method that collects user behavior features on mobile terminals and uses neural network modeling. Data， such as tilt angle， movement speed， acceleration speed， as well as force， speed， shape and area of touchpoints， are collected to verify whether the device is stolen by others. This kind of identity verification technology has the advantages of being stealing and forgery resistant， undisturbed and privacy-friendly.

Keywords： behavioral biometrics; identity verification; mobile Internet; convolutional neural network

1? ?引言（Introduction）

目前，各類移動端應用為防止賬戶盜用，使用了多種身份認證技術，如數字密碼、圖形密碼、短信驗證碼、指紋識別、人臉識別等，但這些身份驗證方法均各自存在一些不足之處。首先，短信驗證碼在盜用者解鎖手機之后就無法起到保護作用;數字和圖形密碼容易被猜測，其中圖形密碼還能夠通過分析屏幕上殘留的手指痕跡被攻破[1];指紋和人臉識別一方面需要手機硬件支持，另一方面依賴用戶的唯一生物信息，容易引起對個人隱私的擔憂，如最近一份關于個人信息使用的調查中顯示，六成受訪者認為人臉識別技術有濫用趨勢[2]。本文中，我們研究了在移動端采集用戶行為特征進行身份驗證的方案：通過用戶使用手機時的握持方式、運動方式、屏幕點擊習慣等信息，進行神經網絡建模，驗證設備使用者的身份。可內置于移動端的網頁、小程序當中，以無感形式運行，具有較好的防盜和防偽性，且無須采集用戶的唯一生物特征。

2? ?相關研究（Related research）

最近幾年，國內對行為特征識別的研究從采集的行為類型上大致可以分為鍵盤鼠標行為、網絡訪問行為、手機攜帶行為、觸摸行為四種。

基于鍵盤鼠標行為的身份驗證：顏麗菁[3]和鐘意[4]基于用戶的擊鍵動力學和鼠標動力學特征，分別提出了僅基于鼠標，以及結合鼠標和鍵盤行為的用戶交互信息持續身份認證方法。因為在研究中只考慮用戶使用鼠標和鍵盤的行為模式，所以只適用于電腦端認證，無法用于移動端。

基于網絡訪問行為的身份驗證：譚飛越[5]提出了一套利用用戶Web瀏覽行為進行身份驗證的方案，主要收集用戶每天訪問的網頁數量、訪問時間、網頁URL，以及經過文本處理而提取出的網頁主題等信息，體現不同個體之間在網絡訪問習慣和興趣方面的差異。這個方案只使用和具體瀏覽內容相關的信息，而不采集從傳感器取得的物理行為數據。

基于手機攜帶行為的身份驗證：龐曉健[6]和胡海龍[7]各自提出了基于手機中加速度計、陀螺儀等傳感器收集用戶運動、步態等手機攜帶過程中產生的信息進行持續身份認證的方案，其中胡海龍的方案還采集了手機藍牙、WIFI、GPS等信息。不過研究中沒有采集用戶和手機屏幕的交互數據。

基于觸摸行為的身份驗證：鄒斌[8]和劉永帥[9]各自提出了通過記錄用戶觸屏行為，使用SVM、SMO等算法進行身份認證的方案。其中鄒斌使用的是一個公開的數據集，并未設計數據采集方案;而劉永帥則是在安卓2.3系統下開發了一款數據采集應用，該應用始終保持在后臺運行，靜默記錄用戶和手機屏幕的交互。但是需要指出，隨著安卓系統的不斷更新，從2017年谷歌推出安卓8.0開始，對應用的后臺運行做出了嚴格的限制：后臺應用僅在特定的情況下才會獲得約幾分鐘的時間窗口，隨后安卓系統會停止其服務。因此，比起通過后臺應用持續收集觸摸行為等信息，將數據采集以模塊化的方式內置于頁面中，如從HTML5頁面進行數據收集，具有更高的可行性。

3? ?數據采集和處理（Data collection and parsing）

3.1? ?數據采集

設計HTML5頁面，向頁面中的元素添加eventListener，監聽三類行為事件：觸摸事件、設備角度變化事件、設備移動事件，具體包括：觸摸開始（touchstart）、觸點移動（touchmove）、觸摸結束（touchend）、設備角度變化（deviceorientation）和設備移動（devicemotion）。

（1）觸摸事件。在HTML5頁面上捕獲三類觸摸event后，可以通過event.touches[n]獲取由Touch對象構成的數組TouchList，其中n表示觸點的編號：數組中一個Touch對象代表一個觸點，當有多個手指觸摸屏幕時，TouchList就會存儲多個Touch對象。

需要注意的是，Touch對象可以細分為三種：touches、targetTouches和changedTouches。changedTouches對象中記錄的是最近一次發生變化的觸摸點信息，例如同時有兩根手指觸摸屏幕，只移動其中一根手指，那么對應的touchmove事件中changedTouches就只會存在發生了移動的觸點信息。另一方面，targetTouches對象中會包括此時屏幕上所有觸點的信息，無論其內容是否發生了變化，但有一個前提是觸點必須保持在同一個dom元素內。例如，手指先按下按鈕A，之后移動到按鈕B上，那么從targetTouches中只能讀到按鈕A對應的觸摸信息，移動到按鈕B之后的則會被忽略。而touches則是表示范圍最廣的事件，它記錄當前屏幕的所有觸點，無論觸點信息是否發生變化，也無論觸點是否保持在同一個dom元素內。

通過以上分析，changedTouches適用于只需要關注觸點狀態更新的場景，而targetTouches適用于只需要關注單個dom元素的場景，而我們需要對整個HTML頁面上所有觸點的狀態做持續的記錄，因此最適用的是touches對象。從touches對象的屬性中，我們可以獲得按壓力度、觸點形狀、觸點位置等信息。

（2）設備角度變化事件。在HTML5頁面上捕獲設備角度變化事件后，可以從事件屬性中獲得設備當前在空間中的x、y、z坐標角度。

（3）設備移動事件。同樣的，在HTML5頁面上捕獲設備移動事件后，可以從事件屬性中獲得設備當前移動加速度、重力加速度、旋轉角速度的數據，均有x、y、z三個方向。

3.2? ?數據處理

（1）合并事件

以上三類行為事件是相互獨立的，也就是說，在用戶沒有操作屏幕時也會持續產生設備角度變化和設備移動的數據。但我們最關注的是用戶進行點擊、滑動等操作時對應的設備狀態，因此在數據處理的第一步，需要找到每個觸摸事件所對應的設備角度和移動數據。具體方法是，對每個觸摸事件，向前找到距離它最近的角度變化和移動事件各一條，將它們的屬性轉存到觸摸事件對象的屬性中。

（2）計算滑動速度

對于滑動事件，滑動時各個觸點在屏幕上的絕對坐標往往并不是十分重要，因為根據頁面布局的不同，用戶滑動的位置也會存在差別。而滑動速度和位置無關，更能反映用戶的操作習慣。因此我們使用前后兩次觸點移動事件的坐標差除以時間差，計算出對應的手指滑動速度。而對于點擊操作，直接將速度賦值為0。

（3）數據分片

一個孤立的操作，例如一次點擊，所包含的信息量是很少的，很難作為身份驗證的依據。而一系列操作，例如一個完整的業務流程所對應的多個點擊、滑動操作的組合，就能提供較多的信息。因此，我們不直接把單個事件作為模型的輸入，而是將全量數據切分為數據片。

如前一節所述，在原始數據中，觸摸事件有三個種類，即觸摸開始（touchstart）、觸點移動（touchmove）、觸摸結束（touchend）。一次點擊操作只會包含觸摸開始和觸摸結束兩個事件，而一次滑動操作會包含觸摸開始、觸摸結束，以及在它們之間的數個觸點移動事件。分片時從第一條touchend開始，向后找touchstart事件，并比較兩個事件的時間差是否大于設定的閾值k，如果大于則分片：將touchstart之前的所有記錄添加（extend）進當前片，并創建（append）一個新片;如果時間差在閾值k以內，則不進行分片，只把touchstart之前的所有記錄添加到當前片的尾部。遞歸地進行以上流程，直到無法找到下一個touchstart為止。此流程可用偽代碼表示如下：

function slice（events， time_gap = 1000）：

function do_slice（events）：

i = 0

# 找下一個touchend事件

while i < len（events） and is_not_touchend（events[i]）：

i += 1

# 如果后面沒有touchend了，結束遞歸

if i >= len（events）：

return

end = events[i]

# 繼續找下一個touchstart事件

while i < len（events） and is_not_touch_start（events[i]）：

i += 1

# 如果后面沒有touchstart，補全最后一個分片，并且結束遞歸

if i >= len（events）：

extend_slice（slices， events）

return

start = events[i]

# 找到touchend和touchstart，比較兩者時間差

if time_diff（end， start） < time_gap：

extend_slice（slices， events[： i]）

else：

new_slice（slices， events[： i]）

# 將還沒處理的事件列表輸入下一步遞歸

do_slice（events[i： ]）

slices = []

do_slice（events）

return slices

（4）篩選和填充

分片后的數據，每一片可以表示為一個二維矩陣，矩陣的每一列表示一個特征維度，例如按壓力度，設備x、y、z軸加速度等，每一行表示一個觸摸事件。很顯然，用戶每次操作不會完全相同，所以每個矩陣中的事件個數也不同。而許多機器學習和深度學習模型要求輸入的樣本均具有相同的維度，因此需要對矩陣進行0填充（Zero Padding）。在填充之前，我們可以首先將行數小于3的矩陣篩去，這些矩陣只記錄了一次孤立的點擊，不確定性過強，不利于我們得到穩定的模型。之后找到所有矩陣中行數最多的矩陣，將其他矩陣用0填充到和它相同的行數。

在經過處理后，輸入矩陣的列（特征）內容如表1所示。

4? ?模型設計（Model design）

我們將身份驗證視為多分類問題，訓練一個二分類器基于一對多（1 vs N）策略建模。具體地，選擇訓練一維卷積神經網絡作為分類器。

一維卷積和常用于圖像建模的二維卷積類似，區別在于其對輸入僅在一個維度上計算卷積，配合填充（padding）可保持各卷積層的輸出總有一個維度的長度不變，即能保持時間序列信號的局部依賴關系不變，故而更加適用于序列化數據的建模[10]。其計算公式可表示為：

式中，f表示單個通道長度為n的輸入，g表示尺寸為m的一維卷積核，i的取值為0到（n-m+1）。

我們設計的神經網絡共有三個卷積層、一個全連接層，以及一個使用sigmoid激活函數的輸出層。卷積層和全連接層均使用ReLU作為激活函數，卷積核尺寸分別為3、5、7，卷積核個數分別為32、64、128。因為卷積核是一個滑動窗口，輸出的矩陣行數會少于輸入。例如，輸入矩陣有n行，通過一個尺寸為3的一維卷積核后，輸出的行數會變為（n-2）行。因此我們在輸入卷積層前使用0填充，以保持每層輸出的feature map矩陣具有相同的行數。神經網絡結構如圖1所示，圖中的數值94為訓練數據中一個分片包含的最多事件數。

神經網絡經過Sigmoid激活的全連接層，對于每一個輸入的數據片，輸出為一個取值從0到1的偽概率，越接近1表示網絡預測輸入樣本與對應的正類樣本越接近。將樣本輸入各個模型，取輸出中最大值所對應的類別，預測為樣本的類別。

5? ?實驗（Experiment）

我們仿造移動端支付應用設計了一個支付小程序的HTML5頁面，內置了數據采集模塊。征集50位志愿者，讓每位志愿者在支付小程序中完成一系列操作流程，過程中讓志愿者自由選擇最習慣的操作方式。設計的頁面如圖2所示。

在對數據處理后輸入神經網絡進行建模，采用二元交叉熵（Binary Cross Entropy）損失函數，對每一個分類作獨立建模。建模時基于1 vs N策略，將當前類作為正樣本，其余所有類作為負樣本，并取樣以控制正負樣本比例為1﹕1。預測時對一個樣本通過每個模型進行評分，取Sigmoid函數輸出最大的分類。模型迭代過程中的準確率曲線如圖3所示，對應的AUC曲線如圖4所示。

使用模型進行預測，圖5是其中一個模型在輸入來自不同的兩個人的負樣本時，輸出的頻率分布直方圖。可以看到，對于圖中左側的輸入樣本，模型的分類效果很好，輸出p幾乎都在0附近;對于圖中右側的輸入樣本，模型的分類效果稍差一些，但綜合所有輸入分片的結果，依然能明顯看出模型偏向于拒絕（p<0.5）。圖6是同一個模型在輸入正樣本（本人操作）時的輸出，大多數預測p值均接近1，表示成功地接受了大多數正樣本。

6? ?結論（Conclusion）

本文分析了現有移動端身份識別技術存在的一些不足之處，之后提出一種移動端用戶行為特征識別方案。采集設備傳感器和屏幕產生的數據，如傾斜角、移動速度、加速度、觸點壓力、觸點形狀、滑動速度等，從中對用戶使用手機時的行為習慣通過卷積神經網絡進行建模和識別。方案中的數據采集模塊可內置于網頁、小程序中，無須安裝額外應用。這種驗證方法主要具有特征難以竊取和偽造、驗證流程用戶無感知、不涉及指紋和人臉等唯一身份標識等優點，可以作為傳統身份認證技術的輔助技術。

參考文獻（References）

[1] Aviv， A. J.， Gibson， et al. Smudge attacks on smartphone touch screens[C]. Usenix Conference on Offensive Technologies， 2010：1-7.

[2] 南都個人信息保護研究中心.人臉識別應用公眾調研報告[EB/OL].[2020-10-13].http：//epaper.oeeee.com/epaper/A/html/2020-10/14/content_29847.htm.

[3] 顏麗菁.基于用戶鼠標行為的身份認證方法研究[D].西安：西安理工大學，2018.

[4] 鐘意.基于用戶交互行為特征的持續身份認證研究[D].重慶：重慶郵電大學，2019.

[5] 譚飛越.基于用戶行為特征的持續身份認證研究[D].重慶：重慶郵電大學，2019.

[6] 龐曉健.基于行為感知的移動終端持續認證研究[D].西安：西安電子科技大學，2019.

[7] 胡海龍.基于行為生物特征的移動用戶身份持續認證方法研究[D].重慶：西南大學，2019.

[8] 鄒斌.基于生物行為特征及單分類算法的手機用戶持續認證研究[D].重慶：西南大學，2019.

[9] 劉永帥.移動設備上基于生理行為特征的用戶識別方法研究[D].成都：電子科技大學，2016.

[10] Ronao C A， Cho S B. Human activity recognition with smartphone sensors using deep learning neural networks-

ScienceDirect[J]. Expert Systems with Applications， 2016， 59（10）：235-244.

作者簡介：

楊? ?帆（1982-），男，本科，中級工程師.研究領域：支付技術，風控，人工智能.