基于手機傳感器的左右手識別

吳飛

（四川大學計算機學院，成都 610064）

基于手機傳感器的左右手識別

吳飛

（四川大學計算機學院，成都 610064）

科學技術的高速發展，智能手機因其內置的各類傳感器而功能越來越強大。通過智能手機內置的傳感器分別收集左右手從桌面拿起手機時的狀態數據，從中提取相關特征。利用序列向前選擇（SFS）算法及相關評價函數選出特征子集，然后通過機器學習算法構建分類模型，用來對用戶拿起手機的左右手進行識別。最后通過10-折交叉驗證方法評估模型的準確率，實驗結果表明構建的分類模型具有較高的準確率。

智能手機；傳感器；機器學習；交叉驗證；左右手識別

0 引言

隨著集成電路技術的飛速發展，移動終端的處理能力越來越強大，尤其手機的發展備受矚目。在其發展進程中可以發現手機的屏幕尺寸越來越大，我們可以歸結為以下幾個原因：日常生活中，用戶使用手機處理的事務越來越多，使用平板電腦等大屏移動終端的場景也越來越多，這些不可避免地加大了對屏幕顯示的需求；同時多點觸控技術對輸入方式的顛覆使得大屏幕更適應當前的潮流；此外，軟件技術的提高帶來了豐富的軟件應用，大屏幕手機在游戲、影視、圖片等應用中帶來了良好的用戶體驗。

手機的快速發展在給用戶帶來良好使用體驗的同時也帶來了相應的挑戰[1]，特別是在單手操作大屏幕手機時，若用戶使用的不是習慣用手時，便會帶來很大的可用性問題，影響用戶的操作體驗。雖然目前手機可以設置單手模式來減少用戶單手操作時的可用性問題，但是該功能僅僅只是縮小了用戶操作的界面，并且需要用戶主動去設置，不能實時自動地調整。

縱觀手機發展歷程，可以找到解決上述問題的方法——利用手機內置的各種傳感器。科學技術的發展進步，智能手機集成了各種傳感器，這些傳感器增強了手機的功能，同時也使得豐富的應用軟件也越來越貼近人們的生活。例如，在手機游戲中運用重力感應器，增加用戶的游戲體驗；利用手機傳感器收集來的數據，識別用戶一天的姿態（坐、立、行、跑），從而估算出用戶一天消耗的卡路里，制定合理飲食和運動[2]；閱讀軟件利用傳感器識別用戶的翻頁動作等。考慮到上述應用中利用傳感器收集用戶的數據，識別用戶的狀態，從而解決相應的問題。因此可以考慮利用手機內置的傳感器來解決大屏幕手機帶來的可用性問題。

為解決上述手機屏幕尺寸帶來的可用性問題，首先需要考慮的是識別出用戶使用手機的左右手。本文通過手機內置的傳感器分別收集左右手從桌面拿起手機時的數據，從數據中提取相關特征，通過機器學習（Machine Learning）算法建立分類模型，用以對左右手進行識別。使用交叉驗證方法評估出分類模型具有較高分類準確率。

1 相關工作

目前，利用手機傳感器收集數據進行分析的研究主要集中在對用戶運動、手勢和姿態的識別。

文獻[3]采用手機內置的加速度傳感器，通過基于連續的隱馬爾可夫模型來構建手勢識別系統。該識別系統中包含了從數據中除去設備方向帶來影響的預處理步驟。文中還對樣本精度和采樣頻率的影響做了相關研究。文獻[4]中，通過手機加速度傳感器收集數據，構建模型對用戶的運動狀態（慢跑、走、站、坐和上下樓等）進行識別。文中對具有周期模式的運動狀態進行了詳細的分析，使得更容易識別這些運動狀態。此外，使用了三種學習算法對識別的準確率進行判斷。文獻[5]為了提高識別準確率和擴展應用任務，提出了新的手勢識別系統，該系統基于手機的三種傳感器（加速度傳感器、陀螺儀和磁力計）。為了整合每種傳感器的數據，提出了數據加權融合方法。通過隱馬爾科夫模型進行訓練和識別。文獻[6]通過3軸加速度傳感器對手機在空間中的位置和變化率進行識別，并將其應用到網球游戲中。通過對正手擊球、反手擊球和發球等動作的共同的連續序列進行分析，得出不同的模式進而用于對動作的識別。

上述關于傳感器的相關研究運用不同的方法和不同的手機內置傳感器，對用戶的手勢、姿態和運動進行建模識別，都有較高的識別率和應用前景。但這些研究都是對手機內置傳感器在應用程序中的擴展，本文希望通過對用戶左右手的識別，除了達到上述目的外，還可以提高手機的可用性。

2 實驗設計

2.1 受試者

本實驗的受試者為13名在校大學生（男性），年齡在24~30之間。所有的受試者在日常中都經常使用手機，且都有單手操作手機的經驗。在所有的受試者中，當單手操作手機時，既有習慣使用左手的，也有習慣使用右手的。

2.2 實驗任務

該實驗選擇屏幕尺寸為5.5寸的大屏Android手機用來采集實驗數據。為了收集實驗時的傳感器數據，編寫了一個簡單的Android程序，程序截圖如圖1所示。

圖中開始和停止按鈕用來控制數據的收集：按下開始鈕時，程序采集傳感器數據，將其寫入相應的文本文件中并存儲到手機本地上；按下停止鈕時，程序停止對傳感器數據的采集。按鈕下的界面用來實時顯示傳感器數據。

本實驗要求受試者分別使用左右手從桌面拿起手機，到達使用手機的狀態時停止。開始準備拿起手機時按下開始按鈕，停止時按下停止按鈕。要求受試者左右手分別實驗20次（實際實驗中實驗次數可能超過20次）。

圖1 實驗界面

2.3 實驗步驟

首先，向受試者說明實驗目的，了解實驗過程。為了讓受試者清楚明白實驗步驟，讓其先嘗試幾次實驗。然后，將手機豎直平放在桌面上，受試者正對手機開始實驗。按下開始按鈕，受試者單手拿起手機，拿至面前到達使用狀態時，按下停止按鈕。最后將手機放回原位，這樣一次實驗完成。受試者同一只手重復20次后，需要將收集到的傳感器數據另存為其他文件，避免與另一只手的數據混淆（該步驟由實驗者完成）。受試者使用另一只手重復上述步驟，最終完成實驗。

實驗后，受試者完成一份問卷，記錄下受試者的年齡、單手使用手機時的習慣用手等信息。

3 數據收集與處理

3.1 數據收集

本文要收集手機傾斜、搖擺等運動學數據，因此我們要收集的傳感器數據包括重力傳感器、加速度傳感器、線性加速度傳感器和陀螺儀等運動傳感器。

根據上述實驗，本文收集了13位受試者共591個姿態數據（將手機從桌面拿起到使用狀態的過程算一個姿態），其中包括左手數據302個，右手數據289個。收集的數據按照“X軸加速度Y軸加速度Z軸加速度時間戳”的格式保存在文本文件中。不同的傳感器數據保存在不同文本文件中。

3.2 數據預處理

根據研究[10]手機傳感器收集的數據與實際值有一定數值的偏差。收集的原始數據因為有波動和噪聲，因而帶來誤差。誤差按照性質的不同，分為系統誤差、隨機誤差和粗大誤差。不同性質的誤差處理的方法不同。

系統誤差是由某些特定原因引起的誤差。系統誤差的大小和方向往往會保持不變或者按一定的規律變化，可以通過減去一個補償值來消除，本文中通過減去手機在桌面靜止時傳感器數值的平均值來消除。隨機誤差的大小和方向都不一定且變化沒有規律，但是在統計學上符合一定的規律，可以通過濾波的方法減少隨機誤差的影響。粗大誤差是被試者自己粗心導致，規范實驗步驟后，可以不予考慮。

4 數據分析與結果

4.1 特征選擇方法

收集的手機傳感器的原始數據不能直接用于構建分類模型。本文首先提出的特征包括：速度、平均值和角度。對于各個特征的具體描述如下：

速度（Velocity）：取線性加速度傳感器各軸以及時間戳數據，計算平均速度作為特征（共1個），計算公式（1）如下。速度反映了拿起手機的快慢。

其中V表示速度，xi、yi、zi、ti表示每個姿態第i個采樣X、Y、Z軸的線性加速度與時間戳。

平均值：取各個傳感器各軸的加速度數據，分別計算其平均值作為特征（共12個）。平均值描述了各個傳感器各軸數據的總體趨勢。各個傳感器各軸平均值表示符號如表1所示。

表1 各個傳感器各軸平均值表示符號

角度（Angle）：指的是手機拿起后狀態一定時末狀態左右傾斜的角度（共1個）。因為重力傳感器X軸的數值表示手機左右傾斜時重力加速度在X軸上的分量。因此可以用重力傳感器X軸的數值來表示手機的左右傾斜程度，而不必算出準確的傾斜角度，從而減少了計算量。

由于機器學習方法構建的分類模型的質量很大程度上依賴于作為輸入數據集合而所選的特征。剔除不相關及冗余等不必要的特征，可以提高分類模型的分類準確率。因此，需要對上述提出的特征集合進行特征選擇。本文使用序列向前選擇（SFS）算法搜索特征子集，使用相關性和分類器錯誤率作為評價函數來分別評價產生的特征子集的好壞，并將兩種評價函數進行比較。

序列向前選擇（SFS）算法已經被成功用于各種各樣的特征選擇問題，生成具有高性能的最小特征子集。SFS算法是自底向上的搜索過程，特征子集從空集X開始，每次從剩下的特征子集中選擇一個使得評價函數的取值達到最優的特征x加入到特征子集X中。

運用相關性來度量特征子集的好壞是基于這樣一個假設：好的特征子集所包含的特征應該是與分類的相關度較高，而特征之間的相關的較低。評價函數的計算是通過調用weka的CfsSubsetEval函數。使用分類器錯誤率評價特征子集的性能是指使用特定的分類器（本文使用SVM），用給定的特征子集對樣本集進行分類，用分類的精度來衡量特征子集的好壞。當加入一個新的特征x到特征子集X中后，如果沒有提高評價函數的取值，那么就終止特征選擇過程。

4.2 特征選擇結果

對收集的數據進行特征選擇，使用相關性作為評估函數選出的特征子集為：AVE（Ax）、AVE（Gx）、ANGLE。使用分類器錯誤率進行特征選擇的過程如表2：

表2 分類器錯誤率特征選擇

表中粗體表示特征選擇的結果為：AVE（Ax）、AVE （Ay）、ANGLE、AVE（Wz）。

4.3 分類結果

根據上述特征子集選擇產生的結果，利用機器學習方法來構建分類模型，并通過10折交叉驗證方法驗證分類模型的準確率。在本文中，利用了多種機器學習方法來構建模型，并比較它們的分類準確率。用到的機器學習方法包括：支持向量機（SVM）、邏輯回歸（LR）、多層感知器（MLP）、決策樹（J48）。最終的分類準確率如表3所示。

表3 多種不同機器學習方法應用在不同評價函數上的分類準確率

從表中可以看出，每種機器學習方法構建的分類模型的分類準確率都很高，平均分類準確率在96%左右。還可以從橫向和縱向兩個方向對表中的數據進行比較分析。

從橫向看，在不同的機器學習方法中，構建的分類模型的分類準確率相對較高的是支持向量機（SVM）。從縱向看，使用分類器錯誤率作為評價函數選出的特征子集比用相關性作為評價函數選出的特征子集構建的分類模型的分類準確率高，分類準確率最高的特征子集是AVE（Ax）、AVE（Ay）、ANGLE、AVE（Wz），使用SVM分類準確率達97.80%。

5 結論和未來的工作

本文使用了手機內置的運動傳感器來收集其從桌面拿起到使用過程中的狀態數據。通過分析數據生成了相關特征，并從中刪除不相關和冗余的特征，使用序列向前選擇（SFS）算法來搜索特征子集，同時使用相關性和分類器錯誤率來分別評價所搜索的特征子集的好壞，最終選出準確率最高的特征子集，最后使用多種機器學習算法構建分類模型，最終的分類準確率都很高，平均在96%左右。這說明機器學習算法與手機內置傳感器結合可以用來解決本文提出的手機尺寸帶來的可用性問題。

本文研究存在著很多有待改進提高的部分。①在數據收集部分，本文收集數據的起始和結束是通過相關按鈕人為控制。在該過程中，收集的手機狀態數據有可能帶來偏差，例如，結束時點擊按鈕可能帶來手機角度的偏差。因此，自動識別數據收集的起始和結束點是未來工作一個重要環節。②研究只考慮了手機平躺在桌面被拿起的情況，未來可以考慮多種起始狀態的情況。③用于構建模型的特征，文中考慮的也許并不全面，可能存在其他更合適特征，可以提高識別準確率。④文中現在的研究結果僅僅是在離線狀態下的，并不是實時產生的，未來希望可以實時對用戶和手機的狀態做出反應。

除了上述提及的以外，未來一個非常重要的方向就是應用文中的研究結果，提高手機的可用性，改善用戶的操作體驗，正如文中引言提及的，也是本文研究的目的所在。例如，利用本文的研究結果結合用戶使用手機的數據（如應用程序使用的頻率、輸入法使用等），可以根據用戶的使用手自動調節手機桌面應用程序圖標布置、輸入法界面等設置，減少屏幕尺寸變大帶來的可用性問題，以提高用戶的滿意度。

[1]Hsu H H,Tsai K C,Cheng Z,et al.Posture Recognition with G-Sensors on Smart Phones[C].NBiS.2012:588-591.

[2]Lane N D,Miluzzo E,Lu H,et al.A Survey of Mobile Phone Sensing[J].IEEE Communications Magazine,2010,48(9):140-150.

[3]Pylvanainen T.Accelerometer Based Gesture Recognition Using Continuous HMMs[C].Iberian Conference on Pattern Recognition and Image Analysis.Springer Berlin Heidelberg,2005:639-646.

[4]Kwapisz J R,Weiss G M,Moore S A.Activity Recognition Using Cell Phone Accelerometers[J].ACM SigKDD Explorations Newsletter, 2011,12(2):74-82.

[5]Liu,F.,et al.Gesture Recognition System Based on Multi-Sensor for Future Mobile Phone[J].Proceedings of 2011 2nd Asia-Pacific Conference on Wearable Computing Systems(APWCS 2011 V1).

[6]Cho H,Kim S,Baek J,et al.Motion Recognition with Smart Phone Embedded 3-Axis Accelerometer Sensor[C].2012 IEEE Interna-tional Conference on Systems,Man,and Cybernetics(SMC).IEEE,2012:919-924.

[7]Pei C,Guo H,Yang X,et al.Sensors in Smart Phone[C].International Conference on Computer and Computing Technologies in Agriculture.Springer Berlin Heidelberg,2010:491-495.

[8]D'Elia M G,Paciello V.Sensors Uncertainty on an Android Smart Phone[C].Instrumentation and Measurement Technology Conference (I2MTC),2012 IEEE International.IEEE,2012:698-702.

[9]Guolu W,Kaijin Q,Yao C.The Design and Implementation of a Gravity Sensor-Based Mobile Phone for the Blind[C].Software Engineering and Service Science(ICSESS),2013 4th IEEE International Conference on.IEEE,2013:570-574.

[10]Ma Z,Qiao Y,Lee B,et al.Experimental Evaluation of Mobile Phone Sensors[C].Signals and Systems Conference(ISSC 2013),24th IET Irish.IET,2013:1-8.

[11]Brezmes T,Gorricho J L,Cotrina J.Activity Recognition from Accelerometer Data on a Mobile Phone[C].International Work-Conference on Artificial Neural Networks.Springer Berlin Heidelberg,2009:796-799.

Right and Left Hand Identification Based on Mobile Sensor

WU Fei
(College of Computer Science,Sichuan University,Chengdu610064)

With the rapid development of science and technology,smart phones become more powerful because of its built-in various sensors.Collects state data when mobile phone is picked up from tabletop by right and left hand through sensors which are built in smart phone,and then relevant features are extracted from them.Uses sequence forward selection(SFS)algorithm and the related evaluation function to select the feature subset,then builds classification model via machine learning algorithm,which is used to identify which hand is used when user picked up the mobile phone from tabletop.At last assessments the accuracy of model through 10-fold cross-validation,the results of experimental show that the built classification model has a high accuracy.

Smart Phone;Sensor;Machine Learning;Cross-Validation;Right and Left Hand Identification

1007-1423（2017）05-0026-05

10.3969/j.issn.1007-1423.2017.05.007

吳飛（1990-），男，湖北洪湖人，碩士，研究方向為數字娛樂與人機交互

2016-11-29

2017-02-06