手持移動設備的可用性評估方法研究綜述

張 煜，李 萌

(西安交通大學機械工程學院，陜西西安 710049)

手持移動設備的可用性評估方法研究綜述

張 煜，李 萌

(西安交通大學機械工程學院，陜西西安 710049)

對手持移動設備的可用性評估的研究現狀進行了綜述，總結分析了手持移動設在可用性評估標準、評估方法、技術手段及抽樣等方面存在以下問題：1)目前手持移動設備可用性評估標準以設計人員和專家為本，缺乏以用戶為本；2)現有的可用性評估方法主要以實驗室測試為主，手持移動設備的可用性評估強調現場因素對用戶的影響；3)現有的可用性評估抽樣存在影響效度的明顯問題。提出了手持移動設備可用性評估方法的進一步研究方向。

可用性評估；移動設備；現場測試

信息及通信技術產品在人們的生活和工作中越來越重要，由“固定性”向“移動性”發展，正在體驗著“任何時間、任何地點、任何方式”的移動計算環境下的全新使用體驗模式。雖然技術進步使得手持移動設備具有更強的計算能力、連接性和交互能力，但在可用性方面依然存在很多局限，面臨很多挑戰。手持移動設備與臺式計算機等固定終端相比，使用差異性主要表現在使用環境、操作方式以及用戶心理因素等方面[1-2]：

1)使用環境 使用環境動態多變，受物理條件、文化背景、硬件及網絡條件、電源供給、外界干擾因素、對其他設備的依賴、突發事件的影響，給對手持移動設備的使用增加了許多局限，使用體驗效果變差。

2)操作方式 手持移動設備要求操作動作盡量簡單，單手操作、操作步驟盡量少、操作空間受限，目前移動設備的交互方式缺乏統一標準，用戶需要學習不同類型手持移動設備的操作控制方式。另外，手勢、聽覺、嗅覺等多通道交互方式為手持移動設備用戶提供了更多使用體驗。

3)用戶心理因素 在移動狀態下，時間碎片化，用戶使用心理非穩定，具有警惕性、注意力分散等特點，認知負荷增加，對于被動獲取信息的需求增強，同時忍耐度得到降低。

由于以上原因，評估手持移動設備的可用性變得更為復雜和困難，一直是人們研究的熱點。手持移動設備的可用性評估研究主要集中在建立可用性評估標準，改進可用性評估方法以及評估過程中采用的技術手段等方面。本文對手持移動設備的可用性評估的研究現狀進行綜述，分析目前存在的問題和難點，對進一步研究的方向進行了展望。

1 可用性評估標準

1.1可用性的國際標準

最有影響力的關于可用性的國際標準是ISO/IEC 9126-1和ISO 9241-100。國際標準ISO/IEC 9126-1提出按照用戶使用觀點，從功能性、可靠性、可用性、有效性、移植性和維護性6個方面衡量軟件產品質量。可用性作為產品質量因素之一被定義為“在特定使用情景下，軟件產品能夠被用戶理解、學習、使用，能夠吸引用戶的能力”。國際標準ISO 9241-100對可用性的定義是“產品在特定使用環境下為特定用戶用于特定用途時所具有的有效性(effectiveness)、效率(efficiency)和用戶主觀滿意度(satisfaction)”。

國際標準ISO 9241-100是依據1985年計算機的技術水準和設計思想設計的。主要存在以下問題：1)把“效率”和“有效性”作為標準是以“機器為本”的觀念。2)把“有效性”作為標準是受當時計算機較低技術水平的影響。3)把“滿意度”作為標準缺乏心理學依據，出現對滿意度的各種不同的解釋，迄今在心理學中缺乏定義和試驗研究。4)從心理學的時代背景來看，20世紀70年代行為主義心理學被認知心理學取代，1985年動機心理學建立了行動模型，該標準反映了從“技術為本”向“以人為本”的過渡。5)可用性的各個因素彼此相關。導致設計人員無法判斷問題原因，無法改進。對可用性的這3條標準沒有給出明確的評估方法，僅是通過案例，說明具體評估中對可用性是如何考慮的[3]。

國際標準ISO 9241-100規定了用戶界面的7條設計標準及54條設計指南。德國若干研究機構依據這7條標準建立固定問卷對用戶進行測試。例如：德國Osnabrueck大學提出的IsoMetrics問卷等，這類問卷效度較低，主要存在的問題是這些標準是“以設計人員為本”的體現。1)測試問卷不符合用戶的操作體驗、行動過程以及觀察角度和思維方式。2)不適合各種具體設計項目。因為每個設計項目針對的問題不同，無法用統一測試標準去衡量各個設計項目。3)只能給出評價分數，往往適合橫向比較同類產品的某些指標特性，而無法測試出產品什么地方出現了問題，因此無法建議對其進行改進。

1.2其他可用性標準

1980年以來西方若干國家(愛爾蘭、美國、德國等)的大學或研究機構都建立可用性調查結構框架。這些標準依據不同于上述2種國際標準的因素結構。SCHACKEL將可用性分為4個因素：有效性、可學性、靈活性、態度[4]。他認為可用性評估方法是測試用戶通過學習而掌握的操作特性，不是界面適合用戶的程度。NIELSEN認為可用性分為5個因素：可學習性、效率、可記憶性、出錯、滿意度。依據此因素結構，他提出了專家評估，經驗用戶測試等可用性評估方法[5]。這些主要是“以人機學專家為本”的可用性標準和評估方法，不適合用戶的操作過程和評價過程。造成這種局面的主要原因在于：前期設計中建立用戶模型時所采用的理論依據是心理學，不同于可用性評估中所采用的理論依據——人機工效學，這種矛盾可能會給設計與評估造成沖突。

1.3手持移動設備的可用性評估標準

1990年以后人們逐漸明白，不存在某個固定的可用性標準或評估方法。設計具體產品應建立各自的可用性標準和評估方法。針對手持移動設備，已經總結了許多可用性設計指南：比如蘋果公司的人機界面指南[6]，Shneiderman的設計八原則[7]，黑莓的界面開發者指南[8]，諾基亞的40系列、60系列、90系列開發指南[9]，Symbian的用戶界面風格指南[10]。這些界面設計指南為設計人員從事界面開發提供了指導依據，但無法作為可用性評估的依據。

總體來說，目前手持移動設備的可用性評估標準的現狀是主要依據國際標準和一些人機學專家建立的可用性因素框架，在此基礎上根據手持移動設備的特點提出部分補充因素。例如：ZHANG Dongsong等給出了移動設備可用性評估的通用框架和可用性評估標準[11]。VIGO等提出了移動Web的評估框架，并完成了一個可自動計算的定量測試工具。對可用性的定量測量指標是：出錯率、絕對出錯數目[12]。HUMMEL等建立了移動情景因素框架，并基于無線傳感器的網絡(wireless sensor network，WSN)自動獲取環境信息，為分析環境因素對可用性的影響提供了客觀依據[13]。BEOM等給出了手機的可用性評估框架，以定性測量可用性風險[14]。JEONGYUN等提出了一個針對手機可用性評估的框架，以可用性因素多水平、分層模型為基礎，支持基于任務的評估和3類不同界面類型(邏輯用戶界面LUI，物理用戶界面PUI和圖形用戶界面GUI)的評估。提出了5個可用性標準：可視化支持任務目標，支持認知交互，支持有效交互，功能支持用戶需要，人機學支持[15]。這些可用性標準的共同特點是，以“設計人員或人機學專家為本”，并沒有從根本上形成“以用戶為本”的可用性測試體系。提出建立以“用戶為本”的可用性標準和評估方法應該根據具體情景和任務下，不同類型用戶對可用性的不同需求來建立基于用戶行動和認知特性的用戶模型和可用性標準。

2 可用性評估方法

2.1現有的可用性評估方法

現有的可用性評估方法已超過20種，大致分為測試(Testing)、詢問(Inquiry)、檢查(Inspection)3類方法。傳統方法多為實驗室環境下的評估，包括：績效測量法(Performance Measurement)、認知走查法(Cognitive Walkthroughs)[16]、啟發式評估(Heuristic Evaluation)[17-18]、有聲思維(Thinking Aloud Protocol)、清單核查法(Feature Inspection)[19]、實驗室觀察(Lab Observation)，問卷測試等。這些方法都有各自特點，每一種方法都不能完全勝任可用性評估的全部要求，需要把各種方法結合起來，充分發揮各自的特點，相互彌補不足。現場測試如圖1所示[20]。

圖1 移動設備的現場測試Fig.1 Field testing of mobile device

2.2基于現場測試的手持移動設備的可用性評估方法

基于手持移動設備的特殊性，KJELDSKOV等認為臺式計算機的可用性評估方法不完全適合手持移動設備，需要建立新的可用性評估方法[21]。他們主要針對實驗室方法提出了改進，設計不同的路線，讓用戶在行走中操作測試任務。但僅考慮了人體運動、是否需要集中注意力對認知負荷的影響，只測試了人行道上行走時的使用情景。而真實使用情景下的影響因素更為復雜。對于手持移動設備來說，實驗室環境屏蔽了現實生活中重要的文化和環境因素，無法復制和模擬真實環境的多變性，無法再現用戶的真實使用心理。因此，現場評估必不可少。許多學者比較了手持移動設備在實驗室和真實環境下可用性測試結果在可用性問題的出現頻率、嚴重性，用戶的行為，與設備交互的主觀反應[22]，以及認知負荷[23]方面存在顯著差異。GEORGIOS等在評估移動教育博物館的應用中采用了3種不同的評估方法：專家檢查、實驗室測試和現場測試。結果表明不同成本下每種方法發現不同類型的可用性問題。專家檢查成本低，可在早期發現關鍵性的可用性問題；現場測試最耗時耗力，但其他方法無法代替的是可以發現實際環境下操作的情況。他們主張在設計開發過程的不同階段采用不同的方法組合評估可用性評估[24]。DONG等建立了基于虛擬現實的移動設備設計評估系統，試圖彌補實驗室測試的缺陷，主要用于手機外觀設計方案評估和部分手機操作可用性評估[25]，但缺少視覺以外的多通道感知反饋，系統尚不完善。 針對傳統實驗室測試的缺陷，現場測試與多種方法的結合成為近年來移動設備可用性評估的主要趨勢。情景分析、短期或長期跟蹤研究、日常觀察以及日志研究(Log Study)、記錄實際使用法(Logging Actual Use)、遠程測試法(Remote Testing)等方法被廣泛采用[26]。有關移動設備可用性評估的研究僅發展了近10年時間，隨著各種新的移動應用形式出現，可用性評估方法仍有許多亟待解決的問題。OULASVIRTA認為現場測試必須發展針對復雜非任務現象的有效測量指標和技術手段。同時指出，當前的可用性評估缺乏對結果廣泛適用性的討論，缺少對產品的長期跟蹤研究[27]。KASPER給出評價可用性評估方法的一些原則，認為應更仔細分析可用性問題的內容，研究可用性評估過程的細節，關注可用性問題在現實生活中的優先級，以及可用性評估如何影響設計[28]。為了便于設計開發人員使用，設計過程和評估過程應依據相同的標準，WONKYU等試圖解決這一問題：將一般性可用性原則、UI組件和設計屬性3個因素相結合，建立手機用戶界面的樣式開發指南[29]。從上述資料可以看出，各種因素如何影響可用性評估的效度和信度有待進一步分析研究，需要探索一套有效適合手持移動設備的可用性評估體系。

3 技術手段

3.1可用性評估的難點問題

移動設備的可用性評估，一方面要盡量反映真實使用環境，另一方面要盡量減少研究人員和測試儀器設備對用戶使用的干擾。完整、準確的記錄收集可靠數據是長期以來研究的一個難點問題。

3.2可用性評估的各種技術手段

在長期跟蹤研究或遠程可用性研究中，通過移動設備系統本身記錄用戶的使用日志[30]，為此開發了RECON、MyExperience和Xensor等相關工具[31-32]。自動記錄工具是一種典型的不影響用戶直接被動的記錄方式。通過移動設備本身加載信息記錄工具，可以記錄用戶的客觀信息，并可以采集傳感器捕獲的環境信息，但缺點是不能夠得到用戶的主觀原因。為了彌補這一缺陷，LIU Ning等通過數據記錄和電子日志相結合等方法進行可用性現場評估[33]。除此以外，眼動跟蹤近年來被用于網頁、移動設備等的可用性評估中[34-36]。眼動跟蹤技術應用于可用性評估使得傳統的觀察法有重要突破。以眼動與知覺和思維活動的關系為假設前提：掃視與凝視的路徑反映知覺意向，掃視的頻率與視覺搜索難度有關，凝視持續的時間長短與理解信息的難度有關等。利用凝視時間、凝視數目、感興趣區轉移頻次矩陣等眼動指標，結合測試任務及認知心理機制，建立可用性評估模型，對于分析界面的認知內因，發現可用性問題、改進設計具有較高的有效性和實用性。眼動跟蹤設備有頭戴式、桌面式等，SMI公司最新的眼鏡式眼動儀(如圖2)更為移動情景下的可用性測試提供了無干擾的設備支持。

圖2 眼鏡式眼動儀在可用性研究中的應用Fig.2 Application of eye tracking glasses in usability study

目前，圖像識別、指紋識別、重力感應、加速度、位移、陀螺儀、磁阻等傳感器已經應用于智能手機等移動設備，通過傳感器采集環境和用戶行為信息為用戶提供更多自適應的交互方式[37]。與此同時傳感器在可用性評估中也發揮著重要作用，利用傳感器監測現場評估時的環境信息(光線、加速度、聲音、溫度、濕度)和與之相關的用戶使用行為信息。Affectiva公司提供了一種可穿戴的微型無線生物傳感器Q Sensor，通過測量皮膚電導活動反映被試的有關情緒狀態，例如：興奮、注意、焦慮、放松等。擺脫了實驗室環境限制，適合日常環境中對用戶跟蹤測試。Antti Oulasvirta也提出了一個移動可用性實驗室的解決方案，包括：記錄表情和界面操作的近景攝像頭、記錄環境的遠景攝像頭等以及無線網絡環境。但缺點是成本昂貴，約1萬歐元，該系統有待優化[38]。較之前廣為普及的基于實驗室的可用性評估方法，移動設備的可用性評估方法方面進展緩慢的原因之一可能是是缺少可靠、經濟、靈活的技術解決方案。

4 可用性測試抽樣問題

移動設備的可用性評估與其他產品的可用性評估一樣，用戶測試方法中抽樣問題是關鍵問題。目前國內外沒有成熟的方法，主要應用NIELSEN的實驗結論[39]。該結論存在以下問題：

1)沒有考慮不同類型用戶的差異，僅測試專家用戶；

2)測試時間短，僅測試1～2 h，限制了可用性問題發現數量；

3)測試任務由測試專家自行擬定少量任務，隨意性大，不能涵蓋全部任務；

4)該實驗采用用戶測試和啟發式評估，沒有驗證該結論是否適用于其他評估方法；

5)該實驗結論是建立在用戶發現可用性問題概率固定在31%基礎上，當發現概率較低時，實驗結論不適用；

6)沒有考慮到產品差異，沒有驗證該結論是否適用于其他產品；

7)該實驗結論采用Z分布，而不是適合于小樣本量的t分布，會擴大置信區間。隨后，不斷有學者針對NIELSEN的實驗結論進行實驗驗證，討論可用性測試中抽樣問題，當前主要集中在四方面進行討論：測試人數、評價人、用戶類型、測試任務[40-43]。

NIELSEN等人的實驗結論是比較早期的實驗，缺少針對移動設備進行的實驗。而在移動設備的可用性評估研究中，抽樣對整個評估效度的影響仍有待進一步研究驗證。

5 結 語

上述資料表明：在移動設備的可用性評估方面近10年來取得了一些很有意義的成果，尤其是在可用性評估方法方面進行了許多新的嘗試，在傳統實驗室測試的基礎上有較大突破。真實使用情景下的測試與其他評估方法和技術手段的結合，成為該領域的主要研究方向之一。但與此同時，移動設備的可用性評估方法尚不成熟，尤其是在可用性評估標準和貫穿設計過程始終的評估方法等方面還存在一些問題尚未解決或需要進一步研究。

1)目前國內外采用的可用性評估標準共同特點是，以“設計人員或人機學專家為本”的標準，依據這些指標無法建立“以用戶為本”的評估方法和評估過程，評估和設計的理論依據不統一，沒有從本質上解決建立“以用戶為本”的設計和評估體系的問題。評估過程發現和解決可用性問題的程度，主要依賴設計開發人員的經驗水平，致使效率較低。應該站在“以用戶為本”的角度，重新思考“可用性”的含義，針對手持移動設備不同類型用戶對可用性的不同需要來建立基于用戶行動和認知特性的用戶模型和可用性標準。

2)手持移動設備的可用性評估方法強調情景因素對用戶的影響，但目前所建立的情景框架過于簡單，缺少考慮用戶的認知因素。本文認為，基于用戶行動模型和認知模型需要建立更為全面的評估因素框架，將用戶模型轉換為可用性評估的觀測點，同時利用新的技術手段與傳統方法的結合在真實使用狀態下記錄和收集全面的數據。總結出各種評估方法運用于設計不同階段的最優化方案，特別是針對產品的長期跟蹤研究。

3)除此以外，影響可用性評估效度的因素眾多，其中用戶測試方法中抽樣問題是關鍵。包括：測試人數、評價人、用戶類型和測試任務。要解決評估樣本量估計的問題，目前的研究思路都是為可用性測試建立一個關于可用性問題發現率的數學模型，如何選擇測試用戶類型和用戶數量沒有可靠的實驗結論。下一步有必要研究在不同的移動應用中，不同抽樣人數、不同用戶類型與發現可用性問題數量與類型之間的關系，根據實驗結果獲得可用性測試最佳抽樣配額的經驗數據，以提高可用性測試效率，降低測試成本。

/

[1] PASCOE J, RYAN N, MORSE D. Using while moving: Human-computer interaction issues in fieldwork environments[J]. Annual Conference Meeting Transactions on Computer-Human Interaction,2000, 7(3): 417-437.

[2] GORLENKO L, MERRICK R. No wires attached: Usability challenges in the connected mobile world[J]. IBM Systems Journal, 2003, 42(4): 639-651.

[3] 李樂山. 人機界面設計(實踐篇)[M]. 北京:科學出版社, 2009.

LI Leshan. Human Computer Design (Practise Part)[M]. Beijing: Science Press, 2009.

[4] SCHACKEL B. Human Factors for Informatics Usability[M]. Cambridge: Cambridge University Press,1991.

[5] NIELSEN J.可用性工程[M].劉正捷,譯.北京:機械工業出版社, 2004.

NIELSEN J. Usability Engineering[M]. Translated by LIU Zhengjie. Beijing: China Machine Press, 2004.

[6] Apple Computer. Macintosh Human Interface Guidelines[M]. Massachusetts:Addison-Wesley,1992.

[7] SHNEIDERMAN B. Designing the User Interface: Strategies for Effective Human-Computer Interaction[M]. Massachusetts: Addison-Wesley,1992.

[8] Motion Limited. Developer‘s Guide for BlackBerry TM and RIM Wireless HandheldsTM[EB/OL]. http://www.blackberry.com/developers/na/c_plus/doc/sdk21/ui_engine_api_21.pdf, 2001-04-09.

[9] Nokia Limited.S60 Platform:Scalable UI Guideline[EB/OL].http://www.developer.nokia.com/info/sw.nokia.com/id/4239db2a-2e0d-4592-a9c0-3936d0550d64/S60_Platform_Scalable_UI_Guideline_v1_0_en.pdf.html,2013-07-02.

[10] Nokia Limited.Symbian User Interface Style Guide[EB/OL]. http://developer.nokia.com/info/sw.nokia.com/id/5c419b14-75ff-4791-b1a8-db1e0d72e36e/Symbian_3_UI_Style_Guide.html,2013-07-04.

[11] ZHANG Dongsong, BOONLIT A. Challenges, methodologies, and issues in the usability testing of mobile applications[J]. International Journal of Human-Computer Interaction, 2005, 18(3): 293-308.

[12] VIGO M, ARRUE M, BRAJNIK, G. et al.Quantitative metrics for measuring web accessibility[A]. W4A’07 Proceedings of the 2007 International Cross-disciplinary Conference on Web Accessibility[C]. New York: ACM, 2007. 99-107.

[13] HUMMEL K A.HESS A. Environmental context sensing for usability evaluation in mobile HCI by means of small wireless sensor networks[A].Proceedings of the 6th International Conference on Advances in Mobile Computing and Multimedia[C]. New York:ACM,2008.302-306.

[14] BEOM S J, YONG G J.Usability risk level evaluation for physical user interface of mobile phone[J]. Computers in Industry, 2010,61: 350-363.

[15] JEONGYUN H, DONG H H, SANGHYUN P, et al. A framework for evaluating the usability of mobile phones based on multi-level, hierarchical model ofusability factors[J]. Interacting with Computers, 2009,21: 263-275.

LEWIS C, POLSON P, WHARTON C, et al. Testing a walkthrough methodology for theory-based design of walk-up-and-use interfaces[A]. CHI '90 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems[C]. New York:ACM,1990.235-242.

[16] LEWIS C,POLSON P,WHARTON C,et al.Testing a walkthrough methodology for theory-based design of walk-up-and-use interfaces[A].CHI′90 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems[C].New York:ACM,1990.235-242.

[17] NIELSEN J, MOLICH R. Heuristic evaluation of user interfaces[A]. CHI '90 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems [C]. New York:ACM,1990.249-256.

[18] VERMEEREN A P O S, KESTEREN I E H.Managing the evaluator effect in user testing[J]. International Journal of Human-Computer Studies, 2006, 64 (9): 647-654.

[19] HOLLINGSED T, NOVICK D G. Usability inspection methods after 15 years of research and practice[A]. SIGDOC '07 Proceedings of the 25th Annual ACM International Conference on Design of Communication[C]. New York:ACM, 2007.249-255.

[20] MARCO de Sá, Luís Carri?o. Defining scenarios for mobile design and evaluation[A]. CHI EA '08 CHI '08 Extended Abstracts on Human Factors in Computing Systems[C].New York: ACM, 2008.2 847-2 852.

[21] KJELDSKOV J, STAGE J. New techniques for usability evaluation of mobile systems[J]. International Journal of Human-Computer Studies, 2004,60: 599-620.

[22] HENRY B L D, GERALD C B T, VIVIAN H C. Usability evaluation for mobile device:A comparison of laboratory and field tests[A]. MobileHCI’06 Proceedings of the 8th Conference on Human Computer Interaction with Mobile Devices and Services [C].New York: ACM, 2006.182-186.

[23] CHRISTIAN M N, MICHAEL O, MICHAEL B P. It's worth the hassle!:The added value of evaluating the usability of mobile systems in the field[A]. NordiCHI’06 Proceedings of the 4th Nordic Conference on Human Computer Interaction[C]. New York: ACM, 2006: 272-280.

[24] GEORGIOS F, DIMITRIOS R,NIKOLAOS A. Considering cost in usability evaluation of mobile applications: Who, Where and When[J]. Human-computer Interaction, 2009, 5726:231-234.

[25] DONG S J, YANG U Y, SON W H. Design evaluation system with visualization and interaction of mobile devices based on virtual reality prototypes[J]. ETRI Journal, 2008, 30(6): 757-764.

[26] REGINA B, KRISTIJAN M, MARIANNA O. Usability Evaluation methods for mobile applications[A]. Handbook of Research on User Interface Design and Evaluation for Mobile Technology[C]. Hershey:IGI Global,2008: 745-758.

[27] OULASVIRTA A. Fielding usability evaluation[J]. IEEE Pervasive Computing, 2011,99:112-127.

[28] KASPER H. Dogmas in the assessment of usability evaluation methods[J]. Behaviour & Information Technology, 2010,29(1): 97-111.

[29] PARK W H,HAN SH,KANG S J, et al. A factor combination approach to developing style guides for mobile phone user interface[J]. International Journal of Industrial Ergonomics, 2011,41: 536-545.

[31] KASPER L J. RECON: capturing mobile and ubiquitous interaction in real contexts[A].MobileHCI’09 Proceedings of the 11th International Conference on Human-Computer Interaction with Mobile Devices and Services[C]. New York: ACM, 2009,76:89-101.

[32] TONIO C, FABIO P, VAGNER S. Support for remote usability evaluation of web mobile applications[A]. SIFDOC’11 Proceedings of the 29th ACM International Conference on Design of Communication[C]. New York:ACM, 2011.129-136.

[33] LIU Ning, LIU Ying, WANG Xia. Data logging plus e-diary:Towards an online evaluation approach of mobile service field trial[A]. MobileHCI’10 Proceedings of the 12th International Conference on Human Computer Interaction with Mobile Devices and Services[C]. New York: ACM, 2010.287-290.

[34] HEMBROOKE P, GRANDA G. Determinants of web page viewing behavior: An eye-tracking study[A]. ETRA’04 Proceedings of the 2004 Symposium on Eye Tracking research & Applications[C]. New York: ACM,2004.147-154.

[35] 程時偉,石元伍,孫守遷. 移動計算用戶界面可用性評估的眼動方法[J]. 電子學報, 2009,37(4):146-150.

CHENG Shiwei, SHI Yuanwu, SUN Shouqian. An approach to usability evaluation for mobile computing user interface based on eye-tracking[J].Chinese Journal of Electronics, 2009,37(4):146-150.

[36] CHAIWOO L, SANGWOO B, GA W K, et al. Performance comparison of manual and touch interface using video-based behavior analysis[J]. Journal of the Ergonomics Society of Korea, 2010,29(4): 655-659.

[37] 裴春梅,楊秀清,王貴明. 傳感器在智能手機中的應用[J]. 湖南農業大學學報, 2009, 35(1):108-126.

PEI Chunmei, YANG Xiuqing, WANG Guiming. The typical applications of sensor in smart phone[J]. Journal of Hunan Agricultural University, 2009, 35(1):108-126.

[38] OULASVIRTA A, NYYSS?NEN T. Flexible hardware configurations for studying mobile usability[J]. Journal of Usability Studies, 2009,4(2): 93-105.

[39] NIELSEN J,LANDAUER T K. A mathematical model of the finding of usability problems[A]CHI′93 Proceedings of the INTERACT′93 and CHI′93 Conference on Human Factors in Computing Systems[C]. New York:ACM,1999.206-213.

[40] LEWIS J R,SAURO J. When 100% really isn’t 100%: Improving the accuracy of small-sample estimates of completion rates[J]. Journal of Usability Studies, 2006, 1(3): 136-150.

[41] HERTZUM M, JACOBSEN N E. The evaluator effect: A chilling fact about usability evaluation methods[J]. International Journal of Human-Computer Interaction, 2001,13(4):421-443.

[42] FAULKNER L, WICK D. Cross-user analysis: Benefits of skill level comparison in usability testing[J]. Interacting with Computers, 2005,17(6): 773-786.

[43] LINDGAARD G, CHATTRATICHART J. Usability testing: What have we overlooked?[A]. CHI′07 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems[C]. New York:ACM, 2008: 1 415 -1 424.

Review of usability evaluation methods for mobile device

ZHANG Yu, LI Meng

(School of Mechanical Engineering, Xi′an Jiaotong University, Xi′an Shaanxi 710049, China)

The research progress of usability evaluation methods for mobile device is presented. The criteria, the methods, the technique and the sampling of mobile device are analyzed.The problems are as follows: 1) the existing usability evaluation criteria is designed mainly for designers or experts, not for users; 2) usability evaluation methods are mainly used for laboratory tests, while mobile device highly needs field test ; 3) There are obvious validity problems in sampling in the process of usability evaluation.The future study directions are proposed in the paper.

usability evaluation; mobile device; field test

1008-1542(2013)04-0286-07

10.7535/hbkd.2013yx04004

TP368.3

A

2013-04-19；

2013-05-27；責任編輯：張 軍

國家自然科學基金(51205304)

張 煜(1980-)，女，山西新絳人，講師，碩士，主要從事人機界面設計、產品設計方面的研究。

E-mail：zy_xjtu@163.com