基于日志分析的移動應用可用性綜合評估體系的研究

呂樹華，吳偉明，谷勇浩

(北京郵電大學 計算機學院，北京 100876)

基于日志分析的移動應用可用性綜合評估體系的研究

呂樹華，吳偉明，谷勇浩

(北京郵電大學 計算機學院，北京 100876)

移動應用已經成為人們日常生活中不可缺少的部分，可用性成為影響移動應用競爭力的主要因素，也是目前移動應用中一個突出問題。可用性是判斷產品好壞的一個核心要素，如果一個產品的可用性評價得分很高，那么極有可能會為企業帶來龐大的用戶量，采用合適的方式變現就可以實現經濟效益，因此如何提高產品的可用性對于企業來說極其重要。移動應用可用性評價的關鍵是建立一套合理、完善的評價指標體系。本文首先對常用的指標體系進行了比較分析，然后針對移動應用便攜性的特點，提取本文所需要的指標與測度參數，建立移動應用的可用性指標體系，最后通過日志分析和數據挖掘等方法完成移動應用可用性的評價研究。

數據分析；可用性；日志分析；便攜性

本文著錄格式：呂樹華，吳偉明. 基于日志分析的移動應用可用性綜合評估體系的研究[J]. 軟件，2016，37（11）：138-141

0 引言

隨著智能手機和3G的廣泛普及，全球移動互聯網趨勢正日益升溫，世界上越來越多的人正通過移動終端接入互聯網，至2015年中國移動互聯網用戶數達到7.9億，預計到2018年中國移動互聯網用戶規模將達到8.9億人。移動互聯網憑借著其社交化，本地化和移動化的特性，已經滲透到人們生活、工作的每個角落，目前蘋果公司宣布Apple Store的應用程序過700000個，而GooglePlay的應用程序也超過675000個移動應用。人們利用這些應用程序可以進行社交，如微博，微信等;可以進行導航，如

百度地圖，高德地圖等;可以進行影視娛樂，如優酷，豆瓣電臺等;可以玩游戲，如憤怒的小鳥，切水果，植物大戰僵尸等;可以進行網購，如淘寶，京東，美團等;可以指導健康運動，如咕咚運動，小米運動等，它們已經遍及吃穿住行玩各個方面。但是同時，移動應用之間的同質化越來越明顯，移動應用之間的競爭趨于白熱化，如何根據用戶行為及時對移動應用進行合理的改進，提高移動產品的可用性，成為了各大企業專注的事情。

手機可用性研究源自于網站可用性研究，就像網站可用性研究源自于軟件系統應用一樣，手機可用性、網站可用性研究、軟件系統應用可用性研究的本質都是可用性研究，只是載體和硬件的變化，使得可用性有了個性化的特征本文采用定性與定量相結合的研究方法，本文對前人研究中采用的可用性評價指標進行分析，提取本文所需要的指標與測度參數，定性完成評價模型的建立，然后通過提取日志文件里的數據，通過數據挖掘的方法完成產品可用性的評價研究。本文的可用性評價研究是基于自動評價的理念，所有的數據源來自于移動應用產生的用戶日志，通過日志數據與可用性評價指標的關系映射，對產品的可用性進行評價，對于可用性評價方法的探索具有指導意義。

1 現有的可用性評估標準及評估方法

可用性研究源于20世紀70年代的軟件工程領域，但是后來被廣泛運用到其他領域，這樣導致對可用性的研究呈現多樣化的特點。直到現在，學術界和業界對可用性的定義也不統一，不同領域的專家和組織給出了不同維度和標準。

1.1 國際標準ISO 9241-11

國際標準ISO9241-11對可用性的定義是：產品在特定使用環境下為特定用戶用于特定用途時所具有的有效性（effectiveness）、效率（efficiency）和用戶主觀滿意度（satisfaction）[1]。這是依據1985年計算機的技術水準和設計思想設計的。主要存在以下問題：1.把“效率”和“有效性”作為標準是以“機器為本”的觀念。2.把“有效性”作為標準是受當時計算機較低技術水平的影響。3.把“滿意度”作為標準缺乏心理學依據，出現對滿意度的各種不同的解釋，迄今在心理學中缺乏定義和試驗研究。4.從心理學的時代背景來看，20世紀70年代行為主義心理學被認知心理學取代，1985年動機心理學建立了行動模型，該標準反映了從“技術為本”向“以人為本”的過渡。5.可用性的各個因素彼此相關。導致設計人員無法判斷問題原因，無法改進。對可用性的這 3條標準沒有給出明確的評估方法，僅是通過案例，說明具體評估中對可用性是如何考慮的[2]。

國際標準ISO9241-11規定了用戶界面的7條設計標準及54條設計指南。德國若干研究機構依據這7條標準建立固定問卷對用戶進行測試。這類問卷效度較低，主要存在的問題是這些標準是“以設計人員為本”的體現。

1.2 Schackel和Nielsen可用性標準

1980年以來西方若干國家（愛爾蘭、美國、德國等）的大學或研究機構都建立可用性調查結構框架。這些標準依據不同于上述2種國際標準的因素結構。Schackel將可用性分為4個因素：有效性、可學性、靈活性、態度[3]。他認為可用性評估方法是測試用戶通過學習而掌握的操作特性，不是界面適合用戶的程度。Nielsen認為可用性分為5個因素：可學習性、效率、可記憶性、出錯、滿意度[4]。依據此因素結構，他提出了專家評估，經驗用戶測試等可用性評估方法。這些主要是“以人機學專家為本”的可用性標準和評估方法，不適合用戶的操作過程和評價過程。造成這種局面的主要原因在于：前期設計中建立用戶模型時所采用的理論依據是心理學，不同于可用性評估中所采用的理論依據——人機工效學，這種矛盾可能會給設計與評估造成沖突。

1.3 手持移動設備的可用性評估標準

針對手持移動設備，已經總結了許多可用性設計指南：比如蘋果公司的人機界面指南，Shneiderman的設計八原則，黑莓的界面開發者指南 ，諾基亞的40系列、60系列、90系列開發指南[5]，Symbian的用戶界面風格指南。這些可用性標準的共同特點是，以“設計人員或人機學專家為本”，并沒有從根本上形成“以用戶為本”的可用性測試體系。這些界面設計指南為設計人員從事界面開發提供了指導依據，但無法作為可用性評估的依據。

1.3 現有的可用性評估方法

現有的可用性評估方法已超過20種，大致分為測試、詢問和檢查這3類方法。傳統方法多為實驗室環境下的評估，包括：績效測量法、認知走查法、啟發式評估、有聲思維、清單核查法、實驗室觀察和問卷測試等。這些方法都有各自特點，每一種方法都不能完全勝任可用性評估的全部要求。

2 適合移動應用的可用性指標體系

與臺式機和筆記本相比，移動設備的最大特點就是高便攜性，這個特點決定了，使用移動設備上網，可以帶來無可比擬的優越性，即溝通與資訊的獲取遠比臺式機和筆記本方便。由于在移動情境下用戶的移動性、周圍環境的干擾以及多任務手機設置中對資源的競爭等因素都會影響系統的可用性，因此不能把傳統的可用性研究框架和方法簡單地復制到移動系統可用性研究中。

根據前文介紹的內容，結合移動系統的應用環境和具體特征，本文提出了適合移動應用系統可用性評估維度，如下圖所示：

圖1 可用性評估維度

需要特別說明的是，將認知負荷[6]作為可用性評估維度的一個方面，簡單的說，人對事物和問題的認知是要消耗資源的，而且認知需要消耗的資源是有上限的，如果超過了這個上限，資源就出現不足，進而影響認知結果。前文提到移動設備的最大特點就是高便攜性，基于這個原因，考慮用戶使用移動應用時進行的這些附加任務的影響是非常重要的。例如，一個用戶可能希望在步行時發送一個文本消息，在這種情況下，用戶的步行速度將減少，因為他們專注于發送的信息，這會影響他們的步行。

在傳統的可用性研究中，常見的假設是用戶僅執行單個任務，因此可以完全集中于該任務。在移動上下文中，除了使用移動應用之外，用戶還將經常執行其他動作。在這種情況下，移動應用所需的認知負荷對其他任務的影響可以視為該移動應用可用性的一個體現，因此非常重要。可以測量的一種方法是通過NASA任務負載指數[7]。這是一種用于通過使用系統來測量對用戶施加的認知工作負載的主觀工作負載評估工具。在本文中，我們采用相對簡單的認知負荷的觀點。 為了更準確的評估，最好采用更強大的多因素方法，但這超出了本文的范圍。

結合本文提出的可用性評估維度，進而提出了適合移動系統可用性測量的指標體系，主要指標及所占權重如表1所示：

表1 測量指標

表1中僅僅列出了主要的指標，這里的各項指標均可來源于實際用戶的日志數據，所以說這是一種“以用戶為本”的評估體系。

3 可用性的評估

根據上一部分所提出的可用性指標體系，可構建完整的評估系統，整體結構如下圖所示：

圖2 整體結構圖

3.1 日志的產生

在應用中進行埋點，即在正常的功能邏輯中添加統計邏輯，在合適時間把統計信息傳給后臺，以獲取各種指標的日志信息。比如在Android應用中，訪問量通過設備的DeviceID來獲取，崩潰信息通過在UncaughtExceptionHandler中上傳崩潰日志信息來獲取，用戶訪問路徑可以在用戶訪問頁面時在Activity的生命周期回調函數如onResume()中記錄頁面ID然后應用退出時統一傳給后臺服務器。

3.2 日志的分析

根據可用性測量的指標體系，將移動應用的總分設為100分，各項具體指標可以從用戶日志中得以體現，分析日志最終根據各項指標的權重給出每項指標的分值，然后匯總得出最終的一個可用性分值。

除了用戶路徑行為分析，其他的指標可以從日志中進行統計得出，研究用戶路徑行為是非常重要

的，路徑分析可用于監測與優化各模塊的轉化率，有助于優化與改進產品設計，是一個非常重要的指標，本文采用關聯規則算法對用戶路徑行為日志進行關聯規則挖掘，挖掘用戶的頻繁訪問模式，從而可以分析是否符合應用設計的預期，有助于優化和改進，同時給出得分，具體過程如下圖：

圖3 日志挖掘

通過匯總所有指標的評分就得出了一個總分值，作為量化的結果。通過比較移動應用的各個版本的總分以及各項指標的變動情況，可以對接下來的優化和改進提出有效的指導性意見，這對于移動應用的可用性的提高有重要的作用。

4 結論

移動互聯網對傳統行業產生了非常大的沖擊，企業投入了大量的人力和物力在其應用的用戶體驗和產品可用性上，產品的可用性直接影響著企業的發展，日志數據作為用戶使用產品最直接的數據，必然會得到越來越多的重視。本文提出的基于日志的可用性評價體系不能作為評價移動應用可用性的唯一標準，而是作為輔助性評價或初級評價的方案，將其與現場實驗等方法結合使用可達到它的最優化效果。

[1] ISO 9241-11, Ergonomic requirements for office work with visual display terminals(VDTs): guidance on usability[S]. Geneva: ISO, 1994.

[2] 李樂山. 人機界面設計(實踐篇)[M]. 北京: 科學出版社, 2009.

[3] SCHACKEL B. Human Factors for Informatics Usability[M]. Cambridge: Cambridge University Press, 1991.

[4] NIELSEN J. 可用性工程[M]. 劉正捷, 譯. 北京: 機械工業出版社, 2004.

[5] NOKIA LIMITED. S60 Platform: Scalable UI Guideline[OL]. 2013. http://www.developer.nokia.com/info/sw.nokia.com/id/ 4239db2a-2e0d-4592-a9c0-3936d0550d64/S60_Platform_Sc alable_UI_Guideline_v1_0_en.pdf.html.

[6] CHRISTIAN M N, MICHAEL O, MICHAEL B P. It’s worth the hassle!: The added value of evaluating the usability of mobile systems in the field[A]. NordiCHI'06 Proceedings of the 4th Nordic Conference on Human Computer Interaction[C]. New York: ACM, 2006: 272-280.

[7] HART S G, STAVELAND L E. Development of NASA-TLX: result of empirical and theoretical research. In: Hancock PA, Meshkati N, Eds. Human Mental Workload. Morth Holand: Elsevier Science Publishers, 1988. 139-183.

Research on the Comprehensive Evaluation System of Mobile Application Usability Based on Log Analysis

LV Shu-hua, WU Wei-ming, GU Yong-hao
(School of Computer Science，Beijing University of Post and Telecommunications, Beijing 100876, China)

Mobile applications have become an indispensable part of people's daily life, usability has become the main factor affecting the competitiveness of mobile applications, but also a prominent problem in the current mobile applications. Availability is a key factor to judge the quality of the product, if the usability evaluation of a product with a high score, it is likely to bring a huge amount of users for the enterprise, adopt appropriate ways to cash can achieve economic benefits, so how to improve the usability of the product for the enterprise is extremely important. The key to the usability evaluation of mobile application is to establish a set of reasonable and perfect evaluation index system. This paper makes a comparative analysis on the commonly used indicators, and then according to the characteristics of mobile application portability, indicators and measure parameter extraction for this thesis, using the analytic hierarchy process, the availability of the establishment of index system for mobile applications, and finally through the log analysis completed the transfer of evaluation on the application of dynamic availability.

Data analysis; Usability; Log analysis; Portability

TP399

A

10.3969/j.issn.1003-6970.2016.11.030

呂樹華(1991-)，男，碩士研究生，主要研究方向：現代網絡管理、移動互聯網；吳偉明，女，教授，主要研究方向：現代網絡管理、移動互聯網；谷勇浩，男，講師，主要研究方向：網絡安全、移動互聯網技術。

吳偉明，教授，主要研究方向：現代網絡管理、移動互聯網。