APP軟件客觀評價方法

李振 姜瑛

摘 ?要： 為了幫助用戶選擇適當的APP軟件，提高APP軟件開發(fā)質量和用戶使用體驗，基于用戶使用APP軟件的情況及反饋，選取7個針對APP軟件的評價指標，提出APP軟件客觀評價指標體系。首先對APP軟件評價指標值進行數據標準化;然后采用標準離差法、熵權法、CRITIC法三種客觀賦權法組合計算，得出相應指標權重和APP軟件的客觀綜合評價值。針對音樂類APP軟件，應用以上方法計算APP軟件綜合評價值，并與應用商店APP軟件排名進行對比。實驗結果表明提出的APP軟件客觀評價方法是有效的，該評價體系可以為APP軟件的設計和開發(fā)提供一定參考。

關鍵詞： APP軟件; 客觀評價; 評價指標體系; 客觀賦權; 綜合評價; 軟件排名

中圖分類號： TN911.1?34; TP311 ? ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）23?0094?05

Abstract： In order to help users to select appropriate APP software， and improve the quality of APP software development and user experience， 7 evaluation indicators for APP software are selected on the basis of the usage and user feedback of APP software， and then an objective evaluation indicator system for APP software is proposed. The evaluation indicator values of APP software are standardized. And then， the corresponding indicator weight and objective comprehensive evaluation value of the APP software are obtained by combinatorial calculation of 3 objective methods named as the standard deviation method， the entropy weight method and the CRITIC method. For the music APP software， the comprehensive evaluation value of the APP software is calculated with the above methods and compared with the APP software ranked in the application stores. The experimental results show that the proposed objective evaluation method for the APP software is effective， and the proposed evaluation system can provide a certain reference for the design and development of APP software.

Keywords： APP software; objective evaluation; evaluation indicator system; objective weight; comprehensive evaluation; software ranking

0 ?引 ?言

近年來，隨著智能終端的普及，人們對APP軟件的需求不斷增高，APP軟件市場也呈現(xiàn)出十分迅猛的增長勢頭。各種APP軟件數量越來越多，截至2018年12月底，我國市場上的APP軟件大約為449萬款，雖然大量的APP軟件已經在人們的生活及工作中都占據了重要位置，但是隨之也出現(xiàn)了APP軟件種類繁多、良莠不齊的現(xiàn)象，因此，APP軟件的合理評價將有助于用戶判斷該APP軟件的情況，從而能從大量的APP軟件中選擇其所需要的軟件。

針對APP軟件的評價分為主觀評價和客觀評價。主觀評價一般是決策者未經過分析推算，以決策者的經驗或偏好對APP軟件做出的主觀評價;而客觀評價需要獲取APP軟件的相關數據，并利用數據反映APP軟件的本質。相對于主觀評價，客觀評價減少了人為主觀隨意性的影響，因此對APP軟件做出合理客觀的評價是亟待解決的問題。

在針對軟件的客觀評價研究中，文獻[1]針對用戶對軟件的使用情況，從軟件下載、引用、多路復用三個維度構建了開源軟件評價指標體系，并對開源社區(qū)學術軟件的影響進行了評價，其評價結果對相關軟件的設計與開發(fā)提供了參考。文獻[2]以用戶使用開源軟件的反饋信息為基礎，提出了一種基于用戶對軟件使用的偏愛程度對軟件進行排序的方法，該排序方法最終顯示了基于群體智慧指導軟件開發(fā)人員尋找優(yōu)秀的可重用軟件的潛力。針對APP軟件的客觀評價，文獻[3]以APP軟件的市場需求量為評價指標，對APP軟件做出相應的排名，并對APP軟件做出客觀評價。

因為客觀評價可以消除用戶對APP軟件的主觀性，還可以提供給用戶作為使用APP軟件的參考依據，而且用戶對APP軟件進行有效的選擇和利用對其進行的反饋是直接反映APP軟件的優(yōu)劣情況。所以本文基于用戶使用APP軟件的情況及反饋，和已提出的客觀評價指標進行補充和總結，并建立相應的APP軟件客觀評價指標體系，進一步展開對APP軟件客觀評價的研究工作。

1 ?APP軟件客觀評價體系

在對APP軟件進行客觀評價的過程中，首先要確定APP軟件客觀評價的內容，其次要構建APP軟件客觀評價指標體系。本文認為，從用戶角度來說，結合已提出的客觀評價指標，進一步地發(fā)現(xiàn)和獲取用戶使用APP軟件的情況和反饋信息進行具體分析和總結，從中選取合理的APP軟件客觀評價指標。

1.1 ?基于用戶使用APP軟件的情況評價指標選取

用戶在使用APP軟件時一般會考慮到該APP軟件在應用平臺的下載量和安裝APP軟件時的文件大小兩種情況。

由于應用設備不同，APP軟件安裝文件大小會影響不同用戶的使用體驗。通過對APP軟件安裝文件大小進行定量分析，可以體現(xiàn)用戶對APP軟件使用部分的反饋。所以本文選取APP軟件安裝文件大小作為用戶使用APP軟件情況的評價指標之一。

下載量在一定程度上反映了用戶使用APP軟件的情況。APP軟件在應用商店中下載的數量是決定APP軟件在應用商店中排名的重要因素。因此，下載量可以作為衡量用戶對APP軟件使用情況的指標。

1.2 ?基于用戶使用APP軟件的反饋評價指標選取

除了了解用戶使用APP軟件的情況之外，用戶使用反饋也是客觀評價APP軟件的重要內容。用戶在使用APP軟件后，一般會對該APP軟件做出相關評論，包括是否給與好評、評分多少、級別高低。

將參與用戶評論量作為用戶使用APP軟件的反饋，是因為用戶在應用商店中對APP軟件使用之后做出相應的評論，其評論是用戶主觀做出使用APP軟件優(yōu)劣情況的反饋。所以本文選取參與用戶評論量作為用戶使用APP軟件反饋的評價指標。

好評量也是作為用戶使用APP軟件的反饋，它在目前主流的應用商店中，對用戶評論的展示是不可或缺的。用戶評論中優(yōu)質和正反饋的積極評論的數量，可以反映出用戶在使用APP軟件后擁有良好體驗的程度，所以本文有必要選取好評量作為客觀評價指標。

同樣作為用戶使用APP軟件的反饋，差評量可以更加直觀的體現(xiàn)APP軟件目前存在的部分問題。用戶對APP軟件的差評可以反映出用戶使用APP軟件時產生的負面體驗，所以將差評量作為APP軟件評價的客觀評價指標之一。

評分值作為用戶使用APP軟件的反饋也是目前主流應用商店對APP軟件進行排名的重要依據，用戶通過獲取APP軟件的評分值對APP軟件做出主觀性的判斷，反映出該APP軟件的優(yōu)劣。所以本文選取評分值作為客觀評價指標之一。

應用評級作為用戶使用APP軟件的反饋，使用戶在應用商店中可以直觀的看到對APP軟件的評級情況（一般以星為單位），如果評級越高則表示APP軟件的質量越好，因此應用評級是衡量APP軟件質量的重要因素。所以本文選取應用評級作為客觀評價指標，可以更全面地對APP軟件的質量做出客觀的評價。

綜上所述，本文選取文件大小、下載量、參與用戶評論量、好評量、差評量、評分值、應用評級作為客觀評價指標，并構建了APP軟件客觀評價指標體系，如圖1所示。

2 ?客觀評價方法

在構建APP軟件客觀評價指標體系之后，要確定APP軟件評價方法。客觀評價方法是由實際的數據出發(fā)，利用客觀評價指標體系所反映的客觀信息確定權重，最后進行綜合評價的一種方法。評價指標權重確定可分為主觀賦權和客觀賦權。主觀賦權反映決策者意向、評價結果主觀性的表達;客觀賦權法則是根據一定的計算規(guī)則進行賦權的方法。本文通過具體的實驗和相應的客觀權重賦權法進行權重計算，通過已獲取評價指標的權重結果計算出綜合評價值，對APP軟件進行客觀評價。

2.1 ?數據標準化

由于各評價指標的性質不同，通常具有不同的量綱和數量級。為了保證結果的可靠性并使得指標之間處于同一數量級，本文首先對原始指標數據進行標準化處理，然后進行客觀賦權和客觀綜合評價值的相關計算。

min?max標準化方法[4]可以保留評價指標原始數據之間的關系，本文選用該方法將各指標的客觀數據進行標準化處理，最終利用式（1）或式（2）將每一個指標的結果映射到[0，1]區(qū)間。

[dij=fij-min fijmax fij-min fij（適用于指標越大越好）] （1）

[dij=max fij-fijmax fij-min fij（適用于指標越小越好）] （2）

式中：指標[fj]（[j=]1，2，…，[n]，[n]為評價指標數量）的相關值為[{fiji=1，2，…，][m]，[m]為評價對象數量}，則[fij]表示第[i]個被評價對象在第[j]個指標上的值;[dij]為把實際數據進行標準化后的數據。

2.2 ?客觀賦權法

APP軟件客觀評價中指標賦權需要依賴相應的樣本數據即指標值，當樣本數據變化時，權重也會發(fā)生變化?？陀^賦權方法都具有各自的優(yōu)點，選取多個賦權方法進行綜合賦權則會減少數據信息的損失。由于標準離差法是根據指標本身數據的活躍程度進行權重的賦值;熵權法可以體現(xiàn)不同評價指標信息量的程度;CRITIC法不僅考慮了評價指標在變異大小方面對權重的影響[5]，而且還考慮了每個指標之間的沖突性?？梢缘弥鲜鋈N方法能反映評價指標客觀權重賦值，所以選取其作為本文對APP軟件客觀評價的賦權方法并進行綜合賦權。

2.2.1 ?標準離差法

一般如果某個指標的標準差越大，表明其指標值的變異程度越大，提供的信息量越大，在評價中所起的作用越大，其權重也應越大[6]。

2.3 ?客觀綜合評價值確定

由于最終獲取的三種客觀賦權結果存在差異性，為了能夠更加精確地反映權重結果，需要將多個指標權重轉化為一個能夠反映綜合情況的指標權重進行評價，并將多個實驗對象按一定意義進行排序，從中挑出最優(yōu)或最劣對象，而對于每一個評價對象通過綜合評價和比較可以找到自身的差距，也便于及時采取措施進行改進。所以在本文確定指標權重后進行了客觀綜合評價值的確定。

通過以上三種客觀賦權方法的計算和驗證，得到各指標的權重，同時將三種客觀賦權法的權重取算術均值，獲取指標的綜合權重[Wj]，最后計算綜合評價值[Vi]，公式如下所示：

[Vi=j=1nWjdij， ? i=1，2，…，m] ?（8）

式中：[m]為評價對象數量;[n]為評價指標數量。

3 ?實 ?驗

3.1 ?綜合權重的計算

由于應用商店是當今最流行的向用戶提供內容的方式之一。在應用商店中，用戶需要對APP軟件查找、下載和反饋時，其提供了可反映APP軟件客觀評價指標體系中相應指標的具體數據信息和活動日志[9]。

360手機助手作為中國最大、最安全的Android手機應用市場，本文從中選取音樂類的10款主流APP軟件作為本文的評價對象，并獲取相應的7個指標值。其中音樂類APP軟件指標值如表1所示。[M1]：下載大小，單位為MB;[M2]：下載量，單位為億次;[M3]：參與評論用戶量，單位為條;[M4]：好評量，單位為條;[M5]：差評量，單位為條;[M6]：評分值，取值為0～10分;[M7]：應用評級，范圍為0～5星。

根據第2節(jié)中提出的三種客觀賦權方法與綜合權重計算方法，對選取的評價對象進行相應的客觀評價指標賦權。音樂類APP軟件三種方法賦權及綜合權重結果如表2所示。其中本文利用標準離差法計算獲取得到的指標權重見“[W1]”列;利用熵權法計算獲取得到的指標權重見“[W2]”列;利用CRITIC法計算得到的指標權重見“[W3]”列;通過計算獲取到的綜合評價指標權重見“[W]綜合”列。

從表2可以看出，評分值、應用評級、下載量權重是最高的三個評價指標。評分值是用戶在應用平臺下載APP軟件之前考慮到的最重要的一個依據，是判斷所要下載的APP軟件質量和體驗狀況的一個重要來源。其次，差評量、好評量也是用戶在使用APP軟件時做出相應優(yōu)劣評價比較關注的內容;雖然安裝文件大小和參與評論用戶量兩個指標的權重相對于其他客觀評價指標權重較小，但是兩者也相應地反映了用戶對APP軟件的客觀評價，在APP軟件指標體系中是不可或缺的。

3.2 ?客觀綜合評價值確定

根據2.3節(jié)的綜合評價值計算方法，分別計算得出音樂類10款APP軟件相對應的綜合評價值，最后對結果進行排序，并將360手機助手中音樂類APP軟件排名與其進行對比分析。其中，利用本文方法獲取到的音樂類APP軟件綜合評價值及排名如表3所示。

文獻[10]利用熵權法對相應指標進行了權重計算和客觀評價?；?.2節(jié)中的APP軟件客觀評價指標體系，應用文獻[10]中客觀評價方法和本文的綜合評價值計算方法，計算得到相應的音樂類APP軟件綜合評價值及排名。

3.3 ?實驗分析

本文依據APP軟件綜合評價值進行相應排名，360手機助手排行榜信息主要依據APP軟件的下載次數、評分進行相應排名。同樣，評分值與下載次數也是本文客觀評價指標體系中權重較高的重要指標。

由于本文所用的指標體系與360手機助手中進行排名的指標并不完全一致，音樂類10款APP軟件客觀綜合評價值大小排名和360手機助手中相應排名的對比結果存在差異。此外，應用商店數據提供的時效性等問題也會影響評價結果。使用1.2節(jié)的APP軟件客觀評價指標體系，本文方法得到的APP軟件排名與應用商店排名的一致率達到60%以上，高于應用文獻[10]方法得到的排名一致率，因此本文的方法是有效的。

4 ?結 ?語

本文基于用戶使用APP軟件的情況及反饋，提出了APP軟件客觀評價指標體系，并采用標準離差法、熵權法、CRITIC法三種客觀賦權法計算得出相應指標權重，然后計算得出APP軟件的客觀綜合評價值。實驗結果表明本文提出的APP軟件客觀評價方法是有效的。

之后的研究工作中需要更加全面地選取相應評價指標，并增加評價對象和改進評價方法。此外，現(xiàn)有應用商店中所提供的數據一般具有時效性，下一步工作需要提出對該問題的解決方案。

參考文獻

[1] ZHAO Rongying， WEI Mingkun. Impact evaluation of open source software： an altmetrics perspective [J]. Scientometrics， 2017， 110（2）： 1017?1033.

[2] FAN Qiang， WANG Huaimin， YIN Gang， et al. Ranking open source software based on crowd wisdom [C]// IEEE International Conference on Software Engineering and Service Science. Beijing： IEEE， 2015： 966?972.

[3] LIU Bingxun， YIN Gang， WANG Tao， et al. Software ranking based on mining market requirements [C]// 2015 6th IEEE International Conference on Software Engineering and Service Science. Beijing： IEEE， 2015： 962?965.

[4] SUN Hongwei， LV Chunyan. Research on the principle of data standardization in comprehensive evaluation [J]. Chinese journal of health statistics， 2015， 32（2）： 342?344.

[5] HAN Erdong， GUO Peng， ZHAO Jing. Method for multiple attribute group decision making based on subjective?objective weight integrated and extended VIKOR [J]. Computer engineering and applications， 2015， 51（11）： 1?5.

[6] 霍妍.產學研合作評價指標體系構建及評價方法研究[J].科技進步與對策，2009，26（10）：125?128.

[7] 張秋余，張燕，袁占亭.基于熵權與灰色關聯(lián)度的隱寫分析算法評估[J].計算機工程，2011，37（7）：148?150.

[8] KAZAN H， ?ZDEMIR ?. Financial performance assessment of large scale conglomerates via topsis and critic methods [J]. International journal of management & sustainability， 2014， 3（4）： 203?224.

[9] YANG Y?H， TENG Y?C. Quantitative study of music listening behavior in a smartphone context [J]. ACM transactions on interactive intelligent systems， 2015， 5（3）： 1?30.

[10] 岳毅蒙，李江濤.基于改進熵權法的智能手機評價模型[J].計算機系統(tǒng)應用，2017，26（4）：203?206.

[11] 文小冬，裴以建，王群立，等.基于APP操控平臺的手勢識別機械臂控制系統(tǒng)[J].現(xiàn)代電子技術，2018，41（22）：72?74.