基于集對(duì)分析的搜索引擎質(zhì)量評(píng)價(jià)

摘要:該文通過(guò)建立搜索引擎綜合評(píng)價(jià)體系，提出了將集對(duì)分析理論運(yùn)用到搜索引擎質(zhì)量評(píng)定的綜合評(píng)價(jià)方法。通過(guò)此方法可以定量的評(píng)價(jià)搜索引擎的綜合性能。

關(guān)鍵詞:搜索引擎;質(zhì)量評(píng)價(jià);集對(duì)分析;評(píng)價(jià)指標(biāo)

中圖分類(lèi)號(hào):TP393文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1009-3044(2009)36-10599-03

Quality Evaluation of Search Engine Based on SPA

HE Xiao-yan， ZHU Jun-dong

(Information Center of North China Coal Medical University， Tangshan 063000， China)

Abstract: This article is to establish the general assessment system for search engine and to provide methods for quality evaluation of the general assessment system by using the theory of set pair analysis and to evaluate the integrated functions of search engine quantitatively.

Key words: search engine; quality evaluation; SPA analysis; evaluating indicator

搜索引擎是為滿(mǎn)足人們對(duì)網(wǎng)絡(luò)信息的搜索需求而新興的一種網(wǎng)絡(luò)工具，搜索引擎的質(zhì)量直接影響著檢索效果，通過(guò)對(duì)搜索引擎性能的評(píng)價(jià)，一方面能更好地了解搜索引擎的優(yōu)劣，為用戶(hù)選擇合適的搜索引擎提供依據(jù)，決定著引擎用戶(hù)從網(wǎng)上獲取信息的成功與否;另一方面可以促進(jìn)網(wǎng)絡(luò)搜索引擎的提供者改進(jìn)完善搜索引擎工具和檢索技術(shù)，以提高網(wǎng)絡(luò)信息檢索質(zhì)量。因此有必要對(duì)它們進(jìn)行系統(tǒng)詳細(xì)的分析對(duì)比和評(píng)價(jià)，以達(dá)到幫助用戶(hù)方便使用的目的，并為今后搜索引擎的進(jìn)一步發(fā)展提供借鑒。

1 集對(duì)分析

1.1 集對(duì)

所謂集對(duì)[1]，是指具有一定聯(lián)系的兩個(gè)集合所組成的對(duì)子。它把確定性與不確定性看作是一個(gè)確定-不確定系統(tǒng)，在這個(gè)系統(tǒng)中，確定性與不確定性是互相制約的，不可截然分割，因此，對(duì)于不確定性的描述要從確定和不確定兩個(gè)方面來(lái)進(jìn)行，并用聯(lián)系度表達(dá)式μ=a+bi+cj來(lái)系統(tǒng)地描述不確定性，其中a稱(chēng)為集對(duì)同一度;b稱(chēng)為集對(duì)差異度;c稱(chēng)為集對(duì)的對(duì)立度。

1.2 集對(duì)分析的基本思路

在一定的問(wèn)題(W)背景下，將集合A、集合B組成集對(duì)H，然后展開(kāi)分析，共得N個(gè)特性，表示所論值域內(nèi)的統(tǒng)一性個(gè)數(shù)，對(duì)立性個(gè)數(shù)和差異性個(gè)數(shù)之和，把具有相同的特性記為同聯(lián)系(設(shè)有S個(gè))，而把具有相反的特性記為反聯(lián)系(設(shè)有P個(gè))，其余的特性既不同一，又不對(duì)立，稱(chēng)為差異聯(lián)系(共有F=N-S-P個(gè))。從而得到兩個(gè)集合在指定問(wèn)題背景下的聯(lián)系度表達(dá)式[2]:

1.3 聯(lián)系度μ

聯(lián)系度是集對(duì)分析中的一個(gè)重要概念，用μ表示。在μ中，稱(chēng)S/N，F(xiàn)/N，P/N分別為所論兩個(gè)集合在指定問(wèn)題背景下的同一度、差異度和對(duì)立度。令S/N=a，F(xiàn)/N=b，P/N=c。由此聯(lián)系度μ可記為μ=a+bi+cj，其中a+b+c=1(1)

其中i為差異標(biāo)記符號(hào)或相應(yīng)系數(shù)，取值為[-1，1];j為對(duì)立標(biāo)記符號(hào)或相應(yīng)系數(shù)，規(guī)定取值為-1。

1.4 集對(duì)勢(shì)

在(1)式中，若c≠0時(shí)，稱(chēng)同一度a與對(duì)立度c的比值為所論集對(duì)在指定問(wèn)題背景下的集對(duì)勢(shì)，用“shi”表示:

shi=a/c (2)

當(dāng)a/c>1，a/c=1和a/c<1時(shí)分別稱(chēng)為集對(duì)同勢(shì)、集對(duì)均勢(shì)和集對(duì)反勢(shì)。集對(duì)勢(shì)說(shuō)明了集對(duì)的兩個(gè)集合聯(lián)系的趨勢(shì)。shi的大小代表評(píng)價(jià)主體對(duì)評(píng)價(jià)客體的評(píng)價(jià)等級(jí)，shi的值越大一般可認(rèn)為評(píng)價(jià)主體對(duì)評(píng)價(jià)客體的評(píng)價(jià)越優(yōu);shi的值越小一般可認(rèn)為評(píng)價(jià)主體對(duì)評(píng)價(jià)客體的評(píng)價(jià)越差。

2 構(gòu)建基于集對(duì)分析的搜索引擎評(píng)價(jià)模型

2.1 確定評(píng)價(jià)指標(biāo)體系

根據(jù)評(píng)價(jià)原則，可以確定搜索引擎質(zhì)量評(píng)價(jià)指標(biāo)體系(見(jiàn)式1)。評(píng)價(jià)指標(biāo)體系主要由索引構(gòu)成、檢索功能、檢索效果、結(jié)果顯示和用戶(hù)交互五個(gè)基本維度組成，每一個(gè)一級(jí)指標(biāo)都有隸屬的二級(jí)指標(biāo)。

2.2 利用AHP計(jì)算各指標(biāo)權(quán)重系數(shù)

層次分析法(Analytic Hierarchy Process，AHP)的基本思想是先按問(wèn)題要求建立一個(gè)描述系統(tǒng)功能或特征的內(nèi)部獨(dú)立的遞階層次結(jié)構(gòu)，在每一層的同類(lèi)因素中，通過(guò)比較兩兩元素的相對(duì)重要性，給出相應(yīng)的比例標(biāo)度，構(gòu)造上層某要素對(duì)下層相關(guān)元素的判斷矩陣，以給出相關(guān)元素對(duì)上層某要素的相對(duì)重要性序列[3]。求得一致性比率(CR)當(dāng)CR≤0.1時(shí)，認(rèn)為判斷矩陣滿(mǎn)足一致性要求。

w=(w1，w2，…，wl)，且滿(mǎn)足w1+w2+…+wl=1 (3)

2.3 確定聯(lián)系度μ

1) 確定同一度a、差異度b和對(duì)立度c

根據(jù)評(píng)價(jià)指標(biāo)體系，針對(duì)各二級(jí)指標(biāo)進(jìn)行問(wèn)卷調(diào)查。每個(gè)二級(jí)指標(biāo)的評(píng)語(yǔ)集有三個(gè)選項(xiàng):優(yōu)、一般和差，讓評(píng)判者進(jìn)行選擇。對(duì)于每個(gè)指標(biāo)，假設(shè)有N個(gè)人進(jìn)行評(píng)價(jià)，若其中有x個(gè)打“優(yōu)”，y個(gè)人打“一般”，z個(gè)人打“差”，則可得同一度a=x/N、差異度b=y/N以及對(duì)立度c=z/N。

2)確定差異度系數(shù)

當(dāng)i在[-1，1]區(qū)間取值時(shí)，鑒于不同的情況有不同的確定方法:極值法、中值法、概率取值法和函數(shù)模擬法等等。本文采用中值法確定i值[4]，取i=0.5。

3)確定聯(lián)系度、計(jì)算集對(duì)勢(shì)

當(dāng)i=0.5，i恒取-1時(shí)，根據(jù)上述得到的a，b，c值可計(jì)算各聯(lián)系度的值:

μ=a+bi+cj=a+b/2-c (4)

在確定完a，b，c后就可以根據(jù)(2)式計(jì)算各指標(biāo)的集對(duì)勢(shì)。

4)計(jì)算屬性矩陣Q和評(píng)價(jià)結(jié)果R

對(duì)于指標(biāo)體系U的5個(gè)二級(jí)指標(biāo)的屬性矩陣Q(i)可以表示為:

(5)

其中i=1，...，5;m為二級(jí)指標(biāo)體系Ui對(duì)應(yīng)的二級(jí)指標(biāo)個(gè)數(shù)。

由(3)、(5)式可得一級(jí)評(píng)價(jià)指標(biāo)體系的屬性矩陣:

(6)

根據(jù)(3)、(6)式可得最后評(píng)價(jià)結(jié)果R:

(7)

根據(jù)均分原則給出R等級(jí)對(duì)照表(見(jiàn)表1)，由表1即可得到 最終的綜合評(píng)價(jià)等級(jí)。

3 實(shí)驗(yàn)及結(jié)果分析

下面運(yùn)用集對(duì)分析對(duì)某一搜索引擎進(jìn)行綜合評(píng)價(jià)。

把評(píng)價(jià)指標(biāo)制成調(diào)查問(wèn)卷(見(jiàn)附表1)發(fā)給一些搜索引擎的使用者100名。調(diào)查問(wèn)卷中每個(gè)評(píng)價(jià)指標(biāo)都有三個(gè)評(píng)價(jià)等級(jí)“優(yōu)”、“一般”、“差”。請(qǐng)他們?cè)诿總€(gè)指標(biāo)對(duì)應(yīng)的評(píng)價(jià)等級(jí)下面打“√” 。在評(píng)分過(guò)程中，為了避免人為因素的影響，請(qǐng)他們按評(píng)價(jià)等級(jí)對(duì)每項(xiàng)指標(biāo)獨(dú)立的作出判斷。根據(jù)收回的調(diào)查表統(tǒng)計(jì)平均，得到各指標(biāo)的最終結(jié)果。得到的調(diào)查結(jié)果見(jiàn)表2。其中x列為打“優(yōu)”的總?cè)藬?shù)，y列為打“一般”的總?cè)藬?shù)，z列為打“差”的總?cè)藬?shù)。

3.1 確定指標(biāo)權(quán)重系數(shù)

運(yùn)用層次分析法確定一級(jí)評(píng)價(jià)指標(biāo)體系 的權(quán)重向量w=(0.21，0.22，0.38，0.07，0.12)，四個(gè)二級(jí)評(píng)價(jià)指標(biāo)體系的權(quán)重向量分別為:wU1=(0.30，0.63，0.07)，wU2=(0.75，0.25)，wU3=(0.35，0.35，0.05，0.10，0.15)，wU4=(0.24，0.70，0.06)，wU5=(0.69，0.23，0.08)。

3.2確定聯(lián)系度、計(jì)算集對(duì)勢(shì)

3.2.1 確定聯(lián)系度、集對(duì)勢(shì)

按照下面的公式計(jì)算每項(xiàng)結(jié)果填入表2中。

a=x/N，b=y/N，c=z/N，μ=a+b/2-c，shi=a/c，其中N=100。

3.2.2 集對(duì)勢(shì)分析

根據(jù)表2中集對(duì)勢(shì)大小可以得到指標(biāo)評(píng)價(jià)的優(yōu)劣次序。其中最好的是“幫助信息”指標(biāo)，最差的是“感知的全面性”指標(biāo)。

對(duì)于集對(duì)勢(shì)比較靠前的指標(biāo)，說(shuō)明用戶(hù)對(duì)其比較滿(mǎn)意，今后需要保持下去;對(duì)于排序靠中的指標(biāo)，說(shuō)明還有提高的空間，今后需要加強(qiáng)一些;對(duì)于排序靠后的指標(biāo)，說(shuō)明用戶(hù)的滿(mǎn)意程度較低，這些指標(biāo)需要特別注意加強(qiáng)。

3.3 計(jì)算屬性矩陣和評(píng)價(jià)結(jié)果

由式(5)可得一級(jí)指標(biāo)的屬性矩陣:

根據(jù)式(6)可以計(jì)算一級(jí)指標(biāo)的各聯(lián)系度:

同理μ2=0.6525，μ3=0.386，μ4=0.6405，μ5=0.54765。

可得網(wǎng)絡(luò)搜索引擎質(zhì)量評(píng)價(jià)體系的屬性矩陣Q:

由式(7)得評(píng)價(jià)結(jié)果:

根據(jù)表1可得這個(gè)網(wǎng)絡(luò)搜索引擎的評(píng)價(jià)結(jié)果為“優(yōu)秀”。

4 結(jié)束語(yǔ)

該文在集對(duì)分析理論的基礎(chǔ)上，提出了基于聯(lián)系數(shù)學(xué)的搜索引擎性能綜合評(píng)價(jià)模型，為定量的評(píng)價(jià)搜索引擎提供了一種途徑。實(shí)例表明， 該模型客觀、合理、實(shí)用。而且通過(guò)查看搜索引擎在某指標(biāo)上的聯(lián)系數(shù)的有機(jī)構(gòu)成， 還可獲知該搜索引擎應(yīng)在哪些方面改進(jìn)性能。

參考文獻(xiàn):

[1] 趙克勤.集對(duì)分析及初步應(yīng)用[M].杭州:浙江科學(xué)技術(shù)出版社，2000:10-18.

[2] 任艷玲，朱明放.基于集對(duì)分析的綜合評(píng)價(jià)方法及其應(yīng)用[J].微計(jì)算機(jī)信息，2007，23，12(3):220-222.

[3] Saaty T L.The Analytic Hierarchy Process[M].New York:Megraw-Hill，1980.

[4] 趙克勤，曹鴻興.集對(duì)分析與界殼論[M].北京:氣象出版社，2002.

[5] 鄭鵬，張弼云.基于集對(duì)分析的圖書(shū)館服務(wù)質(zhì)量綜合評(píng)價(jià)[J].情報(bào)雜志，2008(1):145-148.