基于主題詞表的數(shù)字檔案館概念搜索引擎設(shè)計與實(shí)現(xiàn)

1、數(shù)字檔案館傳統(tǒng)檢索方式存在的問題

傳統(tǒng)的數(shù)字檔案館檢索都是基于關(guān)鍵詞匹配的全文檢索(或其他關(guān)鍵字檢索，如標(biāo)題檢索)，只要文章中存在用戶輸人的詞，該文章即被命中。這種傳統(tǒng)的檢索方式局限于表面形式，在普通的網(wǎng)絡(luò)搜索引擎中尚可滿足用戶需求，但在數(shù)字檔案館這種對于查全率查準(zhǔn)率要求極高的環(huán)境下卻無法勝任。

首先，由于普通用戶的專業(yè)知識不強(qiáng)，經(jīng)常對檢索詞表達(dá)不清。用戶在使用檢索詞時往往無法表達(dá)一個確切概念，如對于“計算機(jī)”這個詞，可能有多種表達(dá)方式，由于這些詞匯在形式上的差異，導(dǎo)致用戶檢索往往無法命中。

其次，用戶在檢索一個概念時可能還希望得到與該概念有關(guān)的其他概念。這時候就需要搜索引擎對用戶提供的概念進(jìn)行擴(kuò)檢，如用戶輸入“TCP/IP”時，可能還希望得到“網(wǎng)絡(luò)協(xié)議”方面的信息。

第三，檔案記錄具備規(guī)范化的主題詞。在數(shù)字檔案館中，所有的數(shù)字檔案均有規(guī)范化的主題詞，用戶在檢索時如果能直接命中這些主題詞，那么查準(zhǔn)率將會大幅提高，但由于普通用戶對檔案主題詞并不熟悉，所以在提供檢索服務(wù)時最好能夠?qū)⒂脩籼峁┑臋z索詞轉(zhuǎn)換為標(biāo)準(zhǔn)的主題詞并進(jìn)行相關(guān)概念的擴(kuò)充檢索。

2、基于主題詞表的數(shù)字檔案館概念搜索引擎設(shè)計和實(shí)現(xiàn)

針對以上提到問題，我們設(shè)計了一套基于詞素概念檢索的數(shù)字檔案館館內(nèi)搜索引擎，該系統(tǒng)基于主題詞表進(jìn)行概念的關(guān)聯(lián)，對用戶提出的檢索要求先進(jìn)行規(guī)范化轉(zhuǎn)換，而后再根據(jù)主題詞進(jìn)行擴(kuò)檢。

2．1 基于主題詞表的語義關(guān)系及其應(yīng)用需求

主題詞是經(jīng)過規(guī)范化處理的，能顯示主題詞之間語義關(guān)系的。有標(biāo)引和檢索意義的詞或詞組。所有有序化敘詞之和就構(gòu)成了主題詞表。主題詞表中的語義關(guān)系包括等同關(guān)系、屬分關(guān)系、相關(guān)關(guān)系。詞的等同關(guān)系是指一組詞或詞組在概念上完全相同或意義接近：屬分關(guān)系指概念內(nèi)涵相同、外延范圍大小不同的詞之間的關(guān)系：族首詞則是一種特殊的屬分關(guān)系，其外延范圍最大：相關(guān)關(guān)系是指概念內(nèi)涵之間語義聯(lián)系的詞間關(guān)系。

利用主題詞表的用代關(guān)系規(guī)范用戶提問的主題詞、用屬分關(guān)系實(shí)現(xiàn)擴(kuò)檢，因此主題詞表在設(shè)計時應(yīng)該對Y、D、F項數(shù)據(jù)訪問提供方便的人口。建立主題詞表以及范疇索引、詞族索引這將極大地方便計算機(jī)以詞表控制的自動處理技術(shù)。當(dāng)然根據(jù)具體應(yīng)用不同需求，詞表結(jié)構(gòu)還要做一些細(xì)微調(diào)整，繼續(xù)完善后可以接入應(yīng)用系統(tǒng)，本系統(tǒng)就是根據(jù)主題詞表之間的語義關(guān)系來進(jìn)行概念之間的關(guān)聯(lián)的。

2．2 系統(tǒng)工作原理

用戶首先通過檢索界面輸入關(guān)鍵詞，業(yè)務(wù)層通過主題詞表對關(guān)鍵詞進(jìn)行查詢分析，并轉(zhuǎn)換為規(guī)范化的主題詞，而后再根據(jù)主題詞表當(dāng)中上位詞、下位詞和參考詞字段在數(shù)據(jù)表中進(jìn)行擴(kuò)展檢索，輸出后供用戶選擇相應(yīng)的查詢結(jié)果。例如：用戶輸入“電腦”或者“PC”一詞，查詢分析器先在主題詞表中查找該關(guān)鍵詞，而后將該關(guān)鍵詞轉(zhuǎn)換為標(biāo)準(zhǔn)主題詞“微型計算機(jī)”，再根據(jù)其下位詞“電子計算機(jī)”、上位詞“計算機(jī)”、參考詞“微機(jī)”來進(jìn)行擴(kuò)展檢索。得到四個結(jié)果集，用戶可以選擇輸出。

整個流程主要是通過主題詞表進(jìn)行概念關(guān)聯(lián)，下表是主題詞表的數(shù)據(jù)結(jié)構(gòu)：

另外，在實(shí)際使用過程中，由于各種新詞匯的不斷出現(xiàn)，經(jīng)常導(dǎo)致用戶輸入的詞匯無法在詞表中檢索到，這就需要一個及時的用戶反饋機(jī)制。針對這種現(xiàn)象，我們又設(shè)計了一個自由詞表，專門來存儲用戶輸入的新詞匯，并進(jìn)行詞頻統(tǒng)計，最后專家通過系統(tǒng)將這些新詞加入到主題詞表當(dāng)中或者直接上升為主題詞，保證了系統(tǒng)的實(shí)時更新。表2即為自由詞表的數(shù)據(jù)結(jié)構(gòu)。

2．3 系統(tǒng)特點(diǎn)

2．3．1 基于主題詞表的概念關(guān)聯(lián)模式。該系統(tǒng)直接采用主題詞表中各個字段之間的關(guān)聯(lián)進(jìn)行擴(kuò)展檢索，檢準(zhǔn)率和檢全率較高。

2．3．2 靈活的檢索結(jié)果控制機(jī)制。該系統(tǒng)能根據(jù)用戶不同需求對檢索結(jié)果進(jìn)行篩選，既可以輸出關(guān)鍵詞相關(guān)的所有概念的結(jié)果集，也可以讓用戶選擇性輸出，對有特定檢索要求的用戶提供了便利。

2．3．3 良好的反饋機(jī)制。該系統(tǒng)利用自由詞表進(jìn)行用戶反饋，能夠得到用戶最為關(guān)心的檢索需求，并及時對主題詞表進(jìn)行修改，進(jìn)一步提高了系統(tǒng)的檢全率。