互補網絡中多級混合過濾系統的研究

摘要：針對適合互補結構網絡信息特點的過濾機制進行研究，提出一種改進的用戶興趣模型，在研究內容過濾和協作過濾的基礎上，建立適合互補結構網絡的多級混合過濾系統。通過對多級混合過濾模型的實驗，表明多級混合過濾模型克服了單獨使用內容過濾或協作過濾方法的缺點，提高了過濾的準確度。

關鍵詞：互補結構網絡；多智能體；UCL標引；混合過濾

中圖分類號：TP393文獻標識碼：A文章編號：1009-3044(2008)25-1423-03

Research of Information Filtering Technologies Based on Multi-Agent in Complementary Architecture Network

XING Chao， WANG Ke

(College of Information Science and Technology， Henan University of Technology， Zhengzhou 450001， China)

Abstract: The paper focuses on mechanism of Information Filtering of the complementary architecture network.An improved user-profile model is proposed. This paper sets up a system of Information filtering based on multi-level and combination strategy in Complementary Architecture Network， on the basis of the content Filtering and Collaborative Filtering. This paper carries out experiments and simulation of the mechanism for the mixed model in Complementary Architecture Network. Laboratorial results show that the model based on multi-level Combination Filtering can overcome shortcomings and enhance the accuracy of the information.

Key words: Complementary Architecture Network; Multi-Agent; UCL Indexing; Combination Filtering

1 引言

現有互聯網的單一結構形式不能適應信息資源以幾何指數增長的情況，通過在互聯網主結構上增加“播存結構”的次結構，通過廣播方式以最短路徑把網絡中的信息傳輸到用戶端，這種形式稱為互補結構網絡。

在互補結構網絡中，需要對網絡信息進行分析、組織，加入內容標引信息，根據信息熱度等特點選擇互聯網或廣播通道傳輸。對于終端用戶，互補結構網絡要解決如何能準確快速找到所需信息，屏蔽不相關、有害信息的問題，這需要一種適合互補結構網絡特點的高效信息過濾機制。

近年來，文本過濾和智能代理過濾的研究得到了重視與發展，我國對信息過濾的研究起步較晚，代表性的研究是基于向量空間模型的文本過濾系統，使用的主要技術：引入偽反饋概念，在訓練階段，通過特征抽取和偽反饋建立初始過濾模板和初始閥值；在過濾階段，根據用戶反饋，自適應地調整閥值提高系統性能。

2 互補網絡的混合過濾機制

2.1 基于用戶的協作過濾算法

1) 用戶間相似度計算

為描述與指定用戶興趣相似性，用相似性方法度量，計算用戶間相似性主要有三種方法：

① 余弦相似性：把用戶評分看作n維信息空間上的向量，如果用戶對信息沒有評分，將用戶對該項目的評分設為0，用向量間的余弦夾角度量用戶間的相似性。設用戶i和用戶j在n維信息空間上的評分分別是向量■，■，則用戶i和j之間的相似性Sim(i，j)為：

■(1)

② 相關相似性：設用戶i和用戶j共同評分過的信息集為Iij，則用戶i和用戶j間的相似性Sim(i，j)通過泊松相關系數度量：

■(2)

其中，Ri，c，Rj，c分別表示用戶i，j對信息項c的評分，Ri和Rj分別表示用戶i和用戶j對己評信息項的平均評分。

③修正的余弦相似性：在余弦相似性度量方法中沒有考慮不同用戶的評分尺度問題，修正的余弦相似性度量方法通過減去用戶對信息的平均評分改善上述缺陷，設用戶i和用戶j共同評分過的項目集合為Iij，Ii和Ij分別表示用戶i和用戶j評分過的項目集合，則用戶i和用戶j之間的相似性用Sim(i，j)表示：

■(3)

其中，Ri，c，Rj，c分別表示用戶i，j對信息項c的評分，Ri和Rj分別表示用戶i和用戶j對己評信息項的平均評分。

2) 最近鄰策略

基于用戶協作過濾的核心是為當前用戶尋找最相似的“最近鄰居集”，該算法的實現一般分為三步：

Step1：計算各用戶之間的相似度Sim(i，j)；

Step2：選擇鄰居數量，形成最近鄰居集；

Step3：利用“最近鄰居集”為當前用戶的未評信息項產生預測評價；

設當前用戶Ua己評分的項集Ia，任一用戶Ui，已評分項集Ii，其中Ua和Ui共同評分的項集記做Iai。計算用戶Ua與Ui的相似度；由此得到Ua與其它用戶間的相似度集合Sa={Sa，1， Sa，1 Sa，1…Sa，n}

其中Sa，aSa。n為信息項個數，將相似度集合按照大小排列，形成Ua的鄰居集合，記做Na={Na1，Na2，Na3，…Nan}， NaaNa。

采用選擇前K個鄰居作為Ua的最近鄰居，得到最近鄰居集NBSa={NBa1，NBa2，...，NBak}，在得到最近鄰居集合NBSa。之后，Step3的核心工作是利用預測函數為當前用戶a對某一未評信息項j生成預測評價值。預測函數基于最近鄰居對該信息項的評分，以及當前用戶與最近鄰居的相似程度：

■(4)

其中Sim(a，u)表示當前用戶與鄰居用戶之間的相似性Ra，表示當前用戶對信息項的平均評分。Ru，i表示任一鄰居u用戶對信息項i的評分，Ru表示用戶u對信息項的平均評分。

2.2 混合過濾算法

系統根據數據鏈路層的UCL信息將數據廣播網傳輸過來的信息進行大類的過濾（即第一級過濾），然后使用本文提出的混合策略進行二級過濾。

本文使用將二種過濾方式的加權值求和的方法：

I=α*I1+β*I2(5)

其中I1是內容過濾的興趣預測值，I2是協作過濾的興趣預測值。

α+β=1，(1<α<1，0<β<1)，α和β是調和參數。

系統運行初期，用戶評價級別少，為用戶建立的網頁信息價值庫內容少，加權因子α的值大于β；當用戶數和評價級別數目很多時，協作過濾更為準確，此時可以讓β的值較大。如果選擇網頁信息的代價與不選擇此信息的代價大于某個設定值時，直接向用戶推薦信息。

3 互補網絡中多級混合過濾系統的設計

3.1 系統總體結構

根據互補結構網絡的特點，搭建了互補網絡中多智能體的多級、混合過濾系統原型，如圖1所示：

在互補結構網絡中，Agent代表用戶或系統程序，根據用戶信息需要，以主動服務的方式為用戶提供智能化、人性化的交互界面；將用戶感興趣的信息自動的存入本地庫服務器中；由用戶行為捕獲Agent分析、跟蹤用戶瀏覽行為，挖掘出用戶興趣，進行信息資源的智能下載，推薦和過濾條件，充分發揮互補結構網絡的優勢。

3.2 系統各模塊的功能

從圖1中可以看出，系統分為以下兩部分：

3.2.1 服務器端

1) 信息宿源：www網絡的IP信息；單向數字廣播網傳輸的經過UCL信息標引的原信息和UCL字段信息。

2) 網頁信息處理Agent：實現網絡信息的獲取，抽取UCL信息，打上UCL信息標簽，并進行分詞、特征提取生成文檔的向量空間模型等處理。

3) 本地網站庫：存放用戶感興趣的網頁文件，和廣播網傳輸的用戶近期感興趣的經過標引的文件以及用戶定制過的信息，以及存放信息的UCL信息索引表。

4) 用戶興趣模型庫：存放用戶的興趣模型和用戶定制的UCL信息表，實時更新用戶興趣模型。

5) 過濾匹配Agent：實現網頁的文檔向量模型與用戶興趣模型的比較，推斷以獲取最大限度的接近用戶需求的信息。

6) 協作預測模型庫：存放用戶-對網頁的評價信息，提高了過濾系統的主動性。

7) 過濾引擎Agent：由用戶需求根據資源的UCL信息索引表首先搜索本地網站庫中的信息，若在本地庫中，按照相關度的大小呈現給用戶，如果沒有用戶所需信息，過濾引擎Agent則自動調用其他的搜索引擎到www網絡上獲取信息并及時標引、下載保存到本地庫中，同時把信息呈現給用戶。

3.2.2 客戶端

1) 用戶交互/顯示Agent：學習用戶直接輸入的文本信息，而用戶行為捕獲代理是對其用戶的訪問行為的挖掘學習，定位群體用戶的興趣點。

2) 用戶行為捕獲Agent：反映用戶正在瀏覽的信息，通過用戶興趣的變化反饋及時更新用戶興趣模型信息。

3) 已評價文本庫：存放用戶評價過的文檔集合，用來生成協作預測模型或者通過反饋，刪除或者更新本地網站庫中的信息。

3.3 系統過濾算法

考慮到本地網站庫的存儲容量和系統效率等因素，要在數據鏈路層根據用戶的定制信息算法以及用戶興趣模型對比生成的過濾算法，過濾掉用戶不感興趣的大量信息，把與群體用戶興趣近似的信息保存于本地網站庫，完成“第一級過濾”。根據用戶興趣模型和UCL標引信息索引表信息進行本地庫中的信息篩選（即基于UCL標引信息的內容過濾），分類成與各個用戶興趣模型相近的信息類，完成“第二級過濾”。最后根據協作過濾生成的協作預測模型，將第二級過濾后的信息類進一步的分類、合并，生成備選推薦集，由過濾引擎Agent推薦給當前用戶。本文設計的過濾系統是原型系統，需要進一步研究和完善，核心是過濾算法，算法流程圖如圖2所示。

4 互補網絡中多智能體過濾技術的實驗

采用以太網環境下的互補結構網絡過濾技術，開展混合過濾方法的對比仿真實驗，軟件系統環境為VC++。

4.1 多級混合過濾

本文對內容過濾和協作過濾及基于UCL的混合過濾方法進行了對比仿真實驗，采用TREC 11提供的數據，用1000篇HTML文檔作為訓練集，獲取混合過濾預測公式中的最佳α和β值，把該值作為I的最佳加權因子，而I1和I2及I分別計算求出。再用200篇文檔作為測試集，在系統客戶端測試比較內容過濾、協作過濾和結合過濾的推薦準確率。

根據不同的α和β值，實驗得到一組結果，如表1所示。

表1

■

據實驗中α，β不同的取值得到的結果，可以看出取β為0.6，α為0.4時，所有用戶的平均推薦準確率最高，把此時的值作為最佳加權因子I，然后再比較內容過濾、協作過濾和混合模式過濾的準確率，最后計算所有用戶的平均準確率。

仿真實驗結果如圖3：

4.2 仿真結果

仿真結果表明：系統開始時沒有用戶評價信息，內容過濾準確率高，隨著用戶的評價信息的增加，協作過濾與混合過濾的準確率呈上升趨勢，最終混合過濾的準確率趨近并超過協作過濾與內容過濾，證明在互補結構網路中采用的混合過濾方法比單純的內容過濾和協作過濾準確率更高。

5 結束語

本文針對適合互補結構網絡信息特點的過濾機制的研究，需要對現有技術、實現手段進行改進，來滿足實用性需求。以下內容是需進一步研究的方向：

1) 深入研究基于UCL的檢索子系統的算法和實現；

2) 更好的將內容過濾、協作過濾結合，滿足互補結構的需求；

3) 完善雙結構Agent瀏覽器的功能。

參考文獻：

[1] 張瓊，杜友福，彭烈慧. 智能Agent技術在Web信息檢索中的應用[J].現代電子技術，2006(16):75-77.

[2] 邢玲，馬建國，李幼平. 一種基于UCL 的中文網頁信息過濾方法[J].電子學報，2006(10):10-15.

[3] 孫鐵利，邱春艷，楊焱. 基于Agent的個性化信息過濾技術與實現方法[J].計算機科學，2005，32(8):152-153.

[4] Mark C， David B， Phong Le， Makoto W. Inferring User Interest[J].IEEE Internet Computing，2001，5(6):32-39.