基于協同過濾技術的個性化推薦系統研究

史玉珍，鄭 浩

（平頂山學院 軟件學院，河南 平頂山 467002）

在這個信息爆炸的網絡時代，面對紛雜的信息資源我們感到無所適從。即便能通過搜索引擎進行信息查詢；但是面對統一問題統一答案的查詢結果，如何能結合個人需求獲取信息是網絡環境的新挑戰。廣大用戶希望結合個人習性愛好改變傳統的“人找信息”[1]的狀況，打造出“信息找人”的格局，基于個性化的信息推薦系統應運而生。

1 個性化推薦系統的必要性

1.1 個性化推薦系統

個性化推薦系統[2-3]就是根據用戶的興趣愛好，推薦符合用戶愛好習慣的資源。目前主要有兩種類型的個性化推薦系統，一種是以網頁為推薦對象的搜索系統，主要采用Web數據挖掘的方法和技術，為用戶推薦符合其興趣愛好的網頁，如Google等；另一種是網上購物環境下，以商品為推薦對象的個性化推薦系統，為用戶推薦符合興趣愛好的商品。

1.2 推薦系統分類

推薦算法是整個推薦系統中最核心、最關鍵的部分，很大程度上決定了推薦系統性能的優劣。目前推薦算法主要包括基于關聯規則的推薦、基于內容的推薦和協同過濾推薦和組合推薦算法[4]4種。

1）基于關聯規則的推薦（Association Rule-based Recommendation）是以關聯規則為基礎，把已購商品作為規則頭，規則體為推薦對象。關聯規則挖掘可以發現不同商品在銷售過程中的相關性，在零售業中已經得到了成功的應用。它依賴專家對用戶和信息的預先分類，為不同類的用戶分布提供不同的服務、產品和不同的優先級，這是一種根據事先定義的If-then規則的靜態推薦，具有很大的局限性。

2）基于內容的推薦源于信息檢索領域的信息過濾技術，它通過計算資源（商品、電影、音樂、文本等）與資源之間、資源與用戶興趣之間的相似程度來向用戶推薦資源，分析資源內容，根據用戶興趣建立用戶模型，基于內容的過濾技術對文本資源的過濾效率非常高，但對多媒體資源不適合。

3）基于協同過濾的推薦（Collaborative Filtering Recommendation）技術是推薦系統中應用最早和最為成功的技術之一。它利用用戶的歷史喜好信息計算用戶之間的距離，然后利用目標用戶的最近鄰居用戶對商品評價的加權評價值來預測目標用戶對特定商品的喜好程度，從而根據這一喜好程度來對目標用戶進行推薦預測。它根據用戶或項目（表示任何商品或信息資源）之間的相似性產生推薦結果，具體可分為基于用戶的協同過濾和基于項目的協同過濾。基于協同過濾的推薦技術是目前研究較多的個性化推薦技術，推薦的個性化程度高、效果明顯，特別適合音樂、電影、圖書等領域的非結構化復雜對象的推薦。

4）組合推薦算法（Hybrid Recommendation）：由于各種推薦方法都有優缺點，所以在實際中，組合推薦經常被采用。研究和應用最多的是內容推薦和協同過濾推薦的組合。

2 協同過濾技術

協同過濾的概念[5]是1992年由Goldberg等人正式提出的，應用在電子郵件過濾上，并開發出了Tapestry系統。協同過濾算法的思想就是“物以類聚、人以群分”，在日常生活中，人們總會利用好朋友的推薦來進行一些選擇。協同過濾正是把這一思想運用到推薦系統中來，基于其他用戶對某一內容的評價來向目標用戶進行推薦。

協同過濾技術基于如下假設[6]：與用戶A興趣度相似的用戶B感興趣的產品是用戶A所感興趣的。并根據用戶對其他項目的評分以及整個用戶群體的評分記錄來預測該用戶對某一未評分項目的評分。協同過濾系統[7-9]可以由輸入、推薦預測引擎和輸出3個部分組成如圖1所示，即用戶輸入評價信息，推薦預測引擎根據用戶輸入的信息產生推薦預測，以及輸出推薦預測結果3個步驟。一般來說推薦預測引擎對用戶來說是個“黑盒”，推薦結果的生成過程對用戶來說是透明的。具體實施過程如下：

圖1 典型協同過濾流程Fig．1 Typical collaborative filtering process

第一步，獲得用戶的評價、購買行為、用戶的興趣等數據信息[10-12]，比如用戶對資源對象的瀏覽、評價、購買等。為了給用戶提供有效的推薦，必須先獲得用戶的興趣模型，這是協同過濾的關鍵，如果興趣模型不準確或是錯誤的，那過濾結果將是毫無意義的。得到一個用戶興趣模型主要分成兩步，先要根據用戶的活動狀況來獲得用戶感興趣的信息群，然后根據這些信息提煉出興趣模型。所以要求獲得推薦的用戶，為得到推薦必須對一些項目進行評價，以表達自己的偏好。

第二步，分析和發現用戶之間、項目之間的特征模式，比如相似性，作為協同過濾輸出或預測的基礎。分析用戶之間、項目之間的相似性可使用相似性計算方法或統計技術來搜索用戶或項目的若干最近鄰居。

第三步，根據當前用戶的訪問過程或階段，適時產生和輸出推薦列表。推薦列表的輸出主要有兩種形式，一種是預測，另外一種是推薦。預測就是根據用戶給定的一組或多個未評價項目，根據預測算法得到該用戶對于未評價項目的預測評分值，并進行預測輸出。推薦是提供活動用戶一個具有N項用戶最喜歡的項目列表，即根據用戶的偏好推薦可能吸引用戶的N個項目，按推薦程度高低排序。

3 協同過濾算法實現

3.1 構建用戶_項目評分矩陣

協同過濾推薦算法使用用戶對項目（商品）的評分數據作為推薦基礎[13]。用戶評分數據分為顯式評分和隱式評分兩類。顯式評分是由用戶自己對某個項目進行打分，使用數值來表示。隱式評分是由系統評估用戶對某個項目的評分，如由用戶的瀏覽日志，購買記錄等得出。推薦系統數據的核心是使用一個用戶_項目評分矩陣R（m，n），它表示有m個用戶集合 U={U1， U2，…， Um}和 n 個項目的集合 I={I1，I2，…，In}，其中Ru，i表示用戶u對項目i的評分，若用戶u未對項目i評分，則 Rui=0。

圖2 用戶_項目評分矩陣Fig．2 User_project scorematrix

3.2 計算用戶之間的相似度

基于協同過濾技術的推薦系統的核心是為一個需要推薦的當前用戶尋找其最相似的“最近鄰居”集。對于用戶相似性的計算，目前方法有很多，主要有3種傳統計算方法：余弦相似性、修正的余弦相似性以及Pearson相似性[14]。

現將文中用到公式符號進行如下約定：

I表示全部項目空間；

U表示全部成員用戶；

Iuv={c∈I|Ru，c=?＆Rv，c=?}用戶 u 和用戶 v 共同評分過的項目集合；

Ru，c表示用戶u對項目c的評分；

Rv，c表示用戶v對項目c的評分；

Ru分別表示用戶u對項目的平均權值；

Rv分別表示用戶v對項目的平均權值；

Ruvd表示推薦系統所采用的評分制的中值。

3.2.1 余弦相似性

余弦相似性也稱為向量相似性（vector similarity）。用戶評分被看作是n維項目空間上的向量，如果用戶對資源沒有進行評分操作，則將用戶對該項目的評分預設為0，用戶間的相似性通過向量間的余弦夾角度量，夾角越小則相似性越高。則用戶 u、v 之間的相似性 sim（u，v）為：

3.2.2 修正的余弦相似性

在余弦相似性度量方法中沒有考慮不同用戶的評分尺度問題，比如用戶甲給他認為最好的項目的評分為4，而從不給5分，他給他認為最差的項目評分為1，而不給2分；用戶乙給他認為最好的項目的評分為5，給他認為最差的項目評分為2，如果采用基本的余弦相似性方法，則這兩個用戶差異較大。修正的余弦相似性度量方法通過減去用戶對項目的平均評分改善上述缺陷。則用戶u和用戶v之間的相似性sim（u，v）為：

3.2.3 Pearson相關系數相似性

用戶u和用戶v之間的相似性 sim（i，j）也可通過Pearson相關系數來度量，將Pearson相關系數公式中結合推薦系統中評分機制的中間值Ruvd代替，公式即為：

3.3 選擇目標用戶的最近鄰居

協同過濾的核心是為一個需要推薦服務的活動用戶尋找其最相似的最近鄰居 （Nearest neighbor）集，即對一個活動用戶a，要產生一個依相似度大小排列的“鄰居”集合N={Nl，N2，…，Ni}，a?N，從 N1至 Ni，用戶之間的相似度 sim（a，Ni）從大到小排列。一般有兩種思路來選取鄰居數目，第一種思路是預先設置一個相似性閾值，所有那些與活動用戶之間的相似系數超過該閾值的用戶都作為鄰居。高于閾值則說明鄰居與活動用戶之間有較好的相似性。第二種思路是選擇k個相似性最大的用戶作為鄰居用戶，k值設置一般為20～50之間。

3.4 目標用戶對指定項目預測計算

選取目標用戶的近鄰后，就可根據這些最近鄰居對項目的評分來預測活動用戶對某個項目的喜好程度。在協同過濾系統中最重要的步驟就是對目標用戶的指定項目進行預測[15]，假設用戶u對項目i的預測為Pu，i，表示公式為：

其中KNNI（u）表示用戶u的最近鄰用戶的個數。

4 協同過濾技術的評價

評價推薦系統用戶評估出的推薦分值與待推薦用戶的實際評分值之間的差異程度是評價一個推薦系統好壞的重要指標，MAE（Mean Absolute Error）是被廣泛使用的測試評分預測準確度的一個標準[16]。平均絕對偏差通過計算預測的用戶評分與實際的用戶評分之間的偏差度量預測的準確性，MAE[17]越小推薦質量越高。設N代表用戶已實際評分的項目數。pi代表用戶的對某項目的實際，qi代表系統計算出的評分值，則平均絕對偏差MAE定義為：

5 結束語

現在協同過濾方法雖然已是最成功的推薦方法，但隨著電子商務系統規模的日益擴大，協同過濾推薦方法也面臨諸多挑戰，其中關注最多的有數據稀疏性、冷啟動和可擴展性3個問題。

1）稀疏性問題：每個用戶一般都只對很少的項目進行評價，整個數據矩陣變得非常稀疏，一般都在1%以下，這種情況帶來的問題是得到用戶間的相似性不準確，鄰居用戶不可靠。稀疏問題是推薦技術中的重要問題之一。

2）冷啟動問題：在推薦系統剛啟動時，沒有用戶對項目的評價信息，因此系統無法根據評分矩陣進行推薦。同時當一個新用戶或一個項目進入系統，由于其沒有評分記錄，因此系統無法獲取其興趣點和為他找到相似用戶，這時推薦系統就出現了盲區。

3）擴展性問題：協同過濾推薦算法的計算量隨著日益增多的用戶和項目，系統規模不斷擴大，推薦系統往往將遭遇嚴重的擴展性問題。

[1]曾春，邢春曉．個性化服務技術綜述[J]．軟件學報，2002，13（10）：1952-1960．

ZENG Chun， XING Chun-xiao．A survey of personalization technology[J]．Journal of software，2002，13（10）：1952-1960．

[2]武建偉，俞曉紅．基于密度的動態協同過濾圖書推薦算法[J]．計算機應用研究，2010（8）：3014．

WU Jian-wei，YU Xiao-hong．Density-based dynamic collaborative filtering books recommendation algorithm[J]．Application Research of Computers，2010（8）：3014．

[3]黃曉斌．網絡信息過濾原理與應用[M]．北京：北京圖書館出版社，2005．

[4]周張蘭．基于協同過濾的個性化推薦算法研究[D]．武漢：華中師范大學，2009．

[5]郁雪．基于協同過濾技術的推薦方法研究[D]．天津：天津大學，2009．

[6]黃裕洋，金遠平．一種綜合用戶和項目因素的協同過濾推薦算法[J]．東南大學學報：自然科學版，2010（5）：918．

HUANG Yu-yang，JIN Yuan-ping．Collaborative filtering recommendation algorithm based on both user and item[J]．Journal of Southeast University：Natural Science Edition，2010（5）：918．

[7]黃創光，印鑒．不確定近鄰的協同過濾推薦算法[J]．計算機學報，2010（8）：1370．

HUANG Chuang-guang，YIN Jian．Uncertain neighbors’collaborative filtering recommendation algorithm[J]．Chinese Journal of computers，2010（8）：1370．

[8]郭艷紅．推薦系統的協同過濾算法與應用研究 [D]．大連：大連理工大學，2008．

[9]Sarwar B，Karypis G，Konstan J，etal．Item-based collaborative filtering recommendation algorithms[C]//In：Proceediings of the 10th International Conference on World Wide Web．New York：ACM Press，2001：285-295．

[10]Sarwar B M． Sparsity，scalability，and distribution in recommender systems[D]． Minneapolis，MN：University of Minnesota，2001．

[11]Sarwar B M，Karypis G，Konstan J，et al．Recommender systems for large-scale e-commerce：scalable neighborhood formation using clustering[C]//In：Proceedings of the 5th International Conference on Computer and Information Technology，2002．

[12]李春，朱珍民．基于鄰居決策的協同過濾推薦算法[J]．計算機工程，2010（13）：34．LIChun，ZHUZhen-min．Collaborative filtering recommendation algorithm based on neighbor decision-making[J]．Computer Engineering，2010（13）：34．

[13]張雪文．智能推薦系統中協同過濾算法的研究[D]．上海：上海交通大學，2008．

[14]王輝，高利軍．個性化服務中基于用戶聚類的協同過濾推薦[J]．計算機應用，2007，27（5）：1225-1227．WANGHui，GAOLi-jun．Collaborative filtering recommendation based on user clustering in personalization service[J]．Computer Application，2007，27（5）：1225-1227．

[15]Terveen L，Hill W，Amento B，et al．PHOAKS：a system for sharing recommendations[J]．Communications of the ACM，1997，40（3）：59-62．

[16]Iijima J，Ho S．Common structure and properties of filtering systems[J]．Electronic Commerce Research and Applications，2007，6（2）：139-145．

[17]馮超．嵌入式Linux下的AU 1200 MAE驅動程序設計[J]．現代電子技術，2010（8）：48-50．FENG Chao．Design of AU 1200 MAE driving program under condition of embedded linux[J]．Modern Electronics Technique，2010（8）：48-50．