傳統推薦算法的優化研究

(華北電力大學 北京 102200)

一、研究背景及意義

在如今信息爆炸的時代，人們正面臨著被數據包圍，卻又饑渴于知識的困境。隨著互聯網技術的發展，數據正在以指數的形式爆發式增漲。一組名為“互聯網的一天”的數據是這樣說的，一天之中，互聯網的使用者們發送或接收2940億封郵件、發出200萬個社區帖子、上傳5億張圖片、分享28800小時時長的視頻，互聯網一天產生的全部數據能刻滿1.68億張DVD[1]。眾多的信息與知識蘊藏在這些數據之中，人們面對如此體量的數據想要獲取自己想要的信息是有難度的。如何有效的在海量數據中獲取用戶想要的信息具有重大的研究意義。對于上述問題，前人已經有個很好的解決思路，那就是搜索引擎和推薦系統。

搜索引擎指自動從因特網搜集信息，經過一定整理以后，提供給用戶進行查詢的系統。搜索對于用戶來說是一個主動的行為，用戶在執行搜索操作之前需要對想要的信息有比較明確的認識，將關鍵詞或者有關信息的描述輸入搜索引擎，然后搜索引擎通過搜索算法收集到特定的信息，返回給用戶。搜索引擎能夠有效的幫助用戶高效率的獲取自己想要的信息，該技術的出現大大縮短了互聯網用戶獲取知識的時間。該技術如今被廣泛的應用在人類社會生活的方方面面，百度、谷歌、雅虎等公司都是搜索引擎巨頭，人們日常生活衣食住行所需的各類知識都能夠通過搜索引擎高效地獲取[2]。但是搜索引擎也存在著局限性，用戶在輸入類似的關鍵詞時得到的結果往往都是差別不大的，這樣的缺乏個性化的信息顯然是無法滿足所有用戶的需求，尤其是在音樂、電影、商品、圖書等領域。不同的用戶對于同一件物品很可能給出不同的描述，這樣搜索引擎是無法滿足用戶之間的差異性的需求。針對用戶個性化獲取信息的問題，推薦系統給出了一個可行的解決方案。與搜索引擎不同，推薦系統接受的信息一般是模糊的不明確的。推薦系統通過搜集用戶的行為特征，與推薦系統中的信息進行關聯，然后形成推薦列表，將用戶有可能需要的信息推薦給用戶。如今大多數的應用或者服務都會兼顧以上兩種方法，來為用戶提供全面的、快速的、高效的、準確的信息獲取服務。本文將聚焦個性化推薦技術進行研究。

個性化推薦技術在如今被應用的越來越廣泛，幾乎遍布了人們生活中的每一個角落，包括音樂、電影、新聞、郵件、電子商務、醫療、飲食、出行等各個領域。隨著推薦技術和推薦系統的廣泛應用，產生了大量的推薦算法[3]。例如基于內容的推薦算法、基于關聯規則的推薦算法、基于協同過濾的推薦算法和混合推薦算法。這些都是比較經典的推薦算法，被許多人進行了深入的研究，并且被廣泛的應用在各個領域中。其中協同過濾算法是被使用和研究的最廣泛的，該算法具有眾多的優點，例如它在推薦過程中是利用統計學的知識，而幾乎不需要任何其他領域的知識，因此非常容易將其運用在各種工程之中。但是該算法也具有很多缺點和不足，例如數據的稀疏性問題、冷啟動問題等。這些問題對于推薦算法的性能有很大的影響。

在數據爆炸信息過載的當今社會，個性化推薦技術作為人們獲取信息的手段正在扮演者越來越重要的角色。它既解決了信息過載難題，又解決了搜索引擎缺乏個性化和必須明確目的性的缺陷。推薦算法被廣泛的應用在各個領域，對推薦算法進行改進和優化具有重大的現實與實際意義。

二、課題研究現狀

推薦系統的內核是推薦算法，推薦算法種類很多，通常被分為以下幾類：基于內容的推薦算法；基于關聯規則的推薦算法；基于協同過濾的推薦算法；混合推薦算法等。

基于內容的推薦算法出現較早，主要思想是根據物品的屬性特征，構建項目屬性向量，接著根據用戶歷史行為記錄，構建用戶興趣偏好向量，通過比較用戶興趣偏好向量與用戶未評價的各個項目的屬性向量的相似度，對目標用戶產生項目預測評分或 top-N 推薦。基于內容的推薦算法的優點是易于實現，推薦效果直觀。缺點是復雜的項目難以提取出項目屬性特征向量，有時需要人工進行提取，但是人的主觀性往往導致提取標準難以統一，導致推薦效率下降。

基于關聯規則的推薦算法的首要目標是挖掘出關聯規則，例如那些同時被很多用戶購買的物品之間的關聯關系，這些具有關聯關系的物品可以相互進行推薦。基于關聯規則的推薦算法一般轉化率較高，因為當用戶購買了具有關聯關系的若干項目后，購買相同關聯關系的其他項目的可能性會變得更高。缺點是存在數據稀疏和冷啟動的問題，還有熱門物品容易被過度推薦。

基于協同過濾的推薦算法是個性化推薦算法中研究和應用最為廣泛的推薦算法。協同過濾推薦算法只需要用戶對項目進行評分，不需要用戶特征和項目屬性。主要分為以下兩種：基于內存的協同過濾推薦算法和基于模型的協同過濾推薦算法。基于內存的協同過濾推薦又可以分為基于用戶的協同過濾和基于項目的協同過濾。

基于用戶的協同過濾算法主要有四個步驟：第一步，根據用戶—項目評分矩陣，進行用戶相似度計算，得到用戶相似度矩陣；第二步，通過用戶相似度，運用KN最近鄰居算法，通過用戶相似度大小選擇與目標用戶最近的K個鄰居；第三步，利用目標用戶的最近鄰居集合，計算出目標用戶的項目預測得分；第四步，選擇預測評分值較大的N個進行目標用戶的top-N推薦，基于項目的協同過濾和基于用戶的協同過濾的計算過程類似。

基于模型的協同過濾通過數據挖掘、機器學習等知識建立用戶-項目的評分預測模型，主要有以下兩種方法：(1)基于矩陣的奇異值分解模型。將整個數據集的用戶-項目評分矩陣，通過矩陣分解為用戶特征矩陣和項目特征矩陣，從而降低矩陣的維度，進行相似度的計算并推薦；(2)基于聚類模型。如通過Canopy 聚類，K 均值算法等算法，對用戶或項目進行聚類，從而對目標用戶所屬某一類的評分進行預測并推薦。

三、總結

個性化推薦技術極大的影響了人們獲取信息的方式，極大的縮短了人們獲取信息的時間，提高了人們獲取信息的效率。研究的和發展推薦技術具有重要的意義。影響推薦算法性能最重要的兩個問題就是數據稀疏和冷啟動問題，這也是人們研究的重點。如何解決這兩個問題，是優化推薦算法的重中之重。最常見的方案便是采用與其他算法結合，例如聚類或者矩陣分解，解決數據稀疏問題。挖掘數據中的隱式信息解決冷啟動問題。在此基礎上，不斷尋找新的算法與推薦算法結合，不斷挖掘新的隱式信息，是優化推薦算法的思路之一。國內外學者提出了各種解決方案，比如矩陣分解方法既可以解決數據稀疏性問題，也可以解決算法擴展性問題。向算法中融入用戶的人口統計學信息、背景知識和信任關系可以緩解協同過濾技術的冷啟動問題。另外，新的社會網絡分析技術、大數據的并行技術，以及結合關鍵用戶分析技術給其帶來了新的契機，而如何利用這些技術提高系統的推薦精度和效率將會成為新的研究熱點。