基于隱語義模型的智能推薦算法設計

魯浪浪 袁慶達 凌源俊 林云鵬 王浩宇

摘 要 分析和研究如何根據用戶偏好做到“智能推薦”。以向用戶智能推薦圖書為例，基于人工智能和機器學習的思想，利用隱語模型對用戶進行大數據分析，實現對用戶的精準化智能推薦。

關鍵詞 智能推薦系統；隱語義模型；人工智能；機器學習

中圖分類號 TP3 文獻標識碼 A 文章編號 1674-6708（2018）214-0124-03

在現代這個信息高速流通的時代，用戶每天都會產生海量的數據，而根據大數據進行分析用戶的偏好從而實現針對每個用戶的精準化推薦也成為各個公司關注的焦點。而能夠實現這個目的的算法已經成為公司的核心競爭力，如小紅傘、今日頭條、網易云音樂等App就憑借其出色的算法實現了精準營銷在同類市場競爭中占據了優勢。

自90年代以來，學界涌現了大量的推薦算法模型，代表性的如協同過濾算法。但由于數據量越來越龐大，協同過濾算法由于結構上的缺陷已經無法高效處理，基于此本文采用改進后的隱語義模型來實現高效準確的智能推薦。總的來說，根據大數據超高維、關系復雜等特點，需開展以下研究：

1）謀求大數據超高維、高稀疏知識發掘：鉆研機器學習方法理論，構建特定數據挖掘算法。2）研究復雜算法編程，將挖掘算法編程模型與分布式處理相統一。3）在已有并行計算平臺上，構建成分布式并行化機器學習、實現復雜度低、并行性高的發掘算法（何清、李寧、羅文娟、史忠植《大數據下的機器學習算法綜述》）。

1 隱語義模型

隱語義模型LFM屬于隱含語義分析技術，其本質在于通過數據分析找出潛在的主題或分類。文本挖掘領域首先采用該技術進行分析，近些年它們開始被應用到其他領域中，并取得了不錯的效果。

隱語義模型的假設前提每個用戶都有各自不同的偏好，以書籍為例，一個用戶可能對歷史類、戰爭類、科技類的書籍有特殊偏好，而這些偏好可以被抽象為一個個隱變量。每一本書在每一個隱變量上的權重綜合構成了用戶對這本書的偏好程度。

由此，產生了3個問題：第一，如何確定用戶隱變量的個數；第二，如何求出每個用戶在每個隱變量的偏好程度；第三，如何確定每本書在每個隱變量上的權重。

隱語義模型的核心內容是隨機梯度下降（SGD），而這也是解決上述3個問題的關鍵。具體可分為以下步驟：

步驟一：矩陣分解

矩陣分解算法基于數學上的矩陣的行列變換。在線性代數中，矩陣A進行行變換相當于A左乘一個矩陣，矩陣A進行列變換等價于矩陣A右乘一個矩陣，因此矩陣A可以表示為A=PEQ=PQ（E是標 準陣）。

矩陣分解目標就是把用戶對書籍的評分矩陣R分解成用戶對隱變量評分矩陣和書籍在隱變量上權重矩陣的乘積。

首先假設，用戶對書籍的真實評分和預測評分之間的差服從高斯分布，基于這一假設，可推導出目標函數。

最后得到矩陣分解的目標函數如下：

步驟二：隨機梯度下降

從最終得到的目標函數可以直觀地理解，預測的分值就是盡量逼近真實的已知評分值。有了目標函數之后，下面就開始介紹優化方法：隨機梯度下降法（stochastic gradient descent）。

隨機梯度下降算法是被廣泛應用的一個算法，其主要思想是分別對用戶-隱變量矩陣和書籍-隱變量矩陣求偏導，確定梯度下降方向，讓變量沿著目標函數負梯度的方向移動，最終到達極小值點。求導公式如下：

梯度下降法具體分為以下幾個步驟：

1）確定目標函數y=f（x）；

2）對待優化的指標進行求導，確定每次迭代的搜索方向，見公式（2）；

3）確定一個學習率α作為每次搜索尋優的 步長；

4）不斷進行迭代優化；

5）滿足迭代終止條件，最終使得待優化的指標迭代至目標值附近；

6）對通過上面的分析，可以獲取梯度下降算法的因子矩陣更新公式，具體如下。

公式（3）中的γ指的是步長，也即是學習速率，它是一個需要調參確定的參數。對目標函數進行優化，學習率α的選擇極其重要。若取值較大，即梯度下降迭代的步長較大，可以快速迭代至最優解附近，但是可能一直在最優解附近徘徊，無法計算出最優解，于特殊的函數也可能會導致不收斂，始終發散求不出解；若取值較小，即梯度下降迭代的步長較小，下降速度較慢，其迭代出的解精度較高，但會耗費很長時間，這將不利于實際 應用。

接下來的部分便主要介紹參數α和γ的調整過程。

2 推薦算法調參

2.1 實驗方案與結果分析

智能推薦系統建立的關鍵是求解過程中參數的調節。本次實驗的算法中主要運用到了隨機梯度下降求解誤差項達到了最優值的方法。該方法通過不斷迭代使目標誤差函數達到最小值。這次實驗使用用戶-電影訓練集，測試集和驗證集來檢測算法效力。用戶-電影測試集中有671個用戶對9126部電影的打分，有10萬條的數據。

實驗主要是對隱語義模型的參數進行調節。需要調節的參數包括學習速率α、隱變量個數F、迭代次數N以及正則化參數。

2.2 調節的過程

步驟一：設置學習速率

學習速率確定了學習速度的快慢。圖1是梯度下降三維立體示意圖。從圖中可以看到迭代之前的初始點位于紅色半坡位置，在運用SGD的基礎上，算法會隨機選擇下一步迭代的方向，即圖中的兩條路線。學習速率可以用線路上兩個十字星點的間距表示。

損失值可以用一條如圖2所示的類二次函數的曲線來表示。當學習速率設置的過大時，就會導致從點1直接越過谷底即最優解跳躍到點2，如此循環往復，最終無法得到最優解，如圖3η=2.5顯示出的cost一樣；當學習速率設置的過小時，就會在點1到點3的過程出現無數個間距無限小的點，在這種情況下，雖然能確保不會損失最優解，但迭代次數以及耗時也將會大大的增加，從而使得推薦算法耗時過長。

我們需要在迭代的不同階段調整所使用的學習速率。前期迭代時運用一個大的學習速率能快速地擇選出下降方向，在接近最優解時則使用一個小的學習速率使算法能精確得到最優解。所以，在算法中需要介入逐漸衰減的α，定義為每進行一次迭代就減少0.02，即乘上系數0.98。運用這種形式的學習速率的設置能更好地引導SGD快速而又有效地達到最優解。

步驟二：確定迭代次數

確定了學習速率的設置后，我們需要確定與之相關的參數，即迭代次數。迭代次數決定了學習速率發揮的程度，次數不夠就會導致沒有達到最優值便結束迭代，即欠擬合，反之次數過大就會造成時間上的巨大損失以及出現過擬合。前者可以使用網格搜索法，輸入學習速率通過均值和標準差得出較好的迭代次數。后者除了可以用網格搜索法之外，還可以通過設置一個提前結束的條件，提前結束迭代。但仍需加上正則化系數使其避免出現過擬合的情況。在本次試驗中，lamda即為用來避免過擬合的正則化系數。

步驟三：確定隱變量

最后一個待確定的變量為隱變量個數。隱變量的關鍵在于不用去定義元素，在運算過程中重要的是定義隱變量的數量，通過設置分類數就可以控制粒度，分類數越大則粒度越細。在實際運算過程中，設置過大的元素分類數會影響算法的準確性，基于學習速率，迭代次數和正則化系數調整好的情況，有時反而會適得其反地造成最終的得分的趨同。由于隱變量可查閱資料較少，根據實驗中不斷的測試優化，最后把隱變量確定在10。

綜上，確定了各參數即學習速率為0.25，衰減速率為0.02，迭代次數為10000，lamda等于2以及隱變量為10，在這種情況下能較好地取到最 優解。

3 結論

智能推薦是根據用戶的信息數據、愛好標簽等，將用戶感興趣的信息、產品等推薦給用戶的個性化信息推薦系統。和搜索引擎相比推薦系統通過研究用戶的興趣偏好，進行數據分析，發現用戶的興趣點，從而引導用戶發現自己的需求。一個好的推薦系統不僅能為用戶提供個性化的服務，還能讓用戶對推薦系統產生依賴，從而增進用戶粘性。使用智能推薦還可以達到精準營銷，節省企業大量時間和資源。在未來，一個高效準確的推薦系統必然會成為企業戰勝對手的利器。

參考文獻

[1]李學龍，龔海剛.大數據系統綜述[J].中國科學：信息科學，2015，45（1）：1-44.

[2]劉建國，周濤，汪秉宏.個性化推薦系統的研究進展[J].自然科學進展，2009，19（1）：1-15.

[3]張亮.基于機器學習的信息過濾和信息檢索的模型和算法研究[D].天津大學，2007.

[4]何清，李寧，羅文娟，等.大數據下的機器學習算法綜述[J].模式識別與人工智能，2014，27（4）：327-336.

[5]陳潔敏，湯庸，李建國，蔡奕彬.個性化推薦算法研究[J].華南師范大學學報（自然科學版），2014，46（5）：8-15.

[6]劉紅巖，陳劍，陳國青.數據挖掘中的數據分類算法綜述[J].清華大學學報（自然科學版），2002（6）：727-730.

[7]趙丹群.數據挖掘：原理、方法及其應用[J].現代圖書情報技術，2000（6）：41-44.