基于個性化推薦系統的視頻App的設計

馬學明 童懷

摘要：近年來，各類視頻應用上內容越來越豐富，頁面上與當前用戶無關的內容也越來越多。因此，市面上出現了多種不同的推薦算法來進行內容推薦。但是，不是每種推薦算法都能夠解決所有的問題。基于個性化推薦系統的視頻App，融合了多種推薦方法。首先為了解決推薦系統的冷啟動問題，采用了基于統計學的推薦方式，同時，采用基于協同過濾的推薦算法，計算視頻和用戶間的隱藏特征，最后還有實時推薦模塊，能夠根據用戶近期的行為對推薦內容進行調整。

關鍵詞：android應用;推薦系統;協同過濾;ALS算法;實時推薦

中圖分類號：TP391? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）08-0004-03

Abstract： In recent years， the content of various video applications is becoming more and more abundant， and there are more and more content on the page that has nothing to do with the current users. Therefore， there are many different recommendation algorithms in the market for content recommendation. However， only use a recommendation algorithm can not solve all the problems. The video App based on personalized recommendation system integrates various recommendation methods. Firstly， in order to solve the cold start problem of the recommendation system， a recommendation method based on statistics is adopted. At the same time， a recommendation algorithm based on collaborative filtering is adopted to calculate the hidden features between video and users. Finally， there is a real-time recommendation module， which can adjust the recommended content according to the recent behavior of users.

Key words： android application; aecommendation system; aollaborative filtering; ALS algorithm; real-time recommendation

1 背景

近年來，為了滿足人們越來越高的生活需求，各類視頻App層出不窮，有愛奇藝視頻、騰訊視頻等長視頻應用，也有抖音、快手之類的短視頻應用。這些應用上各種內容非常豐富，但同時也充斥著大量與用戶無關的內容。因此，為了能夠在大量的網絡資源中找到用戶最感興趣的內容，個性化推薦系統也就應運而生。

視頻推薦系統常采用基于協同過濾的推薦算法，該算法可以根據用戶特征的相似度找到擁有共同喜好的人，或者根據視頻的相似度，找到和用戶喜歡的視頻相似的其他視頻，從而可以很好地減少應用內信息的冗余，獲取到用戶更為感興趣的內容，給用戶帶來更好的使用體驗。

2 系統設計

本文將基于個性化推薦系統設計一款視頻App。系統的總體架構圖如圖1所示。系統主要分成服務端、客戶端和推薦系統三個部分。服務端負責提取日志信息，傳入推薦系統中計算，并將計算完成的數據存入數據庫中。客戶端負責上報操作日志，請求并拉取服務端下發的推薦列表，最后將內容完整顯示出來。推薦系統分為統計推薦模塊、離線推薦模塊和實時推薦模塊。統計推薦模塊主要是根據近期熱門程度或視頻的評分高低進行推薦，離線推薦模塊可以根據視頻中的隱藏特征進行推薦，實時推薦模塊則會得根據使用者對當前視頻的評價實時修改推薦內容。

2.1 服務端設計

2.1.1 日志系統

要想根據用戶的信息準確得推薦用戶感興趣的視頻內容，首先需要獲取用戶的信息。用戶在使用App時會采集操作日志到服務端的日志系統。日志系統采用Spring Boot和MongoDB來構建。Spring Boot可以簡化Web應用的環境搭建，Spring Boot繼承了Spring框架，開發者可以通過Spring Boot更方便得使用Spring框架來進行Web開發。

MongoDB 為Web應用提供了可擴展的高性能數據存儲解決方案，是基于分布式文件存儲的數據庫。MongoDB功能非常豐富，而且與其他非關系型數據庫相比，它比較像關系數據庫。由于 SpringBoot本身就封裝了 MongoDB 的套件，因此使用 SpringBoot 整合 MongoDB 做日志系統的開發，是相得益彰的[1]。

日志系統主要有日志記錄和日志管理兩個模塊。日志記錄模塊主要負責收集客戶端應用運行過程中產生的數據信息，并將它們存儲到MongoDB數據庫中。日志管理模塊主要負責數據的查詢、刪除以及統計分析。

2.1.2 數據清洗

本設計中推薦系統的數據E-R模型如圖2所示。

但是客戶端上報上來的原始數據文件并不能直接應用于推薦系統上，所以將數據傳到推薦系統之前，還需要進行數據清洗。數據清洗主要是對臟數據進行一個重新檢查、去重、過濾，目的在于剔除不合格的數據，只保留有用數據[2]。

2.2 客戶端設計

客戶端基于Andriod系統設計，代碼采用MVP架構設計[3]，MVP是目前Adroid開發中最主流的架構，它可以很好地解決視圖層代碼臃腫的問題，并且便于后期的維護和增加新功能。MVP架構分為Model，View和Presenter三層， Model層負責獲取數據，處理數據，View層負責UI的展示和交互，Presenter層則是負責擔任View和Model通信的橋梁，傳遞Model的數據給View展示，或者接收View層存儲到Model層，以及處理一些其他的邏輯。本系統中客戶端主要將服務端下發的推薦列表緩存到Model層，然后傳遞到View層進行展示，并且用戶可以長按視頻列表對視頻進行評分。最終展示結果如圖3所示。

2.3 推薦系統設計

2.3.1 基于統計的推薦模塊

基于統計的推薦模塊可以根據數據庫中已有的視頻數據，結合所有用戶對這些視頻的評價進行推薦，主要用來解決推薦系統在冷啟動時沒有用戶歷史信息導致其他推薦方式不準確的問題。這種推薦方式主要通過使用SQL語句查詢數據庫中已有的內容來實現。如需要最熱門的視頻推薦，可以通過SQL語句查詢數據庫中的評分數據集，統計所有評分中評分數最多的視頻，然后將視頻按照評分從大到小排序。

2.3.2 離線推薦模塊

離線推薦模塊可以根據用戶所有的歷史數據，采取設定的離線推薦算法周期性得進行結果統計與保存，計算結果在短時間內是一樣的，如果需要改變推薦結果，需要再次調用算法。

離線推薦模塊基于隱語義模型進行協同過濾。使用隱語義模型來訓練模型時，可以讓模型去發掘內容間的潛在特征，獲取預測評分。隱語義模型是基于機器學習的，它利用降維技術獲得與用戶的評分矩陣比較接近的低階評分矩陣[4]。低階矩陣只持有比較重要的特征，剔除了無用特征，減輕了數據稀疏性的影響。對于隱語義模型的求解，可以采用交替式最小二乘法（Alternating Least Squares，ALS）[5]。

我們假設用戶特征矩陣為[Pm×k]，視頻特征矩陣為[Qk×n]， 評分矩陣為[Rm×n]，那么：

ALS算法的主要思想是找到兩個低維矩陣[Pm×k] 和矩陣[Qk×n] 近似逼近[Rm×n] [6]， 可以先固定[Qk×n]，把[Pm×k]當作變量，通過損失函數最小化求出[Pm×k]，這就是一個經典的最小二乘問題，求解之后再反過來固定求得的[Pm×k]，把[Qk×n]當作變量，求解出[Qk×n]。之后交替執行，直至誤差小于設定值，或者執行次數大于設定的次數。損失函數最小化公式如下：

其中[λu Pu2+λi Qi2]是正則化項，是為了防止過擬合而加入的，[λ]可以通過交叉驗證得到。

通過 ALS 算法計算得到當前用戶的所有視頻推薦矩陣，之后只需要將預測結果通過預測分值進行排序，然后將其存入數據庫中。客戶端需要用到推薦結果時再請求服務端查詢分值最高的推薦列表。

2.3.3 實時推薦模塊

實時推薦模塊和離線推薦模塊最大的不同在于離線推薦是根據用戶的所有評分記錄來計算用戶總體的偏好，但是實時推薦結果反映的是用戶近期的偏好。實時推薦模塊需要做到在用戶本次或最近幾個評分之后系統可以明顯地更新推薦結果，并且要求整體的計算量不大，這樣才能夠在響應時間內滿足實時要求。

本文的實時推薦算法設計的具體步驟如下：

1） 如果用戶u對視頻p進行了評分，會導致對用戶u的推薦列表的更新。由于用戶 u對視頻 p評分，且這個評分是屬于好評，那么就可以選取與視頻 p 最相似的 K 個視頻作為候選視頻。視頻間相似度計算公式采用余弦相似度公式[7]計算，假設任意的兩個視頻p，q，其特征向量分別為[Vp=]和[Vq=]，那么它們之間的余弦相似度計算公式如下：

2） 在候選視頻集中，我們根據用戶對當前視頻的評分高低，來計算與當前視頻相似的其他視頻的優先級，并以此優先級將候選視頻排序。推薦優先級計算公式如下：

其中，RK指用戶按時間順序選取的最近K個評分，[Rr]指用戶u對當前視頻r的評分，sim（q，r）指視頻q與視頻r的相似度，這里我們設定最小相似度為 0.6，如果視頻q和視頻r之間的相似度低于0.6，則視為兩者不相關。sim_sum表示q與RK中視頻相似度大于最小相似度的個數，incount表示RK中與視頻r相似且評分較高的視頻個數，recount表示RK中與視頻r相似的且評分較低的視頻個數。

3） 根據候選視頻的推薦優先級得到更新后用戶u的推薦列表后，這個列表將被發送到服務端，與服務端數據庫中用戶u的上次實時推薦結果進行合并，從中并選出優先級前K大的視頻就是新的實時推薦結果，服務端再將此推薦結果下發客戶端進行展示即可。

3 實驗結果

實驗抓取了500個視頻數據，在推薦之前先模擬標記用戶對這些視頻的態度，用于和最后的推薦結果對比，用戶感興趣的視頻為正樣本，不感興趣的視頻為負樣本，無法判斷是否感興趣的為無關樣本。模擬通過本文設計的推薦系統后得到為用戶推薦的50個視頻，結合推薦之前對視頻的標記，我們以精準度，召回率以及F1值[8]來評價本文設計的推薦系統。其中，精準度計算公式為：

其中，TP是指視頻原本屬于正樣本，被系統判斷為正樣本的個數，FP指視頻原本屬于負樣本，被系統判斷為正樣本的個數，FN指視頻原本屬于正樣本，被系統判斷為負樣本的個數。最終實驗數據如表1所示。

采用表1中的實驗數據分別計算精準度，召回率和F1值，得到實驗結果如圖4所示。

其中，離線推薦的精準度為0.676，召回率為0.793，F1值為0.730，能夠基本達到準確推薦。由于實時推薦與用戶歷史的相關數據有關，所以當用戶沒有實時評價數據時，實時推薦的結果和離線推薦結果基本一致，當用戶評價次數足夠多時，實時推薦的準確度可以進一步提升。

4 結束語

本文設計了基于個性化推薦的視頻App，分為服務端、客戶端和推薦系統三個模塊進行設計，并在推薦系統模塊中采用了三種不同推薦方式，以應對不同場景。基于統計的推薦可以在推薦系統冷啟動，沒有用戶數據時使用，離線推薦根據用戶特征和視頻特征，對用戶比較長周期的行為進行推薦，而實時推薦會根據用戶近期的行為進行實時調整。最后，通過模擬實驗驗證了本系統的推薦效果能基本實現準確的推薦。

參考文獻：

[1] 閆四洋，胡昌平，卞德志，等.基于SpringBoot+MongoDB的微服務日志系統的實現[J].計算機時代，2020（8）：69-71，74.

[2] 李垚周，李光明.分布式數據清洗系統設計[J].網絡安全技術與應用，2020（2）：60-62.

[3] 倪紅軍.基于MVP模式的Android應用開發研究[J].電子設計工程，2018，26（11）：6-9，13.

[4] 劉均.基于隱語義模型的個性化推薦算法的研究[D].重慶：重慶郵電大學，2019.

[5] 薛琳蘭.基于大數據技術的電商推薦系統的設計與實現[D].青島：青島大學，2020.

[6] 遲玉良，祝永志.項目相似度與ALS結合的推薦算法研究[J].軟件導刊，2018，17（6）：81-84.

[7] 字鳳芹，牛進，畢柱蘭，等.基于圖數據庫的電影推薦系統設計[J].軟件導刊，2016，15（1）：144-146.

[8] 陳明，孫麗麗.移動電話內容服務系統的個性化推薦[J].計算機工程與應用，2007（4）：4-6，39.

【通聯編輯：謝媛媛】