大數(shù)據(jù)個性化推薦分析

任敏

摘 要：個性化推薦技術通過分析用戶的興趣愛好，對用戶進行有針對性的推薦，在大數(shù)據(jù)時代，該技術被越來越多地應用到互聯(lián)網(wǎng)領域，如何實現(xiàn)大數(shù)據(jù)個性化推薦機制已成為人們研究的熱點之一。在對大數(shù)據(jù)個性化推薦算法的發(fā)展歷程進行分析的基礎上，研究了大數(shù)據(jù)個性化推薦的各種算法，對比分析了算法的優(yōu)缺點及適用場合，探討了大數(shù)據(jù)個性化推薦在數(shù)據(jù)、算法、用戶、冷啟動及推薦多樣性方面存在的問題，并展望了其在教育、醫(yī)療、電子商務及互聯(lián)網(wǎng)金融等領域的應用趨勢。

關鍵詞：大數(shù)據(jù);個性化推薦;興趣愛好;推薦算法;協(xié)同過濾;混合推薦

中圖分類號：TP39文獻標識碼：A文章編號：2095-1302（2019）11-00-03

0 引 言

大數(shù)據(jù)背景下的信息過載問題越來越嚴重，基于大數(shù)據(jù)的個性化推薦技術在教育、醫(yī)療和社會網(wǎng)絡領域的實際應用價值，使其逐漸成為緩解信息過載問題的有效方法。大數(shù)據(jù)具有Volume，Variety，Value，Velocity四個特征，如何分析和處理用戶感興趣的海量數(shù)據(jù)，提取有價值的信息，從而進行有針對性的推薦服務是大數(shù)據(jù)個性化推薦的關鍵。

1 大數(shù)據(jù)個性化推薦發(fā)展歷程

歷史上最具代表性的檢索技術是分類目錄和搜索引擎。分類目錄是用戶在知道明確的知識前提下，通過分類選擇找到自己想要的信息，使用極其不便，之后研究出搜索引擎技術，但是當用戶需求不明確時，搜索系統(tǒng)則無法實現(xiàn)較好的效果，因此推薦技術應運而生。近幾年，隨著信息爆炸與大數(shù)據(jù)技術的普及，基于大數(shù)據(jù)的個性化推薦成了時代的新寵。大數(shù)據(jù)背景下的個性化推薦通過收集大量用戶感興趣的信息、采用大數(shù)據(jù)分析技術挖掘用戶的喜好，通過個性化推薦算法為用戶提供準確的個性化推薦。

在國內(nèi)，大數(shù)據(jù)個性化推薦算法自2012年提出之后，經(jīng)過兩年的發(fā)展期和一年的成熟期，到2016年進入了廣泛的應用期[1]，同時在技術方面也從最初的hadhoop技術應用到大數(shù)據(jù)的快速處理、推薦算法及框架的研究，進而轉(zhuǎn)向在電子商務、新聞和社交網(wǎng)絡等領域的個性化推薦應用研究。國外的研究早于國內(nèi)，自2015年開始國外已從理論研究轉(zhuǎn)向教育、醫(yī)療及用戶行為等多方面的應用研究。

2 大數(shù)據(jù)個性化推薦算法分析

大數(shù)據(jù)背景下的個性化推薦算法如圖1所示。

2.1 基于內(nèi)容的個性化推薦

所有物品都有內(nèi)容的分類，如人們常吃的肉類就包括豬肉、牛肉、羊肉、狗肉、驢肉、兔肉等。基于內(nèi)容的個性化推薦首先對物品的內(nèi)容信息進行分析，提取內(nèi)容特征，然后根據(jù)物品的內(nèi)容屬性和用戶的歷史評分或操作記錄，提取用戶需求和對不同內(nèi)容屬性的愛好程度，并且構建相應的用戶需求和偏好模型，由此向用戶推薦與其需求和偏好模型相匹配的資源。該推薦方法的核心在于利用用戶需求和偏好與目標資源的相似性來過濾信息，進而實現(xiàn)個性化信息推薦。推薦步驟如圖2所示。

若物品沒有明確的內(nèi)容特征，則根據(jù)對推薦物品特征的描述可以分為結(jié)構化特征和非結(jié)構化特征兩種，前者特征的取值限定在某個區(qū)間范圍內(nèi)，并且按照定長的格式來表示，而后者無法按固定格式表示，文章就是最典型的此類數(shù)據(jù)[2-3]，我們經(jīng)常將其轉(zhuǎn)化為結(jié)構化特征加入模型中，進而完成推薦。

2.2 基于協(xié)同過濾的個性化推薦

人們外出就餐、購物、旅游或者看電影時都會詢問親朋好友或者通過網(wǎng)上評價進行選擇。協(xié)同過濾正是運用了這一思想，即采用最近鄰技術，由近鄰用戶的喜好預測目標用戶的喜好進行推薦[4]。它是推薦系統(tǒng)中應用最早且最成功的技術之一[5]，已經(jīng)成為大數(shù)據(jù)推薦算法的研究熱點和重點。

2.2.1 基于物品的協(xié)同過濾推薦

根據(jù)不同物品之間的相似度和用戶以往的喜好推薦類似物品，例如在酷狗音樂的每一首歌曲下面都有相似歌曲的推薦，而各大購物網(wǎng)站也都有“找相似”等類似商品的推薦。與基于內(nèi)容推薦不同的是，這里所說的相似主要是利用用戶行為的集體智慧，該算法的推薦過程如圖3所示。

2.2.2 基于用戶的協(xié)同過濾推薦

將具有相同愛好的用戶感興趣的項目推薦給目標用戶，是至今為止實際運用效果最成功的算法[6]，推薦步驟如圖4所示，基于用戶的協(xié)同過濾過程如圖5所示。

2.2.3 基于模型的協(xié)同過濾推薦

利用用戶的歷史項目評價進行學習以構建用戶模型。用戶模型作為項目的評價預測基礎，其中應用比較成熟的是矩陣分解技術，基于矩陣分解的個性化推薦是一種學習算法，它使用數(shù)學中的奇異值分解技術，通過矩陣分解使矩陣降維并對大量數(shù)據(jù)進行壓縮，能較好地挖掘已知數(shù)據(jù)中的潛在關系，具有較高的推薦精度，較少的時間和較低的離線計算空間復雜度，但特征挖掘的層次不夠深入，對推薦結(jié)果的解釋性較差。

2.3 基于社交網(wǎng)絡的個性化推薦

通過對社交網(wǎng)絡中用戶的興趣愛好進行挖掘分析后進行個性化推薦。著名的社交網(wǎng)站有Facebook和 Twitter、微博、微信和QQ等，在社交網(wǎng)絡背景下，個性化推薦不僅要關注用戶和物品之間的關系，還要關注用戶和用戶之間的關系[7]。

2.4 基于關聯(lián)規(guī)則的個性化推薦

分析物品間的相似性及相關聯(lián)性，建立一套行為規(guī)則進行個性化推薦。它有一定的通用性，可以應用于多種領域，但抽取關聯(lián)規(guī)則比較難，且花費時間較多，另外隨著關聯(lián)規(guī)則數(shù)量的增加，系統(tǒng)管理的難度也會加大，最典型的應用是購物車分析。

2.5 混合個性化推薦

單一的個性化推薦算法各有優(yōu)缺點，因此可將優(yōu)劣勢互補的推薦方法組合在一起進行混合式個性化推薦，既剔除了單一算法的缺點又提高了推薦效果。在系統(tǒng)架構方面，采用在線-離線-近線三段混合系統(tǒng)，分別負責熱門請求、短期計算和長期推薦計算，通過多段的混合推薦可以達到可靠的推薦結(jié)果，在技術上有加權型、切換型、交叉型等多種混合推薦方式。混合推薦在提高精確性的同時增加了算法的時空復雜度，因此要處理好混合推薦算法間的協(xié)調(diào)性[8]。

大數(shù)據(jù)個性化推薦算法各有優(yōu)缺點，具體見表1所列。

3 大數(shù)據(jù)個性化推薦存在的問題

3.1 大數(shù)據(jù)方面

（1）大數(shù)據(jù)背景下海量數(shù)據(jù)使數(shù)據(jù)的稀疏性和長尾問題劇增[9]。

（2）大數(shù)據(jù)類型的多樣性和復雜性以及數(shù)據(jù)量的巨大性，使計算復雜度成倍增加。

（3）大數(shù)據(jù)本身的價值密度低，但價值巨大，如何從海量數(shù)據(jù)中抽取有用的信息進行個性化推薦是個難題。

（4）推薦系統(tǒng)對時效性要求較高，可擴展性是推薦算法需要解決的難點問題之一。

（5）數(shù)據(jù)安全問題。為了更好地挖掘用戶喜好，需要收集更多的個人信息，當基于大數(shù)據(jù)的推薦系統(tǒng)聚集了大量有價值的信息時，必然會成為被攻擊的目標，過度的暴露個人信息會給用戶的個人隱私帶來安全隱患，破壞大數(shù)據(jù)推薦系統(tǒng)的發(fā)展。如何在不暴露用戶隱私的情況下進行精準的個性化推薦是亟待解決的問題。

（6）怎樣對系統(tǒng)中的不良內(nèi)容進行過濾，對惡俗非法內(nèi)容進行曝光打擊，傳遞正能量也是推薦系統(tǒng)需要關注的問題。

3.2 推薦算法方面

從推薦算法的對比分析可得每一種推薦算法都有各自的優(yōu)缺點和適用場合，隨著軟硬件技術的發(fā)展，不管是對原有算法的優(yōu)化，還是對新算法的探索，算法的準確性和覆蓋面都是值得研究的問題。

3.3 用戶方面

用戶的喜好是多種因素綜合作用的結(jié)果，隨著時間的推移和年齡的增長，興趣愛好會發(fā)生很大的變化，根據(jù)原有信息進行的推薦就有失偏頗，因此怎樣在不同的時間段抽取不斷變化的興趣愛好，繼而進行有效推薦是需要解決的問題。

3.4 冷啟動問題

用戶、物品及系統(tǒng)都存在冷啟動問題，當商品上新用戶第一次購買時，由于之前沒有相關數(shù)據(jù)的積累，因此將嚴重影響個性化推薦的準確性。

3.5 推薦的多樣性問題

推薦的準確性是算法關注的目標，而結(jié)果的多樣性很少被重視，因此推薦結(jié)果越來越同質(zhì)化，降低了用戶的使用體驗。

4 大數(shù)據(jù)個性化推薦的應用

（1）個性化教育

大數(shù)據(jù)促進了個性化教育的快速發(fā)展，我國的教育明確提出發(fā)展學生的個性，但目前我們的個性化教育還處在初級階段，因此立足大數(shù)據(jù)分析實現(xiàn)學生的個性化培養(yǎng)已成為大數(shù)據(jù)個性化推薦的一個重要應用領域。

（2）個性化醫(yī)療

基于位置信息的服務已融入人們的生活，醫(yī)療行業(yè)正在迎來屬于自己的個性化時代，各種健康醫(yī)療推薦服務已成為研究熱點，如何在有限的醫(yī)療資源條件下實現(xiàn)用戶的個性化醫(yī)療推薦服務是大數(shù)據(jù)個性化推薦的另一個重要應用。

（3）電子商務個性化

為了進行精準營銷，多數(shù)電子商務平臺都提供個性化推薦服務，大數(shù)據(jù)個性化推薦可以為用戶提供準確的推薦服務，實現(xiàn)商家的精準營銷。

（4）互聯(lián)網(wǎng)金融個性化

在互聯(lián)網(wǎng)金融領域，各大平臺都有針對個人定制的千人千面投資推薦。

（5）其他方面的個性化

隨著互聯(lián)網(wǎng)的發(fā)展，個性化的推薦將在多媒體娛樂及社交網(wǎng)絡等領域發(fā)展得越來越好。總之，大數(shù)據(jù)個性化的推薦已成為未來教育、醫(yī)療、電子商務、互聯(lián)網(wǎng)金融及社交網(wǎng)絡等領域的標配。

5 結(jié) 語

大數(shù)據(jù)個性化推薦時代已經(jīng)到來，隨著深度學習的爆發(fā)及推薦算法的不斷發(fā)展和延伸，基于深度學習的個性化推薦將會得到快速發(fā)展，同時混合式綜合推薦、群體推薦也將成為未來大數(shù)據(jù)個性化推薦研究的重要方向。

參 考 文 獻

[1]陳軍，謝衛(wèi)紅，陳揚森.國內(nèi)外大數(shù)據(jù)推薦算法領域前沿動態(tài)研究[J].中國科技論壇，2018（1）：173-181.

[2]馮浩垠.網(wǎng)絡化創(chuàng)新外包任務的知識需求解析研究[D].上海：上海交通大學，2014.

[3]陳敏.個性化推薦系統(tǒng)研究[D].南京：南京郵電大學，2012.

[4]李艷萍，于麗梅，劉國麗，等.協(xié)同過濾算法的改進研究[J].電腦知識與技術，2015，11（7）：261-263.

[5]史玉珍，鄭浩.基于協(xié)同過濾技術的個性化推薦系統(tǒng)研究[J].電子設計工程，2012，20（11）：41-44.

[6]楊芹英.電子商務個性化推薦系統(tǒng)中協(xié)同過濾技術研究[C]// 系統(tǒng)工程理論與應用：貴州省系統(tǒng)工程學會第二屆學術年會論文集，貴陽：貴州大學出版社，2011.

[7]丁沂.基于社會網(wǎng)絡的個性化推薦系統(tǒng)研究[J].無線互聯(lián)科技，2017（1）：37-38.

[8]曹嘉倫.個性化推薦技術研究與系統(tǒng)設計[D].南京：南京郵電大學，2014.

[9]朱揚勇，孫婧.推薦系統(tǒng)研究進展[J].計算機科學與探索，2015（5）：513-525.

[10]雷名龍.基于阿里巴巴大數(shù)據(jù)的購物行為研究[J].物聯(lián)網(wǎng)技術，2016，6（5）：57-60.