融合大數據挖掘的用戶個性化POI推薦方法

秦 鵬，賈洪杰，霍興瀛，鄧朝艷

(1. 六盤水師范學院數學與計算機科學學院，貴州 六盤水 553004：2. 江蘇大學計算機科學與通信工程學院，江蘇 鎮江 212013；3. 六盤水師范學院圖書館，貴州 六盤水 553004)

1 引言

隨著互聯網行業的快速發展，人們生活中使用的各類電子設備產生了大量的數據信息，并隨著信息的爆炸式增長，人們的選擇逐漸多樣化，這無疑增加了人們獲得有用信息的難度，為便捷生活帶來了極大的負面影響，這正是所謂的信息過載問題。面對信息過載，研究者提出多種解決方案，尤其是個性化推薦系統最為常用。推薦系統中最重要的是推薦算法，根據推薦算法的設計讓用戶獲取信息的方式由簡單到明確，基于這種情況的信息推薦系統能夠根據用戶的網絡行為，向用戶推薦感興趣的內容。

文獻[3]提出2種基于用戶、時間、活動的模型來理解用戶行為愛好，并利用LDA技術針對兩種模型挖掘用戶活動與服務間的對應關系，通過耦合和距離矩陣提高用戶推薦質量，實驗結果表明，該方法可以明顯提高用戶推薦質量，效果優于傳統算法，但沒有充分考慮用戶屬性間的耦合性。文獻[4]設計了運行網絡結構，為了建立用戶興趣推薦模型，通過MapReduce將任務分配到計算機集群中，利用大數據雙層關聯規則和推薦結果挖掘和確定用戶感興趣的網絡數據及興趣程度，實驗結果表明，該方法對用戶個性化推薦分析效果可達98%，但用戶興趣的層次模型較為復雜。文獻[5]建立了概率矩陣分解算法的社交網絡模型，按照用戶興趣特征通過個性化社交網絡進行挖掘，并通過個性化推薦節點，完成用戶社交網絡推薦方法的建立，實驗結果表明，該方法對用戶興趣行為的預測精度較高，但對用戶的隱私數據加密工作較差。

基于以上研究，針對用戶興趣點個性化問題，本文提出一種基于融合大數據挖掘的用戶個性化POI推薦方法。通過大數據系統解決數據存儲等問題，并提高用戶個性化推薦過程的運算效率。采用LDA模型分析用戶興趣與POI的主題，為用戶提供個性化POI推薦。

2 大數據推薦系統模型

用戶個性化的傳統推薦系統存在推薦效率低、計算量大等問題，而大數據技術的發展讓并行計算的效率越來越高。大數據系統不僅具有緩解大量數據存儲等問題，還可以提高用戶個性化推薦過程的運算效率。大數據推薦系統框架分為數據源、存儲、推薦模型和推薦結果四層，框架模型如圖1所描述。

圖1 基于大數據推薦框架

數據源層主要是采集推薦系統的相關數據，并對這些數據進行結構化處理，將處理的結果存到存儲層，也可將其分為數據采集和預處理層兩部分。存儲層主要是將數據源層采集的數據存儲到HDFS、HBase和Hive層中。推薦模型生成層是推薦系統的核心層，其通過存儲層的數據運行預先定義好的推薦算法。推薦結果展示層主要是與用戶進行交互的展示模塊，根據用戶行為不斷更新推薦模型生成層的數據。云計算機框架是大數據實現的主要方法，由分布式文件系統、HDFS和MapRduce三部分組成。

2.1 模型交互分析

推薦模型的表達形式會對系統的計算能力及預測用戶興趣有影響。用戶推薦模型可分為矢量模型和神經網絡模型兩部分。一方面，在矢量模型的基礎上，可將推薦模型視為表達用戶興趣的n維特征向量；另一方面，在神經網絡的基礎上，可將推薦模型視為網絡連接的加權網絡。推薦模型不僅是互聯網產品運營系統中重要的組成部分之一，還是處理用戶服務信息的關鍵模塊。系統的數據主要通過CRM和產品服務平臺等模型獲得，產生的推薦結果可通過產品客戶端、SMS網絡管理和網上營業廳等方式傳達給客戶。

2.2 推薦模型構建

為了建立基于大數據用戶個性化模型，創建方案采用如圖2所描述。

圖2 個性化推薦模型

用戶注冊網站的過程中根據要求需填寫個人信息，有些網站甚至還需要用戶填寫個人標簽。通過個人標簽可以很容易的反映出用戶興趣愛好，然而沒有標簽屬性的頁面需要進一步通過內部結構獲取用戶興趣。因此可通過創建用戶偏好標簽，對用戶對象進行標記，提高用戶個性化推薦的成功率。

偏好分析中的數據有的來自于移動通信網絡，有的來自于產品操作平臺。操作平臺的數據按照兩層關聯規則的方式被輸入，這種數據挖掘方法可以極大程度上提高用戶個性化網絡數據的準確度。設內容項集分別為

A

和

B

，類型分別為

A

和

B

，兩層關系規則集為

C

，且

C

={

A

→

B

：

A

→

BandA

→

B

}，其中

A

→

B

表示基本內容層關聯規則，若用戶訪問了內容集

A

，那么用戶很有可能訪問內容集

B

，類型層關聯規則與內容層關聯規則相似，若用戶訪問了類型

A

時，很有可能訪問類型

B

。內容關聯層和類型關聯層可分別通過基礎內容事實表和用戶訪問類型事實表提取。計算內容類型事實表中大于閾值的項集，類型關聯規則的支持度公式表示為

(1)

其中，

A

和

B

分別表示類型關聯規則的項集合；

E

表示內容和類型事實表中事件的總個數。在內容和類型事實表中，某個項目集包含了一個大于特定閾值的支持度，公式可表示為

(2)

其中，

X

表示某個項目。對于規則中的頻繁項集，其對應的所有非空子集置信值均被計算，若大于用戶指定的最小置信界限值，會產生內容類型的關聯規則，公式表示為

(3)

其中，

H

表示頻繁項集；

H

表示非空子集。其次需要計算基礎內容事實表中大于閾值的項集，內容關聯規則的支持度公式表示為

(4)

其中，

A

和

B

分別表示內容類型關聯規則的項集合；

E

表示內容和類型事實表中事件的總個數。對于規則中的頻繁項集，其對應的非空子集置信值可表示為

(5)

若

G

高于用戶指定的下限置信值，那么會產生內容與類型的關聯規則。通過計算規則與相關規則層次的相關系數，通過用戶觸摸通道將推薦結果反饋給用戶。

3 POI推薦方法研究

傳統的POI推薦研究需要用戶對POI產生操作，POI推薦才能進行。實際中，用戶產生過行為的POI數量較多，采用傳統POI推薦進行研究，不僅會浪費計算機的存儲資源，還會使獲取的數據過于冗余。而主題模型可以解決語料庫中的內容繁雜、主題不夠清晰等問題，于是本節對POI個性化推薦圍繞LDA主題模型展開。

3.1 LDA主題模型設計

LDA主題模型是用戶和POI間的橋梁，通過模型可以進一步分析用戶興趣主題和POI主題，從而進行POI個性化推薦方法的研究。生成LDA主題模型時，用戶個性化輸入一般是分詞后的文檔，且每個文章一行。對這些數據進行預處理時，主要采取以下兩種手段。

分詞處理是將一段字符按照規范劃分成詞序列。英語語庫中，每個單詞輸入完畢鍵入空格鍵。而在中文語庫中，詞之間沒有分界標志，因此對中文文本的挖掘較為復雜，然而采用好的LDA主題模型會使用戶興趣主題更加準確。

停用詞的存在并不會對檢測結果造成影響，然而會對程序的運行效率產生明顯影響。為了提高搜索效率，需要對無用的符號及詞匯進行去除，這些停用詞會形成一個停用詞表，由于一個停用詞表并不適用于所有項目，因此在語言處理中，需要根據不同的研究目標建立若干合適的停用詞表。在LDA主題模型建立過程中，根據得到的主題關鍵詞對停用詞進行篩選，將頻繁出現且用戶不感興趣的停用詞加入停用詞表中，反復進行LDA主題模型的訓練，直到構成主題的用戶興趣詞較為滿意為止。

在語言處理領域中，困惑度常被用作衡量語言模型，公式可表示為

(6)

其中，

p

(

a

)表示測試集中各個詞的概率；

M

表示測試集的總長度。在主題選取過程中，由于主題個數會影響用戶個性化推薦結果，因此采用Perplexity在拐點處的值作為評價指標，關系圖如圖3所描述。

圖3 主題數與困惑度關系圖

3.2 LDA主題個性化推薦算法

系統提供給用戶個性化POI推薦過程中，需要通過用戶興趣主題與POI主題進行匹配。采用用戶興趣主題與用戶周邊POI主題之間的概率分布距離作為衡量主題間匹配度的指標。在計算概率分布間距離時，使用KL散度計算公式，實際上KL距離不對稱，但本文研究的用戶興趣主題和概率分布具有對稱性，進一步對KL距離公式進行變換，實現POI與用戶的匹配。變換公式可表示為：

(7)

在設計LDA主題的POI推薦方法時，需同時考慮用戶在不同情況下對于POI的需求。因此本文提出以下三種判斷依據。

1)依據時間的POI推薦方法

用戶個性化POI需求會隨著時間發生變化，因此在制定用戶個性化推薦方法時需要對時間加以考慮。例如餐飲類的POI在三個時間段的用餐期間會明顯高于其它類型的POI，因此在這三個時間段可以提高該類POI在用戶個性化推薦模型中的權重值，并結合用戶興趣主題，計算JS距離提高用戶個性化POI推薦性能。

2)依據地點的POI推薦方法

當用戶常駐地發生變化時，基于地點進行POI推薦。例如用戶來到一個新地點出差或旅游，那么極有可能想了解當地的住處和景點，在基于地點的POI推薦中，結合用戶興趣主題與POI主題計算出JS距離進行匹配，為用戶進行個性化POI推薦。

3)直接的POI推薦方法

針對其它情況，采用前N個主題進行個性化推薦。這種推薦方法直接獲取用戶周圍POI信息，分別計算用戶興趣與POI主題間的JS距離，按照JS大小，為用戶進行前N個個性化POI推薦。

4 仿真與結果分析

為了驗證融合大數據挖掘的用戶個性化POI推薦方法的實效性，分別采用本文方法、文獻[3]方法、文獻[4]方法和文獻[5]方法在Matlab軟件上進行仿真對比。在HWiNFO64軟件上設置虛擬化的網絡平臺，通過獲得用戶興趣數據，測試用戶個性化POI推薦的準確性。采用Epinions網站的數據作為實驗數據集，其中包含用戶數、評分數、興趣標簽和商品數共119840個數據。數據集的具體信息如表1所示。

表1 Epinions數據集具體信息

4.1 預測精確度對比

用戶個性化推薦的預測精度是評價推薦算法的重要指標，本文采用預測精度作為評估用戶興趣推薦好壞的指標，分別對本文方法、文獻[3]方法、文獻[4]方法和文獻[5]方法進行仿真對比。對比結果如圖4所示。

圖4 預測精度對比結果

從圖中可以看，采用本文方法的用戶個性化推薦預測精度較高，最高可達到1。而文獻[3]方法和文獻[4]方法的預測精度較低，隨著推薦時間的不斷增加，最高預測精度分別達到0.63和0.49，文獻[5]方法的預測精度隨著推薦時間的增加變化具有不穩定性。綜上所述，使用融合大數據挖掘的用戶個性化POI推薦方法可以更為準確的預測出用戶興趣，達到提升用戶興趣預測精度的目的。

4.2 覆蓋率對比

覆蓋率指用戶興趣推薦個數占總集合的比例，覆蓋率越大，用戶POI推薦質量越高。因此本文采用覆蓋率進一步驗證用戶個性化POI推薦的有效性，并分別對本文方法、文獻[3]方法、文獻[4]方法和文獻[5]方法進行仿真對比。結果如圖5所示。

圖5 覆蓋率對比結果

從圖中可以看出，隨著實驗次數的增加，采用本文方法用戶興趣覆蓋率較為平穩，且覆蓋率高達0.86。而文獻[3]方法的覆蓋率相對而言最低，即便最好情況也只有0.54。通過對比可知，本文方法的覆蓋率明顯提升，說明采用本文方法為用戶推薦的POI質量更高也更穩定。

5 結束語

本文融合大數據挖掘方法實現用戶個性化推薦過程中的信息挖掘，構建用戶個性化POI推薦模型。通過集成標簽與用戶興趣，構建用戶興趣層次模型。并利用LDA用戶興趣主題和JS距離計算，為用戶提供POI推薦方法。為了驗證融合大數據挖掘的用戶個性化POI推薦方法的實效性，通過HWiNFO64軟件設置虛擬化網絡平臺，在Matlab軟件上與其它推薦方法進行實驗對比。實驗結果表明，本文提出的方法可以解決用戶數據覆蓋率不達標等問題，而且本文方法的用戶興趣預測精度較高，穩定性更好，在用戶個性化POI推薦中具有更好的適用性。