一種改進的深度神經網絡應用于推薦系統

龔道慶 曹愛清

摘? ?要：推薦系統是信息過濾的一種重要工具。隨著互聯網和大數據的介入，推薦系統的技術革新面臨著新的挑戰。近年來，深度學習的革命性進步在語音識別、圖像分析和自然語言處理方面都受到了廣泛關注。與此同時，一種應用于許多復雜任務的最先進的機器學習技術被用于推薦系統，以提高推薦的質量。由于其一流的性能表現和高質量的推薦結果，深度學習可以更好地理解用戶需求、項目特征及其之間的歷史性互動。文章提出將一種改進的深度神經網絡應用于推薦系統。實驗結果表明，該方法的效果令人矚目。

關鍵詞：深度神經網絡;推薦系統;進化算法

信息技術的革新、物聯網的迅猛發展以及在線服務的普及為人們快速獲取大量信息提供便捷。但是，面對海量數據源，人們為了找到合適、有用的信息，導致了信息超載問題的出現。深度學習在各方面取得了優異的進展[1-2]。因此，將深度學習引入推薦系統將會有很大的競爭力。

1? ? 推薦系統算法分類

推薦系統總的來說可以分為3類，即基于內容的推薦、協同過濾的推薦和混合推薦[3-4]。其中，基于協同過濾的推薦還包括基于近鄰的協同過濾和基于模型的協同過濾。基于近鄰的協同過濾又可以細分為基于用戶的協同過濾和基于項目的協同過濾。基于模型的協同過濾則包含貝葉斯網絡模型、隱因子模型、圖模型等。

2? ? 深度神經網絡的改進方法

2.1? 卷積網絡參數優化

一組合適的超參數對卷積網絡的性能起決定性作用[4]。卷積網絡中的卷積塊、池化塊等對特征提取至關重要。本研究利用遺傳算法（GA），通過迭代優化出最佳卷積池化全連接的鏈接形式。遺傳進化基因編碼如圖1所示。

其中，“C”代表卷積塊，“P”代表池化塊，而“F”代表全連接塊。在圖1（a）中，隨意生成了包含卷積-池化-卷積-卷積-池化-全連接的一條基因編碼。通過隨機初始化的基因，根據數據集的不斷進化得到最佳組合的卷積網絡模型，其過程概述如下：

（1）初始化GA參數。

（2）設定超參數（卷積塊、池化塊、全連接塊）及其對應的閾值。

（3）遺傳進化，迭代出最優參數組合。

（4）得到最優卷積網絡模型（GA-CNN）。

2.2? 多層感知機（MLP）參數優化

在多層感知機中，結構當中的隱藏層和沒層中的神經元個數對整個網絡性能影響極大，因此，本研究同樣利用GA對多層感知機（Multilayer Perceptron，MLP）中的隱藏層數和神經元個數進行迭代優化，得到最優組合，其過程概述如下：

（1）初始化GA參數。

（2）設定層數、神經元進化取值范圍。

（3）遺傳進化。

（4）得到最優組合，構建MLP網絡（GA-MLP）。

3? ? 基于改進的深度學習推薦系統框架

首先，將用戶顯示或隱式反饋數據、用戶畫像和項目內容等信息、社會化關系、標簽、評論等輔助數據輸入到GA-CNN網絡模型中進行特征提取，得到項目隱表示和用戶隱表示;其次，將提取到的隱表示特征輸入到GA-MLP當中;最后，通過多層感知機分類結果生成推薦列表給用戶推薦。框架如圖2所示。

其中，用戶、項目內容屬性以及社會化標簽等輔助信息都是中文形式。要想將這些文字放入卷積網絡當中進行特征提取，需要用到微軟研發的Word2vec工具進行轉換。任何一個詞，都可以表示成一個向量。利用神經網絡來理解詞，最簡單的方法是對單詞進行one-hot編碼，但是得到的結果極度稀疏。Google的Tomas Mikolov研究發布的一款基于深度學習進行詞向量學習的工具Word2vec，進一步將one-hot壓縮成了一個稠密的向量（Dense Vector，DV）。通過簡化神經網絡語言模型內部結構（舍棄復雜的非線性隱藏層），緩解了Bengio模型中占用空間多的問題，Word2vec同時使用了目標詞的上下文信息，省去了人工標注的工作，學習速率大幅度提升，且能夠更好地表示詞語特征。

4? ? 實驗結果

本節實驗在ml-100k，ml-1m，ml-10M，amazon數據集上進行，對項目協同過濾推薦模型、SVD推薦模型、PMF推薦模型、CMF推薦模型以及本實驗的GA-HDL（進化混合深度）模型在召回率指標上做出比較，結果如表1所示。

可以看出，ml-100k，ml-1m，ml-10M，amazon這4個數據集，在使用改進后的混合深度神經網絡模型中，在召回率指標上都優優于Item-based模型、SVD推薦模型、PMF推薦模型、CMF模型。其中召回率如式（1）：

R（u）表示推薦系統在測試集上為用戶生成的推薦列表，T（u）表示用戶在測試集上的所有喜歡的項目。本研究通過遺傳算法GA分別對卷積神經網絡和多層感知機進行結構優化[5]，再將優化后的網絡組合結構引用到推薦系統當中。提出的模型相對于傳統方法有更好的推薦效果。

[參考文獻]

[1]黃立威，江碧濤，呂守業，等.基于深度學習的推薦系統研究綜述[J].計算機學報，2018（7）：1619-1647.

[2]張祖平，沈曉陽.基于深度學習的用戶行為推薦方法研究[J].計算機工程與應用，2019（4）：142-147，158.

[3]鄧園園，吳美香，潘家輝.基于物品的改進協同過濾算法及應用[J].計算機系統應用，2019（1）：182-187.

[4]蔣宗禮，于莉.基于用戶特征的協同過濾推薦算法[J].計算機系統應用，2019（8）：190-196.

[5]唐賢倫，劉慶，張娜，等.混合PSO優化卷積神經網絡結構和參數[J].電子科技大學學報，2018（2）：230-234.