自適應推薦系統設計與實現

陳明輝，董 晶

（華北計算技術研究所 公共安全信息化事業部 北京 100083）

自適應推薦系統設計與實現

陳明輝，董 晶

（華北計算技術研究所 公共安全信息化事業部 北京 100083）

推薦系統是現代電子商務中必不可少的系統。由于數據和計算的復雜度，導致普通應用維護和使用推薦系統變得不容易。文中設計和實現了自適應推薦系統平臺。通過自適應推薦系統平臺，用戶可以不需要大量計算資源而進行復雜而緩慢的推薦系統計算任務，只需對每個推薦任務進行算法和相關細節的定制，就可以實現推薦模型的訓練。文章最后展示了系統的主要界面，并介紹了使用方法。

推薦系統；大數據；自適應；消息隊列

0 引言

互聯網的出現和普及給用戶帶來了大量的信息，滿足了用戶在信息時代對信息的需求，但隨著網絡的迅速發展而帶來的網上信息量的大幅增長，使得用戶在面對大量信息時無法從中獲得對自己真正有用的那部分信息，對信息的使用效率反而降低了，這就是所謂的信息超載（Information Overload）問題[1]。在大數據背景下這種情況尤為突出。

目前，針對信息超載，主流的解決方法是搜索引擎。通過搜索引擎，用戶可以通過輸入查詢字段進行相關資料的搜索。然而，早期的搜索引擎并不能夠根據不同的用戶返回不同的搜索結果，有必有引入一種新的解決方案，這就是推薦系統[2]。

推薦系統的起源可以追溯到認知科學和信息檢索等領域的相關研究，它與管理學以及市場營銷中的用戶行為建模也有密切的關系。上世紀九十年代中后期，互聯網迎來了蓬勃發展階段，信息和商品的數量和種類均呈現快速的增長，用戶需要花費大量時間才能找到自己重要的信息或商品。在這樣的背景下，協同過濾為代表的推薦技術發表，并受到學術界和工業界的廣泛關注。推薦系統，作為一種信息過濾工具，逐漸成為一個獨立的研究分支。

現有的推薦系統都是針對某一具體問題進行實現，而實際情況中，尤其在大數據環境下，我們需要一種自適應平臺來特定問題進行領域建模，以期實現自適應的分析。

1 推薦系統介紹

1.1 推薦系統數學模型

從1995年開始，推薦系統就開始成為了一個獨立的研究領域，一般來講，推薦系統的本質就是為用戶u推薦感興趣的物品v。推薦算法的主要是根據用戶的行為和興趣為用戶推薦用戶可能感興趣的物品。數學表征如下：

其中， 函數F用于度量用戶u對物品v的效用函數。效用函數通常用來表示消費者在消費中所獲得的效用與所消費的商品組合之間數量關系的函數，以衡量消費者從消費既定的商品組合中所獲得滿足的程度。目標函數即為滿足最大化用戶效用的物品推薦。因此推薦系統本質是一個最優化問題模型，問題的關鍵就在于如何求解這個最優值。

1.2 推薦系統應用分類

依據應用場景的不同，推薦系統主要分為以下幾類：

1）視頻推薦。視頻推薦最早最成熟的莫過于Netflix，在推薦系統領域，同Amazon是最有代表性的兩家公司。Netflix在相關資料中聲稱，有60%的用戶是通過推薦系同獲發現新興趣。其他如Hulu，youtube，優酷，愛奇藝，都有相應的推薦系統進行視頻推薦。

2）音樂推薦。音樂推薦最典型的比如網易云音樂和豆瓣音樂。其中豆瓣音樂不允許用戶點歌，而是通過用戶的反饋喜歡，不喜歡或者跳過來訓練用戶的興趣模型。網易云音樂在提供在線音樂搜索和電臺服務。

3）社交網絡推薦。社交網絡國內以微信，微博最熱。國外則是FaceBook和twitter。在社交網絡中，用戶可以發揮社群優勢，推薦和分享好多有用的知識和物品。社交網絡中的推薦系統主要包括好友推薦，物品推薦和群組推薦。

4）閱讀推薦。已經下線的Google Reader作為早期一款流行的社會化閱讀工具。它允許用戶閱讀關注用戶分享的文章。 現在最流行的雜志推薦系統Flipboard, 其前身是Zite，同為流行的閱讀推薦工具。它可以將Facebook或者微博上流行的內容整合起來以雜志的形式提供給用戶閱讀。

5）基于位置的推薦。基于位置的推薦通常見于基于地圖的應用上，如大眾點評，美團，餓了么外賣和百度地圖的附近搜索。隨著移動設備的飛速發展，位置信息作為一種隱形公開的數據很容易被App后臺獲取，位置作為一種很有效的上下文信息，可以基于位置為用戶提供感興趣的餐飲，娛樂等服務，引導用戶消費。

6）個性化郵件。通常，個人每天都收到很多郵件，其中部分郵件對我們來說非常重要，有些不太重要和一些垃圾郵件。垃圾郵件可以通過垃圾郵件過濾器刪除，這是一個專門的研究領域，這里不討論。但在普通郵件中，如果你能發現消息的用戶重要，允許用戶瀏覽，毫無疑問會大大提高用戶的生產力。

1.3 推薦算法分類

大部分的推薦算法其工作原理還是基于物品或用戶的相似性進行推薦，大致上可以分為如下幾種：基于人口統計學的推薦（Demographic-based Recommendation）[3]，基于內容的推薦(Content-Based Recommendation)[4]，以及基于協同過濾的推薦（Collaborative Filtering-Based Recommendation），以及混合型推薦（Hybrid Recommendation）[5]基于協同過濾的推薦被研究人員研究的最多也最為深入，它又可以被分為多個子類別，分別是基于用戶的推薦（User-Based Recommendation），基于物品的推薦（Item-Based Recommendation），基于社交網絡關系的推薦（Social-Based Recommendation），基于模型的推薦（Model-based Recommendation）[6]等。

2 自適應推薦系統設計

2.1 需求分析

自適應推薦系統相對于傳統推薦系統的額外需求如下：

1）自適應。針對不同的應用場景和業務需求，用戶只需要定義好輸入參數，格式，方法以及輸出參數，格式，方法，系統就能夠自動進行推薦系統模型的訓練，而不需要用戶介入。

2）可配置。對于同一個推薦算法模型，用戶可以配置不同的輸入參數來進行模型訓練。

3）時效性。在線推薦中需要處理各種實時用戶日志，比如用戶的瀏覽記錄，點擊記錄等，這些對數據的實時處理要求比較高。自適應推薦系統需要能夠綁定特殊的數據源，并且能夠進行實時計算。

4）智能。系統自身能夠預留，動態分配，實時釋放系統資源。大數據環境中的資源雖然數目非常多，但是針對不同的計算需求，系統會需要不同的計算資源。比如計算密集型任務對CPU數目和速度要求比較多。而數據密集型則對內存要求比較高。因此，自適應推薦系統必須首先智能化的提供資源分配的功能，這樣才能體現出自適應推薦系統的巨大潛力。

5）自治。自適應推薦系統能夠對自己資源作有效的評估，選擇可以接受的作業運行。一個計算機由于自身條件限制，并不能執行用戶提供的所有任務，因此，每個計算機都需要有自治功能，一方面，能對自身情況作有效評估，另一方面，當系統有故障時，能夠通知中央管理器，對作業進行遷移。

6）重設計而不重開發。針對開發者，能夠分離算法層和程序代碼層，無疑對對程序運行了解很少的科研工作者很有幫助。作為信息網格的主要客戶群體—科研工作者，需要一個算法描述平臺來大量，高性能的處理自己的計算需求，成為一個必然的趨勢。

7）可擴展。不僅僅針對推薦系統一個層面的應用，自適應推薦系統也可以存儲其他的算法，如傳統的統計算法，機器學習算法等。這樣使用的對象和作用域都可以擴展。

8）高吞吐。自適應推薦系統中，由于同時要進行多個推薦模型任務的數據記錄以及模型計算，因此，高吞吐量是自適應推薦系統設計的核心。整個系統的設計必須圍繞高吞吐，高并發為核心展開。

9）模塊化。從功能上講，自適應推薦系統已經涉及到現在最新的數據存儲核處理技術，因此整個系統的結構是復雜的。模塊化作為一種通過將系統切分為更小的，獨立的子系統的軟件設計方法。這種方法要求模塊之間相互獨立，通過清晰的接口定義來進行模塊之間的交流。

2.2 分層設計

針對上述自適應推薦系統的需求，設計出一個可拓展的自適應系統。該系統主要用戶接入層，轉換層，平臺層和并行計算底層構成。如下圖1所示：

用戶接入層中，終端用戶通過訪問web界面進行自己的相關信息管理，包括以下幾個部分：

1）用戶管理。該模塊用于管理用戶信息。對于管理員，擁有對所有用戶的管理功能。

2）權限管理。管理使用權限。這些權限包括CPU數目，算法類型，作業時長，指令集要求，底層約束等。

3）數據管理。管理用戶自己的打包數據。包括提交離線數據集，綁定數據接收接口，數據獲取接口等方式。同時，這些數據還包括用戶提交的算法描述文件并行度，

4）作業輸出格式等。對于用戶，系統還提供了統一的推薦系統接口來進行數據獲取。

5）作業管理。管理用戶的歷史，當前運行，故障等作業。

對于轉換層，有以下部分組成：

1）數據切分模塊。該模塊負責對用戶提出的數據切分算法，對數據進行有效，安全的切分。很容易想到，大部分的并行執行算法都是從分割任務和數據開始。

3）資源描述模塊。該模塊是對現有資源的描述分配模塊，客戶執行一個作業時，必須有一個作業環境描述，這樣方便底層的資源進行有效的分配。

4）沙盒模塊。該模塊是可執行文件(.class)與平臺曾的交互環境，這個環境中封裝了作業處理細節，最終回顯計算信息到輸出文本。

5）監控模塊。對于整個系統，提供系統監控模塊進行統一的監控和異常恢復。

6）日志模塊。日志模塊是自適應推薦系統各個操作的記錄器,記錄詳細的操作日志。

3 關鍵技術

3.1 模塊間通信

模塊間通信是實現各個模塊之間有序組織，高效配合的辦法。通常，各個模塊之間需要通信來滿足模塊之間的交互需求。傳統的模塊間通信包括客戶機服務器，分布式計算，對等系統，面向服務（SOA），微服務，消息隊列等方法。在自適應推薦系統中模塊間通信使用面向服務的軟件架構用于模塊間的信息通信。在自適應推薦系統中，使用SOA作為模塊間通信的方法。

3.2 訓練集數據綁定

自適應推薦系統中，需要綁定用戶提供數據的接口。系統使用消息隊列作為訓練數據接收的中間件。系統中使用JMS標準的消息隊列客戶端作為數據接收工具。要求用戶提供的數據必須通過消息隊列發送至系統。以ActiveMQ為例，用戶創建生產者（Producer），創建主題并向主題發送數據；客戶端綁定消息隊列協議，并且訂閱（Subscribe）對應的主題（Topic），這樣用戶數據就可以被自適應推薦系統接收。

測點分別布置在板簧、車架、駕駛室懸置、駕駛室地面(腳墊)和座椅支撐面(座墊)等位置處(見圖4).在每個工況下分別進行兩次測試,以確保測試后獲得的信號正常有效,其試驗場地如圖5所示.

3.3 客戶數據存儲

圖1 自適應推薦的系統架構

客戶數據存儲分為關系型數據存儲和非關系型數據存儲。自適應推薦系統的結構化數據的存儲主要包括平臺接入模塊的數據模型，包括用戶數據模型，資源數據模型，數據管理模型，任務數據模型，資源數據模型，常見操作數據模型，算法數據模型，數據協議模型，數據獲取方式數據模型等。對于結構化數據存儲，自適應推薦系統采用Mysql作為存儲方案。而對于結構不定的非結構化數據，如用戶消息，日志，用戶數據等，則使用非關系型數據庫MongoDB來存儲。對于用戶上傳的離線數據包，則使用HDFS進行存儲。

3.4 模型訓練

自適應推薦系統使用Hadoop作為基礎分布式計算平臺，以Mahout為推薦系統Map-Reduce計算引擎，對推薦系統模型進行并行訓練。

4 自適應推薦系統實現

自適應推薦系統的實現可以通過以下幾個功能點分別進行展示：

1）首頁。首頁主要展示系統的相關信息，如圖2所示。

2）登陸／注冊界面。登陸注冊界面提供用戶登錄和注冊功能，如圖3所示。

3）系統管理界面。系統管理界面是用戶成功登陸之后展現給用戶的后臺，如圖4示。

4）任務管理界面。如圖5示。

5）添加任務。如圖6所示。

6）任務查看。如圖7所示。

7）系統使用

通過查看任務界面，可以看到任務的進行狀態，如果當前狀態為已完成。則使用系統中自動生成的restful調用接口，使用HttpClient進行請求獲取推薦結果。

圖2 首頁

圖3 登陸/注冊界面

圖4 系統管理界面

圖5 任務管理界面

圖6 添加任務

5 結束語

本文對自適應推薦系統進行了需求分析，系統設計和系統實現。本文對現有的推薦算法進行分類和概要描述，對系統進行了詳細設計。文中對數據的存儲，訓練集數據綁定，模塊間通信以及模型訓練作簡要描述。但是自適應推薦系統需要用戶自己選擇模型訓練的方法和相似度計算方法，使得整個模型訓練不具有完全的智能化。如何設計自適應推薦算法，如何能夠通過評測集，系統自動訓練出用戶評價最好的推薦模型需要進一步研究。

圖7 任務查看

[1] BAWDEN D, HOLTHAM C, COURTNEY N. Perspectives on information overload[J]. Aslib Proceedings, 1999, 51(8): 249-255

[2] 李善濤, 肖波. 基于社交網絡的信息推薦系統[J]. 軟件, 2013, 12(5): 41-42.

[3] Ken Goldberg, Theresa Roeder, Dhruv Gupta, Chris Perkins. Eigentaste: A Constant Time Collaborative Filtering Algorithm[J]. Information Retrieval. 2001(2): 34-36.

[4] 王春才, 邢暉, 李英韜. 推薦系統的推薦解釋研究[J]. 現代計算機(專業版). 2016(02): 41-42.

[5] 許海玲, 吳瀟, 李曉東, 閻保平. 互聯網推薦系統比較研究[J]. 軟件學報. 2009(02): 351-353.

[6] 陳雅茜. 系統及相關技術研究[J]. 計算機工程與應用. 2012(18): 9-12.

Design and Implementation of Adaptive Recommendation System

CHEN Ming-hui, DONG Jing
(Public Security Information Division, North China Institute of Computing Technology, Beijing 100083, China)

The Recommendation system is now essential in e-commerce system. Due to the complexities of data and computation, it is not easy to maintain and use recommended systems for general applications. In this paper, an adaptive recommendation system platform is designed and implemented. Through the recommendation system platform, the user can perform complex and slow recommendation system calculation tasks without large amount of computing resources. At the end of this paper, the main interface of the system is presented and introduced.

Recommendation system; Big data; Adaptive system; Message queue

TP311

A

10.3969/j.issn.1003-6970.2016.12.036

陳明輝(1992-)，男，碩士研究生，主要研究方向：數據處理與分析；董晶，女，研究員級高級工程師，主要研究方向：信息系統頂層設計、信息集成。

本文著錄格式：陳明輝，董晶. 自適應推薦系統設計與實現[J]. 軟件，2016，37（12）：169-175