一種實(shí)時(shí)推薦系統(tǒng)數(shù)據(jù)發(fā)布平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)＊

莫萍燕 杭州東信北郵信息技術(shù)有限公司，北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室碩士研究生

王玉龍 杭州東信北郵信息技術(shù)有限公司，北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室副教授

一種實(shí)時(shí)推薦系統(tǒng)數(shù)據(jù)發(fā)布平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)＊

莫萍燕 杭州東信北郵信息技術(shù)有限公司，北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室碩士研究生

王玉龍 杭州東信北郵信息技術(shù)有限公司，北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室副教授

隨著推薦系統(tǒng)的發(fā)展，推薦方式的時(shí)效性和準(zhǔn)確性要求越來(lái)越高。面對(duì)迅猛發(fā)展的用戶群，推薦系統(tǒng)的門戶網(wǎng)站的點(diǎn)擊率增加，本文提出了一種實(shí)時(shí)推薦系統(tǒng)數(shù)據(jù)發(fā)布平臺(tái)。通過(guò)負(fù)載均衡使推薦系統(tǒng)門戶網(wǎng)站多模塊并發(fā)的推薦請(qǐng)求能夠得到有效處理并將推薦算法推薦出的信息實(shí)時(shí)發(fā)送到門戶前端以減少用戶的等待時(shí)間。數(shù)據(jù)發(fā)布平臺(tái)通過(guò)使用HBase（Hadoop Database）和Redis作為存儲(chǔ)提供推薦系統(tǒng)中的離線推薦計(jì)算結(jié)果和在線推薦計(jì)算結(jié)果查詢接口。

實(shí)時(shí)推薦系統(tǒng) 數(shù)據(jù)發(fā)布 高并發(fā)

1 引言

傳統(tǒng)的個(gè)性化推薦系統(tǒng)定期分析數(shù)據(jù)，更新模型，進(jìn)而利用新模型進(jìn)行個(gè)性化推薦。由于是定期更新模型，推薦模型無(wú)法保持實(shí)時(shí)性，推薦的結(jié)果可能不會(huì)非常精準(zhǔn)。實(shí)時(shí)性很大的好處在于：一方面更準(zhǔn)確地為用戶進(jìn)行推薦；另一方面是用戶可以根據(jù)實(shí)時(shí)性的推薦結(jié)果更快進(jìn)行反饋，進(jìn)而可以對(duì)推薦模型進(jìn)行盡快更新，使推薦模型更加精確。個(gè)性化推薦系統(tǒng)架構(gòu)的關(guān)鍵問(wèn)題是，如何以無(wú)縫方式實(shí)現(xiàn)在線和離線計(jì)算過(guò)程，將算法的計(jì)算步驟合理分配到各個(gè)部分，使得到的模型既可以非常準(zhǔn)確，又可以快速計(jì)算以滿足實(shí)時(shí)性的要求。

本文針對(duì)實(shí)時(shí)個(gè)性化推薦系統(tǒng)提出了一種數(shù)據(jù)發(fā)布平臺(tái)，其特色主要體現(xiàn)在同時(shí)提供離線推薦請(qǐng)求和在線推薦請(qǐng)求處理接口、高并發(fā)的業(yè)務(wù)平臺(tái)前端請(qǐng)求處理、分布式數(shù)據(jù)緩存存儲(chǔ)等方面。并且平臺(tái)也提供接收來(lái)自業(yè)務(wù)平臺(tái)前端頁(yè)面發(fā)送的用戶實(shí)時(shí)行為信息，能夠有效地快速更新推薦模型，提高推薦結(jié)果的準(zhǔn)確性。

2 設(shè)計(jì)目標(biāo)

（1）實(shí)現(xiàn)同時(shí)提供離線推薦請(qǐng)求和在線推薦請(qǐng)求處理接口，并且提供接收來(lái)自業(yè)務(wù)平臺(tái)頁(yè)面發(fā)送的用戶實(shí)時(shí)行為信息的接口，為在線推薦計(jì)算提供信息源。

（2）隨著個(gè)性化推薦系統(tǒng)對(duì)實(shí)效性要求越來(lái)越高，本文設(shè)計(jì)要求業(yè)務(wù)平臺(tái)從發(fā)送請(qǐng)求到獲取結(jié)果中間處理的時(shí)間在ms級(jí)別。

（3）面對(duì)逐漸增加的用戶量和訪問(wèn)行為，數(shù)據(jù)發(fā)布平臺(tái)需要做負(fù)載均衡處理高并發(fā)的來(lái)自業(yè)務(wù)平臺(tái)的推薦請(qǐng)求。

（4）系統(tǒng)能夠安全可靠地存儲(chǔ)和快速提取推薦結(jié)果并且能夠隨著數(shù)據(jù)增加有效地線性擴(kuò)容是非常關(guān)鍵的，因此分布式的存儲(chǔ)架構(gòu)是本文的選擇。

3 系統(tǒng)設(shè)計(jì)

3.1 推薦系統(tǒng)設(shè)計(jì)

推薦系統(tǒng)設(shè)計(jì)如圖1所示。本文的推薦系統(tǒng)根據(jù)功能的不同主要?jiǎng)澐譃?個(gè)模塊，即收集用戶行為信息模塊、推薦計(jì)算模塊（該模塊又包括推薦知識(shí)計(jì)算模塊與推薦結(jié)果計(jì)算模塊），還有數(shù)據(jù)發(fā)布平臺(tái)模塊。

運(yùn)用SPSS 21.0的統(tǒng)計(jì)學(xué)軟件，進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析，計(jì)數(shù)資料用“%”表示，采用x2檢驗(yàn)，計(jì)量資料患用（±s）來(lái)表示，以（P＜0.05）作為差異具有統(tǒng)計(jì)學(xué)意義。

3.1.1 業(yè)務(wù)平臺(tái)前端

本文的業(yè)務(wù)平臺(tái)前端是中國(guó)移動(dòng)手機(jī)閱讀界面，包括PC端和手機(jī)客戶端，業(yè)務(wù)平臺(tái)前端負(fù)責(zé)推薦請(qǐng)求的發(fā)送、推薦結(jié)果應(yīng)答的處理和呈現(xiàn)，其中可涉及到多種業(yè)務(wù)，如“猜你喜歡”、“新書(shū)推薦”和“私人定制”等。

3.1.2 數(shù)據(jù)發(fā)布平臺(tái)

消息傳送采用的是HTTP協(xié)議（HypertextTransfer Protocol，超文本傳輸協(xié)議），該平臺(tái)從業(yè)務(wù)平臺(tái)前端接收HTTP請(qǐng)求，然后讀寫實(shí)時(shí)查詢庫(kù)，完成實(shí)時(shí)數(shù)據(jù)的發(fā)布。它對(duì)每個(gè)HTTP請(qǐng)求進(jìn)行鑒權(quán)，對(duì)離線推薦數(shù)據(jù)查詢請(qǐng)求返回HBase庫(kù)的離線推薦結(jié)果，對(duì)在線實(shí)時(shí)推薦計(jì)算請(qǐng)求將實(shí)時(shí)請(qǐng)求消息寫入到實(shí)時(shí)查詢庫(kù)中的推薦請(qǐng)求隊(duì)列，也可查詢?cè)诰€推薦結(jié)果隊(duì)列將數(shù)據(jù)返回給門戶前端。

3.1.3 實(shí)時(shí)查詢庫(kù)模塊

實(shí)時(shí)查詢庫(kù)完成待查詢數(shù)據(jù)的緩存、請(qǐng)求消息和結(jié)果隊(duì)列的保存，采用HBase、Redis等高性能實(shí)時(shí)庫(kù)，實(shí)現(xiàn)ms級(jí)別的查詢和寫入響應(yīng)。

3.1.4 數(shù)據(jù)倉(cāng)庫(kù)模塊

數(shù)據(jù)倉(cāng)庫(kù)中與實(shí)時(shí)推薦相關(guān)的數(shù)據(jù)包括用戶行為數(shù)據(jù)、圖書(shū)信息數(shù)據(jù)、推薦知識(shí)數(shù)據(jù)、推薦結(jié)果數(shù)據(jù)等。除了為“推薦計(jì)算系統(tǒng)”提供基礎(chǔ)數(shù)據(jù)外，也可將需要實(shí)時(shí)查詢的數(shù)據(jù)定期同步到實(shí)時(shí)查詢庫(kù)。實(shí)現(xiàn)主要基于成熟的Oracle、Hive等。

3.1.5 推薦計(jì)算模塊

推薦計(jì)算模塊從功能上可劃分為推薦知識(shí)計(jì)算子系統(tǒng)和推薦結(jié)果計(jì)算子系統(tǒng)。其中推薦結(jié)果計(jì)算子系統(tǒng)從實(shí)現(xiàn)上分為在線推薦結(jié)果計(jì)算、離線推薦結(jié)果計(jì)算兩套計(jì)算方式，兩種方式下各個(gè)子模塊的功能雖然相似，但具體實(shí)現(xiàn)不用，離線推薦結(jié)果計(jì)算使用Hadoop任務(wù)來(lái)實(shí)現(xiàn)，在線推薦結(jié)果計(jì)算使用Storm來(lái)完成。

3.1.6 數(shù)據(jù)采集模塊

圖1 推薦系統(tǒng)設(shè)計(jì)圖

數(shù)據(jù)采集模塊除現(xiàn)有的較成熟的離線采集方式外，還有在線采集（Kafka）方式。除了將采集到的數(shù)據(jù)持久化到數(shù)據(jù)倉(cāng)庫(kù)外，也為推薦計(jì)算系統(tǒng)提供用戶行為的準(zhǔn)實(shí)時(shí)和實(shí)時(shí)采集方式。

3.2 數(shù)據(jù)發(fā)布平臺(tái)設(shè)計(jì)

數(shù)據(jù)發(fā)布平臺(tái)設(shè)計(jì)如圖2所示。本文的數(shù)據(jù)發(fā)布平臺(tái)根據(jù)功能的不同主要?jiǎng)澐譃?個(gè)模塊，即負(fù)載均衡模塊、鑒權(quán)管理模塊，在線推薦請(qǐng)求處理模塊和圖書(shū)信息緩存模塊。

3.2.1 負(fù)載均衡模塊

負(fù)載均衡（LoadBalance）建立在現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)之上，提供了一種廉價(jià)、有效、透明的方法擴(kuò)展網(wǎng)絡(luò)設(shè)備和服務(wù)器的帶寬、增加吞吐量、加強(qiáng)網(wǎng)絡(luò)數(shù)據(jù)處理能力、提高網(wǎng)絡(luò)的靈活性和可用性。為了處理每天最高數(shù)億PV的請(qǐng)求，需要使用HTTP負(fù)載均衡軟件進(jìn)行應(yīng)用請(qǐng)求的分發(fā)。負(fù)載均衡軟件使用特定的機(jī)制將請(qǐng)求分發(fā)到真正的Web服務(wù)器上，分發(fā)機(jī)制可根據(jù)應(yīng)用特點(diǎn)適當(dāng)選擇。

本文將在Nginx的基礎(chǔ)上研究數(shù)據(jù)發(fā)布平臺(tái)的負(fù)載均衡模塊，使用Nginx作為負(fù)載均衡軟件，Nginx不單可以作為強(qiáng)大的Web服務(wù)器，也可以作為一個(gè)反向代理服務(wù)器，而且Nginx還可以按照調(diào)度規(guī)則實(shí)現(xiàn)動(dòng)態(tài)、靜態(tài)頁(yè)面的分離，可以按照輪詢、IP哈希、URL哈希、權(quán)重等多種方式對(duì)后端服務(wù)器做負(fù)載均衡，同時(shí)還支持后端服務(wù)器的健康檢查。負(fù)載均衡具體配置如圖3所示。

3.2.2 鑒權(quán)管理模塊

第三方應(yīng)用可以向?qū)崟r(shí)數(shù)據(jù)發(fā)布平臺(tái)發(fā)送推薦請(qǐng)求、數(shù)據(jù)查詢請(qǐng)求，鑒權(quán)管理模塊負(fù)責(zé)第三方應(yīng)用的注冊(cè)、令牌認(rèn)證等鑒權(quán)任務(wù)。第三方應(yīng)用需要在實(shí)時(shí)數(shù)據(jù)發(fā)布平臺(tái)網(wǎng)站頁(yè)面注冊(cè)申請(qǐng)開(kāi)發(fā)賬號(hào)，填寫信息主要包括第三方應(yīng)用賬號(hào)、密碼、Token超時(shí)時(shí)間、應(yīng)用描述等信息，若賬號(hào)注冊(cè)成功，實(shí)時(shí)數(shù)據(jù)發(fā)布系統(tǒng)生成唯一標(biāo)識(shí)的appKey和appSecret，這兩個(gè)值將作為參數(shù)用于獲取Access_Token值。若注冊(cè)失敗，實(shí)時(shí)數(shù)據(jù)發(fā)布系統(tǒng)提示錯(cuò)誤信息，用戶進(jìn)一步修改信息進(jìn)行注冊(cè)。在以后的每一次請(qǐng)求中，第三方應(yīng)用需要帶著Access_Token，系統(tǒng)通過(guò)此參數(shù)進(jìn)行鑒權(quán)認(rèn)證，若該Access_Token已過(guò)期，第三方應(yīng)用需要重新申請(qǐng)Access_Token。

3.2.3 在線推薦請(qǐng)求處理模塊

圖2 數(shù)據(jù)發(fā)布平臺(tái)設(shè)計(jì)圖

圖3 負(fù)載均衡部署圖

本模塊將用到Redis數(shù)據(jù)庫(kù)存儲(chǔ)和查詢，Redis是一款高性能的Key-value內(nèi)存數(shù)據(jù)庫(kù)，提供了一些豐富的數(shù)據(jù)結(jié)構(gòu)，如String（字符串）、Lists（鏈表）、Set（集合）和Zset（有序集合）。這些數(shù)據(jù)類型都支持Push/ Pop、Add/Remove、取交集、并集和差集及更豐富的操作，而且這些操作都是原子性的。

數(shù)據(jù)發(fā)布平臺(tái)接到推薦請(qǐng)求后，首先對(duì)請(qǐng)求進(jìn)行鑒權(quán)和預(yù)處理，然后將請(qǐng)求消息寫入到實(shí)時(shí)查詢庫(kù)的請(qǐng)求隊(duì)列表中，在等待一段平均處理時(shí)間后，開(kāi)始從Redis的查詢應(yīng)答結(jié)果隊(duì)列表中查詢對(duì)應(yīng)的推薦結(jié)果數(shù)據(jù)，若不存在再采取一定的延時(shí)策略重復(fù)查詢，查詢到后將數(shù)據(jù)組裝返回給業(yè)務(wù)平臺(tái)前端，整個(gè)請(qǐng)求處理寫入和結(jié)果查詢的流程如圖4所示。

3.2.4 圖書(shū)信息緩存模塊

本模塊將用到Hbase數(shù)據(jù)庫(kù)存儲(chǔ)和查詢，HBase能夠支持海量數(shù)據(jù)的分布式實(shí)時(shí)存儲(chǔ)，查詢速度較快，并且HBase是面向列的KeyValue數(shù)據(jù)庫(kù)，可以存儲(chǔ)異構(gòu)數(shù)據(jù)并且方便范圍查詢。

圖書(shū)緩存模塊負(fù)責(zé)從業(yè)務(wù)平臺(tái)獲取圖書(shū)的封裝信息（包括圖書(shū)名、作者信息、分類信息、封面信息等），并緩存到HBase表中。對(duì)外提供圖書(shū)信息查詢服務(wù)，并具備過(guò)期圖書(shū)自動(dòng)更新功能，緩存服務(wù)作為單獨(dú)服務(wù)對(duì)外提供服務(wù)，支持負(fù)載均衡部署。緩存的圖書(shū)信息保存在HBase表中，采取查詢時(shí)更新策略，當(dāng)從緩存表中查詢不到或查詢到的圖書(shū)信息過(guò)期時(shí)，重新從業(yè)務(wù)平臺(tái)前端獲取該圖書(shū)信息，并更新緩存表。緩存模塊對(duì)外提供的圖書(shū)信息查詢服務(wù)通過(guò)HTTP請(qǐng)求和應(yīng)答來(lái)實(shí)現(xiàn)，該模塊采用當(dāng)前較為流行的數(shù)據(jù)傳輸格式——JSON。JSON格式是一種輕量級(jí)的數(shù)據(jù)交換格式，載荷高、易于通過(guò)編碼進(jìn)行解析的特點(diǎn)使其非常適合移動(dòng)互聯(lián)網(wǎng)領(lǐng)域的數(shù)據(jù)傳輸。具體交互圖見(jiàn)圖5。

圖4 在線推薦請(qǐng)求處理流程圖

圖5 圖書(shū)信息緩存交互圖

4 結(jié)束語(yǔ)

本文提供了一種實(shí)時(shí)推薦系統(tǒng)數(shù)據(jù)發(fā)布平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)方案，數(shù)據(jù)發(fā)布平臺(tái)的接口可分為兩類，即在線推薦請(qǐng)求和離線推薦請(qǐng)求接口。消息接口可以實(shí)現(xiàn)智能推薦系列應(yīng)用場(chǎng)景的數(shù)據(jù)推送。數(shù)據(jù)發(fā)布平臺(tái)可以根據(jù)需求增加相應(yīng)的接口，不斷地完善系統(tǒng)，具有可擴(kuò)展性。數(shù)據(jù)發(fā)布平臺(tái)對(duì)業(yè)務(wù)平臺(tái)的請(qǐng)求，系統(tǒng)的響應(yīng)時(shí)間控制在ms級(jí)，具有較高的實(shí)時(shí)性。本文使用分布式的存儲(chǔ)架構(gòu)，面對(duì)越來(lái)越多的用戶量和訪問(wèn)行為，系統(tǒng)能夠安全可靠地存儲(chǔ)和分析這些數(shù)據(jù)，HBase可以依靠橫向擴(kuò)展，通過(guò)不斷增加服務(wù)器，來(lái)增加計(jì)算和存儲(chǔ)能力。另外，為了滿足最高每天數(shù)億PV的請(qǐng)求，運(yùn)用Ngnix的負(fù)載均衡特性同樣可以通過(guò)不斷地增加Web服務(wù)器，來(lái)提高系統(tǒng)處理大量用戶訪問(wèn)的能力。

1 Hypertext Transfer Protocol HTTP/1.1.http://www.ietf.org/ rfc/rfc2616.txt

2 林麗麗.使用高性能Web服務(wù)器Nginx實(shí)現(xiàn)開(kāi)源負(fù)載均衡.大眾科技.2010,7

3 曾超宇,李金香.Redis在高速緩存系統(tǒng)中的應(yīng)用.微型機(jī)與應(yīng)用.2013

4 Introducing JSON.http://www.json.org/

5 項(xiàng)亮.推薦系統(tǒng)實(shí)踐.人民郵電出版社.2012

Design and Implementation of a Real-time Recommendation System Data Publishing Platform

With the development of recommendation system,the timeliness and accuracy of the recommended way has increasingly high demand,in the face of the rapid development of the user base,increasing portal hits of recommendation system,this paper proposes a real-time recommendation system data publishing platform with multi-module concurrent requests can be effectively treated by using by load balancing and the real-time information recommended by recommendation algorithm is sent to the front door to reduce the waiting time for users.By using Redis and HBase(Hadoop Database)as storage,the system offers offline and online recommendation calculation results query interface.

real-time recommendation system,data publishing,high concurrency

2015-08-24）

國(guó)家“973”計(jì)劃項(xiàng)目（2013CB329102），國(guó)家自然科學(xué)基金資助項(xiàng)目（61471063、61372120、61271019、61101119、61121001），長(zhǎng)江學(xué)者和創(chuàng)新團(tuán)隊(duì)發(fā)展計(jì)劃（IRT1049），教育部科學(xué)技術(shù)研究重點(diǎn)（重大）項(xiàng)目（MCM20130310），北京高等學(xué)校青年英才計(jì)劃項(xiàng)目（YETP0473）資助