基于智能推薦模型的評(píng)分系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

麻亞妮

(陜西藝術(shù)職業(yè)學(xué)院 影視系， 西安 710054)

0 引言

在信息智能時(shí)代中，互聯(lián)網(wǎng)技術(shù)不斷發(fā)展，微博、新聞、電子商務(wù)、社區(qū)、音頻、視頻信息及智能搜索等信息開(kāi)始出現(xiàn)大爆炸，各種內(nèi)容豐富了互聯(lián)網(wǎng)平臺(tái)。在此背景下，傳統(tǒng)商務(wù)也面臨著一定的挑戰(zhàn)。用戶能夠獲得的信息在不斷增加，以此使傳統(tǒng)商務(wù)在商品宣傳及營(yíng)銷推薦方面需要做更多努力，個(gè)性化推薦系統(tǒng)的開(kāi)發(fā)也因此備受關(guān)注。智能推薦模型的提出較晚，在互聯(lián)網(wǎng)時(shí)代早期，即便是成型的推薦系統(tǒng)也較為直接且簡(jiǎn)單。當(dāng)時(shí)推薦算法只是傳統(tǒng)統(tǒng)計(jì)分析及市場(chǎng)調(diào)研。基于市場(chǎng)規(guī)模及客戶群體不斷增加的背景下，此種方法已經(jīng)無(wú)法滿足需求。個(gè)性化智能推薦系統(tǒng)目前主要的研究方向就是基于知識(shí)、協(xié)同過(guò)濾及推薦內(nèi)容等，重視對(duì)用戶內(nèi)在特點(diǎn)的深入挖掘。另外，機(jī)器學(xué)習(xí)算法在此領(lǐng)域也備受重視。基于此，本文就基于智能推薦及機(jī)器學(xué)習(xí)，對(duì)商務(wù)評(píng)分平臺(tái)進(jìn)行設(shè)計(jì)與實(shí)現(xiàn)。

1 系統(tǒng)的框架

本文所研究的系統(tǒng)主要目的就是實(shí)現(xiàn)推薦算法在智能模型評(píng)分系統(tǒng)中的使用，推薦系統(tǒng)中評(píng)分?jǐn)?shù)據(jù)較常見(jiàn)，評(píng)分?jǐn)?shù)據(jù)具有自身收集基本數(shù)據(jù)類的特點(diǎn)，不同的是數(shù)據(jù)集類型只是掌握物品和用戶之間的對(duì)應(yīng)聯(lián)系，用戶不評(píng)價(jià)物品。評(píng)分屬于評(píng)分系統(tǒng)的主要操作，所以得到的全部評(píng)分均值類型都屬于數(shù)據(jù)集類型。為了能夠保證Count操作的復(fù)雜程度為0-1之間，那么就要單獨(dú)維護(hù)評(píng)分?jǐn)?shù)據(jù)，以此有效記錄評(píng)分?jǐn)?shù)量。另外，推薦系統(tǒng)中的正反饋類型能夠作為用戶隱式反饋算法內(nèi)容，用戶對(duì)物品評(píng)分，此數(shù)據(jù)屬于推薦算法優(yōu)先數(shù)據(jù)，從而使用戶充分展現(xiàn)物品取向性[1]。

本文所設(shè)計(jì)的評(píng)分系統(tǒng)主要包括用戶交互層、數(shù)據(jù)存儲(chǔ)層、推薦引擎層。其中的用戶交互層能夠收集用戶在網(wǎng)上購(gòu)物時(shí)候的購(gòu)買、收藏及瀏覽等信息，以此能夠?yàn)橛脩敉扑]滿足自身需求的物品。其中推薦引擎層的主要目的就是以電子商務(wù)系統(tǒng)場(chǎng)景，選擇合適推薦算法，對(duì)推薦結(jié)果進(jìn)行計(jì)算，并且在數(shù)據(jù)存儲(chǔ)層中進(jìn)行存儲(chǔ)。數(shù)據(jù)存儲(chǔ)層的主要目的就是實(shí)現(xiàn)大量用戶及商品信息的結(jié)構(gòu)存儲(chǔ)。其中各個(gè)層之間使用分層架構(gòu)，其能夠有效保證系統(tǒng)具備低耦合、高內(nèi)聚的優(yōu)勢(shì)，不僅能夠有效保證系統(tǒng)穩(wěn)定性，還能夠使系統(tǒng)伸縮性有所提高，使系統(tǒng)能夠根據(jù)需求及場(chǎng)合隨時(shí)實(shí)現(xiàn)調(diào)整[2]。圖1為基于智能推薦模型的評(píng)分系統(tǒng)設(shè)計(jì)框架。

2 系統(tǒng)的模塊設(shè)計(jì)

2.1 系統(tǒng)收集模塊

評(píng)分系統(tǒng)需要大量數(shù)據(jù)計(jì)算，其中的數(shù)據(jù)主要包括電子商務(wù)平臺(tái)中的商品及用戶數(shù)據(jù)，還包括利用系統(tǒng)日志提出的用戶行為和用戶在對(duì)網(wǎng)頁(yè)的瀏覽行為。對(duì)于用戶及商品數(shù)據(jù)能夠相互共享的網(wǎng)站數(shù)據(jù)會(huì)被不斷的更新，利用系統(tǒng)提取日志有效解析用戶商品的評(píng)價(jià)，從而使模塊的需求能夠轉(zhuǎn)變成為評(píng)分的指標(biāo)。系統(tǒng)收集模塊能夠?qū)崿F(xiàn)多數(shù)據(jù)轉(zhuǎn)化及收集方式的設(shè)計(jì)，并且以推薦引擎實(shí)現(xiàn)數(shù)據(jù)需求的收集。不同推薦引擎需要不同數(shù)據(jù)，那么數(shù)據(jù)收集方式也能夠滿足不同推薦引擎的需求，以此還可以設(shè)計(jì)公共接口，之后以不同引擎對(duì)數(shù)據(jù)收集方式進(jìn)行有效實(shí)現(xiàn)[3]。

圖1 基于智能推薦模型的評(píng)分系統(tǒng)設(shè)計(jì)框架

2.2 推薦引擎組

推薦引擎組是一種推薦算法組合，通過(guò)多種推薦算法能夠在組模塊中集成，并且利用不同推薦引擎相互結(jié)合，從而使其能夠變成推薦結(jié)果。或者能夠在網(wǎng)站發(fā)展過(guò)程中的各個(gè)階段使用不同推薦引擎。推薦引擎包括離線計(jì)算及在線計(jì)算的模塊，離線計(jì)算數(shù)據(jù)也在數(shù)據(jù)庫(kù)中存儲(chǔ)。利用多引擎組合，不使用單引擎組合，并且還要對(duì)以下問(wèn)題進(jìn)行全面的考慮：其一，利用各個(gè)推薦引擎的優(yōu)點(diǎn)在項(xiàng)目后期實(shí)現(xiàn)全新推薦算法的添加，而且還要以實(shí)際需求調(diào)整推薦引擎；其二，通過(guò)用戶反饋能夠使用戶對(duì)不同推薦引擎選擇，以此得到結(jié)果。部分用戶喜歡全新的商品，但是部分用戶喜歡自己之前所喜歡的商品，這些都是利用不同策略所構(gòu)成的[4]。圖2為推薦引擎的結(jié)構(gòu)。

圖2 推薦引擎的結(jié)構(gòu)

2.3 推薦結(jié)果處理

以不同推薦引擎只能夠得到大概的結(jié)果，還要對(duì)其進(jìn)行深入的處理，從而為用戶進(jìn)行提供。本文所設(shè)計(jì)的評(píng)分系統(tǒng)主要目的就是根據(jù)用戶的評(píng)分，深入挖掘用戶的喜好，以此為用戶提供高質(zhì)量的服務(wù)，從而使用戶體驗(yàn)得到進(jìn)一步的提高。在對(duì)物品進(jìn)行過(guò)濾的過(guò)程中，其主要過(guò)濾內(nèi)容為：

其一，用戶已經(jīng)使用或者用戶不喜歡的物品，要對(duì)此部分進(jìn)行規(guī)律；

其二，以推薦模型推薦物品還會(huì)出現(xiàn)古怪的物品組合，此物品一般不會(huì)進(jìn)入到物品推薦中；

其三，被網(wǎng)站定義為不合格或者不適合推薦的物品[5]。

2.4 用戶交互模塊

此模塊能夠有效視線數(shù)據(jù)的交互，并且其并不是頁(yè)面或者終端的模塊，其中具備公共接口，從而方便其他網(wǎng)站模塊能夠?qū)ζ溥M(jìn)行調(diào)用。此模塊還能夠有效收集用戶的直接反饋及在線行為，而且能夠?qū)ν扑]結(jié)果進(jìn)行有效處理。所以，推薦結(jié)果屬于評(píng)分和ID，用戶交互模塊能夠通過(guò)數(shù)據(jù)庫(kù)找到推薦商品的具體信息，而且還能夠反饋給用戶，用戶交互模塊的設(shè)計(jì)詳見(jiàn)圖3[6]。

圖3 用戶交互模塊的設(shè)計(jì)

2.5 推薦功能模塊

推薦功能模塊主要包括用戶、產(chǎn)品、訂單、交易、售后的管理。

其中用戶管理中的前臺(tái)包括用戶登錄、資料維護(hù)、注冊(cè)及忘記密碼等功能，后臺(tái)主要包括會(huì)員管理、注冊(cè)審核等。

產(chǎn)品管理的前臺(tái)主要包括產(chǎn)品信息發(fā)布、信息展現(xiàn)及產(chǎn)品檢索，后臺(tái)主要包括添加產(chǎn)品信息、積分及折扣等。

訂單管理中的前臺(tái)主要包括產(chǎn)品選購(gòu)、購(gòu)買、支付、退換貨、評(píng)價(jià)等。后臺(tái)主要包括訂單確認(rèn)、發(fā)貨及信息更新等。

交易管理中的前臺(tái)主要包括對(duì)于訂單交易選擇商品查詢、積分獎(jiǎng)勵(lì)和交易支付等。后臺(tái)主要包括收款管理及統(tǒng)計(jì)報(bào)表等管理。

推薦展示指的是通過(guò)用戶瀏覽頁(yè)面生成日志記錄及用戶購(gòu)買信息中實(shí)現(xiàn)用戶興趣愛(ài)好屬性的充分挖掘，利用推薦算法為每位用戶都能夠?qū)⒆约核信d趣的產(chǎn)品進(jìn)行展現(xiàn)。

在用戶進(jìn)入到電子商務(wù)推薦系統(tǒng)中，系統(tǒng)為用戶的個(gè)性化制定熱銷商品的推薦欄，其主要是基于用戶協(xié)同過(guò)濾推薦算法，以相似商品銷售為用戶推薦熱銷商品。另外，系統(tǒng)還能夠根據(jù)用戶的需求提供用戶可能會(huì)購(gòu)買的商品。此欄目的主要目的就是根據(jù)物品協(xié)同過(guò)濾推薦算法，以此為用戶推薦可能會(huì)感興趣的商品[7]。

3 推薦系統(tǒng)服務(wù)器的設(shè)計(jì)

商務(wù)智能推薦系統(tǒng)架構(gòu)基于以上分析，此服務(wù)器模塊的主要目的就是實(shí)現(xiàn)推薦算法的交互，服務(wù)器能夠?qū)崿F(xiàn)數(shù)據(jù)集文件的讀取，并且還能夠?qū)⒂成湮募?shù)據(jù)及及生成模型序列化實(shí)現(xiàn)第二次的使用。圖4為推薦系統(tǒng)服務(wù)器的功能設(shè)計(jì)結(jié)構(gòu)。

在實(shí)現(xiàn)數(shù)據(jù)及推薦算法優(yōu)化的過(guò)程中，為了能夠?qū)崿F(xiàn)已經(jīng)創(chuàng)建推薦算法系統(tǒng)框架能力的測(cè)試及展現(xiàn)，在此模擬商務(wù)平臺(tái)中，可以實(shí)現(xiàn)四種推薦算法的測(cè)試。本節(jié)依次實(shí)現(xiàn)這些算法的優(yōu)化，其中的每個(gè)算法配置參數(shù)數(shù)量都不同，基于遞歸下降生成模型要求具有隨機(jī)性，并且在多次試驗(yàn)基礎(chǔ)上，使模型質(zhì)量得到進(jìn)一步的提高[8]。

圖4 推薦系統(tǒng)服務(wù)器的功能設(shè)計(jì)結(jié)構(gòu)

3.1 樸素算法

樸素貝葉斯算法的配置參數(shù)主要是物品屬性選擇方面，由于底層推薦系統(tǒng)框架使用二進(jìn)制屬性，所以其中的每個(gè)屬性只具有存在或者不存在兩個(gè)狀態(tài)，全面考慮最終數(shù)據(jù)集這些信息，并且還要充分考慮特征值是否能夠?qū)儆谪惾~斯算法可選輸入。之后使用交叉驗(yàn)證方法實(shí)現(xiàn)精準(zhǔn)度的測(cè)試，使訓(xùn)練數(shù)據(jù)集中部分子集的拆分，將其作為測(cè)試數(shù)據(jù)，之后實(shí)現(xiàn)內(nèi)部相互驗(yàn)證，實(shí)現(xiàn)模型參數(shù)方法的對(duì)比和選擇。

3.2 kNN推薦算法

此推薦算法的重點(diǎn)為接近物品數(shù)量k選擇的時(shí)候，如果k值較小，那么就會(huì)使評(píng)分預(yù)測(cè)只是參考部分臨近物品，降低了預(yù)測(cè)結(jié)果的代表性。如果k值較大，那么就會(huì)延長(zhǎng)訓(xùn)練及預(yù)測(cè)的時(shí)間。全面考慮測(cè)試數(shù)據(jù)集的情況，若將k值限定在30-60之間，則交叉驗(yàn)證結(jié)果在40-50之間，全面考慮精準(zhǔn)性及綜合時(shí)間。

3.3 矩陣分解算法

此算法要求具有較多的配置參數(shù)，首先要假設(shè)用戶-物品關(guān)聯(lián)屬性數(shù)量，此方面還是矩陣分解算法核心，根據(jù)不同屬性數(shù)量實(shí)現(xiàn)較差驗(yàn)證[9]，能夠得到不同屬性數(shù)量中的RMSE誤差。

4 系統(tǒng)的實(shí)現(xiàn)

本文在實(shí)驗(yàn)過(guò)程中要?jiǎng)?chuàng)建Hadoop分布式集群，使用三臺(tái)PC機(jī)，其中的配置為雙核處理器，使用4GB內(nèi)存。創(chuàng)建Hadoop分布式集群實(shí)驗(yàn)環(huán)境的過(guò)程中，要實(shí)現(xiàn)master節(jié)點(diǎn)的免密碼配置，此方面是實(shí)驗(yàn)環(huán)境創(chuàng)建過(guò)程中尤為重要的部分。SSH屬于非對(duì)稱加密算法，Hadoop集群中的各節(jié)點(diǎn)在實(shí)現(xiàn)數(shù)據(jù)訪問(wèn)的過(guò)程中，被訪問(wèn)的節(jié)點(diǎn)就會(huì)實(shí)現(xiàn)可靠性的驗(yàn)證。在創(chuàng)建實(shí)驗(yàn)環(huán)境之后，要在Master節(jié)點(diǎn)中實(shí)現(xiàn)Hadoop的啟動(dòng)，利用jsp命令對(duì)Hadoop集群中的每個(gè)節(jié)點(diǎn)進(jìn)程是否能夠正常啟動(dòng)進(jìn)行查看。為了能夠?qū)adoop分布式集群執(zhí)行效率進(jìn)行有效的評(píng)估，可以使用加速比作為評(píng)價(jià)的標(biāo)準(zhǔn)，定律評(píng)估是基于固定規(guī)模數(shù)據(jù)中，分布式集群運(yùn)行性能會(huì)在節(jié)點(diǎn)數(shù)量不斷增加的過(guò)程中而變化，基于此標(biāo)準(zhǔn)情況中，在數(shù)據(jù)規(guī)模大小一定的時(shí)候，加速比和節(jié)點(diǎn)數(shù)屬于線性的關(guān)系[10]。實(shí)驗(yàn)的結(jié)果，如圖5所示。

通過(guò)圖5可以看出來(lái)，本文所設(shè)計(jì)的系統(tǒng)算法推薦質(zhì)量較好，此數(shù)據(jù)加速比都和集群節(jié)點(diǎn)具有線性關(guān)系，以此表示，數(shù)據(jù)集越大，那么加速比集群的節(jié)點(diǎn)數(shù)線性關(guān)系就會(huì)越好。那么，本文所設(shè)計(jì)的Hadoop推薦算法在實(shí)現(xiàn)海拉近數(shù)據(jù)處理的過(guò)程中，具有一定的效率。

圖5 實(shí)驗(yàn)的結(jié)果

5 總結(jié)

本文使用Hadoop實(shí)現(xiàn)基礎(chǔ)數(shù)據(jù)的處理，之后使用機(jī)器學(xué)習(xí)思想編寫(xiě)完整的推薦系統(tǒng)框架、智能商務(wù)系統(tǒng)。通過(guò)系統(tǒng)的性能和測(cè)試結(jié)果表示，此系統(tǒng)能夠有效滿足實(shí)際使用需求，此系統(tǒng)能夠?qū)⑼扑]系統(tǒng)從理論兼容到實(shí)踐中實(shí)現(xiàn)初始目標(biāo)。測(cè)試平臺(tái)能夠?qū)崿F(xiàn)公司投入實(shí)際使用情況的展現(xiàn)，基于擴(kuò)展性及通用性，不同功能能夠在模塊中明確，以此滿足系統(tǒng)未來(lái)的使用需求。