基于物流平臺的智能推薦系統(tǒng)設計與實現(xiàn)

金英華（沈陽師范大學，沈陽　110034）

?

基于物流平臺的智能推薦系統(tǒng)設計與實現(xiàn)

金英華
（沈陽師范大學，沈陽110034）

摘要：本文介紹了Hadoop及MapReduce模型的一些基本情況，包括對Hadoop的框架構成核心節(jié)點的主要工作及MapReduce模型的工作流程模式，對第二代Hadoop平臺簡的Yarn框架及其基本的工作流程進行了介紹，同時關注了一個嶄新的基于內(nèi)存存儲的計算框架Spark。文中對智能化物流平臺的框架結構進行了整體的描述，包括WEB業(yè)務各層的結構的概要介紹，數(shù)據(jù)庫實例中抽取幾個表進行了簡單的表示，和智能化體系中核心部分推薦系統(tǒng)的設計結構的闡述。其中推薦系統(tǒng)部分較為詳細地介紹了系統(tǒng)的設計思路，從業(yè)務需求的分析，到系統(tǒng)結構的設計和系統(tǒng)工作的大體流程。

關鍵詞：推薦系統(tǒng)；Hadoop；物流平臺

1　智能推薦系統(tǒng)的概覽

下面以匹配客戶對象的智能推薦為例進行說明，智能推薦系統(tǒng)實現(xiàn)的功能目的，與天貓、京東的網(wǎng)站平臺的形式類似，當發(fā)貨方即貨主企業(yè)或生產(chǎn)制造企業(yè)等，登錄系統(tǒng)平臺網(wǎng)站時或者移動APP端時，系統(tǒng)的后臺經(jīng)過智能計算核心組件模塊，為此類型的登錄客戶實時計算出它可能會感興趣的物流企業(yè)、運輸車隊等，這樣的承接方即以物流運輸為主體業(yè)務的一方，平臺將這樣的列表信息在瀏覽器中或者移動終端中為登錄用戶即時展示，以提高用戶體驗度。同樣，在物流運輸一方登錄時，也會顯示它可能感興趣的貨主企業(yè)。

2　智能推薦系統(tǒng)的框架設計

平臺的智能推薦系統(tǒng)框架，主要由數(shù)據(jù)過濾、智能計算、數(shù)據(jù)存儲層和中央控制單元四個部分組成，如圖1所示。智能推薦系統(tǒng)的數(shù)據(jù)來源，主要來自于兩種類型數(shù)據(jù)即實時型數(shù)據(jù)和批量類型數(shù)據(jù)。其中批量類型這個部分，主要是從結構化的和非結構化的數(shù)據(jù)庫中取得，即Oracle數(shù)據(jù)庫實例的關系表和HBase鍵值對的數(shù)據(jù)表；實時型的數(shù)據(jù)，采用了技術成熟度較高、響應度高、應用范圍比較廣的Redis數(shù)據(jù)庫作為平臺緩存數(shù)據(jù)庫，平臺性能在此基礎上得到了大幅度的提升。

數(shù)據(jù)ETL模塊作為過濾層發(fā)揮其作用，主要是為推薦系統(tǒng)算法提供基礎計算數(shù)據(jù)，對原始數(shù)據(jù)數(shù)據(jù)進行清理轉(zhuǎn)換，以便核心的智能計算單元發(fā)揮更高性能提高處理數(shù)據(jù)的速度，尤其是在實時性的處理方面，一旦從Oracle或者MongoDB、Redis這些數(shù)據(jù)源取得的數(shù)據(jù)過于冗余，或者是與智能計算單元接口所要求的數(shù)據(jù)類型、格式等不相一致時，對于計算的性能影響也是顯著的。根據(jù)數(shù)據(jù)來源的類型不同，相應地，數(shù)據(jù)過濾層的接口部分在數(shù)據(jù)源類的內(nèi)部實現(xiàn)同樣是以結構化和非結構化進行分組別進行設計和編碼實現(xiàn)，對外則統(tǒng)一接口命名進行多態(tài)繼承，這樣的傳統(tǒng)OOP面向?qū)ο蟮木幊棠Ｐ头绞綄τ谙到y(tǒng)后期在數(shù)據(jù)層的擴展是有利的，尤其是在非結構化類型的數(shù)據(jù)庫快速發(fā)展的時代，鍵值型數(shù)據(jù)庫、圖存數(shù)據(jù)庫等等，對于這類的接口模塊的可擴展性是一種最基本的開發(fā)要求。

3　推薦系統(tǒng)的工作流程

根據(jù)物流行業(yè)的運作特性，主要是監(jiān)控和分析貨源發(fā)布、訂單處理等操作的工作時間節(jié)點，一般情況下，時間節(jié)點集中在白天的工作時間范圍內(nèi)，因此，對于批量數(shù)據(jù)的分析計算工作，論文研究中參考電商平臺的批量數(shù)據(jù)分析處理方式，批量數(shù)據(jù)處理工作的啟動時間點根據(jù)這個具體運作的明顯的特點，設置為每日21:00點開始進行批量數(shù)據(jù)分析作業(yè)。

3.1數(shù)據(jù)預處理

智能推薦系統(tǒng)在啟動批量數(shù)據(jù)分析工作后，首先由推薦系統(tǒng)的數(shù)據(jù)ETL中的提取業(yè)務模塊通過JDBC連接各WEB平臺中的數(shù)據(jù)源，包括了Oracle數(shù)據(jù)庫和MongoDB數(shù)據(jù)庫（前期作為GPS數(shù)據(jù)存儲，后期用來做路線推薦用），向這些數(shù)據(jù)源發(fā)送查詢請求，以便從實例的結構表中取得數(shù)據(jù)集，對讀取后數(shù)據(jù)集以貨主公司ID和物流公司ID進行分組計算，計算出貨主企業(yè)對物流公司評價均值，對平臺數(shù)據(jù)源中的結構化數(shù)據(jù)計算完成后，由轉(zhuǎn)換存儲功能模塊將數(shù)據(jù)以預定數(shù)據(jù)格式，即鍵值對的形＜Key:｛itemid:rate｝＞進行存儲處理工作，將結構化的數(shù)據(jù)轉(zhuǎn)換為非結構化記錄數(shù)據(jù)集，最后，由數(shù)據(jù)ETL中的傳輸功能模塊調(diào)用Hadoop的FileObject接口將過濾后數(shù)據(jù)存儲到分布式文件系統(tǒng)HDFS中，以便推薦系統(tǒng)中的計算服務層各個計算單元直接處理調(diào)用。

3.2智能推薦算法流程

為了達到推薦的目的并減小存儲容量，一般為推薦結果設置一個K值即為用戶推薦的物品列表只選取前K個物品，實驗中在配置文件中提前設置K值。

推薦系統(tǒng)計算層的計算單元根據(jù)上下文環(huán)境配置直接從Haddoop平臺的分布式文件系統(tǒng)HDFS中讀取相應的預處理后的批量數(shù)據(jù)文件，由系統(tǒng)自動計算文件的大小對其進行分片，默認在上下文環(huán)境配置中設置為64M或者128M即可，每個分片會對應一個Map任務節(jié)點，在Map任務節(jié)點中執(zhí)行計算任務，逐行讀取數(shù)據(jù)以鍵值存入上下文數(shù)據(jù)中，為了減小Reduce任務節(jié)點的計算壓力，針對當前的Map任務節(jié)點由Combiner單元執(zhí)行一次的合并處理，Hadoop框架根據(jù)各Map任務節(jié)點中鍵值和數(shù)據(jù)大小啟動相應數(shù)量的Reduce任務節(jié)點，在Reduce任務節(jié)點中以鍵值（貨主ID）合并來自不同Map任務節(jié)點中的上下文數(shù)據(jù)，這時可以得到N個貨主評價向量，由N個貨主評價向量計算得出項目（即物流公司）的同現(xiàn)矩陣，最后N個貨主評價向量分別與同現(xiàn)矩陣相乘得到N個貨主的推薦向量，選取前K個推薦結果存入緩存數(shù)據(jù)庫中，完成推薦計算。

整個推薦計算完成后，當WEB業(yè)務要實現(xiàn)推薦效果時，即可直接從緩存數(shù)據(jù)庫中讀取最新的推薦結果，為貨主企業(yè)推薦K個比較感興趣物流企業(yè)。

參考文獻：

［1］Chert MS. Data mining: arl overview from a database perspective［J］. IEEE Trans on Knowledgeand data engineering，1996:8（06）: 866-883.

［2］Pang-Ning Tan， Michael Steinbach， Yipin Kumar著.范明，范宏建等譯.數(shù)據(jù)挖掘?qū)д摚跰］.北京:人民郵電出版社，2006.

DOI:10.16640/j.cnki.37-1222/t.2016.11.137

作者簡介：金英華（1965-），女，遼寧蓋縣人，碩士研究生，副教授，研究方向：計算機軟件。