基于網(wǎng)格技術(shù)的虛擬物流資源挖掘模型研究

■陳 培 浙江財經(jīng)大學(xué)

基于網(wǎng)格技術(shù)的虛擬物流資源挖掘模型研究

■陳 培 浙江財經(jīng)大學(xué)

網(wǎng)格技術(shù)可以解決異構(gòu)系統(tǒng)間訪問問題，實現(xiàn)跨平臺的信息共享。本文將網(wǎng)格技術(shù)運用于虛擬物流資源動態(tài)分析中，構(gòu)建了一個基于網(wǎng)格技術(shù)的虛擬物流資源數(shù)據(jù)挖掘過程模型，并且對模型的實現(xiàn)技術(shù)進行了闡述。

網(wǎng)格技術(shù)；物流資源；數(shù)據(jù)挖掘；過程模型

電子商務(wù)作為一種新興的商務(wù)模式已經(jīng)對傳統(tǒng)模式造成了巨大影響，物流行業(yè)從傳統(tǒng)的簡單運輸、倉儲逐漸發(fā)展為現(xiàn)代物流，這其中也或多或少受到電子商務(wù)模式的影響。現(xiàn)代物流是運用高新技術(shù)使物流作業(yè)可控、智能化，要達到這個目的不乏采集大量的數(shù)據(jù)供分析。大量物流數(shù)據(jù)的獲取可以通過兩種途徑，企業(yè)信息系統(tǒng)及運營的網(wǎng)站，總體來講這是一種虛擬的分布式的資源。對于數(shù)據(jù)分析，數(shù)據(jù)挖掘技術(shù)是一個很好的技術(shù)手段，通過數(shù)據(jù)挖掘模型的構(gòu)建與運用可以發(fā)現(xiàn)物流數(shù)據(jù)規(guī)律，指導(dǎo)企業(yè)制度、政策的制定。那么這些分布在各個地域、各個物流企業(yè)的資源該如何收集，企業(yè)間、地域間的系統(tǒng)平臺差異、數(shù)據(jù)異構(gòu)都阻礙著數(shù)據(jù)集成的進行，本文將通過網(wǎng)格技術(shù)來對此問題進行分析，構(gòu)建模型，制定解決方案。

一、虛擬物流數(shù)據(jù)源的確定

要做數(shù)據(jù)分析必須要有大數(shù)據(jù)源，本文的物流數(shù)據(jù)從各地域物流企業(yè)獲取，但是企業(yè)內(nèi)網(wǎng)、信息系統(tǒng)的數(shù)據(jù)是對外保密的，信息共享只有在合作伙伴之間，或者需要支付費用，因此，對于開源的數(shù)據(jù)只有從物流企業(yè)運營的門戶網(wǎng)站、物流行業(yè)、貿(mào)易平臺中的獲取。物流企業(yè)的業(yè)務(wù)操作會形成業(yè)務(wù)數(shù)據(jù)，如果后臺的這些增刪查改連通互聯(lián)網(wǎng)，形成日志、或者數(shù)據(jù)體現(xiàn)在頁面文件中，我們可以獲取這些日志，或者用一些網(wǎng)絡(luò)抓取軟件對這些數(shù)據(jù)源進行處理與分析，獲得物流數(shù)據(jù)，并可以對數(shù)據(jù)進行挖掘，得到物流運作規(guī)律。

運用網(wǎng)絡(luò)挖掘方法對物流業(yè)務(wù)的分析取決于物流行業(yè)對網(wǎng)站的利用率，各物流企業(yè)門戶網(wǎng)站的構(gòu)建率，網(wǎng)上業(yè)務(wù)的開辦情況，在企業(yè)大量使用線上交易，并且開發(fā)電子商務(wù)新模式，線下大數(shù)據(jù)入網(wǎng)，為數(shù)據(jù)分析與挖掘提供了基礎(chǔ)數(shù)據(jù)，我們就有構(gòu)建挖掘模型的必要了。目前國內(nèi)大小物流企業(yè)都有了自己的門戶網(wǎng)站，并且支持網(wǎng)上業(yè)務(wù)，同時，如阿里巴巴物流、中國物流與采購網(wǎng)、物流中國等第三方物流平臺網(wǎng)也取得了較大的發(fā)展。對于大型物流平臺運營方、大型物流企業(yè)，均具備足夠的數(shù)據(jù)源對物流數(shù)據(jù)集進行分析挖掘。

對眾多互聯(lián)網(wǎng)物流網(wǎng)站進行數(shù)據(jù)挖掘，使用統(tǒng)一的網(wǎng)絡(luò)日志系統(tǒng)進行挖掘，可以避免挖掘中碰到負責(zé)的系統(tǒng)接口問題，將物流網(wǎng)站抽象成為網(wǎng)頁與鏈接的集合S=(V,G)，其中V是網(wǎng)頁集，G為鏈接點集合。鏈接點可以視為一項物流業(yè)務(wù)的抽象，令表示物流活動監(jiān)控點，我們定義一個映射，，，g表示物流網(wǎng)站中的一個鏈接，表示物流監(jiān)控指標(biāo)的集合，映射表示物流節(jié)點與監(jiān)控指標(biāo)集之間的關(guān)系。互聯(lián)網(wǎng)日志可以用LOG={ID，T，userID，userNM，g}，表示，其中各代碼分別表示用戶所做的業(yè)務(wù)操作的編碼，時間，用戶號，用戶名及鏈接點，通過映射我們可以獲得物流業(yè)務(wù)的監(jiān)控指標(biāo)。

二、基于網(wǎng)格技術(shù)的物流網(wǎng)格分析

1.虛擬物流網(wǎng)格

網(wǎng)格技術(shù)可以解決系統(tǒng)信息孤島問題，是實現(xiàn)信息共享的一種手段。網(wǎng)格技術(shù)物理實現(xiàn)還是互聯(lián)網(wǎng)以及企業(yè)內(nèi)聯(lián)網(wǎng)，通過虛擬資源網(wǎng)格及相應(yīng)的運行管理系統(tǒng)，以資源庫為數(shù)據(jù)源，實現(xiàn)網(wǎng)格運行。散布在網(wǎng)格中各個區(qū)域的各種物流企業(yè)基礎(chǔ)設(shè)施、業(yè)務(wù)流信息、客戶信息、訂單等信息構(gòu)成了一個整體，網(wǎng)格中各種資源作為元素，元素間的交流形成了網(wǎng)格互動，在互動過程中，各資源存在不同的系統(tǒng)平臺、軟硬件體系與不同計算機語言問題，統(tǒng)籌各空閑資源及跨平臺共享這些資源即網(wǎng)格技術(shù)的作用，運用網(wǎng)格技術(shù)將分布在不同區(qū)域的計算機資源整合使用，解決大型問題就是網(wǎng)格計算。

2.物流網(wǎng)格體系結(jié)構(gòu)

將網(wǎng)格視為一種網(wǎng)絡(luò)體系，可以將其體系結(jié)構(gòu)劃分為類似TCP/IP形式的多層次架構(gòu)，具體可以劃分為頂層企業(yè)應(yīng)用層、網(wǎng)格核心層、封裝層、底層基礎(chǔ)資源層。

企業(yè)應(yīng)用層：企業(yè)應(yīng)用層即支持企業(yè)用戶的應(yīng)用程序，以及支持該些應(yīng)用直接數(shù)據(jù)傳輸?shù)耐ㄐ艆f(xié)議的集合。在TCP/IP應(yīng)用層中有多種協(xié)議如HTTP/FTP/SMTP等多種應(yīng)用層協(xié)議，這些協(xié)議直接給客戶應(yīng)用程序提供服務(wù)。在這個層次是使用網(wǎng)格的多個企業(yè)用戶，以及企業(yè)信息系統(tǒng)所構(gòu)成的資源共享應(yīng)用層。呈現(xiàn)給企業(yè)的是一個集成化多功能終端，不用考慮數(shù)據(jù)的來源及格式，可以訪問大量物流信息，使用開放的物流資源。

網(wǎng)格核心層：核心層由大量網(wǎng)格基礎(chǔ)協(xié)議、技術(shù)規(guī)范及資源調(diào)度系統(tǒng)等構(gòu)成，是物流虛擬化資源動態(tài)調(diào)度的核心。為應(yīng)用層提供了統(tǒng)一的語言及編程接口，并且為企業(yè)應(yīng)用提供一些系統(tǒng)、服務(wù)開發(fā)工具、集成平臺、可視化的支持工具以及一些優(yōu)化指導(dǎo)插件等，使用這些工具有利于企業(yè)做進一步開發(fā)、改造原有系統(tǒng)，以更好地使用和支持網(wǎng)格服務(wù)。

資源封裝層：封裝就是把多個零件進行組合，成為一個整體與外界其他部件進行連接的獨立體，也可以對多個獨立體進行封裝組成一個更大的個體。資源封裝層通過網(wǎng)格技術(shù)可以屏蔽數(shù)據(jù)的異質(zhì)屬性，將不同數(shù)據(jù)封裝成為可以共享的數(shù)據(jù)類型。這樣便于資源管理與監(jiān)控，促進分布式資源的調(diào)度與優(yōu)化。

底層資源層：資源層就是存儲企業(yè)各類業(yè)務(wù)數(shù)據(jù)、設(shè)備、人員、產(chǎn)品等的基礎(chǔ)數(shù)據(jù)庫，是支持網(wǎng)格技術(shù)實現(xiàn)最基本的數(shù)據(jù)集合。

三、挖掘模型的構(gòu)建

物流網(wǎng)格系統(tǒng)可以分為多個域，域可以是一個企業(yè)，或者一個園區(qū)，總之在一個單位域內(nèi)物流活動頻繁，物流資源間互動較多，可以將物流域定義為K(GRID)={m1,m2,…,mn}，其中m表示單個資源。通過物流網(wǎng)格系統(tǒng)定期檢測物流域中資源活動，將活動記錄到數(shù)據(jù)庫中，使用數(shù)據(jù)挖掘技術(shù)可以對活動記錄數(shù)據(jù)進行分析。令H為物流監(jiān)控指標(biāo)在物流域L中的支持度，K(GRID)={ID，T，userID，userNM，}，，表征指標(biāo)對物流網(wǎng)格系統(tǒng)的影響程度，再令表示支持度的最小值，，分別為整合項集與頻繁項集，表示監(jiān)控指標(biāo)的頻數(shù)。用DB表示物流網(wǎng)格數(shù)據(jù)庫，初始為空集，為整合項集與頻繁項集。以下進行模型構(gòu)建，分為三步：數(shù)據(jù)整理、關(guān)聯(lián)分析與資源整合。

1.步驟一：定期資源整理

輸入：J(GRID)

輸出：經(jīng)過整理后的J和L BEGIN

ELSE{對監(jiān)控指標(biāo)集合中S和R進行更新使得S←S+X. S；R←R+X.R；}以整合集R中對應(yīng)的替換頻繁集中的記錄；

CLEAR K;CLEAR KR;}

END

步驟一通過智能代理在周期為定時對網(wǎng)格系統(tǒng)相應(yīng)的各個管理域內(nèi)的資源進行整理，作為進一步數(shù)據(jù)挖掘的基礎(chǔ)。

2.步驟二：物流資源關(guān)聯(lián)分析

輸入：由步驟一整理得到的整合項集與頻繁項集；

輸出：物流監(jiān)控指標(biāo)關(guān)聯(lián)集

BEGIN

END

物流活動頻繁項集與整合項集由步驟一整理獲得之后進而進入步驟二進行數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則分析，通過兩階段求解，先獲得集合中高頻項目組，即兩個項資源同時出現(xiàn)的頻率相較其他資源更高；第二步進行關(guān)聯(lián)規(guī)則產(chǎn)生，先計算最小信賴度，如果說某一組規(guī)則能夠滿足最小信賴度的門檻，則該條規(guī)則符合關(guān)聯(lián)規(guī)則要求。經(jīng)過步驟二操作我們可以獲得網(wǎng)格系統(tǒng)中管理域內(nèi)的某些關(guān)聯(lián)規(guī)則。

網(wǎng)格大環(huán)境下物流管理域內(nèi)和域外資源均存在交互，步驟二為域內(nèi)資源間的關(guān)聯(lián)規(guī)則，以下我們將域間資源整合，進行域間整合算法開發(fā)，獲取跨企業(yè)的信息合并與挖掘，實現(xiàn)企業(yè)間信息共享與數(shù)據(jù)挖掘，獲取企業(yè)間業(yè)務(wù)的關(guān)聯(lián)規(guī)則。

3.步驟三：虛擬物流資源整合

輸入：多個物流資源管理域集合M={m1,m2,…,mn}

輸出：資源集合的整合項集R1及頻繁項集L1

BEGIN

{R1←0；L1←0；//首先對整合項集R1及頻繁項集L1均進行初始化為空集；DO//更新整合項集 R1及頻繁項集L1

ELSE{對整合項集R1進行更新使得S←S+X.S；h←h+X.h；}THEN用R1中對應(yīng)的記錄更新L1中記錄；

END

步驟三實現(xiàn)跨平臺的系統(tǒng)信息共享，網(wǎng)格技術(shù)的意義就是實現(xiàn)跨平臺無縫對接，在用戶不需要開發(fā)額外的接口情況下實現(xiàn)異構(gòu)系統(tǒng)的互相訪問。企業(yè)也可以使用物流網(wǎng)格系統(tǒng)提供的統(tǒng)一的接口進行企業(yè)的系統(tǒng)進行開發(fā)，以更好地使用網(wǎng)格服務(wù)。

由以上三步走，我們構(gòu)建了一個數(shù)據(jù)挖掘的過程模型，與傳統(tǒng)的關(guān)聯(lián)規(guī)則模型有相似之處，也存在區(qū)別。本文構(gòu)造的過程模型沿用了關(guān)聯(lián)規(guī)則的一般處理方法，但是由于數(shù)據(jù)分布方式與傳統(tǒng)的集中式數(shù)據(jù)存在不同，對于分布式數(shù)據(jù)的處理需要經(jīng)過單獨處理，并進行數(shù)據(jù)整合，本文模型與一般數(shù)據(jù)挖掘中過程模型相比，增加了跨平臺的數(shù)據(jù)整合步驟，即最后一步，由此得到的結(jié)果是一種整合各個物流資源管理域的，帶有不同性質(zhì)的數(shù)據(jù)的一個整合效果，而不是單獨資源域內(nèi)的同質(zhì)數(shù)據(jù)，更具有參考性。

四、實現(xiàn)技術(shù)

對于上述基于物流網(wǎng)格技術(shù)的挖掘模型，經(jīng)過三個步驟獲取了跨平臺的整合數(shù)據(jù)集合，在本文第2部分給出了物流網(wǎng)格體系結(jié)構(gòu)的四個層次，數(shù)據(jù)挖掘模型貫穿各個層次，模型的實現(xiàn)技術(shù)可以通過ASP.NET或者JSP/Servlet和Agent技術(shù)進行實現(xiàn)，以下基于ASP.NET及Agent技術(shù)構(gòu)建模型實現(xiàn)技術(shù)框架。

基于網(wǎng)格技術(shù)的物流資源挖掘技術(shù)實現(xiàn)分為兩個層次：應(yīng)用層與網(wǎng)格服務(wù)層。應(yīng)用層類似與網(wǎng)格技術(shù)體系結(jié)構(gòu)中的企業(yè)應(yīng)用層，主要實現(xiàn)企業(yè)間工作流的交互、業(yè)務(wù)邏輯處理、事件并發(fā)控制及訪問權(quán)限的設(shè)置，為應(yīng)用終端服務(wù)。終端通過ASP.NET程序規(guī)范實現(xiàn)，運用ASP.NET頁面呈現(xiàn)網(wǎng)格物流資源整合情況，以IIS服務(wù)器連通企業(yè)間信息系統(tǒng)。網(wǎng)格服務(wù)層是數(shù)據(jù)層與通用接口層的匯總，包含了數(shù)據(jù)庫如SQLSERVER等基礎(chǔ)數(shù)據(jù)集，各類網(wǎng)絡(luò)服務(wù)實例及一些通用標(biāo)準(zhǔn)規(guī)范、組件容器等。通過該層可以實現(xiàn)統(tǒng)一接口處理，企業(yè)信息系統(tǒng)可以通過統(tǒng)一接口接入網(wǎng)格信息平臺，與其他異構(gòu)企業(yè)系統(tǒng)連接，獲取相應(yīng)物流信息。

五、結(jié)語

網(wǎng)格技術(shù)的發(fā)展給異構(gòu)系統(tǒng)間信息共享帶來了極大的便利，對于信息共享平臺的建設(shè)奠定基礎(chǔ)。物流企業(yè)存在發(fā)展不均衡，企業(yè)間的信息化水平有較大的不同，一般企業(yè)又已信息化或半信息化，多數(shù)物流企業(yè)擁有自己的門戶網(wǎng)站，不少企業(yè)使用網(wǎng)上交易，在線上完成交易，積累了大量業(yè)務(wù)數(shù)據(jù)，對物流企業(yè)數(shù)據(jù)收集、整理、分析，跨企業(yè)間信息共享具有一定理論與實踐意義，基于網(wǎng)格技術(shù)，對線上虛擬物流資源，即物流業(yè)務(wù)數(shù)據(jù)進行挖掘，構(gòu)建一個合理的挖掘模型可以促進數(shù)據(jù)分析結(jié)果的有效性。本文分三步走構(gòu)造了一個數(shù)據(jù)挖掘模型，可以獲得企業(yè)內(nèi)及企業(yè)間的資源關(guān)聯(lián)規(guī)則，了解企業(yè)業(yè)務(wù)經(jīng)營規(guī)律，為企業(yè)發(fā)展出謀劃策。

[1]趙輝，王黎明．一個基于網(wǎng)格服務(wù)的分布式關(guān)聯(lián)規(guī)則挖掘算法[J]．小型微型計算機系統(tǒng),2006,27(8):1543-1548．

[2]孫紅梅,胡明．基于網(wǎng)格的分布式數(shù)據(jù)挖掘模型研究[J]．微處理機,2008,(6):147-152．

[3]龍運軍,姜大立．基于網(wǎng)格技術(shù)的虛擬物流資源調(diào)配研究[J]．物流技術(shù),2007,26(2):94-96．

[4]張燕．網(wǎng)格環(huán)境中數(shù)據(jù)挖掘執(zhí)行過程模型的研究[D]．北京交通大學(xué),2011．

[5]李雅莉．基于數(shù)據(jù)挖掘的銷售預(yù)測研究[J]．信息化縱橫,2009,(8)．

[6]劉仁桂．?dāng)?shù)據(jù)挖掘在銷售預(yù)測中的應(yīng)用研究[D]．浙江大學(xué),2006．

[7]裴英梅．基于數(shù)據(jù)挖掘技術(shù)的現(xiàn)代物流決策研究[J]．物流技術(shù), 2008,27(7):47-49．