基于數(shù)據(jù)挖掘的物流信息監(jiān)控系統(tǒng)設計

王紅艷，李選芒

（陜西工業(yè)職業(yè)技術學院，陜西咸陽 712000）

隨著數(shù)據(jù)處理技術的迅速發(fā)展，數(shù)據(jù)處理在物流行業(yè)中的應用也日益廣泛[1]。近年來，網(wǎng)購的人數(shù)迅速增加，規(guī)模不斷擴大，物流信息的總量也呈現(xiàn)出幾何增長的趨勢。這些龐大的數(shù)據(jù)對傳統(tǒng)物流管理系統(tǒng)的正常運行造成了較大的壓力，同時，目前系統(tǒng)太局限，與相關用戶的信息交流不足、信息化程度不高，對獲取到的數(shù)據(jù)無法進行深入的分析，且數(shù)據(jù)利用率不足[2-4]。針對上述問題，該文在分析數(shù)據(jù)挖掘技術的基礎上，建立了一種基于數(shù)據(jù)挖掘的物流信息監(jiān)控系統(tǒng)。

該系統(tǒng)充分發(fā)揮數(shù)據(jù)挖掘技術的優(yōu)勢，利用樸素貝葉斯算法作為系統(tǒng)的引擎，對數(shù)據(jù)（倉）庫中的歷史數(shù)據(jù)進行深度挖掘分析，以此得到數(shù)據(jù)之間的可能隱含關系并進行事件發(fā)展預測。系統(tǒng)包含基本功能測試、物流信息監(jiān)控功能測試以及行為監(jiān)控功能測試。測試結果說明，該系統(tǒng)除了能夠較好地實現(xiàn)基本需求外，還可以通過建立的模型較為準確地預測企業(yè)相關數(shù)據(jù)未來發(fā)展的趨勢。通過與真實數(shù)據(jù)比較，其誤差在2%以內。該系統(tǒng)為充分利用歷史物流數(shù)據(jù)、輔助用戶進行判斷提供了一種可行的方案。

1 數(shù)據(jù)挖掘技術

1.1 基本概念

數(shù)據(jù)挖掘（Data Mining，DM）是一種新興的融合多門學科的數(shù)據(jù)處理方法，也可稱為數(shù)據(jù)庫中的知識發(fā)現(xiàn)（KDD）[5]。具體是指將大量隱藏、有價值、不被了解的知識（模型或規(guī)則）從數(shù)據(jù)庫中發(fā)掘出來的過程。與傳統(tǒng)數(shù)據(jù)分析的不同在于數(shù)據(jù)挖掘具有先前未知的特點，主要表現(xiàn)在挖掘出的知識是在沒有任何假設的條件下得到的，這在較大程度上避免了人為主觀因素對結果的影響[6]。

對于一個典型的數(shù)據(jù)挖掘系統(tǒng)，其主要包括用戶界面、模式評估、服務器、數(shù)據(jù)挖掘引擎、數(shù)據(jù)庫及知識庫等部分。系統(tǒng)結構如圖1 所示[7]。

圖1 典型數(shù)據(jù)挖掘系統(tǒng)結構

從整體上看，數(shù)據(jù)挖掘系統(tǒng)的工作流程可分為兩大部分：1）數(shù)據(jù)預處理。該部分通過服務器對存儲在數(shù)據(jù)庫、數(shù)據(jù)倉庫等信息存儲庫中的原始數(shù)據(jù)進行清洗、集成與過濾，以此得到可進行后續(xù)處理的數(shù)據(jù)[8]；2）數(shù)據(jù)挖掘[9]。該部分利用數(shù)據(jù)挖掘引擎以及知識庫中的專業(yè)領域知識對前面所得到的數(shù)據(jù)進行深度挖掘，從而得到相應的知識或模型等。

1.2 主要功能

數(shù)據(jù)挖掘可以實現(xiàn)多種功能，在實際使用中通常根據(jù)不同需求進行選擇，這些功能主要分為以下4個方面：

1）關聯(lián)規(guī)則分析[10-12]。實際上是指獲取到的大量數(shù)據(jù)通常存在某些相互依賴關系，但這些關系在原始數(shù)據(jù)中無法直觀地表現(xiàn)出來。關聯(lián)規(guī)則分析即利用相關數(shù)據(jù)挖掘算法，通過設置恰當?shù)闹眯哦扰c支持度，將數(shù)據(jù)之間的潛在相關關系表現(xiàn)出來。關聯(lián)規(guī)則的結果反映了各數(shù)據(jù)對應的事件在一定置信度與支持度條件下的依賴關系。在實際使用中，通常得到的依賴關系相對較多，不利于進一步分析。解決辦法是在數(shù)據(jù)發(fā)掘的過程中引入“興趣度”（具體代表的是使用者對所發(fā)現(xiàn)知識或規(guī)則的感興趣程度）的概念，從而提升結果的可用性。關聯(lián)規(guī)則分析是數(shù)據(jù)挖掘中研究最多，也是最深入的一個方向。

2）數(shù)據(jù)分類分析。其是指將獲取到的原始數(shù)據(jù)按照預先訓練數(shù)據(jù)建立起來的類模板，劃分成具有不同維度和特性的類別[13]。分類分析則是將數(shù)據(jù)庫分好的各個類別進行挖掘，得到用于描述該類的知識或模型。該模型可以用于表示現(xiàn)實中的一些預測或分類問題，例如判斷一篇報道屬于文藝類還是軍事類；判斷銀行卡客戶的風險等級等。

3）數(shù)據(jù)聚類分析。在人工智能領域稱為非監(jiān)督學習，是指在預先不清楚規(guī)則的條件下，利用相關算法將物理或抽象的信息數(shù)據(jù)自動劃分為若干類。同時，在聚類過程中需要保證每一個類別數(shù)據(jù)之間的差異性盡可能小，而不同類別數(shù)據(jù)之間的差異性盡可能大[14]，如圖2 所示。與分類分析不同的是，聚類分析的結果是基于獲取到的數(shù)據(jù)，且在處理時不依賴訓練數(shù)據(jù)集事先所建立的類模板，所得到的分類結果也無法預測。相比于分類分析，數(shù)據(jù)聚類算法的時間復雜度和空間復雜度均較大，目前聚類分析在生物學、市場營銷及圖書管理等領域已有較為廣泛的應用。

圖2 數(shù)據(jù)聚類分析原理

4）預測。其是指根據(jù)已得到的分析結果對未來某些數(shù)據(jù)或事件發(fā)展趨勢的判斷，即通過分類建立相應的知識或模型。利用該知識對數(shù)據(jù)庫所存儲的歷史信息進行分析，從而找到影響事件發(fā)展變化的預測值[15]。數(shù)據(jù)挖掘的預測功能能夠運用在推斷后續(xù)股票的走向、某一景區(qū)的假期旅游人數(shù)等。需要注意的是，預測只是一種對未來事物發(fā)展可能性的判斷，具有較大的不確定性。最終的真實結果只有當實際事件發(fā)生后，才會有確切的評價。

2 物流信息監(jiān)控系統(tǒng)設計

現(xiàn)代物流業(yè)與傳統(tǒng)運輸業(yè)的顯著區(qū)別在于一些新興技術的引入，如Barcode（條形碼）、EDI（電子數(shù)據(jù)交換）、VAN（增值網(wǎng)絡）等[16]。為了提高物流數(shù)據(jù)信息的共享率與使用率，該文將近年來研究火熱的數(shù)據(jù)挖掘技術引入到物流信息監(jiān)控系統(tǒng)設計中，并建立基于數(shù)據(jù)挖掘的物流信息監(jiān)控系統(tǒng)。

2.1 需求分析

相對于傳統(tǒng)運輸業(yè)，現(xiàn)代物流業(yè)需要解決的問題主要包括以下幾點：

1）盡可能縮短從訂貨到發(fā)貨的時間；

2）提高運輸信息的共享程度，降低運輸成本；

3）提高訂單處理的準確度；

4）使倉儲資源適量化；

5）根據(jù)歷史數(shù)據(jù)合理調整需求與供給，提高歷史數(shù)據(jù)的利用率；

6）與客戶之間的交互。

2.2 系統(tǒng)框架

針對上述需求，該文所設計的基于數(shù)據(jù)挖掘的物流信息監(jiān)控系統(tǒng)框架如圖3 所示。

圖3 物流信息監(jiān)控系統(tǒng)框架

所設計的物流信息監(jiān)控系統(tǒng)可以分為6個部分：

1）物流數(shù)據(jù)的采集。主要負責采集和傳輸貨物運輸過程中產(chǎn)生的各種有效信息，并儲存在數(shù)據(jù)庫中；

2）物流信息監(jiān)控平臺。該部分的功能是一方面對數(shù)據(jù)庫中的數(shù)據(jù)進行篩選和處理，使其能夠按照規(guī)定的格式存入數(shù)據(jù)倉庫。另一方面是根據(jù)數(shù)據(jù)挖掘處理后的數(shù)據(jù)，為系統(tǒng)管理人員提供最有效的信息或知識，使其作出更準確的決策；

3）數(shù)據(jù)挖掘。該部分首先利用數(shù)據(jù)挖掘算法對數(shù)據(jù)倉庫中的相關信息進行預處理，再利用算法從預處理結果中挖掘出更深層的知識或模型等，所用到的具體數(shù)據(jù)挖掘算法將在下一小節(jié)進行詳細介紹；

4）數(shù)據(jù)倉庫。負責存儲數(shù)據(jù)庫中經(jīng)過處理后的統(tǒng)一格式數(shù)據(jù)；

5）知識庫。主要包括數(shù)據(jù)倉庫的組成結構、隸屬函數(shù)等知識；

6）系統(tǒng)接口。主要為開發(fā)人員和專家提供訪問知識庫的接口，以便對其進行定義與維護。

2.3 算法選擇

常用于物流信息數(shù)據(jù)挖掘的算法有神經(jīng)網(wǎng)絡算法、遺傳算法、模糊集算法、貝葉斯算法、決策樹算法及近鄰算法等。下面將對該文所采用的貝葉斯算法進行簡單介紹與分析。

貝葉斯算法是對以貝葉斯定理為基礎的一類分類算法的總稱，通常分為樸素型、樹增強型及傳統(tǒng)型貝葉斯算法。其中，樸素貝葉斯算法是三者中最常見，也是最容易實現(xiàn)的一種，文中采用該算法作為設計物流信息監(jiān)控系統(tǒng)的數(shù)據(jù)挖掘算法。該挖掘算法的定義如下：

1）假設A={a1,a2,…,am}是一個具有m個不同特征屬性的原始數(shù)據(jù)集；C={c1,c2,…,cn}是具有n個不同類別的集合。

2）將已知分類的集合D作為訓練樣本集。令類別為c，特征屬性為a，然后分別計算c類別下a特征屬性的條件概率值，即：

3）假設A中的各個特征屬性是條件獨立的，則根據(jù)貝葉斯定理可知：

其中，分子可以等價為：

4）根據(jù)式（1），計算P(c1|A),P(c2|A),…,P(cn|A)。

5）找出P(ck|A)=max{P(c1|A),P(c2|A),…,P(cn|A)}，則A∈ck。

具體的算法流程如圖4 所示。

圖4 樸素貝葉斯算法流程

上述流程主要可分為4 個階段：挖掘準備、分類器訓練、分類器評價及實際應用。挖掘準備階段的主要作用是確定待挖掘對象的特征屬性，并通過人工方法對其進行劃分，這一步對后續(xù)數(shù)據(jù)的處理效果有著較大影響；分類器訓練階段是利用已知的訓練樣本數(shù)據(jù)對各類別下的各個特征屬性的條件概率進行計算；分類器評估階段計算每個類別屬性下認為其值最大的集合A對應的類別，并得到相應的分類器模型；實際應用是根據(jù)得到的模型對新傳入的數(shù)據(jù)進行分析。

3 系統(tǒng)測試

為了驗證基于數(shù)據(jù)挖掘的物流信息監(jiān)控系統(tǒng)的可行性與實用性，在完成對該系統(tǒng)的搭建后，與國內線上線下公司、物流企業(yè)進行合作，對該監(jiān)控系統(tǒng)所實現(xiàn)的各項功能進行測試。

首先是物流信息監(jiān)控系統(tǒng)的基本功能測試，主要目的在于測試各用戶（包括私人、電商公司、實體公司以及物流企業(yè)等）能否在系統(tǒng)中較好地完成用戶注冊、登錄、查看與修改賬戶信息及注銷賬戶等基本項。系統(tǒng)的該項測試結果如表1 所示。

表1 系統(tǒng)基本功能測試結果

由表1 可以看出，所設計的物流監(jiān)控系統(tǒng)的基本功能測試全部正常，為后續(xù)進一步測試其他系統(tǒng)功能奠定了較優(yōu)的基礎。

然后是系統(tǒng)物流信息的發(fā)布與查詢測試，該項測試的目的在于測試個人與企業(yè)能否順利完成，對原始物流數(shù)據(jù)的迅速發(fā)布及對系統(tǒng)內有權限信息的準確查詢。這兩者所發(fā)布與查詢的信息相同，為倉儲資源a、貨源b 及運輸資源c。測試結果如表2 所示。

表2 物流數(shù)據(jù)發(fā)布與查詢測試結果

由表2 可知，所設計的系統(tǒng)能夠將各類用戶發(fā)布的資源信息全部導入系統(tǒng)數(shù)據(jù)庫中，完成對資源的存儲與整合，方便后續(xù)對相關信息的查詢；物流數(shù)據(jù)查詢結果說明，用戶對于系統(tǒng)內有權限資源數(shù)據(jù)的查詢準確率能夠達到100%，充分說明該系統(tǒng)的物流信息查詢結果具有較高的可信任度。

最終是系統(tǒng)的行為監(jiān)控功能測試，包括系統(tǒng)對用戶操作的監(jiān)控、異常行為的反饋及數(shù)據(jù)挖掘模型的預測準確性3 項。其中，系統(tǒng)對用戶操作的監(jiān)控與異常行為反饋主要是測試系統(tǒng)能否對用戶的日常操作正確生成日志，以及在檢測到異常行為時能否向管理員及時地發(fā)送相關信息。測試結果如表3所示。

表3 系統(tǒng)監(jiān)控功能測試結果

為了進一步測試該文方法建立的數(shù)據(jù)挖掘模型的預測準確性，利用該系統(tǒng)對3 家企業(yè)數(shù)據(jù)庫中的6 月之前的歷史數(shù)據(jù)，例如物資采購量、市場資源量及市場價格等進行處理分析，得到相應的預測模型，來預測該企業(yè)在七月份的物資采購量，并與實際的數(shù)據(jù)相對比。對比試驗結果如表4 所示。

表4 挖掘模型試驗結果

由表3、表4的結果可以看出，該系統(tǒng)可以較優(yōu)地生成不同用戶操作日志，同時在試驗過程中未發(fā)現(xiàn)異常操作。由數(shù)據(jù)挖掘模型試驗結果可以看出，利用該系統(tǒng)得到的模型預測值與實際值吻合程度較高，誤差在2%以內。

4 結束語

該文通過介紹與分析數(shù)據(jù)挖掘技術的基本原理和主要功能，建立了一種基于數(shù)據(jù)挖掘技術的物流信息監(jiān)控系統(tǒng)。該系統(tǒng)選用數(shù)據(jù)挖掘算法中最常見、適用性強且最容易實現(xiàn)的樸素貝葉斯算法作為設計物流信息監(jiān)控系統(tǒng)的數(shù)據(jù)分析處理算法。通過系統(tǒng)的基本功能測試、物流信息監(jiān)控功能測試以及行為監(jiān)控功能測試，驗證了所設計系統(tǒng)的可行性與可靠性。