Ｗｅｂ數據在電子商務技術中的使用分析

【摘要】在信息爆炸的電子商務時代，利用Web數據挖掘可以迅速從海量數據中獲取有利于商業運作和提高競爭力的信息。文章在介紹Web數據挖掘概念和常用技術的基礎上，闡述了其在零售業電子商務領域的應用。

【關鍵詞】電子商務 Web數據挖掘 零售業 關聯 聚類 分類

Web數據挖掘是數據挖掘技術在Web上的應用，它利用數據挖掘技術從與WWW相關的資源和行為中抽取感興趣的、有用的模式和隱含信息，涉及Web技術、數據挖掘、計算機語言學等多個領域，是一項綜合技術。對于零售企業，通過Web數據挖掘，不僅為企業做出正確的商業決策提供強有力的工具，也為商家更加深入地了解客戶需求信息和購物行為特征提供了可能性，從而開展有針對性的電子商務。

一、Web數據挖掘

Web數據挖掘是針對包括Web頁面內容、站點拓撲結構、用戶訪問信息、用戶注冊信息及電子商務交易信息等在內的各種Web數據，在一定基礎上應用數據挖掘方法以發現有用的隱含知識的過程。Web挖掘可分為三類：Web內容挖掘（Web Content Mining）、Web使用挖掘（Web Usage Mining）和Web結構挖掘（Web Structure Mining）。

Web內容挖掘。Web內容挖掘是指從Web頁面內容及其描述信息中獲取有價值的知識或模式的過程，它又可分為Web文本挖掘和Web多媒體挖掘兩種數據挖掘方式。Web文本挖掘的數據對象既可以是結構化的，也可以是非結構化的、半結構化的。Web內容挖掘可以完成概括某些特定文本內容、對文本集合進行分類或聚類，以及進行Web文檔趨勢預測等工作。多媒體信息挖掘的挖掘對象則是Web上的音頻、視頻數據和圖像等。

Web使用挖掘。Web使用挖掘目的是從用戶訪問Web時在服務器上留下的訪問記錄中抽取感興趣的知識。挖掘對象主要是服務器上的日志信息，包括服務器日志、代理服務器日志和客戶端的Cookie等。通過分析關于用戶訪問和交互的信息，發現用戶感興趣的模式，更好地理解用戶的行為，從而改進站點的結構，為用戶提供個性化的服務。

Web結構挖掘。Web結構挖掘是從Web的組織結構和鏈接關系中推導知識，Web結構包括不同網頁之間的超鏈接結構和一個網頁內部的樹形結構，以及文檔URL中的目錄路徑結構等。通過文檔之間的超鏈接，可以挖掘出文檔間關聯關系所代表的信息，從而幫助發現用戶相關主題的權威頁面和進行頁面等級劃分；通過分析Web網頁內部樹形結構，可以發現與給定頁面集合相關的其它頁面。

二、使用的Web數據挖掘技術

首先，關聯規則。關聯規則主要關注事務內在關系。關聯規則挖掘就是挖掘出用戶在一個訪問期間（session）從服務器上訪問的頁面／文件之間的關系，找出在某次服務器會話中最經常一起出現的相關頁面。挖掘發現的關聯規則往往是指支持度超過預設閥值的一組訪問網頁，這些網頁之間可能并不存在直接的引用（Reference）關系。

關聯分析是尋找在同一個事件中出現的不同項的相關性，比如在一次購買活動中所買不同商品的相關性。序列模式與此類似，它尋找的是事件之間時間上的相關性，如對股票漲跌的分析。以市場貨籃這個典型例子分析關聯規則。“在購買面包和黃油的顧客中，有90%的人同時也買了牛奶“(面包+黃油+牛奶)。用于規則發現的對象主要是事務型數據庫，分析的是售貨數據，也稱貨籃數據。以下給出的數學模型用來描述關聯規則的發現問題：增長、STEM、AIS、DHP等算法分類發現-Y在事務集D上的支持度support（X∪Y）＝s。可信度為c，如果c=support（X∪Y）*100/support（X），則說明D中包含X的事務中有c%的事務同時也包含了Y。可信度說明了蘊涵的強度，而支持度說明了規則中所出現模式的頻率。具有高可信度和強支持度的規則稱為“強規則”（strong rules）。關聯規則發現任務的本質是要在數據庫中發現強關聯規則。利用這些關聯規則可以了解客戶的行為，這對于改進零售業等商業活動的決策很有幫助。

其次，序列模式。序列模式分析描述的問題是：在給定交易序列數據庫中，每個序列是按照交易時間排列的一組交易集，挖掘序列函數作用在這個交易序列數據庫上，返回該數據庫中出現的高頻序列。在進行序列模式分析時，同樣也需要有用戶輸入最小值信度c和最小支持度s。序列模式主要關注事務之間的關系。序列模式數據挖掘就是挖掘出交易集之間有時間序列關系的模式，在訪問日志中發現所有滿足用戶規定的最小支持度s的大序列模式，尋找用戶普遍訪問的規律(例如通過序列模式分析，能發現數據庫中形如“在某一段時間內，顧客購買商品A，接著購買商品B，而后購買商品C，即序列A)，預測用戶的訪問趨向，用來直接指導經營活動，給客戶提供最直接、最周到的服務。例如當訪問者瀏覽到某頁面時，檢查他的瀏覽所符合的序列模式，井在顯眼的位置提示“訪問該頁面的人通常接著訪問”的若干頁面。

再次，分類聚類。分類技術是把數據項映射到預先定義好的類中，即對新添加到數據庫里的數據進行分類。分類分析的輸入集是一組記錄集合和幾種標記，按標記分類記錄，然后檢查這些標定的記錄，描述出這些記錄的特征。分類規則可以挖掘用戶群的訪問特征（某些共同的特性）。分類要解決的問題是為一個事件或對象歸類。設有一個數據庫和一組具有不同特征的類別（標記），該數據庫中的每一個記錄都賦予一個類別的標記，這樣的數據庫稱為示例數據庫或訓練集。分類分析就是通過分析示例數據庫中的數據，為每個類別做出準確的描述或建立分析模型或挖掘出分類規則，然后用這個分類規則對其它數據庫中的記錄進行分類。在電子商務中分類分析可以預測客戶響應，如哪些客戶最傾向于對直接郵件推銷做出回應，又有哪些客戶可能會換他的手機服務提供商，或進行商店定位，如按成功的商店、一般商店和失敗商店排列得出這3類商店各自具有的屬性。然后選擇包含位置屬性的地理數據庫，分析每一預期的商店位置屬性，以確定預期的商店定位屬于哪一類。只有那些符合成功一類要求的商店位置才作為商店定位的候選。用于分類分析的技術有很多，典型方法有統計方法的貝葉斯分類、機器學習的判定樹歸納分類、神經網絡的后向傳播分類等。最近數據挖掘技術也將關聯規則用于分類問題。另外還有一些其它分類方法，包括k－最臨近分類、MBR、遺傳算法、粗糙集和模糊集方法。目前，尚未發現有一種方法對所有數據都優于其它方法。實驗研究表明，許多算法的準確性非常相似，其差別是統計不明顯，而訓練時間可能顯著不同。一般地，大部分神經網絡和涉及樣條的統計分類與大部分判定樹方法相比，趨向于計算量大。

聚類技術不同于分類，它的輸入集是未標記的記錄。聚類主要是把所有用戶劃分為若干組，具有相似特性（或瀏覽模式）的用戶分在一組，以便制定特殊市場戰略，如自動給一個特定的顧客聚類發送銷售郵件，為一個顧客聚類動態地改變一個特殊的站點等。聚類在電子商務上的典型應用是幫助市場分析人員從客戶基本庫中發現不同的客戶群，并且用購買模式來刻畫不同客戶群的特征。此外聚類分析可以作為其它算法（如分類）的預處理步驟，這些算法再在生成的簇上進行處理。聚類技術主要有兩類：統計方法和神經網絡方法。自組織神經網絡方法和K-均值是比較常用的聚集算法。

最后，路徑分析。使用路徑分析技術進行Web數據挖掘，主要是從由網站結構構成的圖中確定最頻繁的路徑訪問模式，從而改進頁面及相應調整站點的結構。另外，還可以從相似訪問子圖的客戶中進行分析和聚類。

三、Web數據在電子商務中的實踐

在零售業電子商務中，Web數據挖掘主要用于商品的市場定位和消費分析，以輔助制定市場策略，還可以用來分析購物模式，預測銷售行情等。通常表現在以下幾點應用：

首先，聚類客戶，隨著“以客戶為中心”的經營理念不斷深入人心，分析客戶、了解客戶并引導客戶的需求已成為企業經營的重要課題，在電子商務中客戶聚類足一個重要的方面。通過對電子商務系統收集的交易數據進行聚類分析，對具有相似瀏覽行為或客戶指標（如自然屬性、收入貢獻、交易額、價值度等）的客戶進行分組，找出分組中客戶的共同特征，從而確定不同類型客戶的行為模式，以便根據市場細分采取相應的營銷措施，促使企業利潤的最大化。例如有一些客戶經常瀏覽有關“家具”、“家用電器”的頁面，經過分析這些客戶被聚類分為一組，他們可能是將要結婚的客戶，商家可以針對該群體的需求，為他們發送相應產品目錄和廣告、

其次，提供個性化服務。針對不同的客戶，讓其感到整個網站完全為他自己定制的個性化網站，是Web網站成功的秘訣。通過Web數據挖掘，分析出客戶頻繁訪問路徑和興趣頁面集合，掌握其瀏覽興趣和基本特征，及時調整商品銷售信息，迎合客戶的需要，從而向客戶提供個性化服務，提高客戶的滿意度。個性化服務的主要表現形式有：推薦的超鏈接列表，推薦的商品列表，推薦的廣告列表，經裁剪的文本或圖像列表等。

再次，挖掘潛在的客戶。對一個現代商家來說，如何快速發現更多潛在的客戶，提高對市場活動的響應力，從而提高市場占有率是至關重要的。通過web數據挖掘可以對潛在客戶信息進行分類和聚類分析，再由模式分析預測哪些可能成為新客戶，以幫助市場銷售人員找到正確的營銷對象，Web數據挖掘還可以揭示客戶的行為習慣，發現在不同情況下有相似行為的新客戶，幫助商家識別出潛在的客戶群，并提高對市場活動的響應力，采用積極的營銷策略，不斷挖掘新客戶，從而提高市場占有率。

最后，改進站點的設計。利用Web數據挖掘，可以使網站管理人員更清楚地了解和掌握站點的運行狀況，更合理地設計站點的拓撲結構和網頁的鏈接，有利于訪問者快速找到自己所需要的信息和商品，讓客戶能夠容易地訪問到想訪問的頁面，節約客戶的訪問時間，給客戶留下好的印象，增加下次訪問的機率。

Web數據挖掘是在傳統的數據挖掘的基礎上發展起來的一門綜合技術，它主要致力于在網絡海量的異構的信息資源中尋找蘊涵的有價值的知識。而近年來，隨著電子商務的迅速發展，Web數據挖掘有了更大的用武之地。它能夠幫助零售業商家獲得和保留客戶，延長客戶駐留時間，調整市場策略，進行正確的決策，促進電子商務的發展。隨著基于Web的數據挖掘算法的不斷發展和成熟，Web數據挖掘一定會有更加廣闊的應用前景。

參考文獻：

[1]《數據挖掘概念與技術》．（加）Jiawei Han，Micheline Kamber，著．范明，孟小峰等，譯．機械工業出版社，2005．8．

[2]《構件面向CRM的數據挖掘應用》．（美）貝爾森，（美）史密斯，（美）西瑞林，著．賀奇等，譯．人民郵電出版社，2001.8．

[3]《數據挖掘原理》．David Hand，Heikki Mannila，Padhraic Smyth，著．張銀奎，廖麗，宋俊等，譯．機械工業出版社，2003．4．

[4]《Web數據挖掘：將客戶數據轉化為客戶價值》．（美）Gordon S.Linoff，Michael J.A.Berry，著．沈鈞毅，宋擒豹，燕彩蓉等，譯．電子工業出版社，2004．3．

（作者單位：吉林大學）