數據挖掘及關聯分析在電子商務中的應用研究

[摘要] 本文分析了數據挖掘應用于電子商務領域的重要意義，闡述了電子商務環境中數據挖掘的特點、數據挖掘的流程，重點研究了關聯分析在電子商務數據挖掘中的應用。

[關鍵詞] 數據挖掘 電子商務 關聯分析

一、數據挖掘應用于電子商務領域的意義

隨著互聯網的普及和電子商務業務的發展，電子商務網站積累了大量的甚至是G、T規模的客戶交易數據。這些龐大數據量和復雜的站點結構，卻往往使客戶手足無措，無法順利找到自己需要的商品或信息。雖然Web站點能夠提供各種方式的高速查詢，但是客戶往往很難用查詢條件準確地表達出自己的真實需求。即使表達出來了，也經常出現查不出任何有價值的條目的尷尬情況。這是因為商品的各種屬性是商家按自己的認識設定的，而客戶和商家在商品屬性的認識上總是存在著差異。如何充分利用這些數據，將這些大量繁雜的數據轉換成有用的信息和知識，從而更好地提高網站的服務質量和創造更多潛在的利潤空間，是電子商務迫切需要解決的問題。

數據挖掘技術是解決前述Web站點問題的一把利器。數據挖掘是從大規模的數據中抽取非平凡的、隱含的、事先未知的、有潛在使用價值的信息的技術，是屬于發現型的技術。它為解決此類各種應用問題提供了強有力的計算支持。借助數據挖掘技術對電子商務交易數據進行深入的分析，從而為電子商務正確的決策提供強有力的支持；可以從顧客購物的歷史數據中發現商品間存在的關聯模式、序列模式；從客戶的個人信息、購物歷史數據中發現客戶類別、潛在客戶群。同時也有助于客戶更好的了解商品，為其提供便利的交易方式和廣泛的選擇等等。

二、電子商務環境中數據挖掘的特點

1.面向電子商務挖掘的任務更多地表現在客戶關系管理方面

電子商務借助Internet讓企業和客戶之間的交流變得非常便捷、頻繁。因此，企業更多的要考慮如何利用這些頻繁的交流，敏捷地把握客戶的需求動態，從而改進企業與客戶交流的方式，更新交流的內容，提供個性化的服務等。

2.面向電子商務的數據挖掘主要是分布式數據挖掘

電子商務系統自身是一個信息化非常完全的系統，其積累的數據一般存儲在電子商務系統的數據庫中。而這些數據庫一般是分布式的，這就決定用戶從網絡上獲取這些數據也必然要采用分布式數據挖掘方式。

3.面向電子商務的數據挖掘通常通過對電子商務系統的改進來提高企業競爭力

比如給客戶推出個性化頁面把用戶最感興趣的信息放在首頁，以便吸引更多客戶。通過分析客戶的訪問規律，確定客戶消費的生命周期，針對不同的產品制定相應的營銷策略，從而進一步優化網站的組織結構和服務方式，提高電子商務系統的服務效率。

三、電子商務環境中數據挖掘的流程

電子商務中的數據挖掘先是通過 Web 站點采集數據，然后做必要的數據清理工作，接著在“干凈數據”上進行數據挖掘，最后把獲得的知識投入應用。

1.數據源選取

該任務負責從可用的數據源中抽取分析數據，導入相同的數據集作為所有分析任務的分析源。對電子商務進行數據挖掘時，所需要的數據主要來自于兩個方面:一方面來源于客戶的登記信息資料，包括客戶的背景信息和客戶以往的交易數據，另一部分是存于服務器的來自瀏覽者的點擊流，這部分數據主要用于考察客戶的行為表現。

2.數據的預處理

數據預處理是通過字段過濾、字段派生、空值處理、數據離散化、數據抽樣記錄篩選、記錄匯總、記錄附加、記錄合并和記錄排序等方法對數據進行清洗，解決數據中的缺值、冗余、數據值的不一致等問題。數據預處理的一個主要任務就是要將用戶訪問網站留下的原始日志整理成事務數據庫，以供數據挖掘階段使用。因為電子商務數據挖掘的數據比較復雜，所以這是電子商務數據挖掘最關鍵的階段。

3.挖掘模型的構建和數據挖掘

將數據轉化成一個真正的適合挖掘算法的分析模型是數據挖掘成功的關鍵。模型的建立與研究的電子商務業務有關。例如研究目標是分析客戶群對某種商品的興趣度的反應，那么所建模型的目標則要反映出能夠影響客戶群中各個年齡段對該商品的反應的各種相關因素。模型建立后，還需要從模型的準確性、可理解性和性能方面進行綜合考察。在進行實際的挖掘操作時要選擇合適的算法進行挖掘，以便從海量的數據中得出有效的、新穎的、潛在的、有用的以及最終可以理解的信息和知識。電子商務數據挖掘常用關聯規則、序列模式、分類和聚類等技術。

4.結果分析和使用

當數據挖掘出結果后，要對挖掘結果進行解釋并且評估。面向電子商務的數據挖掘的結果是否適合，取決于所要解決的問題。所以僅僅考慮某種模式的精確度是沒有用的。最重要的是，使用模式模擬實際的行為的適用性。值得注意的是，由于數據挖掘所找到的模式可能只是某一時間內的較短暫的規律，因此即使選用了各種諸如數學的或其他的客觀性的評判方法，它也只是一種估測。真正的檢測只能在實際的電子商務應用中進行。用戶對挖掘結果進行評估，如果滿意則挖掘過程結束。否則，按挖掘要求重新進行挖掘。經過檢驗證實所挖掘出的模式有效，就可以應用基于所發現模式挖掘得到的知識進行管理決策以提高企業的競爭力了。

四、關聯分析在電子商務數據挖掘中的應用

1.關聯規則

關聯分析是尋找在同一個事件中出現的不同項的相關性，比如在一次購買活動中所買不同商品的相關性。關聯規則挖掘主要考慮支持度和置信度兩個閾值。設X是項集，T是數據庫DB中的任意一個記錄。X的支持度是指支持X的記錄數與全體記錄數的比，Support(X)=│{T│T#61642;X，T∈DB}│/│DB│。蘊涵關系X==gt;Y在數據庫DB中的置信度是指同時支持X和Y的記錄數與支持X的記錄數之比，即:Confidence(X==gt;Y)=│{T│T#61642;X#61642;Y，T∈DB}│/│{T│T#61642;X，T∈DB}│。支持度可理解為在數據庫DB中隨機抽取一個記錄，該記錄同時支持X和Y的概率。置信度可理解為在支持X的記錄全體中隨機抽取一個記錄，該記錄支持Y的概率。具有高置信度和強支持度的規則稱為“強規則”，關聯規則發現任務的本質就是要在數據庫中發現強關聯規則。

利用這些關聯規則可以了解客戶的行為，這對于改進電子商務活動的決策很有幫助。例如，可以幫助改進商品的擺放（把顧客經常同時買的商品擺放在一起），幫助規劃市場（互相搭配進貨）等等。

2.發現關聯規則的操作步驟

關聯規則的挖掘問題就是在電子商務數據庫DB中找到具有用戶給定的最小支持度和最小置信度的關聯規則。電子商務數據庫發現關聯規則挖掘可以分以下兩步完成:

(1)找到電子商務數據庫DB中所有大于等于用戶指定最小支持度的項目集，具有最小支持度的項目集稱為頻繁項集;

(2)利用頻繁項集生成所期望的關聯規則，即這些規則必須滿足最小支持度min_supp和最小置信度min_conf。事實上，第一步的任務是迅速高效地找出電子商務數據庫DB中全部頻繁項集，數據挖掘所面臨的最大的挑戰是計算效率問題，解決這一問題的途徑是產生高效的數據挖掘算法。在數據挖掘研究領域，人們提出了多種關聯規則的挖掘算法，如 APRIORI、STEM、AIS、DHP 等算法。在電子商務數據庫發現關聯規則的發現算法中，最著名的仍然是R.Agrawal本人在他們自己的AIS算法基礎上于1994年提出的Apriori算法。Apriori算法的基本思想是:利用“頻繁項集的所有非空子集都必須也是頻繁的”這一定理對事務數據庫進行多遍掃描。

在電子商務中，把相關的商品的鏈接放在一起是一個典型的購物籃分析，可以利用Apriori算法找出相關規則，看哪些商品經常被同時購買，從而把這些商品的鏈接放在一塊，以利于銷售。例如“在購買筆記本電腦和移動硬盤的客戶中，有 90%的人同時也購買了打印機”（筆記本電腦＋移動硬盤→打印機）。

3.關聯分析的應用

關聯分析的目的就是為了挖掘出隱藏在數據間的關聯規則。在電子商務中關聯分析也就是找到客戶對網站上各種文件之間訪問的相互聯系，找出客戶購買行為的各種關聯。進行web上的數據挖掘，構建關聯模型，可以更好地組織站點，減少用戶過濾信息的負擔；可以根據客戶當前的購買行為給客戶提供推薦。在電子商務數據挖掘中，關聯分析主要用于以下幾個方面:

(1)發現訪問頁面之間的關聯規則

挖掘群體用戶訪問頁面之間的關聯關系，從而改進電子商務網站的設計。主要是從web日志文件中進行挖掘，通過對web日志預處理，將原始日志整理成事務數據庫，然后可以利用關聯分析(比如APriori算法)從事務數據庫中挖掘出頻繁訪問項集。web日志不是一個靜態文件，更新的數據不斷的加入到日志里面，而且一般網站的用戶訪問序列數據庫包含的數據量都很大，如果每次都先更新數據庫，再重新挖掘，無疑是低效的。因此，對日志進行挖掘，要考慮web日志數據的特點，對算法進行一些改進，盡力降低搜索空間。

(2)找出客戶所支持的關聯規則，向客戶提出可能會感興趣的商品推薦

發現什么商品組合客戶多半會一起購買，從而可以向客戶提出推薦或者把相關的商品的鏈接放在一起。其中把相關的商品的鏈接放在一起是一個典型的購物籃分析，可以用dori算法找出關聯規則，看哪些商品經常同時被購買，從而把這些商品的鏈接放在一起，以促進銷售。

(3)向客戶提出推薦的算法

利用APriori算法從交易數據庫中找出所有滿足最小支持度和最小置信度的關聯規則。當客戶鏈接到電子商務網站后，就對這個客戶進行在線分析，如找出訪問同一頁面或有關聯頁面的時間間隔等，從而幫助商家了解客戶興趣，確定產品所處的生命周期，進而采取不同的營銷策略，促進電子商務企業業務的拓展。

參考文獻:

[1]耿曉中張軍:WEB挖掘及其在電子商務中的應用.長春工程學院學報(自然科學版)2007，8(4)

[2]鐵治欣陳奇俞瑞釗:關聯規則采掘綜述[J].計算機應用研究，2000，1

[3]WeiyangLin，SergioA.Alvarez，CarolinaRuiz，Effieient Adaptive-SupportAssociation rule mining for recommender systems date mining and knowledge discovery 2002.6(1)-3-105