大數(shù)據(jù)環(huán)境下關聯(lián)規(guī)則挖掘的應用研究

摘 要：本文從大數(shù)據(jù)角度分析了現(xiàn)代數(shù)據(jù)的特點，概述了關聯(lián)規(guī)則的三種方法思想及優(yōu)缺點，并且列舉了其在幾個行業(yè)中的應用。

關鍵詞：大數(shù)據(jù)；關聯(lián)規(guī)則；應用

DOI：10.16640/j.cnki.37-1222/t.2017.18.134

關聯(lián)規(guī)則用于表示對象之間的關系和規(guī)律，而數(shù)據(jù)挖掘領域中最重要的研究內容也正是規(guī)則的提取。關聯(lián)規(guī)則挖掘吸引了諸多國內外專家學者的研究興趣，并取得了良好成果，如Apriori 算法和FP-Growth算法。經(jīng)過多年多為學者的研究，商業(yè)決策、醫(yī)療數(shù)據(jù)分析等各個領域都對關聯(lián)規(guī)則相關算法進行了驗證，并產(chǎn)生了良好的經(jīng)濟和社會價值。

1 大數(shù)據(jù)

隨著網(wǎng)絡和移動互聯(lián)的發(fā)展，企業(yè)所獲得的數(shù)據(jù)越來越多、結構也越來越復雜，傳統(tǒng)的數(shù)據(jù)挖掘技術已經(jīng)不能滿足需求，這就促使企業(yè)在收集數(shù)據(jù)之余，也開始尋求新方法來解決大量數(shù)據(jù)無法存儲和處理分析的問題。由此，“大數(shù)據(jù)”應運而生。

從“Data”到“BigData”，數(shù)據(jù)的數(shù)量和質量都有了本質的區(qū)別。在“數(shù)據(jù)時代”專家學者都是用聯(lián)機分析處理（OLAP）、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘等方式處理數(shù)據(jù)，而在“大數(shù)據(jù)時代”，數(shù)據(jù)已不僅僅是需要分析處理的內容，人們更看重的是使用更為高端專業(yè)的技術從大量繁雜的數(shù)據(jù)中，進行整理和分析，得出有意義的關聯(lián)信息，為社會經(jīng)濟生活中各個行業(yè)的預測、規(guī)劃和決策做出支持。

如何在大數(shù)據(jù)時代的繁雜數(shù)據(jù)中抽取出更有價值的關聯(lián)規(guī)則，對各個行業(yè)的發(fā)展決策起指導性作用就顯得尤為重要。

2 關聯(lián)規(guī)則

2.1 關聯(lián)規(guī)則定義

關聯(lián)規(guī)則是數(shù)據(jù)庫中不同數(shù)據(jù)項之間有意義和價值的聯(lián)系，可用A =>B 表示，其中 A 、B 均為非空項集。通過描述數(shù)據(jù)項之間預先未知的和被隱藏的潛在規(guī)則，找出滿足給定支持度（support）和置信度（confidence）閾值的多個數(shù)據(jù)項之間的依賴關系。例如，由R.Arawal等人首先提出的“啤酒與尿布”典型例子，就是：“80%的男士在為自己買啤酒的同時也會為孩子買尿布”。

2.2 Apriori算法

Apriori算法由R.Arawal提出，是最經(jīng)典的以概率為基礎的挖掘布爾關聯(lián)規(guī)則頻繁項集的算法。它使用逐層搜索的迭代方法：設有數(shù)據(jù)集D，算法在第一次遍歷D時僅僅計算每個項目的具體數(shù)量值，用來確定頻繁1-項目集（L1），然后，通過L1自身連接、剪枝兩個步驟，得到頻繁2-項集L2（L2），如此下去，通過L2 找出L3 ，直到k-項集（LK）不是頻繁項集為止。需要注意的是，找出每個Lk 均需要一次數(shù)據(jù)庫的完整掃描。

之后很多學者對Apriori算法進行了改進，但無論怎么改進，該類算法都有一缺憾，就是在搜索過程的連接、剪枝兩個步驟會產(chǎn)生大量的候選集，計算和存儲這些候選集會大大消耗時間、空間成本。

2.3 FP-Growth 算法

為了解決Apriori一類算法的缺憾，JiaWeihan提出了摒掉產(chǎn)生候選集的新思路—FP-Growth算法。利用高度壓縮的數(shù)據(jù)結構方式在生成頻繁項集的時候不必產(chǎn)生候選集。

該算法分為兩個步驟：

（1）構造FP樹。第一次遍歷數(shù)據(jù)庫生成全部頻繁1-項集，并按照支持度從大到小存儲在表中，在進行第二次數(shù)據(jù)庫的遍歷，將每一次的頻繁項集保存在FP樹中的相應分枝上。

（2）在上步的頻繁項集基礎上提出發(fā)現(xiàn)算法FP-Growth。具體是從頻繁i項集（記作Li）的條件模式庫中采用由底向上的搜索方法發(fā)現(xiàn)所有包含Li的頻繁項集。這樣就將一個大型樹結構分解成多個小的子樹結構，相應地就將一個大型的復雜搜索問題轉化成了多個小簡單的搜索問題。

2.4 并行關聯(lián)規(guī)則挖掘算法

FP-Growth 算法雖簡化了時間和空間成本，但是并不適用于大型的數(shù)據(jù)庫。并行計算是指能夠同時對多條指令、多個任務或者多個數(shù)據(jù)集進行處理，將并行計算應用到關聯(lián)規(guī)則挖掘中，能夠有效提高挖掘效率。

并行關聯(lián)規(guī)則挖掘算法也是僅需要掃描兩次數(shù)據(jù)庫就能挖掘頻繁項集。步驟如下：首先將整個數(shù)據(jù)庫D隨機分割成n個非重疊且大小相似的區(qū)域。以此類推，每個區(qū)域還可分別劃分成更小互不影響的區(qū)域進行挖掘，從而實現(xiàn)了挖掘過程的分層執(zhí)行。

3 關聯(lián)規(guī)則挖掘的應用

3.1 關聯(lián)規(guī)則在商業(yè)決策中的應用

將關聯(lián)規(guī)則應用商業(yè)決策中，從大量的數(shù)據(jù)中經(jīng)過深層分析，有助于從商務信息系統(tǒng)的大型數(shù)據(jù)庫中提取對企業(yè)決策者有價值的信息，會大大提升決策效率和正確度。比如，在制訂銷售配貨、產(chǎn)品目錄設計、產(chǎn)品定價和促銷以及顧客的購買行為模式等商業(yè)決策時給企業(yè)決策者予以指導，有利于提高企業(yè)經(jīng)濟效益，提升競爭優(yōu)勢。

3.2 關聯(lián)規(guī)則在醫(yī)療中的應用

隨著醫(yī)療數(shù)據(jù)的與日俱增，對臨床疾病監(jiān)測與診斷、藥物治療效果的評價及疾病預防事件的主觀判斷越來越困難，如何將關聯(lián)規(guī)則運用其中，從繁雜的醫(yī)學數(shù)據(jù)中找出其內在關聯(lián)規(guī)則，提升診斷效率和正確率，顯得尤為重要。

比如，分析醫(yī)學數(shù)據(jù)特點，使用Apriori算法對婚檢數(shù)據(jù)中各類傳染病、血液關系、肝病之間的關系，為其制定全面科學體檢方案；兒童肺炎的治療，建立治療用藥字典，從治療效果和維護患者利益的角度出發(fā)，為其規(guī)范性用藥提供決策依據(jù)，制定最佳用藥方案。

3.3 關聯(lián)規(guī)則在推薦系統(tǒng)中的應用

推薦系統(tǒng)是在數(shù)據(jù)挖掘的基礎上建立的一種高級商務智能平臺，根據(jù)用戶的個性化和興趣愛好，向其推薦感興趣的商品和信息。基于關聯(lián)規(guī)則的推薦系統(tǒng)是把用戶已經(jīng)購商品作為規(guī)則頭，將推薦對象作為規(guī)則體。首先經(jīng)過數(shù)據(jù)清理后計算兩兩商品或信息之間的支持度和執(zhí)行度，將低于設定的最小值的規(guī)則去掉，再找出某種商品或信息的所有規(guī)則，按置信度從大到小排序，Top-N即為與該商品或信息最相關的前N中上品或信息。

4 小結

本文從大數(shù)據(jù)角度分析了現(xiàn)代數(shù)據(jù)的特點，概述了關聯(lián)規(guī)則的三種方法思想及優(yōu)缺點，并且列舉了其在幾個行業(yè)中的應用。

課題：本文系山東協(xié)和學院校級課題：大數(shù)據(jù)環(huán)境下OLAP關聯(lián)規(guī)則挖掘在國有固定資產(chǎn)統(tǒng)計中的研究（項目編號：XHXY201616）；山東省統(tǒng)計局課題：大數(shù)據(jù)環(huán)境下OLAP關聯(lián)規(guī)則挖掘在高校固定資產(chǎn)統(tǒng)計中的研究（項目編號：KT16218）。

作者簡介：陳梅（1982-），女，山東武城人，碩士研究生，講師，研究方向：大數(shù)據(jù)和教學研究。endprint