關于數據挖掘技術與關聯規則挖掘算法的研究

郭濤 門瑞

摘 要：隨著計算機技術和網絡通信技術的不斷發展，數據信息逐漸成為當前社會各行各業發展的關鍵。當今社會人們對計算機應用提出了更高要求，如今人們慢慢的意識到關系數據庫有很多缺點和限制，這種問題又推動了數據庫在更深領域上的研究。

關鍵詞：數據挖掘；關聯規則

1 數據挖掘技術

1.1 數據挖掘概念

從數據挖掘的本質上說它是一種具有更高商業價值的新型信息處理技術，數據挖掘技術的作用是對數據的應用來說的，其目的是使人們從低層次的聯機查詢過渡到對數據決策支持分析預測上，從而成為更高層次的應用。

1.2 數據挖掘技術分類

關于數據挖掘針對其挖掘的對象，大致的可以做出以下分類，具體分為時態數據庫、異質數據庫、文本數據源、關系數據庫面向對象數據庫（Object-Oriented Database）、空間數據庫、遺產數據庫、多媒體數據庫以及web等比較具有針對性的挖掘對象。針對數據挖掘的方法大致的可以歸納為：計算機學習法、數理統計法、信息聚類分析法、遺傳算法Genetic Algorithm、神經網絡Neural Network探索性分析法、不確定性推理和近似推理法、數據分析法、證據理論和元模式法、數據集成方法、當代數學分析法等。

1.3 數據挖掘應用分析

根據種種數據分析所表明的問題我們不難發現數據挖掘技術面向實際應用方面不是一時的，隨著時代的發展社會信息化進程不斷加劇各行業的業務操作也隨之逐漸向現代化流程轉變，這一轉變促使企業在處理業務時產生大量的業務信息數據。對于一般地企業內部的業務信息數據來說，其主要是由企業進行商業運作而產生的數據，這些數據的量一般比較少。這是都是企業為了獲得市場分析而進行收集的，關于此類的數據挖掘的應用終將成為企業進行高層次數據分析，為行政決策提供技術支持的骨干技術。

2 時態約束關聯規則挖掘問題及算法

2.1 聚焦挖掘任務，提高挖掘效率

數據挖掘理論最初的研究側重點是模型的建立以及算法的設計。隨著應用于不同的場合，得出的結果證明單純而又孤立的挖掘工具效果并不理想。傳統的數據挖掘項目中，會進行詳盡而反復的調研分析，并根據用戶的需求制定細致的任務計劃，最終的結果卻并不理想，不能得到想要的結果。在算法中，如果想要得到用戶的挖掘目標，除了算法之外，還需要有特定的實現機制，使得我們的挖掘計劃能夠轉變成對一個系統工作的控制，這樣才能使得挖掘項目能有期望的結果。這樣的約束，不需要局限于某一個挖掘數據的階段，在任何階段都可以實現。而這樣的算法機制，也是交互式數據挖掘算法的基本形式，通過這樣的過程，來達到更好以及快速地完成挖掘任務。

2.2 保證挖掘的精確性

從數據挖掘的算法也可以看出，結果具有不可預測性，而正因此，對于算法運行的過程中，遇到的問題也是難以把握的，所以算法還需要加上反饋機制，通過這樣的反饋，來進行驗證結果并修正算法中的數據，如果這個過程中，挖掘到的數據是正確的，但也未必是用戶所側重的，所以數據挖掘的結果不僅要具有邏輯上的正確性，還要能夠滿足用戶的主管偏好；也就是既要準確，還要可信且符合用戶需求。而約束就是這樣實現的，通過約束發現算法中的問題并及時校正算法，以最終能夠滿足各項需求。

3 數據分割下的挖掘問題及算法

對于理論基礎比較成熟的算法——Apriori算法，研究的側重點已經變為效率問題，人們也提出了各種的改進算法，本文選區幾種比較有代表性的加以介紹。

3.1 減少事務的個數

這樣的原理在于，當需要處理的事務不包含長度為k的大項集，那么也一定不包含長度為k+1的大項集。在算法處理的過程中，就可以將這樣的事務濾去，在下輪掃描過程中，就可以不需要那么多的事務集。

3.2 基于劃分的方法

這類算法的比較典型的是頻繁項目生成算法，該算法原理在于：把數據庫分解成邏輯上互不交叉的部分，而每次只需要單獨考慮一個分塊，在這樣的分塊中，研究怎樣能夠發掘頻繁項目集；而對于怎樣將數據進入存儲中，可以把需要處理的分塊放入計算機內存中，這樣有利于算法的并行處理，數據量相對于不分塊前減少，提高了數據挖掘的速度。

3.3 基于hash的方法

在上述的發現頻繁項目集的算法中，有人提出了改進算法，基于雜（hash）技術產生頻繁項目集。而這也是他們在實驗基礎上提出的，因為實驗中，他們發現頻繁項目集的產生過程中，計算量主要集中在2-頻繁項目集上，他們通過雜湊技術來對這個問題加以解決，把需要掃描的項目分發于不同的Hash桶，而對于每對項目來說，最多只可能在一個特定的桶內，然后通過實驗分析，可以有效地降低了候選集的產生。

3.4 基于采樣的方法

基于抽樣技術的產生頻繁項目集的算法的原理在于：通過對數據庫進行抽樣，產生一些可能成立的規則，然后通過數據庫的未被抽樣數據，進行檢驗，這些關聯規則是否是否有效。其實這個算法本身相對比較容易實現，并且能夠極大地減少數據挖掘過程中所付出的I/O代價，而不利的地方在于，抽樣數據的隨機性以及由此帶來的結果的偏差比較大。

3.5 盡量減少數據庫的掃面次數

早在1997年，Brin等一些研究人員就提出了一種用來減少數據庫掃面次數的算法，這種算法實際上就是通過下層分析方法來提前處理。換句話說，當我們正在運行k-項集時，如果發現（k+1）-項集有極大可能會是頻繁項目集，那么我們就直接將兩者進行并行運算，進而得出（k+1）-項集支持度。這樣的做法能夠在很多程度上降低數據庫掃描次數，從而在運行效率上要優于Apriori算法。

4 結論

數據挖掘技術與關聯規則挖掘算法所包含的內容有很多，本文只是簡單介紹了其中較為重要的一部分。在今后的工作中，筆者將繼續致力于該領域的研究工作，以期能夠獲得更多有價值的研究成果。

[參考文獻]

[1]孟海東，李丹丹，吳鵬飛.基于數據場的量化關聯規則挖掘方法設計[J].計算機與現代化.2013，01：8-11.