大數據集序列模式挖掘算法分析

李克

摘 要：大數據時代背景下，網絡技術和數據技術的使用非常關鍵，對于社會發展也起到了重要的作用。本文筆者針對大數據集序列模式挖掘算法進行了分析研究，文章中闡述了大數據以及序列模式挖掘，并針對BLSPM算法進行試驗和結果分析。

關鍵詞：大數據;BLSPM算法;序列模式挖掘

1 大數據和序列模式挖掘的概念

1.1 大數據的概念

大數據是信息社會發展過程中形成的數據集合，其發展的背景信息化技術。計算機技術問世，其兩方面技術應用最為廣泛，其一是數據運算，其二就是數據信息管理，能夠實現數據的儲存和分析。而隨著社會技術的發展，數據量也不斷增加，當前在社會發展的過程中，信息技術開始逐漸朝向數據技術發展，形成了大數據技術。大數據當前而言主要包括兩個方面。其一，是數據處理儲存量不斷增大，計算機技術中數據處理的單位從MB已經達到了ZB，其數據變化巨大，并且相關數據專家預測，數據技術的儲存容量還會繼續增大10倍甚至20倍。另外一方面，大數據技術應用于數據分析，其中包括數據庫分析、數據關系分析以及數據結構分析等，數據分析技術在當前社會中應用更加廣泛，其具體分析過程中還包括數據采集、數據導入、數據統計以及數據挖掘等多個技術部分，對于數據的分析處理有非常重要的作用。在未來，數據容量更大，數據采集技術更加先進、數據挖掘也將會被更多的應用，大數據將會對世界帶來重大的改變[2]。

1.2 序列模式挖掘的概念

序列模式挖掘是大數據背景下對數據挖掘的重要技術模式，在當前社會中的應用非常廣泛，信息市場調研、預測天氣變化、市場變化趨勢、網絡網站訪問模式等。在序列模式挖掘具體應用的過程中，是在序列數據庫當中將子序列頻繁出現作為數據的挖掘模式進行數據分析，能夠實現數據挖掘分析的精度提升。應用較為早期的序列模式挖掘算法為Apriori，其在計算中使用到關聯性原則，而隨著現代社會中數據量的逐漸增大，所以在實際的社會應用中Apriori算法應用精度較差，所以現代社會發展中，急需一種適應社會的序列發展模式，保證數據使用更加高效。

2 大數據集序列模式挖掘算法

2.1 BLSPM算法和實驗結果

BLSPM是一種新式序列模式挖掘算法，其發展的前身是PrefixSpan算法以下是對該算法進行的分析研究。在BLSPM算法中，提出了利用隔層投影和剪枝策略的相互合作數據挖掘計算模式，可以減少數據庫處理中的投影數據量，并完成對最小支持度數據序列模式的剪枝刪除，從而保證數據分析更加精準。

為了研究BLSPM算法，本文針對算法應用進行了具體的試驗，試驗中設立數據庫為S（圖1），并且設置為min_sup=2。以下是對BLSPM 算法挖掘記性的相關闡述。1.初始挖掘運算中，數據庫開始完成對1個長度單位的序列模式進行查找，查找過程中對BLSPM序列集進行全盤掃描，挖掘頻繁序列模式以及非頻繁序列模式，并對費頻繁序列模式進行減除。2.實際的數據挖算法中利用序列集中的頻繁序列項作為X軸和Y軸，從而構建形成M矩陣。以下圖2為S矩陣構建圖。通過矩陣圖構建能夠完成對數據的有效采集，從而保證數據處理更加高效。

3.利用序列模式數據庫進行子集查找。支持度不小于 2序列模式在數據集中查找，遞歸地挖掘頻繁序列的子集。4. BLSPM算法中第四部是對兩部分進行重復查找和執行，并對所有的長度頻繁序列進行集合，從而保證頻繁序列集合查找更加精準。5.是BLSPM算法的最終結果步驟，其中包括頻繁項目集的序列模式并將進行排序。以下表三為最終序列圖。

2.2 基于Map-Reduce的BLSPM算法和結果

基于Map-Reduce的BLSPM算法也是當前BLSPM算法的發展，在其行和具體計算的過程中其計算主要分為以下幾方面內容;1.數據分片是BLSPM算法中的重要組成部分，在實際的計算過程中，選擇將BLSPM的大數據集進行分部，將其分部成連續性的數據片，從而做好數據分類。2.數據并行計數。數據并行技術也是利用大數據庫進行掃描，實際的計算過程中，選擇利用Map-Reducwe型進行序列支持度計算，計算全局的長度為 1 的頻繁項集Flist。3.建立三角矩陣。在Map-Reduce的BLSPM算法中，也是利用Flist1 中 n 個序列進行三角矩陣設計，分別建設X軸和Y軸。4.均衡分組設計。均衡分組設計是在實際的計算過程中，選擇使用到負載均衡策略進行序列模式分組，制定成為新Glist數據表。5. 在Map-Reduce的BLSPM算法中選擇使用并性挖掘技術對大數據集中的組別進行劃分，利用Glist數據表進行并行數據挖掘，也選擇使用Map-Reduce軟件來完成第二階段的數據挖掘，完成對序列集的數據挖掘和計算。以下是Map-Reduce軟件的數據計算代碼。

Input： key is the number of each shard， value is T

Output： ， where key is the item of T ，value is the number of item

Begin

String str= value.toString（）;

While（str.hasNext（））

{

Item=str.next（）;

//輸出

Context.Write （item，1）;

}

End

3.結束語

本文以具體試驗詳細闡述了BLSPM算法與Map-Reduce的BLSPM算法的計算過程，希望能夠對大數據集序列模式挖掘算法的發展有所幫助。

參考文獻：

[1]曾毅， 張福泉. 基于多效用閾值的分布式高效用序列模式挖掘[J]. 計算機工程與設計， 2020， 041（002）：449-457.

（河北省信息資源管理中心? 河北? 石家莊? 050000）