面向MapReduce 的大數據分類模型及算法

柯建波

（廣東工業大學 華立學院， 廣州511325）

0 引 言

MapReduce 作為一種大型互聯網編譯模型，主要用于實施大規模的數據聚類并行計算（數據存儲空間超過1TB），數據概念映射方式及黑盒解題思路是編譯程序的主要提出方式，基于數據函數編譯方式及多種計算機編譯語言，在使用中可依照矢量編譯語言特性，提供計算機編程人員分布并行計算模式，有關計算指令可在計算機語言的調試作用下并行輸出［1］。 目前使用該技術實現主要是指結合數據間的聯系性，設計合理的映射類型函數，建立數據集合鏈接，將單個鍵位組織通過映射聯系組合成新的計算機鍵位對，確保鍵位對中計算數值的每一個共享鍵位值相同。 結合大數據技術目前在市場的應用情況，大數據分類模型理念最早提出于20 世紀80 年代初，市場強大的應用需求使分類模型的研究成為技術調研重點。

大數據技術在逐步發展中已經上升至國家層面，因此，本文將提出面向MapReduce 的大數據分類模型及算法的研究。

1 面向MapReduce 的大數據分類模型及算法

將調研重點聚焦在具有流動特征數據層面上，以傳統數據挖掘技術為基礎，采樣收集單一樣本的方式，提出數據合理的學習方法，根據數據流及特征數據集的不同顯示方法，存儲離線式挖掘數據，由于無法一次性完全處理數據，因此在數據處理前期應對數據實施聚類管理，區分靜態數據與動態數據，依照數據的表現形式，創新數據集成理念，引入新型數據分類技術，探索分布數、數據傳遞方法，使用檢索、匯聚、連接、分離、清洗等方式優化對應算法，提供數據分類更加優化模式。

1.1 構建面向MapReduce 的大數據分類模型

給定處理數據流T 及數據分類標識集合C，合理選擇數據分類器，明確數據分類法則，描述數據分類過程，動態收集依照時間變化的數據發展趨勢，強調數據處理中選擇數據的質量，完整正向數據集合與負向數據集合分類，提出數據抽樣檢測技術，構建面向MapReduce 的大數據分類模型［2］，如圖1 所示。

根據上述圖1 所述信息，設定數據流經整體時間為t，輸入數據點為數據采集點，經過一個時間節點，在此收集數據，為挖掘數據有效點，表示為t -1。由數據中心服務器提供數據當前分類設備及此前數據集成設備，遵循數據流經設備的運行模式，輸出節點數據，表示為t，引入數據挖掘技術處理當前狀態下時間點。 定義數據處理模式為M，劃分數據處理模塊。 提取歷史窗口數據中局部數據，定義上次處理數據模式為M（T - 1），當前數據局部處理模式為M（T），輸出一次處理數據，按照數據特征劃分數據集合［3］。 引入MapReduce 分布式局部數據處理方式，定義中間界數據為集合中樣本訓練集，并將該部分數據歸為網絡監控數據，整合一次數據集，獲取二次數據處理方式。 根據獲取數據時間點的增多，訓練使用的樣本數據集合處理模式同步發生改變，數據處理模式用Chunk 表示，取值為1 ～n 之間任意實數。 依照數據集合的不斷匯聚，調整潛在的數據學習模式，設定數據挖掘目標，調整數據時間變化模式，以單元為模塊劃分數據集合［4］。 定義時間序列參數為T，則單元數據時間序列表達方式為T ＝｛t1，…，tn｝，定義數據流表達形式為S，則數據流中具體數據集合表達形式為S ＝｛r1，…，rn｝。 K 表示為流經數據的中心節點，整理數據模式，處理歷史窗口數據集合，則數據單元中任一數據即可近似看作數據處理方式，提取數據中特征點數據，統一數據格式，結合大數據處理方式，歸入指定數據庫，完成面向MapReduce 的大數據分類模式構建。

圖1 面向MapReduce 的大數據分類模型Fig. 1 MapReduce-oriented big data classification model

1.2 獲取局部節點微簇數據

依照上述提出的大數據分類模型，整合有理數據，繪制成具有自身獨立特征的數據聚類集合，合理選擇數據聚集方式，計算分布式數據組的數據總和、集合中極值數據、代數數據與整體數據表達模式［5］。 設定局部節點中分支數據表達方式為n，局部數據算法表達如下公式所示：

式中，M 表示為獲取局部數據算法；c 表示為選定樣本數據集合；x 表示為局部數據傳遞方式；n 表示為局部節點中分支數據表達方式；i 表示為挖掘數據，公式中用單元“1” 表達；j 表示為挖掘數據終端輸出模式。 根據上述計算公式，可將分類數據集合按照數據劃分依據分成分布式數據集合、代數數據集合、整數數據集合3 種［6］。 在每個計算單元中均可獲取具有特征值的數據節點，計算數據節點的微簇數據。 如下公式所示。

式中，N 表示為局部節點的微簇數據表達方式；b 表示為局部微簇樣本數據集合； y 表示為樣本中有效數據集；d 表示為數據流經歷史窗口實際時間；w 表示微簇數據獲取誤差值，0.25 ～0.65 為數據組可調節范圍； λ 表示為數據獲取時間參數值，通常情況下取值在0.3～0.45 之間。 使用上述計算公式，可直接獲取局部數據集合中簇組數據，按照多元代數函數計算方式，每個局部數據組的參數表達方法，即可按照數據標準表達方式輸出終端獲取數據值［7］。上述計算中涉及的數據值均為數據分類模型中數據組，可按照基本算法流程，采用近似值表達方式將簇組數據以常規方式表達。

1.3 計算節點數據增量

根據上述獲取的局部節點微簇數據，連接兩個或兩個以上數據組，按照標準記錄條件將其劃分成TPC-H 數據集，結合數據查詢用例，運用多種計算方式，疊加數據組，篩選數據重合部分，將其統一格式后納入數據庫中管理。 清洗數據中特征點，去除重疊數據，將待處理數據組中冗余或無關數組值去除，提升剩余數據值質量，制定格式實施數據轉換，逐條處理待處理信息［8］。 引入Map 任務處理模式，計算數據組中冗余數據增值。 計算公式如下：

式中，dis 表示為加強數據項； p 表示為樣本數據總值；p1表示為重疊數據組；H 表示為數據清洗模式；p2表示為帶解析數據組。 根據上述計算公式，提出數據處理次數，結合數據處理執行時間T 與數字／模擬轉換次數的函數關系，分析處理數據檢索方式。對照MapReduce 技術，增加節點數據個數，提高數據執行效率。

在數據排列階段，按照組間合成數據值實施數據聚類操作，組合具有相同鍵位的數據值，計算對數據綜合值平方差，得到終端輸出數據值單個組值的頻次值。 因為數據組中包含個別極端數據［9］。 因此，應按照原始數據的恢復性能，統計微簇數據組的原始數據值，由于數據值中統計的組合數據比輸出數據的抽象值更高，可采用引入C5.4 計算模式，基于全局統計方法，提出數據組的灰度計算方法，分析特征數據點的灰度值，更加有利于推進整體算法。

1.4 中心節點樣本算法重構

結合上述計算的數據增量，將中心節點樣本重構分成主要3 個獨立步驟：（1）局部挖掘數據重構，定義每個數據組中節點，按照數據中心點劃分數據應用模塊，收集中心點附近數據，整理成數據集合，按照單元定義模式維護早期設定的數據挖掘點，形成新的數據增量集合，構建全新算法微簇數據處理方式［10-11］。 （2）根據多個局部數據組，按照數據不同傳遞模式，更新整理數據中心節點，連接互聯網，更新完成后通過數據互聯網傳遞方式，將多個中心節點數據傳送至整體數據集中心節點中。 （3）引入全局數據挖掘模式，整合數據學習方式，更新數據所屬狀態。 對其中任意一個樣本數據實施根距離計算。 計算公式如下：

式中，u 表示為樣本兩點數據之間的根距離；d 表示為數據自身長度值；j 表示為數據增量值； r 表示為數據重構模式； i 表示為數據組數量。 通過上述計算，可重置數據組中心節點，在數據迭代終止過程中，若數據組中心節點位置不發生數據唯一，表明數據重構終止，可輸出節點中心位置。 反之，將數據組返回上述重構步驟，二次重構數據組，直至數據中心節點與重構數據中心節點重合。

1.5 集成分類更新算法優化

選擇數據基礎較弱的數據分類裝置，采用C5.4計算方式，隔離多個局部數據組，基于數據分類裝置的優化機制，調整集成數據分類策略。 按照數據組權重比值，采用決策樹處理數據方式，降低模型及設備對數據處理的干擾性。 將滿足優化的數據按照數據庫標準行的方式連接，比較多種集成分類算法的優缺點。 如表1 所示。

表1 集成分類算法計算比較Tab. 1 Comparison of integrated classification algorithms

根據上述表1 中所述信息，整合多種算法計算方式用途，優化大數據分類模型計算法，采用自然連接的方式，將默認數據值按照權重值排列，組合笛卡爾連接方式，以全連接、半連接等方式，將滿足優化的算法實施等值連接，實現集成分類算法的更新及優化。

2 實 驗

2.1 實驗準備

提出實驗，驗證本文設計的面向MapReduce 的大數據分類模型及算法具備一定研究機制，引入CPU（KDD）公共數據處理技術，搭建大數據挖掘檢測數據集合。 實驗需準備3 臺計算機設備，一臺計算機設備為實驗主機，設定主機為數據通過主節點（Master），剩余兩臺計算機設備匹配子節點數據。設備具體屬性值如下：處理器選擇因特爾（R）核心（TM），i7-5600 運行處理模式；計算機硬盤內存為64GB；外設硬盤運行內存為256 GB；計算機運行系統版本為Ubuntu15.6；JAVA 計算機語言包工具運行版本為2.6；集散式系統基礎運行框架版本為2.6.4；仿真實驗運行環境為集成式開發運行環境，配備MapReduce 數據插件，計算機數據集處理語言選擇java。 遵循標準測試數據庫中數據集，設定該數據集合中共有60 萬個數據樣本，樣本中包含55 個不同數據屬性變量值，依照數據類別劃分為8 種，占用計算及運行內存79.5 MB。 此次實驗從60 萬個數據樣本中，隨機選取部分數據集合作為此次實驗的對照組實驗數據，同時選取同樣數值的數據集合作為實驗組測試數據，為提升實驗結果的真實性，兩組數據中不可包含重復數據。 設定10 組實驗數據，數據選取具體情況如表2 所示。

表2 仿真實驗數據選取Tab. 2 Selection of simulation experiment data

依照上述提出的運行實驗數據及實驗運行環境，忽略其它影響實驗結果的外界因素。 先采用傳統的大數據分類模型及算法，按照上述提出的數據集合，實施數據處理并分類，定義該組為實驗的對照組。 再采用本文設計的面向MapReduce 的大數據分類模型及算法實施相同步驟的操作，定義該組實驗組。

2.2 實驗結果分析

輸出實驗結果，整理實驗中產生的實驗數據，繪制成曲線圖，如下圖2 所示。

圖2 實驗結果Fig. 2 Experimental results

根據實驗過程及實驗中產生的實驗數據，可得出下述實驗結論：隨著樣本數據量的提升，提出算法處理數據時間平穩上升，具有一定的函數規律，且達到時間峰值后相對平穩。 傳統方法數據處理時間較不穩定，且處理時間上升速度較快，無明顯規律。 因此，相比傳統的大數據分類模型及算法，本文設計的面向MapReduce 的大數據分類模型及算法，在實際應用中可有效縮短數據處理時間。 彌補了傳統算法中針對大量數據集時數據量不足的缺陷，有效地提升了計算效率，提高了大數據分類模型的運行速度，具有實際應用價值。

3 結束語

隨著數據分類技術在市場的廣泛應用及大數據處理技術的不斷更新，本文提出了面向MapReduce 的大數據分類模型及算法的研究。 設計實驗，模擬實驗環境及實驗數據，驗證本文設計算法在實際應用中可有效地縮短數據處理時間。 盡管本文研究已經趨近于完善，但在實際應用中沒有針對數據的迭代情況開展詳細分析，因此，在后期的發展中，將基于大數據技術，將數據組按照分類模式及標準誤差處理方法，對數據整理實施全方面的優化，提供數據處理終端云平臺，模擬數據可能出現分類誤差的多種情況，根據可能出現的現象，調整算法的數據分類方式，優化數據外化內存，從多個角度考慮影響數據表達因素，進而為大數據分類模型及算法的研究提供數據支撐。