基于云計算的大數據挖掘內涵及解決方案研究

王 茜，平金珍，班婭萌

（石家莊信息工程職業學院，石家莊 050035）

所謂的大數據挖掘技術，其實就是從海量數據信息中進行有價值信息提取的技術。伴隨著物聯網、云計算等技術的發展，數據信息復雜程度不斷提高，采用傳統數據挖掘算法已經無法實現數據實時挖掘。基于云計算模式建立大數據挖掘體系架構，需要結合大數據特征實現相關技術集成，達到有效實現數據挖掘的目標，繼而使大數據挖掘技術優勢得到充分發揮。

1 基于云計算的大數據挖掘內涵

云計算實際就是建立在網絡基礎上的超級計算模式，能夠借助分布式計算機和互聯網提供計算或存儲等服務。采用云計算，用戶能夠從不同應用平臺登錄數據中心，實現數據存儲、下載或計算分析。該種模式帶有虛擬化的特點，具有較強的可拓展性，能夠實現數據分布式存儲和并行計算。在云計算模式下實現大數據挖掘，需要構建融合多種計算模式和存儲模式的體系架構。根據功能，可以將架構劃分為支撐平臺層、功能層和服務層。在平臺層，可以為大數據挖掘分析提供豐富資源，為數據分析和存儲提供支持，運用云計算相關技術及工具實現大數據處理，提供豐富云環境[1]。

借助云環境，不僅可以獲得數據和軟硬件資源，也能實現數據預處理和分析。功能層負責結合用戶需求進行挖掘工具調用，實現數據智能化分析。服務層需要采用可視化等技術實現數據處理結果的展示，為用戶提供服務。現階段，基于云計算的大數據挖掘體系通常存在功能少的問題，無法滿足用戶多樣化需求，因此需要針對用戶大數據挖掘需求提出科學解決方案。

2 基于云計算的大數據挖掘解決方案

2.1 平臺解決方案

結合大數據挖掘體系架構可知，平臺層是實現大數據挖掘與分析的關鍵環節。采用Hadoop 平臺，能夠為多功能大數據挖掘體系架構的實現提供支持。從結構上來看，Hadoop 平臺包含數據源、大數據挖掘平臺、用戶層三個部分，數據源為復雜處理對象，由結構、半結構和非結構數據組成。在大數據挖掘平臺上上，包含各種計算模式，面對實時數據可以提供多種分析與挖掘功能。用戶層可以提供系統認知與接受服務，實現數據信息交互。Hadoop 以HDFS、MapReduce 和HBase 為核心，能夠快速運行，并且具有較高擴展性和容錯性，能夠實現數據批處理和流處理，增強數據流的可伸縮性。但采用Hadoop 難以進行擁有復雜關系的圖數據處理，無法為內存計算提供支持，因此需要融入并行計算PowerGraph 等工具，促使數據處理和查詢速率得到提高。

2.2 數據預處理

采用Hadoop 平臺進行數據預處理，不同于傳統數據挖掘，無需采用既定ETL 等驅動方法實現靜態數據處理，而是能夠根據數據變化進行技術的選用，實現動態數據預處理。具體來講，就是采用多模式實體識別、遠程自動采集融合、數據流實時處理等各種技術獲得更強迭代計算、并行計算等能力。在數據傳輸遷移期間，采用Sqoop 等流式計算技術完成數據流同步處理，使數據能夠得到即時處理。而大數據的處理不關注因果聯系，只是根據數據間的關聯關系進行數據處理，因此更能增強數據預處理的實時性。

2.2 數據存儲管理

以往數據挖掘需要采用行存儲方式，利用關系數據庫系統進行多維數據模型、結構化數據等各種數據的存儲，數據將被隨機存儲。由系統內部進行存儲模式定義，導致數據存儲相對被動，缺乏可擴展性，并且無法實現數據靈活管理。采用大數據挖掘技術，主要采用列存儲或行存儲模式，能夠對結構和非結構數據進行存儲。采用該種數據存儲管理方法，能夠使數據得到靈活存儲管理，增強體系可拓展性。為保證數據一致性，同時對關系數據模型進行兼容，需要采用Spanner 系統，為同步跨數據中心復制提供支持。采用不確定關系模型進行數據存儲，能夠對動態數據進行直接存儲。

2.3 數據計算分析

在數據計算分析方面，過去采用集中批處理方式。針對大數據，需要實現多種計算模式相融合，完成數據分布并行處理。面對多維、立體、海量數據，可以實現云平臺和數據挖掘平臺功能融合，促使平臺分析能力和分布式并行計算能力得到增強。集成R 分析軟件，能夠整合傳統和現有挖掘算法。在對動態圖數據進行計算時，需要采用數據管理系統進行低延遲查詢。針對數據流，需要運用滑動窗口模型實現概率維度索引，完成數據單次近似連續分析。實際查詢數據的過程中，需要采用PigLatin 等相應查詢語言，能夠實現數據靈活查詢。

2.4 數據挖掘展示

對采用數據挖掘算法處理得到的數據，還要進行展示。過去采用的挖掘技術僅能展示出簡單數據結果集，所以只適用于數量小、關系簡單的情況。針對大數據挖掘得到的信息，需采用文字、報表和可視化圖形等各種方式進行模型效果展示。能夠采用的圖形包含餅狀圖、散點圖、GainLift 圖等，受I/O 限制，難以對多維、海量和動態數據間的聯系進行反映[2]。采用人機交互方式，能夠采用圖像、動畫等方式增強數據解釋直觀性，達到較好的可視化效果。現階段，能夠采用的可視化技術包含聚類分析可視化技術、宇宙星球圖、標簽云等，需要采用并行算法實現數據并行處理，完成高效原位分析，獲得協同可視化效果。

3 結束語

大數據作為新興事物，目前依然未能得到較好的挖掘處理。在云計算基礎上，針對大數據挖掘體系架構存在的問題提出相應解決方案，采用Hadoop 平臺豐富體系功能，能夠實現數據信息實時處理，為用戶提供有效信息資源。實際采用該方案時，需要結合數據預處理、存儲、分析計算和展示需求進行技術的合理應用，繼而取得良好大數據挖掘效果。