基于云計算平臺的物聯網數據挖掘研究

陳俊麗

【摘要】 當前隨著社會經濟科技的發展，計算機網絡技術在社會生活中的應用范圍也越來越廣泛。而物聯網技術作為計算機網絡技術的重要組成部分，已經成為人們不斷應用信息技術推動人類生活智能化發展的不可或缺的推動力。在物聯網技術中，數據挖掘是其關鍵環節，也是物聯網技術發展之后對于應用產業的有力支撐。本文首先介紹了物聯網與云計算，然后在此基礎上進一步介紹了數據挖掘技術，包括其含義、特征，其次對當前云計算平臺中數據挖掘技術做了詳盡深入的分析，最后進一步闡釋了基于云計算平臺的物聯網數據挖掘技術工作流程以及實際應用范例。

【關鍵詞】 物聯網 云計算 數據挖掘

隨著科技的快速發展，物聯網技術應用在社會生活中越來越廣泛，包括芯片技術、無線網絡技術、傳感技術以及GPS導航定位技術等正在不斷完善與創新，信息傳感、收集與處理分析技術也越發趨于成熟。在此背景下，更多的物聯網應用被人們開發應用，成為互聯網之后的又一大信息技術熱點領域。由此，物聯網技術也被人們寄予了更多的期望，因此需要更加深入和廣泛的研究，從而不斷推進更新更實用的物聯網應用的開發[1]。

在物聯網應用中，最主要的技術障礙就是數據挖掘，當前隨著云計算平臺的出現，物聯網數據挖掘技術有了新的發展方向，這使得目前我國眾多行業都在開發搭建基于云計算平臺的物聯網數據挖掘技術，從而讓物聯網具備更加厚實的IT計算能力、數據挖掘技術分析能力和平臺拓展能力。因此，物聯網行業產業的后續發展與當前云計算平臺的發展有著極其密切的關系，而基于云計算平臺的物聯網數據挖掘技術則明顯有著更加廣闊的發展空間。

一、物聯網概述

1.1 物聯網

物聯網（IOT）指的是運用各種各樣的傳感設備來進行信息傳遞的計算機集群，這是在計算機互聯網之后的再一次飛躍，包括計算機技術、通信技術（移動通信技術、傳感器技術網絡）等，而且還是下一代網絡發展的大方向。物聯網具有全面感知性、信息傳遞可靠性以及智能化處理性，例如運用有線網絡或者無線網絡將通過傳感器采集到的數據信息傳遞出去，經過云計算等技術進行數據分析處理，整合共享，而后達到對物體的智能化控制。因此，物聯網一般至少包括傳感器等電子元件、數據存儲處理系統以及有線或者無線網絡[2]。

1.2 云計算

云計算指的是在互聯網支持的基礎上，通過互聯網服務為用戶提供的依據需求而確定服務的計算方式。由于服務資源來源于互聯網，并且互聯網通常使用云狀圖案來表示資源，所以稱之為云計算。云計算有著集群優勢，同時具備高速運算能力和較高的數據存儲能力，因而如今正被廣泛而深刻的應用至IT行業中，具有高容錯性與高伸縮性的特點。目前在云計算平臺搭建中，用戶主要依靠Hadoop來進行，作為云計算平臺搭建基礎，可以極為有效的利用集群計算能力與數據存儲能力，從而實現大量數據的分析處理。

二、數據挖掘技術概述

2.1 數據挖掘技術的含義

數據挖掘技術產生時間并不算久，可自從20世紀90年代產生以來，在人類社會中產生了巨大的影響，同時受到了人們的廣泛應用。目前來說，數據挖掘并不是一個獨立的學科，而是交叉學科，因此不同領域不同行業的人對其理解也存在不同之處，因而對其準確的定義還沒有定論。目前，大部分學者比較認同的關于數據挖掘技術的含義是韓家煒等人對其的定義[3]，包括三個方面的內容，第一，具有大量的數據來源，并且是真實的數據；第二，通過數據挖掘獲得的信息對人們有著較高的價值與作用；第三，獲得信息是可以被人們理解分析，被人們接受與運用，能夠以此來做出判斷或決策。

2.2 數據挖掘技術的特征

數據挖掘技術具有分布廣、規模大、節點資源有限以及安全性復雜等特征。物聯網數據本身具有分布廣的特點，因為數據一般都存儲在不同的地方，其次，物聯網數據極為龐大，本身有許多傳感器節點，因而需要有能夠快速解決處理數據的中央節點，再次，節點資源并不是無限的，因而中央節點一般不需要所有的數據，但需要數據參數，從而依靠分布式節點將用戶需要的數據傳輸出去。

三、在云計算平臺下的數據挖掘技術分析

在當前的云計算平臺中，最主要的是以Hadoop為基礎搭建而成的平臺，在此以Hadoop為例，簡單介紹云計算平臺中數據挖掘技術。主要分為四大部分，分別為物聯網感知層、物聯網傳輸層、數據層和數據挖掘服務層。

3.1物聯網感知層

物聯網感知層主要依靠在目標區域范圍內放置極多的數據采集節點來發揮感知作用。具體來說，節點主要是通過傳感器、攝像頭以及其他設備進行數據采集工作，而采集到的數據則會依靠物聯網感知層所具備的網絡通信設備進行匯聚，將所有的數據傳送到節點，而后經過匯總存儲之后再次通過傳輸層輸送到云計算平臺的數據處理中心[4]。

3.2物聯網傳輸層

物聯網傳輸層主要包括傳感器、無線（有線）網絡等，通過諸多網絡設備搭建的高速度無縫數據傳輸系統，能夠快速將物聯網感知層采集到的數據通過網絡傳送到數據處理中心，從而實現全方位的互通互聯目標，也就是將各種類別的監測處理設備聯網傳輸，實現設備之間網絡信息的傳遞。

3.3數據層

數據層是物聯網云計算平臺中數據挖掘技術的關鍵部分，物聯網本身具有異構性和海量性的特征，因而在數據層內將物聯網設備采集到的數據進行存儲處理分析的能力是基于云計算的物聯網數據挖掘平臺的關鍵。數據層中主要包括數據源轉化與存儲兩大部分，其中，數據源轉化主要對物聯網異構性的數據進行轉化，而存儲部分則是使用Hadoop搭建的平臺中的HDFS系統進行分布式存儲，從而將海量性的數據完整存儲到數據節點[5]。

由于在物聯網平臺中，對于不同的目標會采用不同的數據類型來表現，某種情況下，相同的目標也會采用不同的數據類型來表現，因此數據源轉化的作用主要體現在保持數據的完整，防止異構性的物聯網數據在轉化中出現損毀，從而達到保證數據挖掘目標。數據源轉化在系統中的作用相當于數據層與感知層的連接線，通過數據包的解碼轉換將不同的數據轉換成需要的數據類型，并且分布式存儲到數據處理中心。

3.4數據挖掘服務層

數據挖掘服務層包含數據準備、數據挖掘引擎以及用戶三大部分。其中，數據準備部分的主要用途是對數據的清零、轉化以及規約等。數據挖掘引擎則主要包含數據挖掘算法以及模式評估，而用戶部分則主要將數據挖掘的內容進行可視化的表現。用戶部分是整個云計算平臺中數據挖掘技術面對用戶的直接體現，因而具有友好性，能夠讓用戶通過操作來對數據挖掘任務進行處理認知。

四、云計算平臺上物聯網數據挖掘技術應用分析

數據挖掘工作流程為：用戶發出數據挖掘的請求之后，主要控制節點收到用戶請求之后會首先判斷能否進行任務，并且將結果回饋給用戶。若是可以進行，主要控制節點就會調用數據挖掘算法，然后根據算法進行分布式數據挖掘工作。通過挖掘數據任務的劃分之后，將具體內容傳送到眾多節點中，節點再具體進行數據挖掘[6]。

本次選擇Hadoop搭建云計算平臺，并以此進行模擬實驗。

首先，選擇一臺實驗所需要的PC機器，配置基于普通水平的2G內存，操作系統為win7。然后在PC端安裝虛擬機，虛擬機的操作系統都是Linux操作系統。從而開始部署分布式節點，本次共安裝3個虛擬機。其次，需要安裝與Linux版本相適應的Eclipse7.5開發環境，并且于PC機上安裝SSH服務，用于實驗開始之后傳遞實驗數據。3臺虛擬機中也安裝SSH服務，以便于Hadoop平臺運用。

配置安裝完畢后，選擇采用關聯規則算法的數據，將數據依據C++代碼程序轉換成標準的PML文件，文件大小為1G，然后將文件利用HDFS傳入Hadoop平臺，采用分布式存儲。接下來，運行Apriori算法 [7]，根據計算結果來判斷能否找到實驗數據集合中所有的項目，然后，選用不同大小的文件再次重復實驗，以此來得到較為準確的結果。實驗運行Hadoop平臺計算得到的數據如下表1。

從表1中可以看出，伴隨著文件不斷擴大，在Hadoop平臺上運行，采用Apriori算法所運行的時間也隨之上升。經過大量模擬實驗后，可以看出Hadoop平臺有著較高的拓展性能，能夠滿足當前市場對于物聯網大量數據挖掘的要求[8]。

五、結語

隨著社會經濟與科學技術日新月異的發展，物聯網技術也在不斷的趨于成熟。當前物聯網海量的異構性數據也在呈現著飛速增長的態勢，導致物聯網數據挖掘技術越來越顯得困難重重。

在此背景下，基于云計算的物聯網挖掘技術與傳統的物聯網數據挖掘相比，其能夠通過分布式存儲的方式以及分布式并行的計算方法更好的滿足人們對物聯網數據挖掘的要求，并且還能夠通過計算存儲遷移功能來避免數據存儲過大導致節點出現故障的問題，不僅縮短了數據傳輸的時間，提高了數據傳輸的穩定性和完整性，而且還極大的提高了數據挖掘的效率與質量，有著極大的應用前景。

因此，本文所提出的基于云計算的物聯網數據挖掘系統對于當前物聯網應用的發展有著深遠的意義，并且經過Hadoop平臺進行模擬數據挖掘實驗后，也驗證了這種方案有著極大的可行性。

參 考 文 獻

[1]卜范玉，王鑫，張清辰. 基于云計算的物聯網數據挖掘模型[J]. 電腦與信息技術，2012，06：49-52.

[2]謝楊. 基于云計算的現代農業物聯網監控系統[D].西南交通大學，2015.

[3]李哲青，周毅. 基于云計算的物聯網數據挖掘模式的構建[J]. 信息與電腦（理論版），2013，06：122-123.

[4]褚翠霞. 基于云計算平臺的物聯網數據挖掘研究[J]. 數字技術與應用，2015，01：85.

[5]張旺軍. 基于云計算的物聯網數據挖掘模式分析[J]. 網友世界，2013，13：39-40.

[6]李立，張玉州，江克勤. 一種改進的基于云平臺的物聯網數據挖掘算法[J]. 安慶師范學院學報（自然科學版），2014，02：37-40.

[7]陳輯源. 基于云平臺的物聯網數據挖掘技術[J]. 電子技術與軟件工程，2014，09：194.

[8]李虎群. 云計算物聯網數據挖掘技術的應用系統分析[A]. 《建筑科技與管理》組委會.2015年5月建筑科技與管理學術交流會論文集[C].《建筑科技與管理》組委會，2015：2.