云計(jì)算平臺下物聯(lián)網(wǎng)的數(shù)據(jù)挖掘

徐少甫+姚湘

摘 要

隨著我國信息技術(shù)產(chǎn)業(yè)日漸成熟，物聯(lián)網(wǎng)這一新一代信息技術(shù)關(guān)鍵技術(shù)日漸受到學(xué)界重視，基于此，本文就物聯(lián)網(wǎng)與云計(jì)算、物聯(lián)網(wǎng)數(shù)據(jù)挖掘需要解決的關(guān)鍵性問題展開分析，并對基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘、實(shí)驗(yàn)驗(yàn)證進(jìn)行了詳細(xì)論述，希望由此能夠?yàn)橄嚓P(guān)業(yè)內(nèi)人士帶來一定啟發(fā)。

【關(guān)鍵詞】云計(jì)算平臺 物聯(lián)網(wǎng) 數(shù)據(jù)挖掘 Hodoop

隨著2010年提出的“數(shù)字地球”概念影響力不斷擴(kuò)大，物聯(lián)網(wǎng)技術(shù)與我國民眾生活之間的距離日漸拉近，越來越多的物聯(lián)網(wǎng)應(yīng)用也開始進(jìn)入人們視野，各界對物聯(lián)網(wǎng)的要求也在不斷提升，而為了解決物聯(lián)網(wǎng)領(lǐng)域正面臨的數(shù)據(jù)挖掘難題，正是本文就云計(jì)算平臺下物聯(lián)網(wǎng)數(shù)據(jù)挖掘展開具體研究的原因所在。

1 物聯(lián)網(wǎng)與云計(jì)算

1.1 物聯(lián)網(wǎng)

物聯(lián)網(wǎng)作為學(xué)界公認(rèn)的下一代網(wǎng)絡(luò)發(fā)展方向之一，其本身由無所不在的小型傳感器設(shè)備組成，無論是與我們?nèi)粘Ｉ?lián)系緊密的計(jì)算機(jī)與智能手機(jī)，還是大型網(wǎng)絡(luò)的服務(wù)器、超級計(jì)算機(jī)群，均屬于物聯(lián)網(wǎng)的重要組成部分，這也是很多學(xué)者將物聯(lián)網(wǎng)稱作新科技革命的原因。在S.Haller等業(yè)界權(quán)威學(xué)者的展望中，其認(rèn)為物聯(lián)網(wǎng)技術(shù)在未來將實(shí)現(xiàn)物理對象無縫集成到信息網(wǎng)絡(luò)之中并成為參與者，而這些“智能對象”在保護(hù)安全與隱私的前提下，則能夠在網(wǎng)絡(luò)中找到任何問題的解決方法。對于物聯(lián)網(wǎng)來說，其具備著全面感知、可靠傳遞、智能處理三方面特點(diǎn)，而結(jié)合現(xiàn)有技術(shù)獲得基本信息、結(jié)合傳感器網(wǎng)絡(luò)和其他通信網(wǎng)絡(luò)實(shí)現(xiàn)物體信息可靠傳遞、在云計(jì)算與模糊識別等技術(shù)支持下處理海量異構(gòu)數(shù)據(jù)則屬于物聯(lián)網(wǎng)三方面特點(diǎn)的具體表現(xiàn)，由此可見電子元器件、數(shù)據(jù)處理中心、傳輸通道三方面可以視作典型物聯(lián)網(wǎng)應(yīng)用的組成。

1.2 云計(jì)算

云計(jì)算本質(zhì)上屬于一種基于互聯(lián)網(wǎng)的新計(jì)算方式，其能夠結(jié)合互聯(lián)網(wǎng)異構(gòu)、自治服務(wù)較好滿足用戶的計(jì)算需要，云計(jì)算中的“云”也可以被視作對IT底層基礎(chǔ)設(shè)施的一種抽象概念。本文研究應(yīng)用的Hodoop屬于典型的云計(jì)算基礎(chǔ)開發(fā)平臺，其本質(zhì)上屬于一個分布式系統(tǒng)基礎(chǔ)的架構(gòu)，Hodoop在云計(jì)算領(lǐng)域的地位可以說近似于IT產(chǎn)業(yè)的Linux系統(tǒng)。Hodoop的核心為分布式文件系統(tǒng)HDFS和Map Reduce，前者具備高容錯性、高伸縮性等優(yōu)點(diǎn)，這些就使得Hodoop的布置能夠較為簡單且低成本的形成分布式文件系統(tǒng)，而后者則具備保證分析和處理的高效性能力，由此Hodoop即可輕松進(jìn)行數(shù)據(jù)的整合。總之，Hodoop這一云計(jì)算基礎(chǔ)開發(fā)平臺能夠通過輕松組織計(jì)算機(jī)資源實(shí)現(xiàn)分布式計(jì)算云平臺搭建，并以此實(shí)現(xiàn)云計(jì)算相關(guān)功用。

1.3 物聯(lián)網(wǎng)數(shù)據(jù)挖掘需要解決的關(guān)鍵性問題

簡單了解物聯(lián)網(wǎng)與云計(jì)算后，物聯(lián)網(wǎng)數(shù)據(jù)挖掘需要解決的關(guān)鍵性問題也應(yīng)引起人們關(guān)注，這里的關(guān)鍵性問題主要由以下幾方面構(gòu)成：

1.3.1 傳統(tǒng)模式難以應(yīng)用

中央模式屬于較為傳統(tǒng)的數(shù)據(jù)挖掘模式，不過物聯(lián)網(wǎng)數(shù)據(jù)不同存儲地點(diǎn)的特性則使得該模式的效用無從發(fā)揮。

1.3.2 對中央節(jié)點(diǎn)硬件要求較高

物聯(lián)網(wǎng)本身具備著數(shù)據(jù)規(guī)模、傳感器節(jié)點(diǎn)龐大的特點(diǎn)，而為了同時滿足其實(shí)時處理需求，高性能的中央節(jié)點(diǎn)硬件要求必須得到滿足。

1.3.3 節(jié)點(diǎn)資源有限

在有限的節(jié)點(diǎn)資源影響下，分布式節(jié)點(diǎn)必須負(fù)責(zé)原始數(shù)據(jù)的預(yù)處理與傳遞。

1.3.4 外在因素影響

由于數(shù)據(jù)安全性、數(shù)據(jù)隱私、法律約束等因素的影響，物聯(lián)網(wǎng)不能夠?qū)⑺袛?shù)據(jù)統(tǒng)一存放在相同數(shù)據(jù)倉庫，這同樣對物聯(lián)網(wǎng)數(shù)據(jù)挖掘提出了較高挑戰(zhàn)。總的來說，現(xiàn)有技術(shù)與方式并不能較好滿足物聯(lián)網(wǎng)數(shù)據(jù)挖掘需要，這也是本文研究開展的原因所在。

2 基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘

結(jié)合Hodoop云計(jì)算基礎(chǔ)開發(fā)平臺進(jìn)行基礎(chǔ)平臺搭建，選擇用物聯(lián)網(wǎng)數(shù)據(jù)集為例，構(gòu)成了物聯(lián)網(wǎng)感知層、傳輸層、數(shù)據(jù)層、數(shù)據(jù)挖掘服務(wù)層四部分模塊組成的平臺，各模塊的實(shí)現(xiàn)思路與功能如下所示。

2.1 物聯(lián)網(wǎng)感知層

物聯(lián)網(wǎng)感知層主要負(fù)責(zé)物聯(lián)網(wǎng)數(shù)據(jù)的采集，這一采集需要得到目標(biāo)區(qū)域布置的采集節(jié)點(diǎn)支持，這里的采集節(jié)點(diǎn)主要由攝像頭、傳感器、其他儀器儀表組成，而由此形成的物聯(lián)網(wǎng)感知層無線傳感器網(wǎng)絡(luò)，便能夠?qū)⒏鞑杉c(diǎn)采集到的網(wǎng)絡(luò)數(shù)據(jù)匯集至節(jié)點(diǎn)，數(shù)據(jù)由此進(jìn)行匯總儲存則能夠在傳輸層的支持下最終傳遞至云平臺的數(shù)據(jù)中心。

2.2 傳輸層

傳輸層本質(zhì)上屬于具備較高可靠性與高速性、較優(yōu)無縫性特點(diǎn)的數(shù)據(jù)傳輸網(wǎng)絡(luò)，而基于Hodoop云計(jì)算基礎(chǔ)開發(fā)平臺構(gòu)建的物聯(lián)網(wǎng)挖掘系統(tǒng)則結(jié)合傳感器網(wǎng)絡(luò)、有線網(wǎng)絡(luò)、無線網(wǎng)絡(luò)實(shí)現(xiàn)了數(shù)據(jù)傳輸網(wǎng)絡(luò)的構(gòu)建，這就使得物聯(lián)網(wǎng)感知層所搜集的信息能夠更快、更好的傳遞到云計(jì)算數(shù)據(jù)中心，由此實(shí)現(xiàn)的更高質(zhì)量互通互聯(lián)，則保證了系統(tǒng)中監(jiān)測設(shè)備的網(wǎng)絡(luò)化高速數(shù)據(jù)傳輸?shù)靡詫?shí)現(xiàn)。

2.3 數(shù)據(jù)層

物聯(lián)網(wǎng)數(shù)據(jù)具備著異構(gòu)性、海量性等特點(diǎn)，這就使得基于Hodoop云計(jì)算基礎(chǔ)開發(fā)平臺的物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)對于物聯(lián)網(wǎng)數(shù)據(jù)的存儲與處理存在著較高要求，而在本文研究所構(gòu)建的物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)數(shù)據(jù)層中，該數(shù)據(jù)層主要由數(shù)據(jù)源轉(zhuǎn)換模塊與分布式存儲模塊兩部分組成，其中前者主要負(fù)責(zé)物聯(lián)網(wǎng)異構(gòu)數(shù)據(jù)的轉(zhuǎn)換，而后者則主要負(fù)責(zé)分布式存儲物聯(lián)網(wǎng)所產(chǎn)生的海量數(shù)據(jù)，由此本文研究的物聯(lián)網(wǎng)挖掘系統(tǒng)的性能和可行性便得到了較好證實(shí)。值得注意的是，分布式存儲模塊需要結(jié)合Hodoop云計(jì)算基礎(chǔ)開發(fā)平臺中的HDFS文件系統(tǒng)實(shí)現(xiàn)。

物聯(lián)網(wǎng)中的不同對象往往會通過不同的數(shù)據(jù)類型進(jìn)行表示，這就使得異構(gòu)性勢必屬于物聯(lián)網(wǎng)的根本性特征，一些相同對象使用不同數(shù)據(jù)表示便較為直觀說明了這一點(diǎn)，而這就使得物聯(lián)網(wǎng)對數(shù)據(jù)源轉(zhuǎn)換器有著較高需求。在本文構(gòu)建的物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)中，數(shù)據(jù)源轉(zhuǎn)換器在其中發(fā)揮著保護(hù)數(shù)據(jù)存儲完整、保證數(shù)據(jù)挖掘科學(xué)順利等功能，數(shù)據(jù)包解碼、數(shù)據(jù)的分布式存儲也需要得到該轉(zhuǎn)化器的直接支持，這也是物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)中各NameNode節(jié)點(diǎn)文件類型為PML的原因。PML能夠通過一種通用的方式進(jìn)行物體描述，而作為基于XML創(chuàng)建的語言，PML在與XML相同核心思想的影響下，其便能夠在物品的詳細(xì)信息提供、物品信息交換等領(lǐng)域發(fā)揮不俗的功能。例如，在本文研究所構(gòu)建的物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)中，PML便在節(jié)點(diǎn)數(shù)據(jù)采集、傳輸、存儲過程中發(fā)揮著建模功能，相關(guān)建模信息所收錄的物體屬性信息、位置信息、環(huán)境信息、歷史元素等內(nèi)容，便能夠保證物品信息實(shí)現(xiàn)較高質(zhì)量的表達(dá)，這對于物聯(lián)網(wǎng)數(shù)據(jù)挖掘也將帶來較為積極影響。endprint

2.4 數(shù)據(jù)挖掘服務(wù)層

數(shù)據(jù)挖掘服務(wù)層可以細(xì)分為數(shù)據(jù)準(zhǔn)備模塊、數(shù)據(jù)挖掘引擎模塊、用戶模塊三部分，三部分模塊的具體功用如下所示：

2.4.1 數(shù)據(jù)準(zhǔn)備模塊

主要負(fù)責(zé)物聯(lián)網(wǎng)搜集數(shù)據(jù)的清理、變換、數(shù)據(jù)規(guī)約。

2.4.2 數(shù)據(jù)挖掘引擎模塊

主要通過數(shù)據(jù)挖掘算法集、模式評估等功能為物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)提供服務(wù)，特征、區(qū)分、關(guān)聯(lián)、聚類、局外者、趨勢和演化分析、偏差分析、類似性分析等可以視作該模塊功能的具體組成，這些功能的實(shí)現(xiàn)得益于數(shù)據(jù)挖掘引擎模塊中的算法集，Hodoop云計(jì)算基礎(chǔ)開發(fā)平臺支持下實(shí)現(xiàn)的算法并行化處理則是該模塊功能實(shí)現(xiàn)的基礎(chǔ)。

2.4.3 用戶模塊

實(shí)現(xiàn)對數(shù)據(jù)挖掘知識的可視化表示。

用戶模塊是本文研究物聯(lián)網(wǎng)數(shù)據(jù)挖掘平臺面向使用人員的部分，因此在設(shè)計(jì)中筆者注重了系統(tǒng)操作的友好性，簡單的數(shù)據(jù)挖掘任務(wù)開展、輕松獲得可以被理解知識均屬于設(shè)計(jì)的優(yōu)勢所在。值得注意的是，為了保證本文研究的物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)具備較高的可移植性，設(shè)計(jì)人員在設(shè)計(jì)之初便為數(shù)據(jù)挖掘服務(wù)層底層模塊設(shè)計(jì)了開放接口，由此該物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)的應(yīng)用豐富性就能夠得到較好保障，表1對本文研究的物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)組成進(jìn)行了直觀展示。

3 實(shí)驗(yàn)驗(yàn)證

3.1 物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)工作流程

基于Hodoop云計(jì)算基礎(chǔ)開發(fā)平臺的物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)工作流程可以概括為：“用戶→主控節(jié)點(diǎn)→主控節(jié)點(diǎn)允許用戶請求→主控節(jié)點(diǎn)調(diào)用數(shù)據(jù)挖掘算法→調(diào)用數(shù)據(jù)挖掘算法成功→準(zhǔn)備物聯(lián)網(wǎng)數(shù)據(jù)→分布式數(shù)據(jù)挖掘→將結(jié)果傳遞給用戶”，而結(jié)合這一流程本文將圍繞以下幾部分開展具體的物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)工作流程描述，具體描述如下：

3.1.1 用戶請求

在用戶請求物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)進(jìn)行數(shù)據(jù)挖掘后，系統(tǒng)的主控節(jié)點(diǎn)將判斷該任務(wù)是否可以進(jìn)行，而在確定可以進(jìn)行后系統(tǒng)將首先向用戶傳遞可以進(jìn)行的信息，并隨后開始具體的數(shù)據(jù)挖掘。

3.1.2 數(shù)據(jù)挖掘過程

在確定物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)可以進(jìn)行數(shù)據(jù)挖掘后，系統(tǒng)的主控節(jié)點(diǎn)將有針對性的選擇數(shù)據(jù)挖掘算法滿足用戶需要，并結(jié)合MapReduce思想與Master/Slave結(jié)構(gòu)進(jìn)行數(shù)據(jù)挖掘任務(wù)的劃分。

3.1.3 具體節(jié)點(diǎn)任務(wù)

在數(shù)據(jù)挖掘任務(wù)的劃分下，需要完成具體工作的節(jié)點(diǎn)將被分配任務(wù)，由此物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)的具體數(shù)據(jù)處理便由此開展，同時JobTracker負(fù)責(zé)的調(diào)度和執(zhí)行則將最后將數(shù)據(jù)挖掘結(jié)果傳遞給用戶。

3.2 實(shí)驗(yàn)驗(yàn)證

為了能夠直觀判斷基于Hodoop云計(jì)算基礎(chǔ)開發(fā)平臺物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)可行性和性能水平，明晰MapReduce數(shù)據(jù)挖掘算法在系統(tǒng)中發(fā)揮的作用，本文選擇了結(jié)合Apriori算法開展實(shí)驗(yàn)驗(yàn)證的方法，實(shí)驗(yàn)驗(yàn)證的環(huán)境、過程、結(jié)果如下所示。

3.2.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)選擇了4G內(nèi)存、500G硬盤、Windows7系統(tǒng)的計(jì)算機(jī)作為實(shí)驗(yàn)基礎(chǔ)，并在該計(jì)算機(jī)中通過虛擬機(jī)安裝部署了多個分布式節(jié)點(diǎn)，其中共3個虛擬機(jī)中的一個為NameNode Linux系統(tǒng)，其余兩個則為DateNode Linux系統(tǒng)。為了保證實(shí)驗(yàn)質(zhì)量與效率，筆者還在該計(jì)算機(jī)中安裝了專門用于Linux系統(tǒng)的Eclipse7.5集成開發(fā)環(huán)境，在Windows系統(tǒng)中安裝了SSH Secure Shell Client、各個虛擬機(jī)操作系統(tǒng)中安裝了SSH服務(wù)，由此即可保證本文研究的基于Hodoop云計(jì)算基礎(chǔ)開發(fā)平臺物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)的順利使用。

3.2.2 實(shí)驗(yàn)過程

完成實(shí)驗(yàn)環(huán)境的搭建后，本文選擇了一組用于關(guān)聯(lián)規(guī)則算法的實(shí)驗(yàn)數(shù)據(jù)，并將該數(shù)據(jù)通過C++代碼編寫的程序通過關(guān)鍵字搜索方式轉(zhuǎn)換成立標(biāo)準(zhǔn)類型大小為1G的PML文件，在HDFS命令下該文件被放入Hadoop平臺進(jìn)行分布式存儲，而在運(yùn)行Java語言編寫的Apriori算法后，即可得到物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)的運(yùn)行結(jié)果，通過查看系統(tǒng)使用中是否找到了實(shí)驗(yàn)數(shù)據(jù)集中的所有頻繁項(xiàng)集便能夠直觀判斷其性能。值得注意的是，為了提升實(shí)驗(yàn)的有效性，本文選擇了不同大小的文件開展實(shí)驗(yàn)，由此實(shí)現(xiàn)對比物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)運(yùn)行時間更深入了解其性能。

3.2.3 實(shí)驗(yàn)結(jié)果

表2對基于物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)的實(shí)驗(yàn)結(jié)果進(jìn)行了直觀展示，結(jié)合該表不難發(fā)現(xiàn)，文件大小的提升直接導(dǎo)致物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)運(yùn)行時間的增長，這種增長存在典型的線性趨勢，而由于應(yīng)用Apriori算法的物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)實(shí)現(xiàn)了頻繁項(xiàng)集的發(fā)現(xiàn)，本文研究的基于Hodoop云計(jì)算基礎(chǔ)開發(fā)平臺物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)的擴(kuò)展性便得到了較為直觀展現(xiàn)，其所具備的物聯(lián)網(wǎng)海量數(shù)據(jù)挖掘能力也得到了較好證實(shí)。

4 結(jié)論

綜上所述，云計(jì)算平臺能夠較好服務(wù)于物聯(lián)網(wǎng)的數(shù)據(jù)挖掘。而在此基礎(chǔ)上，本文研究所提出了完善性與科學(xué)性較高的基于Hodoop云計(jì)算基礎(chǔ)開發(fā)平臺物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)，便直觀證明了全文的實(shí)踐價值。因此，在相關(guān)領(lǐng)域的理論研究與實(shí)踐探索中，本文內(nèi)容便能夠發(fā)揮一定參考作用。

參考文獻(xiàn)

[1]湯勇峰.基于云計(jì)算平臺的物聯(lián)網(wǎng)數(shù)據(jù)挖掘研究[J].電腦知識與技術(shù)，2017，1307：218-219.

[2]陳俊麗.基于云計(jì)算平臺的物聯(lián)網(wǎng)數(shù)據(jù)挖掘研究[J].中國新通信，2016，1821：74-75.

[3]武桂云.基于hadoop平臺的分布式數(shù)據(jù)挖掘系統(tǒng)研究與設(shè)計(jì)[D].天津大學(xué)，2012.

[4]林昕.基于云計(jì)算的大數(shù)據(jù)挖掘平臺構(gòu)建研究[J].山東工業(yè)技術(shù)，2015（17）：104.

作者簡介

徐少甫（1980-），男，碩士學(xué)位。無錫太湖學(xué)院實(shí)驗(yàn)師。研究方向?yàn)橛?jì)算機(jī)應(yīng)用及網(wǎng)絡(luò)管理。

作者單位

無錫太湖學(xué)院 江蘇省無錫市 214063endprint