基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘模式分析

吳東飛 孟令超

摘要：物聯(lián)網(wǎng)其實(shí)就是指物和物之間相互聯(lián)系的互聯(lián)網(wǎng)，隨著社會(huì)科學(xué)技術(shù)的不斷發(fā)展和進(jìn)步，促進(jìn)了互聯(lián)網(wǎng)的快速發(fā)展，也讓社會(huì)經(jīng)濟(jì)得到了很好的發(fā)展。云計(jì)算主要就是指對(duì)相關(guān)的信息進(jìn)行虛擬化的計(jì)算和存儲(chǔ)，對(duì)各種信息在互聯(lián)網(wǎng)上進(jìn)行規(guī)范和整理，這樣就能夠有效的形成很多個(gè)計(jì)算中心和數(shù)據(jù)。

關(guān)鍵詞：云計(jì)算；物聯(lián)網(wǎng)；數(shù)據(jù)挖掘模式；研究分析

1 云計(jì)算以及數(shù)據(jù)挖掘技術(shù)概述

1.1 云計(jì)算概述

云計(jì)算本質(zhì)上屬于一種基于互聯(lián)網(wǎng)的新計(jì)算方式，其能夠結(jié)合互聯(lián)網(wǎng)異構(gòu)、自治服務(wù)較好滿足用戶的計(jì)算需要，云計(jì)算中的“云”也可以被視作對(duì)IT底層基礎(chǔ)設(shè)施的一種抽象概念。本文研究應(yīng)用的Hodoop屬于典型的云計(jì)算基礎(chǔ)開發(fā)平臺(tái)，其本質(zhì)上屬于一個(gè)分布式系統(tǒng)基礎(chǔ)的架構(gòu)，Hodoop在云計(jì)算領(lǐng)域的地位可以說近似于IT產(chǎn)業(yè)的Linux系統(tǒng)。Hodoop的核心為分布式文件系統(tǒng)HDFS和Map Reduce，前者具備高容錯(cuò)性、高伸縮性等優(yōu)點(diǎn)，這些就使得Hodoop的布置能夠較為簡(jiǎn)單且低成本的形成分布式文件系統(tǒng)，而后者則具備保證分析和處理的高效性能力，由此Hodoop即可輕松進(jìn)行數(shù)據(jù)的整合?？傊?，Hodoop這一云計(jì)算基礎(chǔ)開發(fā)平臺(tái)能夠通過輕松組織計(jì)算機(jī)資源實(shí)現(xiàn)分布式計(jì)算云平臺(tái)搭建，并以此實(shí)現(xiàn)云計(jì)算相關(guān)功用。

1.2 數(shù)據(jù)挖掘技術(shù)概述

（1）數(shù)據(jù)挖掘技術(shù)的含義

數(shù)據(jù)挖掘技術(shù)產(chǎn)生時(shí)間并不算久，可自從20世紀(jì)90年代產(chǎn)生以來，在人類社會(huì)中產(chǎn)生了巨大的影響，同時(shí)受到了人們的廣泛應(yīng)用。目前來說，數(shù)據(jù)挖掘并不是一個(gè)獨(dú)立的學(xué)科，而是交叉學(xué)科，因此不同領(lǐng)域不同行業(yè)的人對(duì)其理解也存在不同之處，因而對(duì)其準(zhǔn)確的定義還沒有定論。目前，大部分學(xué)者比較認(rèn)同的關(guān)于數(shù)據(jù)挖掘技術(shù)的含義是韓家煒等人對(duì)其的定義，包括三個(gè)方面的內(nèi)容，第一，具有大量的數(shù)據(jù)來源，并且是真實(shí)的數(shù)據(jù)；第二，通過數(shù)據(jù)挖掘獲得的信息對(duì)人們有著較高的價(jià)值與作用；第三，獲得信息是可以被人們理解分析，被人們接受與運(yùn)用，能夠以此來做出判斷或決策。

（2）數(shù)據(jù)挖掘技術(shù)的特征

數(shù)據(jù)挖掘技術(shù)具有分布廣、規(guī)模大、節(jié)點(diǎn)資源有限以及安全性復(fù)雜等特征。物聯(lián)網(wǎng)數(shù)據(jù)本身具有分布廣的特點(diǎn)，因?yàn)閿?shù)據(jù)一般都存儲(chǔ)在不同的地方，其次，物聯(lián)網(wǎng)數(shù)據(jù)極為龐大，本身有許多傳感器節(jié)點(diǎn)，因而需要有能夠快速解決處理數(shù)據(jù)的中央節(jié)點(diǎn)，再次，節(jié)點(diǎn)資源并不是無限的，因而中央節(jié)點(diǎn)一般不需要所有的數(shù)據(jù)，但需要數(shù)據(jù)參數(shù)，從而依靠分布式節(jié)點(diǎn)將用戶需要的數(shù)據(jù)傳輸出去。

2 基于云計(jì)算的數(shù)據(jù)挖掘模型

基于云計(jì)算的數(shù)據(jù)挖掘的平臺(tái)就是能夠提供動(dòng)態(tài)資源池和虛擬化跟高可用性的計(jì)算平臺(tái)。云計(jì)算的數(shù)據(jù)挖掘平臺(tái)可被用來開發(fā)高性能的應(yīng)用程序，可以利用云計(jì)算來進(jìn)行數(shù)據(jù)挖掘。

物聯(lián)網(wǎng)中在基于云計(jì)算的數(shù)據(jù)挖掘系統(tǒng)設(shè)計(jì)的過程力，先由軟件的分層設(shè)計(jì)思想，將基于云計(jì)算的數(shù)據(jù)挖掘系統(tǒng)的層次自頂向下劃分為：用戶層、任務(wù)層和算法層。在這個(gè)平臺(tái)當(dāng)中，軟件的底層可以透明的為它的上層提供服務(wù)，上層就可以通過其層間的開放接口來調(diào)用下層的服務(wù)，這樣就使得層與層之間的功能相對(duì)的做到獨(dú)立，這樣設(shè)計(jì)是易于對(duì)數(shù)據(jù)挖掘系統(tǒng)的二次開發(fā)，還在設(shè)計(jì)算法層的過程中設(shè)計(jì)了多層插件的框架結(jié)構(gòu)，這樣增加了算法的實(shí)現(xiàn)和維護(hù)的靈活性[4]。基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘既要滿足物聯(lián)網(wǎng)數(shù)據(jù)的復(fù)雜類型還要滿足物聯(lián)網(wǎng)數(shù)據(jù)的高動(dòng)態(tài)性，故此，這樣設(shè)計(jì)的基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘模式最合適。

3 基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘模型

3.1 挖掘模型的結(jié)構(gòu)

基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘模型一般有五層結(jié)構(gòu)，包括了數(shù)據(jù)接入層、集成層、挖掘?qū)?、業(yè)務(wù)控制層以及交互層。接入層一般各種傳感器終端組成，如無線傳感器、RFID、GPS 等，用來監(jiān)控各對(duì)象并進(jìn)行數(shù)據(jù)采集。集成層主要是存儲(chǔ)接入層中所收集到的數(shù)據(jù)，形成數(shù)據(jù)源并為其他層提供必要數(shù)據(jù)。挖掘?qū)邮钦麄€(gè)挖掘系統(tǒng)中最重要的部分之一，它為系統(tǒng)提供了挖掘所需要的各模塊，使算法能夠并行運(yùn)算，最后將結(jié)果反饋到控制層中?？刂茖又饕o挖掘任務(wù)提供邏輯運(yùn)算，并對(duì)其進(jìn)行控制和調(diào)控，最后將結(jié)果反饋到交互層。交互層是系統(tǒng)和用戶相聯(lián)系的接口，通過窗口可以使用戶查看或保存結(jié)果。

3.2 功能模塊

各層構(gòu)架中有想用的功能模塊，如接入層中的海計(jì)算模塊、挖掘?qū)又械牟⑿袛?shù)據(jù)挖掘算法模塊和并行 ETL 模塊以及模式評(píng)估模塊、控制層中的任務(wù)調(diào)度控制模塊和工作流程控制模塊、交互層中的用戶管理模塊和業(yè)務(wù)模塊以及結(jié)果展示模塊等。它們?cè)诟髯运M成的構(gòu)架中發(fā)揮著重要作用。

4 物聯(lián)網(wǎng)技術(shù)數(shù)據(jù)挖掘存在的挑戰(zhàn)

由于物聯(lián)網(wǎng)技術(shù)自身的特點(diǎn)，在數(shù)據(jù)挖掘中有一定的優(yōu)勢(shì)，但新技術(shù)在數(shù)據(jù)挖掘中應(yīng)用非常多，每個(gè)技術(shù)都有一定優(yōu)勢(shì)，物聯(lián)網(wǎng)技術(shù)在數(shù)據(jù)挖掘中也存在一定的挑戰(zhàn)，主要有以下及方面：

（1）物聯(lián)網(wǎng)數(shù)據(jù)存在沒有一定章法，比較多，但還比較亂，通過一種中央模式對(duì)分布式數(shù)據(jù)挖掘效果一般。（2）物聯(lián)網(wǎng)數(shù)據(jù)規(guī)模比較大，需要及時(shí)處理，有的還有一定的節(jié)點(diǎn)，主要通過中央模式處理，這種模式對(duì)計(jì)算機(jī)硬件要求比較高，現(xiàn)有的硬件模式不能很好的完成任務(wù)，因此需要加強(qiáng)新的硬件才能解決數(shù)據(jù)挖掘問題。（3）數(shù)據(jù)需求的節(jié)點(diǎn)越來越多，但現(xiàn)在能滿足的節(jié)點(diǎn)數(shù)是越來越少，這種需求與供給之間的矛盾越來越多，所以要解決這類問題，可能要接入新技術(shù)的引入，才能更好的解決數(shù)據(jù)挖掘問題，更好的利用大數(shù)據(jù)解決實(shí)際問題。（4）物聯(lián)網(wǎng)上不穩(wěn)定因素比較多，比如數(shù)據(jù)的安全性，網(wǎng)絡(luò)穩(wěn)定性等一系列問題都是未來需要解決的方向，因此數(shù)據(jù)挖掘基于物聯(lián)網(wǎng)模式研究，需要解決的問題還是很多的，必須建立一個(gè)安全可靠的平臺(tái)進(jìn)行完善。

5 云計(jì)算下聯(lián)網(wǎng)數(shù)據(jù)挖掘模式的構(gòu)建

使用者通過互聯(lián)網(wǎng)對(duì)數(shù)據(jù)挖掘平臺(tái)進(jìn)行連接，在DaaS、SaaS以及PaaS，這三個(gè)系統(tǒng)中對(duì)使用的賬戶管理系統(tǒng)進(jìn)行監(jiān)控，數(shù)據(jù)挖掘平臺(tái)中的每一個(gè)環(huán)節(jié)都在云計(jì)算的服務(wù)模式下。

數(shù)據(jù)挖掘中的賬戶管理系統(tǒng)是對(duì)用戶的相關(guān)服務(wù)情況進(jìn)行管理的系統(tǒng)，它詳細(xì)的記錄了用戶的賬戶使用信息，將使用者在平臺(tái)中的所有服務(wù)和設(shè)備的使用記錄成詳細(xì)的賬目，為用戶提供詳細(xì)的數(shù)據(jù)資源。

在數(shù)據(jù)挖掘中的數(shù)據(jù)管理子系統(tǒng)主要是將使用者的數(shù)據(jù)資源進(jìn)行管理，這個(gè)系統(tǒng)是基于云計(jì)算的DaaS服務(wù)模式下的，使用者通過該系統(tǒng)進(jìn)行數(shù)據(jù)的購買等活動(dòng)?？梢员Ｗo(hù)使用者的隱私，讓使用者在數(shù)據(jù)的處理后再次的進(jìn)行出售。

在數(shù)據(jù)挖掘中的子挖掘系統(tǒng)中對(duì)使用者的數(shù)據(jù)進(jìn)行知識(shí)的發(fā)現(xiàn)，實(shí)現(xiàn)數(shù)據(jù)的挖掘任務(wù)，這個(gè)系統(tǒng)是整個(gè)數(shù)據(jù)挖掘系統(tǒng)中的核心部分，具有很強(qiáng)的專業(yè)性。想要對(duì)知識(shí)進(jìn)行挖掘的使用者可以通過此系統(tǒng)的幫助來完成對(duì)數(shù)據(jù)的挖掘。

6 結(jié)語

時(shí)代在不斷的進(jìn)步，科技是發(fā)展的原動(dòng)力，放眼近幾年的發(fā)展，我們不難看出發(fā)展帶給我們的巨大的變化，在每個(gè)領(lǐng)域體現(xiàn)的都非常的明顯。信息產(chǎn)業(yè)也是不例外的，人們都說我們步入了一個(gè)信息的時(shí)代，在這個(gè)時(shí)代里信息的傳遞與交流是不可少的，像是我們的學(xué)習(xí)，商務(wù)以及很多的其他的方面，這些方面在今天已經(jīng)離不開了現(xiàn)代化的信息參與。正是因?yàn)檫@樣的原因，我們?cè)谶@一領(lǐng)域在不斷的進(jìn)行探索，目的就是在這一領(lǐng)域更好的滿足今天人們的需求。

參考文獻(xiàn)

[1]湯勇峰.基于云計(jì)算平臺(tái)的物聯(lián)網(wǎng)數(shù)據(jù)挖掘研究[J].電腦知識(shí)與技術(shù)，2017，1307：218-219.

[2]陳俊麗.基于云計(jì)算平臺(tái)的物聯(lián)網(wǎng)數(shù)據(jù)挖掘研究[J].中國新通信，2016，1821：74-75.

[3]武桂云.基于hadoop平臺(tái)的分布式數(shù)據(jù)挖掘系統(tǒng)研究與設(shè)計(jì)[D].天津大學(xué)，2012.

（1.作者身份證號(hào)碼：1306231989****1213；

2.作者身份證碼：1306321989****2057）