物聯(lián)網(wǎng)中的海量數(shù)據(jù)處理技術(shù)

摘要：物聯(lián)網(wǎng)近年來得到了迅速的發(fā)展。伴隨著各種傳感設(shè)備的使用，物聯(lián)網(wǎng)所處理的數(shù)據(jù)量呈現(xiàn)出海量特征。如何對(duì)這些數(shù)據(jù)進(jìn)行高效處理，從中獲取有用信息，進(jìn)而提供智能決策，是物聯(lián)網(wǎng)面臨的關(guān)鍵問題。該文對(duì)物聯(lián)網(wǎng)中使用的海量數(shù)據(jù)處理技術(shù)進(jìn)行了介紹。

關(guān)鍵詞：物聯(lián)網(wǎng) 海量數(shù)據(jù) 技術(shù)

中圖分類號(hào)：G64 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2013）01（c）-0182-01

物聯(lián)網(wǎng)中傳感設(shè)備種類繁多，需要對(duì)來自不同網(wǎng)絡(luò)、不同子系統(tǒng)的海量異構(gòu)數(shù)據(jù)進(jìn)行統(tǒng)一的處理及存儲(chǔ)，從而要求物聯(lián)網(wǎng)的海量數(shù)據(jù)處理機(jī)制能融合多網(wǎng)、多源、異構(gòu)的海量數(shù)據(jù)并對(duì)這些數(shù)據(jù)進(jìn)行高效快速的處理，從中獲取有價(jià)值的信息，進(jìn)而提供智能決策。同時(shí)，海量數(shù)據(jù)處理任務(wù)需要多種資源，包括計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源等，對(duì)這些資源的統(tǒng)一規(guī)劃和調(diào)度，可以有效地加快海量數(shù)據(jù)處理的速度。

下面對(duì)物聯(lián)網(wǎng)中涉及到的海量數(shù)據(jù)處理技術(shù)分別進(jìn)行介紹。

1 多源數(shù)據(jù)融合技術(shù)

物聯(lián)網(wǎng)中數(shù)據(jù)的存儲(chǔ)方式、組織結(jié)構(gòu)以及時(shí)效性呈現(xiàn)出多樣性。如何從跨域、異構(gòu)、動(dòng)態(tài)、海量的數(shù)據(jù)資源中提取用戶所需的知識(shí)，是面臨的一個(gè)重要問題。將多源異構(gòu)的數(shù)據(jù)資源有效地聚合在一起，提供統(tǒng)一的數(shù)據(jù)操作方法是解決這個(gè)問題的有效途徑。有效聚合多源異構(gòu)數(shù)據(jù)的重點(diǎn)是建立數(shù)據(jù)參考模型。而基于元數(shù)據(jù)的目錄體系和交換體系是數(shù)據(jù)參考模型建立的基礎(chǔ)性保障。在進(jìn)行融合前必須對(duì)來自多個(gè)傳感器數(shù)據(jù)源的數(shù)據(jù)和信息進(jìn)行預(yù)處理以精簡(jiǎn)處理的數(shù)據(jù)量，針對(duì)融合的水平和特點(diǎn)還要考慮不同層次的數(shù)據(jù)融合方法。

（1）海量數(shù)據(jù)預(yù)處理技術(shù)。通過對(duì)傳感數(shù)據(jù)進(jìn)行預(yù)處理可以有效去除明顯的錯(cuò)誤和冗余的數(shù)據(jù)，精簡(jiǎn)所選數(shù)據(jù)中的有用部分。傳感器觀測(cè)到的數(shù)據(jù)由事件組成，監(jiān)測(cè)采集的事件有確定性和異常及突發(fā)事件，采用海量數(shù)據(jù)異常事件提取技術(shù)，以異常信息識(shí)別理論為基礎(chǔ)，通過快速識(shí)別冗余、修正錯(cuò)誤等無效事件對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，以濾除數(shù)據(jù)采集過程中的干擾和噪聲，進(jìn)一步過濾并分組形成有效事件集，提高實(shí)時(shí)處理的速度和精度。

（2）目錄交換體系研究技術(shù)。為了支持統(tǒng)一數(shù)據(jù)參考模型，目前已研究出了多個(gè)數(shù)字對(duì)象標(biāo)識(shí)管理和服務(wù)系統(tǒng)，例如，提出了CDOI系統(tǒng)。該系統(tǒng)采用UUID（Universally Unique Identifier，通用唯一識(shí)別碼）進(jìn)行編碼，提供了CDOI注冊(cè)、定位、收費(fèi)以及增值服務(wù)，能夠滿足分布式、海量數(shù)字資源標(biāo)識(shí)的需要。

（3）多源數(shù)據(jù)融合中數(shù)據(jù)參考模型建立技術(shù)。物聯(lián)網(wǎng)中的數(shù)據(jù)可以分為結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。對(duì)于結(jié)構(gòu)化數(shù)據(jù)一般采用關(guān)系數(shù)據(jù)庫(kù)的方式進(jìn)行管理，非結(jié)構(gòu)化數(shù)據(jù)采用數(shù)字對(duì)象的方式進(jìn)行管理，而半結(jié)構(gòu)化數(shù)據(jù)則采用XML的方式進(jìn)行管理。通過目錄交換體系可以建立不同類型數(shù)據(jù)之間的聯(lián)系，為多源數(shù)據(jù)融合提供標(biāo)準(zhǔn)的格式。

（4）多層次數(shù)據(jù)融合技術(shù)。根據(jù)物聯(lián)網(wǎng)中海量數(shù)據(jù)的特點(diǎn)以及融合的目標(biāo)，分別從數(shù)據(jù)級(jí)、特征級(jí)、決策級(jí)三方面進(jìn)行融合。數(shù)據(jù)級(jí)融合是最低層次的融合，是在各傳感器的原始數(shù)據(jù)未經(jīng)預(yù)處理之前就進(jìn)行的數(shù)據(jù)綜合和分析。特征級(jí)融合是指從各個(gè)傳感器提供的原始數(shù)據(jù)中提取特征，然后對(duì)這些特征進(jìn)行融合。決策級(jí)融合是指將單個(gè)傳感器做出的決策進(jìn)一步融合，為指揮控制決策提供依據(jù)。

2 海量數(shù)據(jù)挖掘技術(shù)

MapReduce架構(gòu)可以作為海量數(shù)據(jù)資源知識(shí)元挖掘算法的統(tǒng)一處理機(jī)制，在Hadoop分布式系統(tǒng)平臺(tái)上，能夠?qū)崿F(xiàn)分類、聚類和關(guān)聯(lián)知識(shí)挖掘等算法。

3 物聯(lián)網(wǎng)海量數(shù)據(jù)存儲(chǔ)查詢技術(shù)

物聯(lián)網(wǎng)廣布傳感設(shè)備，采集生成大量實(shí)時(shí)、海量、多源、多粒度、多緯度流數(shù)據(jù)，其規(guī)模可達(dá)到TB甚至是PB級(jí)，研究物聯(lián)網(wǎng)海量數(shù)據(jù)的存儲(chǔ)、歸檔和查詢，集中有效地處理這些數(shù)據(jù)，并高效地進(jìn)行管理，高實(shí)時(shí)性地統(tǒng)一定制數(shù)據(jù)給用戶，以達(dá)到與用戶信息系統(tǒng)間的完美結(jié)合。

（1）存儲(chǔ)技術(shù)

物聯(lián)網(wǎng)數(shù)據(jù)存儲(chǔ)于大量網(wǎng)絡(luò)節(jié)點(diǎn)上，為了減小數(shù)據(jù)遷移時(shí)對(duì)網(wǎng)絡(luò)帶寬資源的占用，采用就近存儲(chǔ)原則，同時(shí)，借鑒Bloom Filter算法的思想，可以快速定位到數(shù)據(jù)所在節(jié)點(diǎn)，避免泛洪式查詢。另外，設(shè)計(jì)磁盤容量耗盡時(shí)的數(shù)據(jù)回收機(jī)制，結(jié)合查詢歷史統(tǒng)計(jì)結(jié)果和系統(tǒng)當(dāng)前存儲(chǔ)容量，為不同種類數(shù)據(jù)動(dòng)態(tài)設(shè)置數(shù)據(jù)生存周期。

（2）索引技術(shù)

物聯(lián)網(wǎng)數(shù)據(jù)包括時(shí)態(tài)流數(shù)據(jù)和空間流數(shù)據(jù)，對(duì)于時(shí)態(tài)流數(shù)據(jù)，主要查詢類型為間隔查詢，可以采用B-Tree、Bitmap索引等。對(duì)于空間流數(shù)據(jù)，常用查詢操作是尋找某個(gè)區(qū)域內(nèi)所有符合某個(gè)條件的對(duì)象，可以采用多維索引技術(shù)，如R-Tree等，在有限空間里建立最優(yōu)索引，使系統(tǒng)滿足效率要求。

（3）移動(dòng)數(shù)據(jù)查詢管理技術(shù)

物聯(lián)網(wǎng)是一個(gè)移動(dòng)計(jì)算環(huán)境，其特點(diǎn)具有移動(dòng)性、頻繁斷接性、帶寬多樣性、網(wǎng)絡(luò)通信非對(duì)稱性等。

通過對(duì)移動(dòng)對(duì)象的位置進(jìn)行表示與建模來對(duì)移動(dòng)對(duì)象進(jìn)行有效管理；通過對(duì)移動(dòng)對(duì)象進(jìn)行索引，減小搜索空間從而提高查詢的性能；通過對(duì)移動(dòng)對(duì)象和靜態(tài)對(duì)象分別建立相應(yīng)的索引結(jié)構(gòu)來完成不同種類對(duì)象的查詢處理；通過將某一時(shí)間區(qū)內(nèi)查詢結(jié)果的變化信息隨時(shí)傳遞給查詢用戶，來完成位置相關(guān)的持續(xù)查詢和環(huán)境感知的查詢處理。

4 物聯(lián)網(wǎng)資源管理與調(diào)度技術(shù)

從高性能到高效能，再到高吞吐，計(jì)算系統(tǒng)所能提供的計(jì)算和存儲(chǔ)能力越來越強(qiáng)。相對(duì)來講如何以一種安全、可靠、低成本的方式將大規(guī)模的計(jì)算能力提供給用戶，是海量數(shù)據(jù)處理任務(wù)的關(guān)鍵問題。

采用云計(jì)算技術(shù)搭建資源組織管理體系框架，可以實(shí)現(xiàn)計(jì)算存儲(chǔ)等資源的整合、調(diào)度和安全管理，為海量數(shù)據(jù)處理服務(wù)提供計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)能力。