基于NoSQL數據庫的大數據存儲技術的研究與應用

孫中廷

摘 要： 實際工程中采集和處理的數據量特別大，這對傳統數據庫技術提出巨大挑戰。針對傳統關系型數據庫存儲速度慢、對硬件要求高的缺點，提出一種以NoSQL數據庫為基礎的大數據處理方法，打破了傳統數據庫的關系模型，數據以一種自由的方式存儲，而不依賴固定的表結構。該方法主要是將經驗模態分解并與NoSQL數據庫技術相結合，應用于大型結構件的變形監測中，構建出一個基于NoSQL數據庫系統的大型結構件變形監測系統。仿真結果表明，該方法可以實現大型結構件變形監測數據的實時處理，在計算收斂性、算法穩定性和處理速度上都優于傳統數據庫技術。

關鍵詞： NoSQL數據庫； 經驗模態分解； 關系模型； 變形監測； 大型結構件

中圖分類號：TP392 文獻標志碼：A 文章編號：1006-8228（2014）07-07-03

Abstract： In engineering practice， the large amount of data acquisition and processing has challenged traditional database technology. To deal with the disadvantages of low storing speed and high hardware requirement of traditional relational database， a large data processing method based on NoSQL database is presented. The traditional relational model database is broken and data is stored in a free manner， while do not rely on fixed table structure. This method is mainly the empirical mode decomposition and NoSQL database technologies combine applied deformation monitoring of large structural parts to construct a large-scale structure deformation monitoring system based on NoSQL database system. Simulation results show that the proposed NoSQL database based on the large data processing method can achieve real-time processing of large structural deformation monitoring data and it is better than the traditional database technology on the convergence and stability of the algorithm and processing speed.

Key words： NoSQL database； empirical mode decomposition； relationship model； deformation monitoring； Large-Scale structure

0 引言

計算機技術和網絡技術的快速發展以及硬件的不斷升級和更新換代，使得數據呈現爆炸式增長，向海量數據和大數據邁進。越來越多的數據屬于非結構化數據，如圖片、聲音和視頻等文件[1]。

面對海量數據的存儲和處理要求，傳統的關系型數據庫已無法滿足用戶需求，甚至制約著海量數據的存儲和處理。本文基于這種形勢研究NoSQL數據庫在大型結構件變形監測數據存儲和處理中的應用。

1 大型結構件變形監測

工程建筑中，橋梁、地鐵隧道等大型結構件在經濟發展中有重要作用，因此通過實時監測大型結構件的實際狀態和環境狀況，實時監測和診斷結構性能，及時發現結構損傷，對比理論值和實際檢測值，有助于識別和預計可能出現的災害，及時發現災害隱患并進行處理[2-3]。

2 變形監測技術

由于GPS測量技術具有高精度的三維定位能力，同時可以實現實時連續觀測，因此GPS為監測大型結構件的動態和靜態變形提供了非常有效的手段。GPS測量技術不但精度高，而且不受天氣條件影響，可以實現全天候觀測測量，自動計算和記錄，因此GPS技術被廣泛地應用于大型結構件的監測。圖1為某大橋的GPS連續監測系統框圖[4]。

GPS監測到的數據，需要進行實時處理和診斷，做到及時識別和判斷，其中涉及到大量的數據存儲和計算處理，由于NoSQL數據庫克服了傳統關系型數據庫的缺點，具有存儲速度快和硬件限制要求低的優點[5]，本文將經驗模態分解技術和NoSQL數據庫結合起來，進行大型結構件變形監測數據的存儲和處理研究。

5 結束語

本文以NoSQL數據庫為基礎，結合EMD分解技術，實現了大型結構件實時監測數據的存儲和處理。仿真結果表明，本文算法在收斂性、穩定性和處理速度上都優于傳統的EMD技術，從而驗證了NoSQL數據庫技術可以克服傳統的關系型數據庫的缺點，具有處理速度快，對硬件限制要求低的優點，因此NoSQL數據庫技術可以同其他技術相結合，應用于海量數據處理和大數據處理領域，提高速度和存儲量。

參考文獻：

[1] 呂明育，李小勇.NoSQL數據庫與關系數據庫的比較分析[J].微型電腦應用，2011.10：61-64

[2] 李莉莎.關于NOSQL的思考[J].中國傳媒科技，2010.4：42-43

[3] 陳敏敏.基于MongoDB云存儲平臺的論壇信息抽取與存儲研究[D].上海交通大學，2011.

[4] Feng Youle，Zhu Liuzhang. Analysis and Improvement of CEPH Dynamic Metadata Management[J].Electronic Technology，2010.47（9）：1-3

[5] Zhu Wei-ping， Chen Huan， Li Ming-xin.Using MongoDB toImplement Textbook Management System instead of MySQL[R]. Proceedings of 2011 IEEE 3rd International Conference on Communication Software and Networks（ICCSN 2011） VOL02，2011.

[6] Karen Egiazarian， Alessandro Foi， and Vladimir Katkovnik， Compressed sensing image reconstruction via recursive spatially adaptive filtering. （Preprint， 2007）.

[7] Marco Duarte， Mark Davenport， Dharmpal Takhar， Jason Laska，Ting Sun， Kevin Kelly， and Richard Baraniuk，Single-pixel imaging via compressive sampling. IEEE Signal Processing Magazine，2008.25（2）：83-91

[8] Michael Wakin， Jason Laska， Marco Duarte， Dror Baron， Shriram Sarvotham， Dharmpal Takhar， Kevin Kelly， and Richard Baraniuk，An architecture for compressive imaging. Int. Conf. on Image Processing （ICIP）， Atlanta， Georgia， October 2006.

[9] Herodotou H，Borisov N.Babu S.Query optimization techniques forpartitioned tables[c]//Proc of the 2011 ACM SIGMOD Int Conf on Management of Data.New York：ACM，2011：49-60

[10] shvachko K， Kuang H，Radia S，et a1. The Hadoop distributed file system[c]//Proc of the Symp on Mass Storage Systems and Technologies.Piscataway，NJ：IEEE，2010：1-10