基于大數(shù)據(jù)的空管設(shè)備異態(tài)數(shù)據(jù)集成研究

王博

摘 要：隨著計算機網(wǎng)絡(luò)技術(shù)的發(fā)展和廣泛應(yīng)用，人類逐步進入大數(shù)據(jù)時代，這也促使機場服務(wù)從以往的被動查詢向信息智能推送轉(zhuǎn)變。而這就需要機場能夠在海量空管數(shù)據(jù)及有關(guān)數(shù)據(jù)中深入挖掘出具有一定價值的信息，以往的關(guān)系型數(shù)據(jù)因自身因素而無法較好地適應(yīng)在海量數(shù)據(jù)環(huán)境下開展數(shù)據(jù)挖掘及價值發(fā)現(xiàn)工作。基于此，如何對海量數(shù)據(jù)進行有效集成是關(guān)鍵。該文從大數(shù)據(jù)的內(nèi)涵出發(fā)，系統(tǒng)剖析機場空管設(shè)備所體現(xiàn)的大數(shù)據(jù)特點，并重點探討基于大數(shù)據(jù)技術(shù)NoSQL下的空管設(shè)備異態(tài)數(shù)據(jù)集成。

關(guān)鍵詞：大數(shù)據(jù) 空管設(shè)備 異態(tài)數(shù)據(jù) 集成

中圖分類號：TP311.1 文獻標識碼：A 文章編號：1672-3791（2017）01（b）-0026-02

伴隨著我國社會經(jīng)濟的迅速發(fā)展，航空業(yè)也呈現(xiàn)出高速發(fā)展態(tài)勢，我國航空體系基本形成，機場數(shù)量和規(guī)模大幅增加，現(xiàn)代化水平也不斷提升。各大航空機場基本配置了通信、導(dǎo)航、氣象、監(jiān)控、情報等高新設(shè)備，而每種設(shè)備所形成的數(shù)據(jù)在格式上有明顯差異[1]。近年來，隨著機場服務(wù)的不斷提升，空管設(shè)備逐步從以往的服務(wù)飛機轉(zhuǎn)變?yōu)榉?wù)人，而人的需求是不盡相同的，所要的信息也是多樣化的，而這涵蓋了固定結(jié)構(gòu)、無結(jié)構(gòu)等數(shù)據(jù)。基于此，對大數(shù)據(jù)背景下空管異態(tài)數(shù)據(jù)進行集成處理有著重要的現(xiàn)實意義。

1 大數(shù)據(jù)內(nèi)涵及空管設(shè)備大數(shù)據(jù)特征

1.1 大數(shù)據(jù)

在計算機網(wǎng)絡(luò)技術(shù)日益普及和應(yīng)用的背景下，各類數(shù)據(jù)大量產(chǎn)生。特別是在云計算、物聯(lián)網(wǎng)等高新技術(shù)的推廣和使用下，虛擬化服務(wù)、社交網(wǎng)絡(luò)等廣泛應(yīng)用，改變了人們信息應(yīng)用的方式，逐步進入“大數(shù)據(jù)”時代。大數(shù)據(jù)具備這幾個特性：（1）規(guī)模性。各類電子信息設(shè)備會生成海量數(shù)據(jù)，規(guī)模龐大。（2）高速性。數(shù)據(jù)是實時產(chǎn)生的，且只在特定時間及控件下才具有效用，這需要快速進行數(shù)據(jù)處理。（3）價值性。少量數(shù)據(jù)基本無價值，但對海量數(shù)據(jù)進行深入挖掘，則能發(fā)現(xiàn)諸多有用信息。（4）多樣性。數(shù)據(jù)類型、格式多種多樣。

1.2 機場空管設(shè)備的大數(shù)據(jù)特點

近年來，我國機場服務(wù)技術(shù)發(fā)展快，服務(wù)能力也不斷增強，現(xiàn)代化及信息化程度大幅提升，這使得各類空管設(shè)備生成的數(shù)據(jù)表現(xiàn)出大數(shù)據(jù)特點。

機場空管設(shè)備的類型多種多樣，包括導(dǎo)航、通信、監(jiān)控、安全、氣象等方面的設(shè)備系統(tǒng)。而每個系統(tǒng)均會生成相應(yīng)數(shù)據(jù)，每日的數(shù)據(jù)量可達百個GB，乃至TB，而這就形成了大量空管數(shù)據(jù)，有著鮮明的規(guī)模特性[2]。機場空管系統(tǒng)主要是各類運營調(diào)度、信息顯示、安全監(jiān)控、航班航次管理等系統(tǒng)，而該類系統(tǒng)在生產(chǎn)廠家、所用軟件、運行機制、功能等方面是不盡相同的，基本上有獨立的數(shù)據(jù)庫，也就形成了大量空管異態(tài)數(shù)據(jù)，有著鮮明的多樣性。同時，伴隨著空管能力的提升，每個機場均有自身的旅客信息、辦公自動化等系統(tǒng)。但旅客對于機場服務(wù)的要求不單在于信息查詢上，通常需要機場對海量實時空管數(shù)據(jù)進行挖掘，為旅客智能推送機場實時性信息，因此空管數(shù)據(jù)需要具備實時性和高速性。而在向旅客推送服務(wù)信息時，就要對旅客的出行歷史信息進行挖掘，掌握其出行特點及潛在規(guī)律，再給予針對性、個性化服務(wù)，使空管數(shù)據(jù)具備一定的價值。

2 應(yīng)用NoSQL技術(shù)實現(xiàn)空管設(shè)備異態(tài)數(shù)據(jù)集成

2.1 關(guān)于NoSQL技術(shù)

NoSQL是一項新型數(shù)據(jù)庫技術(shù)，是當前最為常用的一個大數(shù)據(jù)技術(shù)，即非關(guān)系型數(shù)據(jù)庫。和以往的關(guān)系型數(shù)據(jù)庫技術(shù)相比，該項技術(shù)有其獨特的地方，最為突出的就是信息查詢語言不用SQL語言，且對于數(shù)據(jù)的存儲也不需要預(yù)先設(shè)定表模式[4]。

機場各系統(tǒng)需基于實時參數(shù)、用戶信息來生成實時性動態(tài)界面，同時為用戶提供實時性服務(wù)信息，因而數(shù)據(jù)庫并發(fā)負載極高，特別是在高峰階段每一秒需完成萬次以上讀寫請求。傳統(tǒng)關(guān)系型數(shù)據(jù)庫技術(shù)的磁盤是不能承受的。同時，因空管信息系統(tǒng)處理的數(shù)據(jù)海量增加，單機服務(wù)器不管是在數(shù)據(jù)處理性能，還是數(shù)據(jù)存儲上，均難以滿足當前機場空管信息系統(tǒng)的要求，需增加服務(wù)器及存儲裝置，但是傳統(tǒng)關(guān)系型數(shù)據(jù)庫技術(shù)具有事物一致性特點，難以實現(xiàn)橫向擴展，不能通過增加服務(wù)節(jié)點，使存儲及負載能力得以提升。

而NoSQL數(shù)據(jù)庫類型多樣，但均無傳統(tǒng)關(guān)系型數(shù)據(jù)庫的特性，可實現(xiàn)良好擴展，極易達成支撐數(shù)據(jù)自TB向PB的穩(wěn)定過渡。且其采取分布式架構(gòu)，可有效滿足海量空管數(shù)據(jù)的存儲、處理等要求。另外，NoSQL的讀寫性能穩(wěn)定、良好，可滿足海量數(shù)據(jù)的高頻讀寫需要，且可達成機場各類個性化服務(wù)。同時，該技術(shù)不需為數(shù)據(jù)存儲創(chuàng)建字段，可自定義數(shù)據(jù)格式，可隨時增加字段，在系統(tǒng)設(shè)計時不需考慮數(shù)據(jù)庫的表結(jié)構(gòu)。

2.2 基于NoSQL的空管異態(tài)數(shù)據(jù)集成

為有效穩(wěn)定地解決機場空管數(shù)據(jù)的異態(tài)問題，提高數(shù)據(jù)應(yīng)用價值，可應(yīng)用NoSQL技術(shù)構(gòu)建空管異態(tài)數(shù)據(jù)集成模式，能有效解決海量空管異態(tài)數(shù)據(jù)存儲、分析及應(yīng)用的問題。NoSQL下的空管異態(tài)數(shù)據(jù)集成模式自下而上由這幾個模塊構(gòu)成。

（1）數(shù)據(jù)源層。就是機場既有的各類信息數(shù)據(jù)庫，包括通信、導(dǎo)航、氣象、設(shè)備、旅客出行等方面的異態(tài)數(shù)據(jù)，均是海量產(chǎn)生的。這是空管異態(tài)數(shù)據(jù)集成對象，是最為基本的模塊。

（2）數(shù)據(jù)層。對所有異態(tài)數(shù)據(jù)源生產(chǎn)的海量數(shù)據(jù)進行抽取，再對這些數(shù)據(jù)予以標準化處理，然后對數(shù)據(jù)予以篩查，將不良、無用及有損的數(shù)據(jù)剔除，對于完整、潛在價值的異態(tài)數(shù)據(jù)予以提取、處理、加工，并轉(zhuǎn)換成某特定格式，然后存儲到NoSQL數(shù)據(jù)庫中，比如：Redis、Hbase等。因NoSQL數(shù)據(jù)庫具有良好的橫向擴展性能，同時可在分布式架構(gòu)上發(fā)揮出更為穩(wěn)定的性能，因此伴隨數(shù)據(jù)接入增加，僅僅在集群中增加適當?shù)墓?jié)點就能當即實現(xiàn)集群擴張。

（3）服務(wù)層。就是在數(shù)據(jù)層處理基礎(chǔ)上，為了更好地滿足用戶的信息需求，對異態(tài)數(shù)據(jù)庫中的各類數(shù)據(jù)進行處理、整合、統(tǒng)計及對分析等操作，然后構(gòu)建一個特定數(shù)據(jù)結(jié)構(gòu)態(tài)返回到應(yīng)用界面，在該層主要完成對用戶特征及規(guī)律的分析、屬性總結(jié)提取及對用戶分類等異態(tài)大數(shù)據(jù)挖掘的基礎(chǔ)處理，然后在實現(xiàn)各種計算方法及業(yè)務(wù)邏輯的前提下，為外部提供相應(yīng)的REST接口，以便各系統(tǒng)調(diào)取和應(yīng)用。

（4）應(yīng)用層。這是和具體用戶進行信息交互的一個界面，該層在接收到用戶提出的請求后，依照不同系統(tǒng)的特點及運行請求，調(diào)用相關(guān)服務(wù)層接口接收返回數(shù)據(jù)，再通過圖形化處理展示到界面，讓用戶更為便捷、直觀、快速地查詢和調(diào)用信息，可有效提升用戶體驗。

在有新數(shù)據(jù)源產(chǎn)生及業(yè)務(wù)增加時，只需將新數(shù)據(jù)源妥善接入到新數(shù)據(jù)源，將數(shù)據(jù)完整存放于NoSQL數(shù)據(jù)庫，然后在服務(wù)層加上相應(yīng)接口，而應(yīng)用界面僅僅增加相應(yīng)展示面就可以，不需要對數(shù)據(jù)庫的既有結(jié)構(gòu)進行調(diào)整，也不需要對服務(wù)層的邏輯進行修改，可有效達成橫向擴展，強化機場信息控制系統(tǒng)的性能。

3 結(jié)語

總之，在大數(shù)據(jù)背景下實現(xiàn)機場空管異態(tài)數(shù)據(jù)集成很有必要，不僅能方便管理各類空管數(shù)據(jù)，提升應(yīng)用效率，還能為機場、旅客提供更為良好的信息服務(wù)。應(yīng)用NoSQL技術(shù)集成空管異態(tài)數(shù)據(jù)具有良好的擴展性、實用性，可有效提升海量空管數(shù)據(jù)的分析能力，有助于機場服務(wù)充分利用各類空管數(shù)據(jù)進行價值挖掘、服務(wù)預(yù)測等，促進機場服務(wù)水平和質(zhì)量的提升。

參考文獻

[1] 白鵬，楊新湦，張亞宜，等.大數(shù)據(jù)背景下的空管實驗室建設(shè)探索[J].實驗技術(shù)與管理，2015（2）：228-230，239.

[2] 付明柏.基于異質(zhì)矩陣完全的缺失數(shù)據(jù)恢復(fù)混合集成算法[J].云南師范大學(xué)學(xué)報：自然科學(xué)版，2013（6）：67-72.

[3] 李奎.航空安全管理[M].航空工業(yè)出版社，2011：255-256.