數(shù)據(jù)倉庫在航空氣象上應(yīng)用探討

劉竹濤 黃 南

（民航黑龍江空中交通管理分局，黑龍江 哈爾濱 150079）

數(shù)據(jù)倉庫在航空氣象上應(yīng)用探討

劉竹濤 黃 南

（民航黑龍江空中交通管理分局，黑龍江 哈爾濱 150079）

該文對數(shù)據(jù)倉庫的含義和特點做出了闡述，針對機場氣象臺的實際情況和航空預(yù)報的特點對民航氣象數(shù)據(jù)倉庫的設(shè)計提出了方案。

數(shù)據(jù)倉庫；航空氣象；聯(lián)機分析處理系統(tǒng)

1 引言

隨著民航氣象事業(yè)的不斷發(fā)展，針對機場的氣象資料也不斷地完善，也呈現(xiàn)出復(fù)雜化和多樣化的趨勢。機場氣象臺每天可獲得民航氣象數(shù)據(jù)庫的多種氣象圖形資料和報文，接收衛(wèi)星云圖數(shù)據(jù)，接收地方氣象臺提供的MICAPS原始數(shù)據(jù)、填圖資料以及省臺天氣雷達(dá)資料，本場探測設(shè)備還可提供自動氣象觀測系統(tǒng)數(shù)據(jù)和多普勒天氣雷達(dá)數(shù)據(jù)等資料。建立數(shù)據(jù)倉庫可以有效地管理和高效地利用這些氣象資料，對這些分散的氣象資料進(jìn)行集成、加工和分析，為氣象預(yù)報的決策提供重要的幫助。

2 數(shù)據(jù)倉庫的含義[1]

對數(shù)據(jù)倉庫可以這樣理解，它是對多個異構(gòu)的數(shù)據(jù)源的有效集成，集成后再按照不同的主題進(jìn)行重組，不斷增添新的數(shù)據(jù)變成歷史數(shù)據(jù)，存放在倉庫中的數(shù)據(jù)不再修改，用來支持管理和決策。數(shù)據(jù)倉庫具有以下特點：首先，它是面向主題的，主題是指用戶進(jìn)行決策時所關(guān)心的重點方面，而數(shù)據(jù)倉庫中的數(shù)據(jù)是按照一定的主題域進(jìn)行組織；其次，它里面的數(shù)據(jù)是集成的，數(shù)據(jù)倉庫中的數(shù)據(jù)是對原有分散的數(shù)據(jù)庫數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過系統(tǒng)加工、匯總和整理而得到的；第三，它里面的數(shù)據(jù)是相對穩(wěn)定的，數(shù)據(jù)倉庫中的數(shù)據(jù)主要供決策分析之用，如果某個數(shù)據(jù)進(jìn)入到數(shù)據(jù)倉庫后，將被長期保留而不被刪除；第四，它可以反映歷史變化，數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了某一主題從過去的某一時刻到目前各個階段的信息，通過這些信息可以對該主題的發(fā)展歷程和未來趨勢做出分析和預(yù)測。

3 民航氣象數(shù)據(jù)倉庫系統(tǒng)的組成

建立一個氣象數(shù)據(jù)倉庫系統(tǒng)通常包含數(shù)據(jù)源、數(shù)據(jù)存儲與管理、OLAP服務(wù)器以及前端工具與應(yīng)用4個部分。數(shù)據(jù)倉庫環(huán)境最重要的3個環(huán)節(jié)包括抽取（extract）、轉(zhuǎn)換（transform）及加載（load，把數(shù)據(jù)從源數(shù)據(jù)系統(tǒng)中加載到數(shù)據(jù)倉庫），即ETL過程。根據(jù)民航氣象業(yè)務(wù)的特點和需求我們建立獨立數(shù)據(jù)集市的數(shù)據(jù)倉庫體系結(jié)構(gòu)，數(shù)據(jù)集市是范圍受限的小型數(shù)據(jù)倉庫，常用于特定終端用戶群制定決策應(yīng)用。在這種情況下，每個獨立的數(shù)據(jù)集市內(nèi)容都來自于獨立的ETL處理過程。民航氣象數(shù)據(jù)倉庫體系結(jié)構(gòu)如圖1所示：

圖1 民航氣象數(shù)據(jù)倉庫體系結(jié)構(gòu)

3.1 數(shù)據(jù)源

數(shù)據(jù)源是數(shù)據(jù)倉庫系統(tǒng)的基礎(chǔ)，即系統(tǒng)的數(shù)據(jù)來源。民航氣象數(shù)據(jù)倉庫的數(shù)據(jù)源通常是本場所獲得的各種氣象資料和數(shù)據(jù)，主要包括本場的自動氣象觀測系統(tǒng)數(shù)據(jù)、本場的多普勒天氣雷達(dá)數(shù)據(jù)、本場接收的衛(wèi)星云圖數(shù)據(jù)、本場接收的民航氣象數(shù)據(jù)庫數(shù)據(jù)和地方氣象臺向本場傳送的MICAPS資料原始數(shù)據(jù)等。

3.2 主題確定與分析

數(shù)據(jù)倉庫中所含的數(shù)據(jù)是按照若干特定的主題來組織的，主題是指在高層次上將業(yè)務(wù)數(shù)據(jù)進(jìn)行綜合、歸類和分析利用的一個抽象概念，每個主題基本對應(yīng)業(yè)務(wù)的一個分析領(lǐng)域，主題的確定與分析是數(shù)據(jù)倉庫建立的重要過程。

民航氣象數(shù)據(jù)倉庫的主題可以針對民航氣象的特點來確定，例如：根據(jù)對航班起降影響很大的因素（如能見度、風(fēng)切變、降雪等）來確定主題，根據(jù)對航路影響很大的因素（如雷暴、強對流云團(tuán)等）確定主題。在提出主題后還需要對數(shù)據(jù)進(jìn)行分析，以確定數(shù)據(jù)流對主題支持的力度和強度，并在此基礎(chǔ)上調(diào)整主題。

3.3 數(shù)據(jù)存儲與管理

數(shù)據(jù)的存儲與管理是整個數(shù)據(jù)倉庫系統(tǒng)的核心。數(shù)據(jù)存儲系統(tǒng)首先從本場的自動觀測系統(tǒng)數(shù)據(jù)、本場多普勒天氣雷達(dá)數(shù)據(jù)、衛(wèi)星云圖數(shù)據(jù)、MICAPS原始數(shù)據(jù)中抽取數(shù)據(jù)，然后對抽取后的原始數(shù)據(jù)進(jìn)行整合集成，使同樣的數(shù)據(jù)在量綱、精度和意義等方面達(dá)到一致，使之從原始數(shù)據(jù)轉(zhuǎn)化成分析型數(shù)據(jù)，以便于分析。

集成后得到的數(shù)據(jù)要按照主題進(jìn)行重新組織，將一個數(shù)據(jù)倉庫劃分成若干個主題域，并在數(shù)據(jù)倉庫的數(shù)據(jù)庫中存儲起來，通過元數(shù)據(jù)對數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行管理。元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，它對數(shù)據(jù)倉庫所有數(shù)據(jù)的進(jìn)行全面描述，如數(shù)據(jù)來源、時空特征、質(zhì)量、精度、經(jīng)過哪些變換和存儲位置等，就像數(shù)據(jù)的目錄一樣。數(shù)據(jù)倉庫的元數(shù)據(jù)除包含數(shù)據(jù)的信息外，還包含許多系統(tǒng)結(jié)構(gòu)信息，如數(shù)據(jù)源和數(shù)據(jù)存儲服務(wù)器的IP地址、數(shù)據(jù)具體位置（目錄、文件名定義、數(shù)據(jù)格式或數(shù)據(jù)庫的庫名、表名、屬性列表等）。通過這些參數(shù)，用戶和應(yīng)用程序可以快速地了解數(shù)據(jù)倉庫中的海量數(shù)據(jù)情況，準(zhǔn)確地定位數(shù)據(jù)，并將數(shù)據(jù)正確地寫入、讀出和使用。目前，WMO已經(jīng)提出了WMO核心元數(shù)據(jù)標(biāo)準(zhǔn)[2]和氣候數(shù)據(jù)的元數(shù)據(jù)標(biāo)準(zhǔn)[3]。

3.4 聯(lián)機分析處理系統(tǒng)（OLAP）

數(shù)據(jù)的存儲和處理后，通過建立聯(lián)機分析處理系統(tǒng)將數(shù)據(jù)倉庫中所存儲的數(shù)據(jù)進(jìn)行分析，來揭示多種數(shù)據(jù)之間的必然聯(lián)系，從而找某種事物發(fā)展變化的客觀規(guī)律，并生成相應(yīng)的圖形或圖像來直觀地展示給用戶。由于高維空間的數(shù)據(jù)是無法直接顯示的，可以通過聯(lián)機分析處理系統(tǒng)的切片和切塊操作進(jìn)行降維處理。切片就是在多維數(shù)組中在其它維取固定值的情況下取一個二維子集，切塊就是在多維數(shù)組中其它維取固定值的情況下取一個三維子集；還可以根據(jù)用戶的需要進(jìn)行旋轉(zhuǎn)和鉆取操作，鉆取可以看成是交換多維數(shù)組中各維的順序，使朝向用戶的二維坐標(biāo)改變，鉆取是改變顯示粒度大小。

聯(lián)機分析處理系統(tǒng)可以對得到的數(shù)據(jù)進(jìn)行多維分析[4]。多維分析中的維包括空間維和要素，空間維一般是指要素存在的時空，包括經(jīng)緯度、高度、時間等，是自變量，而要素這里指的是各種氣象要素的物理量數(shù)據(jù)，是因變量。以雷暴主題為例，對航路內(nèi)多個觀測站點的實時和歷史的觀測數(shù)據(jù)以及衛(wèi)星云圖資料的實時和歷史數(shù)據(jù)等相關(guān)數(shù)據(jù)進(jìn)行聚集，獲得分析型數(shù)據(jù)，用戶（預(yù)報員）對分析型數(shù)據(jù)進(jìn)行多維分析，獲得隨經(jīng)緯度、高度及時間變化的天氣系統(tǒng)變化結(jié)果，來判斷在航路上是否有雷暴生成以及發(fā)展的過程，評估對航班的影響程度。

針對機場預(yù)報的特點，可以在多維分析的基礎(chǔ)上進(jìn)行多元分析。多元分析是將空間的位置固定，只隨時間變化的要素值作為維的多維分析。以能見度主題為例，自動氣象觀測系統(tǒng)可測量出的氣象要素包括溫度、濕度、氣壓、風(fēng)向、風(fēng)速、能見度、降水量、云高等，將每個氣象要素看做分析中的一維，對本場的氣象要素進(jìn)行多元分析。將能見度視為因變量，其它氣象要素視為自變量，通過切片、切塊和旋轉(zhuǎn)操作可以向用戶展示能見度隨一種或幾種氣象要素變化而變化的圖形，從而揭示能見度與其它氣象要素之間的變化關(guān)系，分析哪些氣象要素與能見度的變化關(guān)系比較密切，哪些次之。

4 結(jié)束語

數(shù)據(jù)倉庫技術(shù)可以將離散的、毫無關(guān)聯(lián)的原始數(shù)據(jù)和歷史數(shù)據(jù)轉(zhuǎn)化成分析型數(shù)據(jù)，通過用戶所需求的主題域進(jìn)行重新劃分，用戶針對主題利用聯(lián)機分析處理系統(tǒng)對數(shù)據(jù)進(jìn)行多維分析和多元分析，以便對影響航班飛行的重要氣象因素進(jìn)行準(zhǔn)確地預(yù)報。數(shù)據(jù)倉庫技術(shù)很多時候與數(shù)據(jù)挖掘技術(shù)相結(jié)合，通過各種數(shù)據(jù)挖掘算法（關(guān)聯(lián)規(guī)則、決策樹、聚類算法、貝葉斯網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)以及遺傳算法等）自動尋找數(shù)據(jù)的發(fā)展趨勢、數(shù)據(jù)中隱含的模型以及數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，使預(yù)報員快速積累經(jīng)驗，對航空氣象預(yù)報的決策提供有力的幫助。

[1]陳志泊主編．?dāng)?shù)據(jù)倉庫與數(shù)據(jù)挖掘[M]．北京：清華大學(xué)出版社，2009．

[2]Metadata Standard(incl ET-IDM Report)．ICT-ISS 2002/Doc．7(1)，http：//www．wmo．ch/web/

www/TEM/ICT-ISS2002/7(1)-metadata．doc，2002．

[3]WMO Core Metadata Implementation for Climate Data．ETIDM-IV/DOC．3-1(7)，http：//www．wmo．int/web/www/WDM/ ET-IDM-4/Doc-3-1(7)．doc，2004

[4]譚曉光．?dāng)?shù)據(jù)倉庫技術(shù)在天氣預(yù)報決策中的應(yīng)用[J]．應(yīng)用氣象學(xué)報，2006，17(3)：325-331．

TheApplication of Data Warehouse inAviation Meteorology

Liu Zhutao Huang Nan
(HeilongjiangAir Traffic Management Sub-bureau of CAAC,Harbin 150079,Heilongjiang)

This paper introduces the conceptions and characteristics of data warehouse,and proposes the design scheme of aviation meteorology data warehouse according to the airport meteorological station and the characteristics of aviation meteorology.

data warehouse;aviation meteorology;OLAP

TP311.13

：A

008-66609(2015)04-0066-02

劉竹濤，男，福建福州人，碩士，高級工程師，研究方向：模式識別與信號處理。