構建完備的氣象數據管理體系

文｜沈文海

構建完備的氣象數據管理體系

文｜沈文海

一、引言

如同預料的那樣，附著并堆積在大數據身上的泡沫正在次第破裂，嘈雜喧囂的舞曲正在漸近尾聲，舞池中的人群已逐漸散去。盡管樂隊又奏響了另一支新曲：人工智能，一些精力充沛長袖善舞者重新打起精神、躍躍欲試，但不少疲憊的人已開始厭倦了被業界的亂流涌去推來的被動。是時候平靜下來，清理思路，盤算一下自己未來的工作走向和工作重點了。

“大數據虛熱”漸漸冷卻了，但“數據”這個字眼已深深印在每個人的頭腦中。數據是信息的載體之一。做為社會公益部門的、以信息服務為基本業務特征的氣象部門，從誕生之日起便與數據有著生死與共的緊密關系，沒有數據，氣象工作的一切便無從談起。氣象部門的各色人等，每日在各自的崗位上的所說和所做，無不與數據相關。氣象部門離不開數據，數據是維系氣象部門生命的血液。

數據是極端重要的，重要的東西更需要精心打理。面對著正在漸漸沉靜下來的大數據潮汐，剛剛攀上礁石、喘息甫定的我們應該反躬自問：我們對數據真的十分珍惜嗎？我們對視為血液的數據真的悉心打理（也就是全面科學地管理）了嗎？我們對數據的管理水平真的如同我們對數據價值的認知那樣相匹配嗎？我們的數據管理手段、方法、制度以及相關能力真的已經基本完備，可以自豪地向世人展示我們驕人的成果了嗎？我們的基于當前最新成就的數據管理體系果真建立起來了嗎？

筆者對此很難抱以樂觀態度。

二、氣象數據管理體系的內涵

就本質而言，氣象數據管理既是一項職能，也是一種持續不斷的活動。因而也就必然具備基本的目標和活動內容。

（一） 數據管理目標

國際數據管理協會（DAMA國際）對數據管理的職能和目標已有覆蓋面較為廣泛、內容較為全面的定義。參照其文，氣象數據管理做為一項職能，其目標可分為戰略性和非戰略性兩種，其中：

1. 戰略目標

筆者認為，氣象數據管理的戰略目標大致可有以下幾點：

（1）理解氣象部門及政府和社會等相關部門、團體、企業和個人對氣象信息的需求。

（2）獲取、存儲和保護氣象數據，確保氣象數據資產的完整性。

（3）確保并不斷提高氣象數據和信息的質量，包括：數據的準確性、數據的完整性、數據的專業化整合和綜合性整合、數據采集和獲取的及時性、數據的相關性和實用性、被共同接受的明晰的數據定義等等。

（4）確保氣象數據的保密要求不被損壞。

（5）確保氣象數據和信息資產的有效利用和價值的最大化。

2. 非戰略目標

（1）確保氣象數據管理工作的各種努力與氣象部門的戰略和業務目標達到高度一致。

（2）在氣象部門內確保數據管理的一致性。

（3）促進全部門對氣象數據資產價值的更廣泛和深入的理解。

（4）控制氣象數據的管理成本。

鑒于上述內容皆屬常識，故不再逐一闡釋。

（二） 數據管理活動

一系列完備的、有組織的專業化活動，是實現數據管理職能目標的具體措施和行動。DAMA國際將這些活動歸納為以下十一種 ：

數據治理、數據架構管理、數據開發管理、數據操作管理、數據安全管理、參考數據和主數據管理、數據倉庫和商務智能管理、文檔和內容管理、元數據管理、數據質量管理、數據全生命周期管理，見圖1：

圖1 、做為職能的數據管理活動示意圖

氣象部門有自己的特點，上述內容并非全部適用，很難也無必要全盤照搬。筆者將根據自己的研究和理解，在下一章里就其中若干對氣象數據管理工作具有重要意義的活動予以介紹和分析。

三、幾個重要數據管理活動的解釋和分析

（一） 數據操作管理

所謂數據操作管理，就是對平常所說的對氣象數據增、刪、改、查等操作的規則的建立以及依據規范所進行的一系列相應管理活動。業界通常對這些操作動作的稱謂分別為：數據建立（Create）、數據讀取（Read）、數據更新（Update）和數據刪除（Delete），亦即業界流行的縮寫“CRUD”。

數據操作管理的作用，一方面能夠規范所有用戶（包括管理人員）對氣象數據的操作行為，另一方面亦能夠規范所有用戶的數據應用方式，從而使得各用戶對氣象數據的操作始終處在規范的、可管控的狀態之中。

此外，數據操作管理的派生作用，是使得數據管理者可以明確系統的核心數據由哪些系統產生，哪些系統有權限讀取這些核心數據，以及這些核心數據的更新和刪除權限屬于哪些系統；從而便于采取措施保障氣象核心數據的安全性和一致性。

（二） 數據質量管理

業界公認的有關數據質量的內涵，主要包括數據的正確性、數據的一致性和數據的完整性等。

氣象業務對數據有著天然的依賴性和敏感性，因此氣象部門對于氣象數據的質量始終高度關注。

1. 數據正確性管理

氣象數據的正確性（尤其是觀測數據的正確性）關乎氣象業務的工作質量，是氣象部門最為重視的工作內容之一。而迄今為止氣象部門對于數據正確性的管理，也主要聚焦在氣象數據中的觀探測數據范圍；只不過不同的資料種類，其稱謂各有不同：對傳統的常規觀測數據（如：地面觀測、高空觀測）而言，通常的正確性判定和處理工作是“質量控制”和“質量評估” 、 ；而對于氣象衛星和天氣雷達等近三十年方才開始使用的新型遙感資料，其數據的正確性處理工作的稱謂則更具專業性，如天氣雷達數據的“雜波處理”、氣象衛星數據的“資料定位”等。氣象部門已有一整套較為完整的方案，一旦觀測數據出現正確性問題，相應的處理方案和處理動作皆有章可循。

然而對于觀測數據之外的那些氣象數據（或雖尚未納入氣象數據范圍，但對氣象工作有重要影響的數據，如系統/設備狀態數據、臺站元數據等），相應的正確性管理規則和方案卻并未確立，因而在這方面存在正確性管理的缺失。

2. 數據一致性管理

氣象部門的數據一致性管理主要分兩個方面：

（1）同一數據在各不同數據庫之間的數據一致性問題。這方面的問題可通過數據庫之間的數據同步等技術手段予以解決。此前因疏于統攝管理，氣象部門內曾一度數據庫系統林立，實現全部門的數據庫之間的數據同步十分困難（尤其是異構數據庫之間）。隨著CIMISS1.0的逐步推廣和業務化，這種情況正在好轉。

需要注意的是，通過這種同步技術達到全局一致性的數據的種類目前并不多，尚不能涵蓋所有氣象數據（甚至不能涵蓋所有氣象觀測數據），不少重要氣象數據目前并未實現部門內的數據一致性，這種現象已經在阻礙氣象數據工作質量的提高。

（2）數據集在時間序列上存在階段性系統偏差的問題。該問題產生的原因主要可歸結為觀測設備的更新換代以及觀測站點地理位置的搬遷；而相應的訂正方法和訂正技術相對成熟、工作較為卓有成效的資料領域主要集中在地面觀測數據的長時間序列方面，即：已為氣象界所熟知的“資料均一性檢驗和訂正”工作 。至于高空探測、氣象衛星遙感等其它探測資料的一致性管理工作，目前尚未以明確的主題（數據一致性）、明確的目標（達到相關資料在時間序列上的一致性）而正式開展（即便是相關的研究工作）。

3. 數據完整性管理

如同正確性、一致性管理一樣，氣象數據的完整性管理目前的關注點亦集中在觀測數據領域。而觀測業務規定，為了確保觀測數據的客觀性，對于那些因缺測而導致觀測數據在時間序列和觀測要素方面出現的不完整現象，一般不采取通過補測而達到資料完整性的做法。因此，因缺測而導致的氣象觀測數據序列的不完整性，是無法彌補的。而由于傳輸線路或處理系統故障、導致觀測數據在傳輸過程中發生的資料不完整情況，則氣象信息系統在通信、前處理、入庫、歸檔等各個環節上均有相應的監控和補調手段，以確保已采集到的觀測數據能夠完整地獲取并最終納入管理范疇。

大數據時代，除氣象專業觀測數據等行業大數據外，那些氣象互聯網大數據 的應用也開始納入氣象業務部門的策劃之中。針對這些產生于互聯網、價值稀薄且正確性一致性難以確保的、體量巨大的龐然大數據，是否需要對其進行完整性管理以及如何管理，對于氣象數據管理者而言都是一個新命題。

2014年以來，隨著信息化工作在氣象部門的深度展開，人們開始意識到，除氣象觀探測數據以及氣象服務數據產品之外，原本與氣象業務、科研和管理工作有著千絲萬縷聯系、但卻始終未能納入“氣象數據”范疇的一些數據，如：設備狀態數據、系統狀態數據、人事/財務/項目管理……等數據，也需要盡快納入氣象數據的范疇，并對其進行相應的質量管理。單就資料完整性而言，目前的項目大清查工作中，就多次出現因歷史遺留項目的文檔出現缺失、而相關人員已經離崗離職，從而導致項目清理工作難以推進的情況。令人遺憾的是，目前這些已達成共識的、應當盡快開展的工作，至今尚未真正地開展起來。

（三）數據開發管理

顧名思義，數據開發管理就是在氣象應用系統開發過程中對數據進行的一系列管理，其中的重要內容有“數據需求管理”和“數據應用管理”。

1. 數據需求管理

所謂數據需求管理，是指該正待開發的氣象應用系統對于數據的需求，以及現有數據對該系統需求的滿足程度的情況分析以及解決措施，這些分析包括：數據的種類、數據的具體要素、數據的質量、數據的時空密度、數據的供給時效，以及一旦目前現有數據條件無法滿足時的替代數據和方案等。

由于此前氣象部門對于氣象數據的范圍定義以及質量管理的關注度主要集中在氣象觀測資料方面，因而對于“預報”和“服務”這兩大業務領域而言，因其相應的應用系統的數據需求主體是氣象觀探測數據和服務產品數據，從而使得這兩部分業務應用系統的數據在需求滿足度方面始終受到高度關注并予以最大限度的業務保障。其中即便出現資料種類及時空密度的一時無法滿足，管理部門也會調集各種力量，通過項目建設、系統開發、觀測業務規則改進等途徑予以盡快解決。

隨著信息化工作的深入，業務的精細化管理開始被決策層所接受。對于始終與數據打交道、所有業務系統都無一例外地屬于典型的信息系統的氣象部門而言，精細化管理首先需要落實到對業務系統（亦即“信息系統”）的整體管控，而整體管控的前提是對各管控對象（也就是業務系統和基礎設備）狀態的實時掌控。此時人們方才愕然發現，那些反映信息系統狀態的信息和數據，既沒有被納入到氣象數據的管理范疇之中，更沒有相應的業務規范在采集、傳輸、處理和保管等方面的業務保障，其中甚至包括做為三大核心業務之一的氣象探測系統中的一些系統和設備。精細化管理因此而難以貫徹實施并落地。所以，是數據需求的無法滿足造成相應監控系統的難以建立、以及整體管控功能實現過程的長期難產。

2. 數據應用管理

數據應用管理是指在應用系統設計和研發過程中，對該系統的數據應用方式應當盡可能遵守既定規范標準的規范化管理工作。主要有以下幾個方面：

（1）數據源模型規范的遵從

數據源模型是指滿足該在建應用系統數據需求的所有數據源的數據模型。對一種數據而言，其數據模型一旦確立，相應的應用方式便隨之而基本確定。因此數據模型及數據接口的設計非常重要，它應當兼具簡單、易用、普適等諸多特點。而數據模型確立后，后續開發的應用系統不應毫不顧及已有的數據源模型而另起爐灶，各自設計符合自己使用習慣的各種數據源模型和應用方式，因為這將導致同一種數據源的多種數據模型的共同存在，從而導致數據源管理的復雜和混亂。以現已業務化的CIMISS1.0為例，其中的地面小時觀測數據目前便有關系型數據庫表格、MICAPS格式、CIPAS格式三種數據模型共同存在，而這一現象無疑加重了CIMISS系統的復雜度和管理的困難。雖然這種現象在產生之初均有其不可抗拒的理由（如：系統的性能問題、原有應用方式的適用性問題等），但一旦這些理由隨著CIMISS系統新版本的升級而消失，這種多重數據模型在同一系統中共同存在的現象便理應逐步予以消除。

因此，除非存在不可抗拒的且短時間無法解決的原因，否則新建應用系統不應在現有數據源模型之外另行設計新的數據源模型。

（2）數據產品模型規范的遵從

一個應用系統所產生的數據產品，往往是其下游應用系統的數據源。與“數據源模型規范的遵從”一樣，新建應用系統在確定數據產品的數據模型方面，也應盡可能遵從已有的數據模型規范和標準。除非有不可抗拒且短時無法解決的理由，否則其產生的數據產品不可隨意設計新的數據模型。

（3）數據流程規范的遵從

局部效率最優化的累加未見得導致整體效率的最優，這在實踐中不乏例證；對數據流程而言也是如此。上下游兩個業務節點之間數據的私相授受，在局部固然可達到數據傳輸效率的最高，但隨著業務節點數量的增加，整個業務系統的數據流數目將會以業務節點數量的指數倍規模遞增 ，從而導致系統整體的數據流程空前復雜，大大降低系統整體運行和管理的效率。

當業務節點未發生變化時，業務流程是不會變更的（因此“業務流程再造”的前提必然是業務節點的變更和重組）。但數據流程完全不必亦步亦趨地遵從業務流程的路徑，而應當以達到總體效率最高為原則進行整體規劃設計。因此對一個相對復雜的業務系統而言，最優化的數據流程設計是必需的。

最優化的數據流程一旦確立，后續研發的應用系統必須遵從既有的數據流程規范，不可以自己局部效率最高為由，擅自更改已有的數據流程，否則將導致系統因數據流程復雜度的逐步增加而變得難以控制和管理。

（四）主數據和參考數據管理

1. 概念

（1）主數據

所謂“主數據”，就是指那些對其擁有者而言最為珍貴的，被不同業務、科研及管理活動反復使用的，價值最高的且一旦丟失便無法補償的關鍵型數據。

業界有人將主數據的判識標準定義為“部門內系統之間共享的數據”，以使用者的多寡程度做為判識標準，具有一定的合理性和可操作性，可供參考。

依筆者淺見，氣象數據中的地面觀測數據（尤其是國家基準站和基本站觀測數據）因其使用的廣泛性、以及生命周期的永久性，無疑當歸于主數據之列。而數值預報產品則由于其可再生性，似不應視其為主數據。總之，氣象數據中主數據的界定是一項專業性很強的工作，限于篇幅，此話題留待以后專題討論。

氣象主數據需要在氣象部門內保持完全一致。

（2）參考數據

“參考數據”就是那些增加數據可讀性的數據，亦即通常所說的“數據字典”。如：對表驅碼GRIB2、BUFR中各數據段、各要素代碼的解釋，對MICAPS24種數據格式的解釋文本等。

如果這些數據字典僅存在于個別系統而沒有在全部門內統一管理，一些無法得到數據字典的用戶便可能因不能完整理解相關數據，因而無法使用這些數據，從而可能從一個側面間接造成數據孤島。

所以，氣象參考數據在部門內應當統一管理、全面共享并保持高度一致。

2. 主數據和參考數據的意義

之所以將一個部門或企業的全體數據劃分為主數據、參考數據和一般數據，是為了識別各類數據在部門內外的使用價值，以便對不同價值的數據采取不同的管理策略和技術手段，在確保數據使用價值最大化的前提下，盡可能減少數據的管理成本。因此雖然主數據、參考數據等相關概念提出的時間并不長，但卻迅速被許多企業和單位所接受，并有效運用在本部門（或企業）的數據管理之中。

數年前，中國氣象局相關職能部門曾發文，就在線數據的管理時限提出規定 。這在某種意義上既可視為對相關數據在其生命周期某個階段的管理措施，也可視為一種原始的、無意識的主數據/一般數據的管理——雖然這種管理范圍狹小而且方法簡單。

3. 關于主數據管理

數據的價值一旦判定，對于價值最高的“主數據”的特殊管理，便是部門決策層（特別是數據管理者們）需要認真對待的話題。這一話題是如此的重要，以至于在數據管理領域中專門形成了一門“主數據管理”科目，以深入探討主數據的管理方法，以及主數據管理水平的衡量標準，即所謂“主數據管理成熟度模型”。鑒于這方面的話題已有專著詳述 、 ，本文不再深入討論。

總之，關于主數據的管理，業界已有一套較為完備、標準的方法論和評判尺度。DAMA國際也已將其納入“數據管理成熟度”的評判內容之一 。

（五） 數據架構管理

在一些人眼中，“數據架構”是一個十分神秘的字眼。其實它就是有關數據構成、數據形態和數據分布等信息內容的一種組合 ，主要包括：數據的定義、數據的建模和數據的分布。

1. 數據的定義

所謂數據定義，就是對企業內的所有數據進行分類，并對每類數據的構成進行進一步確定，直至明確到每一個數據元素。如：按照2006年頒布的氣象數據分類與編碼規范，氣象數據由地面觀測、高空探測、海洋觀測、雷達探測……等十四大類數據構成 ，而每類數據又由若干種數據構成，如地面觀測類數據便是由：地面逐小時觀測、地面自動站分鐘降水觀測、地面自動站分鐘壓溫濕風地溫觀測……等種類的資料而構成。再進一步，地面逐小時觀測數據又是由：觀測站站號、觀測時間、觀測要素值（氣壓、干/濕球溫度、風向/風速、地表及各層土壤溫度、……）等構成，如此等等。

數據定義的目的，是明確氣象數據的范圍、類別和具體內容，使人們對氣象數據有一個完整而又準確的概念和界定。

2. 數據的建模

數據只有被使用才能體現出其價值，而使用數據的前提之一是必須明了該數據的存在形態，亦即：必須明了被使用的數據是結構化數據、還是非結構化數據抑或是半結構化數據，該數據是以數據庫表的形式存儲，還是以表驅碼、文本文件、二進制文件等形式存在，以及該數據中的各個數據元素（即：氣象要素數據）所處的具體位置和數據單位等等。完整地獲得了這些信息，該數據便能夠被使用了。而這些信息的全體，構成了數據模型的全部內容。

所以，數據建模就是對數據存在形態的設計和具體構建。

而一旦一種數據完成了數據建模，則其具體的應用方式便也隨之而被確定下來。不同的數據模型，決定不同的數據使用方式：以地面小時觀測數據為例，以數據庫表形式存儲于Oracle數據庫中，與以表驅碼netCDF格式以及以MICAPS文本格式存儲于文件系統之中，三者的使用方式之間存在著相當大的差別。因此，數據的模型決定了該數據的使用方式。而現有數據模型的不適用，也往往是導致同一套數據在同一個數據庫中存在多種數據模型的致命理由——雖然這將導致該存儲系統內數據的大量冗余以及管理復雜度的大大增加。

所以，數據的建模非常重要，理想的數據模型應該具有非冗余、穩定、普適、易用等特征。

3. 數據的分布

數據的分布有業務分布和系統分布兩種，其中：

（1）數據的業務分布

指各類、各種數據在業務中的使用分布情況。從業務的視角出發，數據的業務分布是指各個業務系統各自分別使用的數據的總圖譜。而從數據的視角出發，數據的業務分布則是指每類、每種數據被哪些業務系統所使用的總圖譜。如：地面小時觀測數據既被天氣預報業務中的強天氣預報、臺風預報、農業氣象預報等專業業務所使用，也被氣候預測、氣候診斷、氣候災害評估等氣候專業業務所使用，甚至還被專業氣象服務以及氣象衛星遙感產品處理等業務所使用。而天氣雷達數據的業務分布則主要局限在天氣預報業務及氣象服務業務之中，氣候預測業務中極少使用。

數據的業務分布的梳理，有助于厘清各類、各種數據的業務使用范圍，從而使得這些數據的管理方案和服務方式更具有針對性，效果也更加良好。

（2）數據的系統分布

由于技術的限制，有時對于一套相對復雜的業務體系，單一的一套綜合性數據庫難以全面滿足對整個業務體系的數據服務，此時需要另設若干專題數據庫，每個專題數據庫負責一定的業務范圍，這些各自負責一個具體服務方向的專題庫的全體共同承擔起對全系統的數據服務支撐。

所有這些專題庫、以及這些專題庫各自服務的業務對象（即業務系統），就是數據的系統分布。

所以，數據的系統分布就是所有數據庫在業務支撐方面的分布情況及對業務支撐情況的總體綜合。

顯而易見，數據庫的數量越多，數據管理的復雜度也就越高。因此對于數據庫系統分布的管理和控制，有助于在業務需求的滿足與管理的便捷性方面達到最佳的平衡狀態。

數據架構的建立和管理對于構建完備的氣象數據管理體系是極端重要的。早在2003年，當時的中國氣象局領導和職能部門就希望建立起能夠實時監控所有國家級乃至全部門業務系統運行狀態的實時業務監控系統，以便整體把控全部門的業務運行。十余年過去了，該系統至今遲遲建立不起來。究其原因，并非有關單位和人員不努力，而是由于氣象數據定義范圍的不完整，導致系統和設備狀態數據至今未能納入業務管理范圍。狀態信息的不規范、不完整和無保障，使得監控系統的設計和建設無從下手。此外，數據的業務分布始終沒有進行全面的梳理和分析，沒有人（以及文檔）能夠說清各類氣象數據各自支持了哪些業務系統，以及支持過程中相關的要素、頻度和時效需求。這導致了即便監控系統建立起來，一旦出現數據鏈故障，監控系統也無法達到快速判定故障波及范圍以及故障嚴重程度的評估，起不到精細化管理的作用。

所以，氣象數據架構的梳理、分析、補充完善甚至重構的工作需要盡快展開。

（六） 數據治理

“治理”是與問題相伴共生的，出現了問題，且用常規技術手段無法解決，于是便有了從更高的層面，在分析和梳理問題根源的基礎上，通過制定規范、設定崗位和明確職責等方式，以治理的形式達到問題的解決。社會領域出了問題有“社會治理”，而數據領域出了問題，便有“數據治理”（Data Governance）。因此，數據治理并不是一個新生事物，有數據的地方就存在數據治理。

數據治理至今尚無被業界廣泛接受的定義，依筆者的觀點，所有為提高氣象數據質量和數據應用效率/效益/效能而展開的業務、技術和管理活動，都屬于氣象數據治理的范疇。

1. 為什么要進行數據治理

從上文中我們已經了解到，氣象數據在應用和管理過程中存在著諸多問題，如：

（1）數據的定義不完整

從上文可知，因事業的發展和工作的需要，過去形成的對氣象數據的定義已不完整，一些過去不被重視、但現在對工作卻十分重要的數據因未被納入氣象數據的范圍，從而缺乏相應的規范標準和業務保障，導致與之相關的各項工作的推進十分困難。因此必須盡快修訂和完善氣象數據的定義。

（2）多重數據模型的同時存在

由于歷史原因，同一種數據以多種數據模型的形式在同一個數據庫系統中同時存在的現象相當普遍，導致數據庫管理的復雜度居高不下。當這些數據模型存在的理由因技術升級換代而消失后，必須適時對這種現象予以逐步消除。

（3）數據流程的不規范

基于最優化原則的、規范的數據流程尚未建立起來——即便是在國家級業務系統和業務部門之間也是如此。許多業務系統仍采用上下游數據私相授受的“短路”方式，數據流程的復雜和難以管理并未因CIMISS1.0的業務化而得到根本解決。需要盡快設計出相關的符合最優化原則的數據流程，并從頂層采用行政手段予以強力推行。

（4）數據質量依然問題很多

許多重要數據尚未納入質量管理的范圍，氣象數據質量管理缺乏總體規劃和較為詳實可行的實施方案。以臺站信息表為例，做為CIMISS1.0重要元數據的地面測站信息表，常與省局的相關信息出現偏差。究其原因，是這些元數據的采集途徑既不規范亦無業務保障。這種情況并非個案，需要通過管理手段予以全面的調整和改進。

（5）系統重復建設，數據大量冗余

CIMISS1.0現已業務化，但雖然CIMISS1.0無論是數據內容、還是服務手段/方式以及服務時效均已充分滿足需求，一些單位仍以各種理由回避使用CIMISS，堅持保留其在各方面與CIMISS都難以匹敵的數據庫系統，導致同質數據庫的重復存在、數據的大量冗余、維護成本的大量浪費。這種現象必須通過行政手段予以制止。

——還可列出更多的原因，限于篇幅，不再枚舉。

需要注意的是，上述所有這些問題都不單純是技術問題，也是用技術手段無法根本解決的，需要進行綜合的氣象數據治理。

2. 數據治理的概念和目標

（1）概念

數據治理體系是指從組織架構、管理制度、操作規范、IT應用技術、績效考核支持等多個維度對組織的數據模型、數據架構、數據質量、數據安全、數據生命周期等各方面進行全面的梳理、建設以及持續改進的體系。因此，數據治理是一種關于數據的體系建設和這一體系的持續運行。

（2）目標

數據治理的目標是提高數據的質量（準確性和完整性），保證數據的安全性（保密性、完整性及可用性），實現數據資源在各單位、部門和系統間的充分共享，優化數據流程，推進信息資源的整合、對接和共享，確保關于數據各項措施的實際效果與氣象事業發展戰略目標高度一致，提升氣象部門的信息化水平，最大限度的發揮氣象數據的價值和作用，提高數據的使用效率，降低數據的維護管理成本。

3. 數據治理體系框架

（1）戰略

數據治理是在氣象事業發展戰略和規劃的指導下進行實施的，這些戰略和規劃包括業務發展目標、IT規劃以及數據治理相關的發展規劃。

（2）機制

機制是數據治理工作實施的基礎保障，通過組織、制度、流程的建設和執行得以落實。機制是數據治理工作的重點，數據治理執行效果就是機制落實的實際效果。

（3）專題

數據治理專題是指氣象數據治理的各項具體工作內容，根據“3.6.1”節的分析，氣象部門的數據治理專題至少包括數據定義的修訂補充、數據建模設計、數據業務分布梳理、在建應用系統數據需求分析及數據應用規范遵從、數據流程規范遵從、數據庫內數據冗余治理、同質化數據庫整合、主數據界定和管理、數據生命周期管理策略和CIMISS的實際業務應用等多個方面。

（4）實施

數據治理工作最終需要在相關制度、規范和流程下通過數據治理組織、借助技術手段和管理手段來予以實現。

2015年以來，氣象部門已陸續成立了信息化領導小組、工作組和信息化辦公室，以及相應的一系列專題性的工作分支機構。但針對氣象數據治理則既沒有成立相關組織機構，也沒有有意識、有組織地推進這方面的相關工作。氣象數據治理工作的重要意義尚未被有關人士所意識和認知，這種現象令人憂慮，因為數據治理工作的開展與否，關系到氣象數據管理工作被動局面的能否盡快扭轉。筆者衷心希望這種現象能夠盡快改變。

鑒于有關數據治理工作已有多部專著予以詳盡闡述 、，限于篇幅，本文不再深入討論。

其它一些顯然也很重要的數據管理活動，如：數據全生命周期管理、數據安全管理等，氣象部門對其已有較為統一而完整的認知，并也已采取程度不等的相應措施。限于篇幅，不再贅述。

四、架構的重要意義

（一）企業架構的基本內容和概念

如同一幢建筑物一定會有由地基、承重墻（柱）為主體構成的完整框架一樣，一個部門或企業也一定有其自身的體系架構，以構成這個企業的整體，業界稱其為“企業架構”。企業架構的實質，是對該部門或企業從宏觀到微觀、從整體到局部的多層次、多視角的描述。它反映了該部門或企業的業務構成及業務流程、支撐各業務的應用系統構成、支撐全體業務和應用的數據構成、以及所采用的技術構成和組織設置及安排。是對該部門或企業關鍵型業務、應用、數據和技術的整體性描述。

企業架構分為：業務架構、應用架構、數據架構和技術架構，見圖2。

圖2 、企業架構示意圖

1. 業務架構

一個部門的業務架構，就是這個部門業務構成的由宏觀到微觀的詳盡的條理化描述。如：氣象部門的業務主要由觀測、預報和服務三部分構成，而觀測業務又由地面觀測、高空觀測、天氣雷達觀測、氣象衛星觀測、大氣成分觀測、農業氣象觀測等等若干種專業氣象觀測構成。預報業務則由天氣預報、氣候預測兩部分專業業務構成，細分下去，天氣預報專業業務又可分為：強天氣預報、臺風預報、農業氣象預報、數值天氣預報、……數個專業方向；氣候預測專業業務亦可類似細分，見圖3。

圖3 、氣象業務架構示意圖

業務架構的梳理和全景展示，有助于展現該部門的戰略意圖以及實現路徑。抽象地說，業務架構是對該部門戰略規劃和業務規劃的實際描述，并通過制定業務策略、業務機制和業務流程來解決部門內的業務布局以及各業務之間的關系 。氣象部門的業務架構是基于氣象事業發展戰略的，它決定了氣象部門內各業務單位及業務系統的運轉方式。同時它建立了氣象發展戰略與日常業務活動之間的關聯關系，是連接發展戰略與具體項目實施的橋梁，即：通過氣象業務架構的支持，達到氣象事業發展戰略中預先設定的戰略目標 。

2. 應用架構

通俗地講，應用架構就是支撐某項專業業務的具體應用系統的構成，因此應用架構總是與其所支撐的具體業務相關聯的。以CIMISS系統的地面觀測數據入庫前處理業務為例，針對不同的觀測數據種類，其入庫前處理的具體應用系統有：地面小時觀測報解碼、地面自動站分鐘雨量觀測報解碼、地面自動站分鐘壓溫濕風地溫觀測報解碼、高空探測報解碼等等，見圖4：行環境，它主要描述業務系統、應用系統和數據系統所依托的基礎設施、基礎平臺和專業平臺的能力。

圖4 、數據入庫前處理應用架構示意圖

良好的技術架構，應當具有安全、可靠、靈活、易擴展、易維護、支持業務連續性等特點。

上述特點的達到并非易事，以目前中國氣象局國省兩級業務、應用及數據的技術構成為例，支撐數據庫系統的基礎平臺，有：Oracle、SQLsever、Mysql、歐冠虛谷、Cassendre、……，支撐人機交互界面的GIS平臺有：arcGIS、Mapinfo、超圖、……，等等。由于在技術平臺選擇方面的無規則可尋，使得應用系統研發者們往往根據自身的知識范圍和技術偏好，選擇最為得心應有的技術方案，從而使得全部門各地在同類應用功能開發方面經常出現彼此技術平臺和技術方案存在巨大差異，形成的應用系統因技術差異而彼此畫地為牢，形成技術孤島，技術難以互通、成果無法共享，繼而導致部門內大量的重復開發、低水平重復建設，開發和維護成本常年居高不下。

所以，要想真正推動信息化工作在氣象部門的廣泛深入開展，以信息化推動氣象現代化，氣象部門良好的技術架構設計，以及為推廣貫徹技術架構而采取的一系列IT治理工作，是無論如何繞不開的。

至于企業架構中四種專業架構之間的關系，圖5可予清晰展示，不再贅述。

可見，應用架構就是其所支撐業務的業務功能具體實現的實體構成，是對實現業務能力、支撐業務發展的應用功能有條理性的描述 。良好的應用架構，應當具有業務前瞻性、應用的規范和功能的可復用性、適應并促進部門內系統的整合和平臺化、以及具有適度的松耦合等特點。

3. 數據架構

數據架構在上文“3.5 數據架構管理”中已有概要解釋，不再贅述。

4. 技術架構

簡言之，技術架構就是所有應用架構所采用的技術平臺、技術組件的總和，是支持數據架構和應用架構的IT運

圖5 、四種架構之間的關系示意圖

需要注意的是，業界亦有將應用架構、數據架構和技術架構統稱為IT架構，從而將企業架構的內容簡單分為“業務架構”和“IT架構”兩種的做法。這種以突出信息技術為主要動機的架構分法頗有相當規模的接受群體。

（二）架構的重要意義

如同一個人一定有頭腦、軀干和四肢一樣，一個組織的架構一定是存在的，關鍵在于組織的管理者能否全面、清晰地明了本組織的架構，并根據發展規劃和戰略意圖，通過對組織架構的梳理、規劃、修訂和完善，利用頂層設計貫徹發展戰略意圖。對于管理者而言，不了解本組織的架構，便如同盲人摸象，無法有效地行使管理職責、貫徹管理意圖。而另一方面，架構又具有戰略層面的能動性，通過對本組織業務、應用、數據和技術架構的梳理、分析、規劃和最終確立，可從頂層的高度部署并貫徹組織發展的戰略意圖。

業界一些成功利用架構規劃來貫徹發展意圖的企業，都是先從企業的發展戰略出發去梳理本企業的業務架構，然后進一步分析和規劃相應的應用架構、數據架構和技術架構，通過對企業架構的分析，將企業的業務戰略、業務流程緊密結合起來，為企業描繪一個業務、應用、信息、技術有機互動的藍圖。

有效的企業架構對一個組織或部門的生存和發展具有決定性的作用。良好的企業架構能夠為組織帶來重要的業務效益：

◎ 業務的設立、布局和部署更加符合組織的發展戰略。

◎ 組織的運營更加具有靈活性和敏捷性，效率、效益和效能能夠達到更高的水準。

◎ 組織內的監管更加全面有效，組織的核心競爭力進一步增強，能夠更加敏捷地適應環境的變化、滿足社會和市場需求。

遺憾的是，對氣象部門而言，全面的、橫向到邊縱向到底的架構梳理工作至今尚未進行，尤其是應用架構、數據架構和技術架構。這一極其重要工作的缺失，使得專職信息化管理和工作者由于缺乏業務、應用、數據和技術等方面的全景信息，而常年處于某種懵懂狀態，發出的指令無法精準，監管措施也難以到位，許多原本具有重要意義的工作難以貫徹實施，抑或最終流于形式。

對于氣象部門的信息化工作而言，不完成部門內業務、應用、數據和技術架構的全面梳理，便無法掌握全面的完整的信息，相關指導工作便難以有的放矢，預期的效果也難以達到。因此，若想深入推進信息化工作、貫徹和推廣智慧氣象理念，氣象部門全面的架構梳理工作勢在必行、無法回避。

至于氣象部門的架構規劃，是建立在架構梳理和分析基礎之上的戰略規劃工作。這是職能部門的莊嚴責任，非筆者所能妄言。

五、構建完備的氣象數據管理體系

（一）現狀概析

筆者不揣冒昧，根據上文分析，嘗試著對幾個重要的數據管理活動在氣象部門的成熟度做了盡可能樂觀的定量評估，結果見圖6：

圖6 、氣象數據管理重要活動成熟度評估（參考）

由此圖可見，氣象部門在數據管理方面存在許多短板、缺失和遺漏，實在沒有理由樂觀甚至自豪。我們還有很長的路需要走、很多的工作需要補做、很多的方面需要涉及。我們的基于當前最新成果的氣象數據管理體系，并沒有真正建立起來。

（二）構建氣象數據管理體系的基本要素

既然已經明了氣象數據管理的短板所在，接下來的工作，就是如何修補短板、亡羊補牢。依筆者的看法，至少有以下工作需要依次展開：

1. 數據架構梳理與規劃

數據架構是氣象數據管理工作的基礎，數據架構不清晰、不完整，氣象數據管理工作是無論如何無法做到位的。因此氣象數據架構的全面梳理工作必須先行。

在梳理數據架構的基礎上，依照業務發展戰略，對現有數據架構進行深入分析，適度修訂完善氣象數據定義，以普適、易用和最優化等原則設計數據模型，并將需要調整、歸并和取消的數據模型陸續納入數據治理的工作清單之中。

依照數據的業務分布，按照滿足業務需求與數據管理便捷雙贏的策略，規劃設計數據的系統分布。

2. 數據開發管理的堅決貫徹

盡快制定數據開發管理的相應規范和制度，并堅決貫徹實施，從源頭上阻截使數據管理復雜度繼續增加的一切源頭。

制定相應規則，對新開發的應用系統，在可研階段必須完成對數據需求滿足度的詳盡分析。對那些無法滿足數據需求的應用系統，在可研階段就應當一票否決。

對那些已有的不遵從數據源模型規范、數據產品模型規范以及數據流程規范的應用系統，應悉數納入數據治理的范疇，按問題的嚴重程度、與周邊應用系統關聯的復雜度以及治理的難易度，對其逐一進行治理。

3. 數據治理工作的循序展開

數據治理工作不開展，氣象數據領域中的問題便無法解決。本質上講，數據治理工作是一項以制度建設、崗位設置和行政管理為主要手段的數據管理活動，以管理的方式達到諸多數據問題的根本解決。

數據治理的執行者需要賦予相當的權力和職責，因此氣象部門的數據治理工作無疑是專職信息化工作者當務之急而且義不容辭的責任。至于數據治理的方法，上文已有概述，不再贅言。

4. 基于主數據界定的數據全生命周期管理

面對浩如煙海的氣象數據，如何抓住重點，有計劃、有針對性并且符合實際情況地予以高效管理，是引進主數據概念的原因之一。在厘清氣象數據業務分布的基礎上，根據數據使用價值的高低，分別確定各種氣象數據的主數據、一般數據和參考數據的各自歸屬，并按照其各自生命周期的使用特點制定相應的存儲管理策略。以期在數據應用價值最大化的前提下，盡可能降低數據管理的成本。

5. 數據操作管理的進一步加強

雖然對于氣象數據CRUD的操作有一整套較為嚴格的規范，但違規現象仍時有發生。因此數據操作管理工作仍需進一步加強。通過強化用戶權限的管控、標準數據應用接口在業務應用中的普及和應用，進一步強化數據操作管理，規范用戶的數據操作行為。

6. 數據質量管理的豐富和完善

在延續并繼續加強現有工作的基礎上，依照需求的緊迫程度，循序拓寬需要進行正確性檢控和處理的氣象數據的種類，開展相應的技術研究，探討相應的技術方法，并在技術基本成熟時盡快形成業務能力。

進一步修訂業務規范，完善氣象數據完整性管理的各項規定、業務崗位及相應職責。

通過數據治理工作，逐步減少同質數據庫的數量，以及數據庫內的數據冗余現象，實現部門內氣象主數據的完全一致，氣象參考數據的高度一致，以及一般數據的基本一致。

7. 構建基于風險評估的數據安全管理體系

對氣象部門而言，數據安全不是一個孤立話題，應當將其融入到氣象部門整體安全的體系之中，在氣象部門信息安全體系之下予以統一設計和管理。按照“基于風險評估安全體系”的基本思想，針對主數據、參考數據和一般數據，以及各數據所處生命周期的不同階段，制定相應的數據安全策略，予以有針對性的、符合整體策略的安全管理，在全面滿足數據安全要求的前提下，收到事半功倍的實際效果。

如果上述工作在具有較強前瞻性的、完整的規劃和有條理的安排下循序進行并取得預期成效，那么我們有理由認為，氣象部門的較為完備的數據管理體系已經基本建立起來了。

六、結語

數據的重要性，在氣象部門是盡人皆知的。如果氣象數據的管理體系建立不起來，數據管理漏洞和短板長期存在并且不斷擴大，氣象工作便如同在沙灘上建造房屋一樣，始終被如同幽靈般的數據基礎問題所纏繞。因此，建立完備的氣象數據管理體系，是夯實氣象事業工作基礎的戰略性工作。雖然這項工作繁瑣而又平凡，很難博得掌聲和鮮花，如同航母巨艦的輪機艙一樣，永遠位于甲板之下；但越來越多的人都深知，一旦缺少它，龐大的艦隊就無法航行，遠在彼岸的目標就永遠無法達到。

但愿氣象部門的數據管理體系能夠盡快建立起來，但愿數據管理工作在氣象部門受到更多的而且是應有的關注和支持。

作者單位：國家氣象信息中心