從大地形變流動數據庫的設計談監測基礎數據庫的建設

楊勤　周輝　郭啓倩　馬亮

從大地形變流動數據庫的設計談監測基礎數據庫的建設

楊勤周輝郭啓倩馬亮

楊勤，博士，高級工程師，中國地震局第二監測中心科技信息室副主任。1982年畢業于武漢測繪學院大地測量系，1999年獲日本東京大學博士學位，隨后在該校進行博士后研究工作，并被聘為客座研究員。2000年至2009年期間，曾從事大型數據庫設計與系統開發商業服務工作。現主要從事地震流動監測、數據信息等研究與管理工作。作為負責人，先后承擔中國地震局《大地形變流動觀測數據庫結構》地震行業標準編制和地震科技星火計劃攻關課題《大地形變流動觀測標準數據庫建庫軟件開發》等項目，參與中國地震局監測預報規制體系和管理信息系統設計工作，在大地形變流動觀測、數據庫開發等方面積累了豐富的實踐經驗。先后在國內期刊發表多篇學術論文。

隨著現代化科學技術的發展，豐富的科學活動產生了龐大的科學數據。如何有效管理這些日益膨脹的大量數據，是擺在數據工作者面前的一道難題。

地震系統的數據管理，基本上是伴隨著地震科學活動而逐步發展的。最初，一般用人工記賬的方式管理紙質數據，隨著電子數據的產生與數據管理技術的進步，對電子化數據，嘗試了不同的管理方式，最后形成電子載體和人工記賬相結合的管理模式。

在地震科學各學科中，數據庫的建設、發展參差不齊。例如在地震科學的數據共享方面，大地形變學科，沒有一個統一、標準格式的數據，供共享者使用。因此，地震科學數據管理與數據共享，要求我們建設一個統一標準格式的大地形變流動標準數據庫，以滿足不同觀測單位的數據管理、數據匯交、數據共享之需要。

另一方面，各課題建設的數據庫，也是形式多種多樣。最主要的潮流是，對觀測數據進行一定的清洗后，將其結果做一個結構化處理，然后存放在數據庫里。其目的一是存儲數據，二是向數據使用者提供數據下載。我們暫且把這種數據庫稱作數據倉庫。我們認為，這種數據倉庫的功能是比較單一的，除了建設主體（如課題組）自己使用之外，很難推廣應用。鑒于這樣的現狀，我們自然而然地提出一個問題：能否建設一個基礎數據庫來滿足各方面的要求呢？

2014年，我們承擔了中國地震局法規司下達的《大地形變流動觀測數據結構》行業標準立項任務。在此基礎上，我們同時承擔了相對應的中國地震局科技司地震科技星火計劃項目《大地形變流動觀測標準數據庫軟件開發》課題。通過課題的深入研究，我們對設計構建基礎數據庫有了一些更好的經驗與體會。

基礎數據庫的建設思想

構建《大地形變流動觀測數據結構》行業標準，首先需要一個大地形變流動觀測標準數據庫，用于驗證行業標準的可執行性。而標準數據庫又需要有一個大地形變流動觀測基礎數據庫作為數據源。

在這里，我們首先要回答什么是標準數據庫，什么是基礎數據庫。

標準數據庫，是指數據庫的結構是經過標準化的數據結構，具有固定的格式，要求大家統一遵守。例如我們需要保存的數據范圍、數據種類、數據類別等等，都不是隨意記述。具體舉例來說，水準觀測點標石類別，觀測規范上有基巖綜合標石、土層綜合標石、混凝土基本水準標石、鋼管基本水準標石等，建點者就不能簡單地記述為“鋼筋混凝土標石”。

因此，標準數據庫的最直接目的，是解決數據共享、解決各觀測單位匯交什么樣的數據的問題。

基礎數據庫，應該是最基本、最全面的觀測信息數據集。為了達到這一目的，基礎數據庫必定以觀測信息的大量化、多樣化、復雜化為特點。隨著存儲技術的不斷發展，對于大地形變流動觀測數據而言，高速、大容量、廉價的存儲介質，早已解決了數據庫設計中存儲空間的節約問題。因此我們設計基礎數據庫的注重點，應該放在信息的合理分類和信息的完整上，同時要求數據庫里存儲的數據信息能夠被快速利用。

新理念：基礎數據庫應該是業務信息資源庫

相對于基于觀測數據的倉庫類型數據庫，我們提出了一個新的數據庫設計理念：基礎數據庫應該以流動觀測業務為核心，將數據庫建成一個涵蓋整個地震大地形變流動觀測業務的信息資源庫。我們采用關系數據庫構建大地形變流動觀測基礎數據庫。關系數據庫最大優點在于它非常適合存儲相關聯的全部信息。在數據庫里，我們不僅僅要存儲數據，還要存儲業務。這是與單一數據倉庫最大的不同之處。將業務存儲于數據庫之中，其最大的好處是業務不會隨著業務人員的崗位調整或變動而改變；其次，可以促進業務及流程的規范化。舉例來說，基礎數據庫不僅僅包含觀測結果數據，而是從觀測基礎信息，如觀測點的點之記、觀測任務來源、觀測任務下達、觀測小組構成、觀測儀器信息、觀測過程信息、觀測數據記錄等全業務范圍著眼，記錄和存儲所有的檔案信息。

業務信息資源的完整性需求

實現對數據的永久保存，這個由數據庫技術本身來解決。設計中我們不需要考慮磁盤存儲的牢固性和存儲數據的丟失問題。但是業務數據的完整性，需要我們在設計中予以規定。哪些是業務數據、業務數據的完整性如何來定義？這些需要我們在數據庫建設的前期，進行大量、充分的需求分析調查來確立，以防止重要信息的選擇性遺忘。

對于保證業務信息資源的完整性要求，實踐中數據管理者頗有微詞。他們從過去存儲資源昂貴、存儲磁盤空間容量有限等習慣性思維中，時常提出某些數據存起來到底有什么用的問題。我們認為，數據組織者對觀測實踐中出現的各類信息，報一種有用還是無用的判別心態，是十分有害的。在這里我們講一個很能說明問題的例子。

1983年國家地震局（現中國地震局）組織編寫了一套《中國大地形變測量成果表》，共有十三冊。非常遺憾的是，這樣一套數據集，點位信息中沒有經度坐標。推測當時的理由是緯度坐標可以用于計算正高改正值，而經度坐標沒有什么用。但是從今天的需求來看，清理大地測量點位，定義一個水準點是不是歷史上曾經存在過的那個水準點，可信賴的一個重要參數就是點位坐標，經度、緯度缺一不可。

實現對數據的科學管理

定義了基礎數據庫的基本屬性為業務信息資源庫，就要規劃業務信息資源的數據分類以及各類數據的相互關聯關系，將業務信息結構化。同時還要依據關系數據庫技術，科學設計數據庫，以實現對復雜信息的科學管理，最大限度地保證數據庫效率。對此我們提出了數據庫應該具有以下的基本功能：

（1）信息的合理分類性：各個子數據庫按業務和數據庫要求合理分類，構成結構化關系數據集。

（2）信息的全面、完整性：由信息的完整性定義以及數據庫庫表設計和數據結構來保證。盡量保證信息沒有遺漏。

（3）信息的正確性：由字段屬性來防止錯誤和非法的數據流入。

（4）信息的一致性：同一信息只在一個地方存在，其他地方需要該數據時均予以引用，消除數據冗余，以保證同一信息不會產生矛盾數據。

（5）信息的非重復性：對同一信息記錄，要設立唯一鍵標識，以防止重復性錄入。

（6）相關信息的關聯性：數據之間的關聯，需要有建立清晰的數據邏輯關系。

（7）存儲的簡潔性：對可枚舉分類數據，設立對應代碼表，用代碼代替文字記錄。

（8）高效信息提取：數據庫存儲的目的之一是為了信息數據的提取利用。基礎數據庫必須保證能夠大量、高速抽取到任何所需信息。

另外，數據庫的數據備份、數據安全策略等，由數據庫自身技術實現，不在我們的數據結構設計范圍之內。

基礎數據庫的設計

明確了大地形變流動觀測數據庫的理念、功能，接下來就要解決數據庫的設計問題。這里講述一下我們的設計原則和設計內容。

基礎數據庫的建設應密切貼近大地形變監測業務

首先，確定數據庫的內容需求。數據庫內容的確定，要求項目組廣泛閱讀大地形變流動觀測業務的相應文獻、規范，在大范圍內實行調研、考察，盡可能地了解歷史觀測狀況和現行觀測規定、實際操作等細節性的每一個環節，最終形成一種設計方案。

1.基礎數據庫存儲內容來源于業務各部門的調研

關于存儲內容，我們多次組織了中國地震局和國家測繪地理信息局有關專家、大地形變流動觀測業務單位的各業務部門，如業務管理部門（監測處）、業務實施部門（監測隊）、業務檔案部門（科技信息室），進行調查研究，共同討論數據庫的設計方案。

專家們提出，基礎數據庫，不僅僅要存儲觀測結果數據，也要存儲觀測過程數據，甚至是觀測過程中出現的相關文件、產出的觀測技術報告和技術檔案等等。專家們給出的理由是，在地震預報和地震基礎研究中，由于觀測結果的不確定性，經常需要用到觀測數據的環境資料進行全面分析，從而使得過程數據與觀測數據同等重要。

2.監測現場調研

數據庫的設計離不開實際觀測業務活動。比如，對儀器的使用狀況、天氣和風力的判斷、實際觀測操作過程等，通過實際參與可以了解到觀測數據的產出全過程。

基礎數據庫設計依據

大地形變流動觀測業務，在幾十年的實踐中，一直根據相對嚴格的業務標準或規范予以實施。因此數據庫的設計，也必須遵循這些業務標準或規范。對于業務數據庫的設計，最理想的狀況，是先有業務標準（觀測、管理規范等），然后依據業務標準進行數據庫設計。但是，我國的現實情況是，標準的制定遠遠落后于業務實踐。大家的習慣一是根據以往的傳統，二是依據紅頭文件。因此，業務上的規則，有時隨意性比較強。

盡管如此，我們也不能等到業務標準或規范完全建立并成熟以后，再去制定數據庫標準。我們應在不違反現有標準、規范的前提下，盡可能地做到有章可循，排除困惑，構建一個盡可能符合業務標準或規范的基礎數據庫。

1.各種規范的引用

數據庫設計中，我們所引用的業務標準或規范如下：

（1）流動水準測量：依據《國家一、二等水準測量規范》（GB/T 12897-2006）和《地震水準測量規范》（DB/T 5-2014）；

（2）流動GNSS 觀測：依據《地殼運動監測技術規程》（地殼運動監測工程中心2014）；

（3）跨斷層測距觀測：依據《中、短程光電測距規范》（GB/T 16818-2008）（全站儀測距）；

（4）基礎信息：將地點地址信息分解為行政區劃+鄉鎮街道詳細門牌號碼的兩部分管理，行政區劃部分可以用《中華人民共和國行政區劃代碼》（GB/T 2260-2007）來規范；將機關單位統一編碼標識，單位代碼采用國家頒布的《全國組織機構代碼與名稱》（GB/T 31286-2014）；

業務人員的唯一標識碼，采用身份證號碼，這樣解決了人員識別的唯一性問題。

2.規范中沒有規定或規定模糊的應對

對于沒有業務標準或規范的數據內容，我們采用如下原則設計：

（1）雖然沒有業務標準或規范，但在業務實現中形成了行業上傳統習慣的，按照傳統習慣設計。例如跨斷層測距觀測中的《跨斷層基線場地圖》、《跨斷層短程測距觀測手簿》、《跨斷層短程測距觀測儀器檢驗手簿》和《跨斷層距離測量成果及精度統計表》等。

（2）完全沒有先例可循的內容，自己設立標準進行設計。比如觀測點位廢棄原因分類，我們就自主規定為①廢止；②破壞；③其他（含遺失等）三類。

數據庫的性能設計必須滿足數據庫3NF范式

關系數據庫技術對數據存儲，有范式要求。第一范式1NF:字段為最小信息屬性，信息不可拆分（原子性）；第二范式2NF:每條記錄都有主鍵，且每一個非主屬性都完全依賴于主鍵；第三范式3NF:每個非關鍵字段都獨立于其他非關鍵字段，并依賴于關鍵字。通俗地講，滿足第三范式，就是說同一信息不能有兩種以上的表示，不能有重復，一個字段不能用其他字段導出，如［單價］×［數量］＝［金額］，有了單價和數量，金額就不能在數據庫中出現。

大地形變流動數據庫在數據庫性能方面，應該嚴格按照第三范式3NF原則設計，并且對相關關系數據要建立嚴格的約束和索引，確保數據的準確性、一致性、簡潔性和非重復性，使得數據庫在數據滿負荷的時候，亦能達到整體效果最優。

數據庫設計人員現場參與觀測數據的獲取過程

基礎數據庫的涵蓋范圍和設計內容

通過大量的調研，項目組將大地形變流動數據庫的信息內容歸結為流動水準觀測信息子庫、流動GNSS觀測子庫、跨斷層測距觀測子庫，其內容包括觀測點位或觀測場地基礎信息、觀測儀器基本信息、觀測手簿和觀測結果數據等。相關聯的，還設計了監測任務管理信息子庫、數據產品子庫以及每個子庫都要用到的共通基礎信息等。

1.共通基礎信息子庫

包含定義地點地址的全國行政區劃信息表、定義全國業務單位的機關單位信息表、定義業務人員的人員信息表，以及全局檔案文件資源信息表，全局代碼分類信息表等。

2.監測管理信息子庫

包含監測管理中對項目、任務、子任務以及作業小組的信息定義，以及子任務詳情信息表和項目任務完成狀態表等。

項目信息表主要定義監測任務的項目或課題信息。項目（課題）信息表中存放項目來源、起止年月、完成狀況以及項目任務書和驗收報告等檔案文件。

任務定義從項目分解到某一觀測年度、以某種觀測方法的可執行任務。例如地震系統的喜馬拉雅項目，它是跨多年度、具有多種觀測手段的重大行業專項。喜馬拉雅二期項目的2014年水準觀測，就是一個任務。任務信息表中存放技術設計書、實施方案、部門技術總結等檔案文件。

子任務是指將任務分解，由某個觀測小組實施其中的一部分任務。包括觀測任務對象、實施觀測小組、小組技術總結報告等信息。

觀測小組信息表定義觀測小組管理單位、小組成員、觀測手段等信息。

3.流動水準觀測信息子庫

流動水準觀測子庫包括水準觀測點之記、水準區域信息、水準觀測儀器信息等基礎信息表和表示觀測數據的觀測手簿信息表、表示觀測結果數據的水準高差表和表示水準觀測儀器檢驗結果的觀測儀器檢驗表等。將觀測手簿和高差表完整導入數據庫，是該數據庫的特點之一。

4.流動GNSS觀測信息子庫

流動GNSS觀測子庫包括GNSS觀測點之記、GNSS觀測網信息、GNSS觀測儀器信息等基礎信息表，和表示觀測數據的觀測手簿信息表、表示GNSS觀測儀器檢驗結果的儀器檢驗表等等。

5.跨斷層場地測距觀測信息子庫

跨斷層場地測距觀測子庫包括測距觀測場地、測點及測邊信息、測距觀測儀器信息等基礎信息表，和表示觀測數據的觀測手簿信息表、觀測成果表以及表示測距觀測儀器檢驗結果的儀器檢驗表等。

6.數據產品管理子庫

將各種大地形變流動觀測產出的研究報告、數據圖形、論文等數據產品和引用的原始數據文件等信息進行分類，歸類管理，以便于其他研究者快速查詢。

基礎數據庫應用

大地形變流動觀測基礎數據庫建成后，實現了對大地形變流動業務數據、檔案的永久保存和對業務數據進行高速檢索、快速抽取這一數據庫的基本功能。除此之外，本數據庫還實現了幾項特別有意義的功能。

觀測檔案資料查詢功能

方便、及時的調閱數據庫中的檔案文件，替代了檔案保管員繁重的工作和工作時間的限制，奠定了實現檔案資料管理的電子化的基礎。

觀測點位點之記的動態管理與電子打印

一個過時的點之記，往往會導致觀測員找不到點位，承擔的觀測任務無功而返。今后的觀測點位等基礎資料不再以固定不變的紙質格式記錄，取而代之的是隨時更新的最新點之記信息。由此做成電子格式的點之記圖表。這樣的好處顯而易見，可以將變化了的信息，比如周邊環境、交通路線、參照物位置變更等，及時更新在點之記表里，然后打印出最新點之記。

觀測手簿的數據庫入庫，可望直接產出

由于觀測成果表由直接觀測數據經過改正、計算而來。我們完全可以通過程序計算，用手簿觀測值計算觀測成果表。例如，高差表的數據成果表。這樣得到的結果更加準確與快速，可減輕觀測一線的工作負擔和成果檢查人員的工作量，極大提高觀測數據的質量檢查效率。

觀測點的建點、遺失、破壞時間等屬性的數據庫管理

對觀測點的建點、遺失、破壞時間等屬性的數據庫管理，使觀測點變遷歷史得以可追溯和還原。這對歷史觀測數據的清理有極大的幫助。一切變化都會被記錄在案。

完成數據共享任務

對數據庫中的敏感信息進行脫密處理，將不涉密的部分公布于互聯網上，實現地震科學數據共享。

野外監測業務的電子化管理

由于將監測業務（例如，某年度某個觀測小組的觀測任務和任務完成狀態）存入了數據庫中，系統可對當年實施任務的觀測小組工作狀態進行實時跟蹤，及時匯總任務完成情況，實現野外監測任務的電子化追蹤管理。

體會與存在的問題

（1）基礎數據庫應是一個完整的數據資源庫，盡可能滿足各方面對數據的需求。

（2）各種系統的應用，數據庫是核心。而基礎數據庫，業務是核心。

（3）數據庫設計需求，必須來自全面的調查研究。

（4）數據庫的設計必須以各種相應的業務規范作為依據，以保證存儲的信息

不偏離業務。

（5）數據庫的設計必須嚴格依照數據庫范式要求，以保證數據庫效率的最優。

（6）數據庫的設計，應該考慮應用場景，起到改善和促進業務活動的作用。

另外，現在建設的大地形變流動數據庫，還存在一定的缺陷。在數據庫的應用推廣中，大家普遍提出一個問題，為什么缺少了流動地磁與流動重力部分？對數據管理者來說，可能會有諸如學科分類等的限制，但是對于應用的人來說，難道監測管理工作需要上幾套不同的系統？監測資料文件需要存放在不同的數據庫里?我們認為，這個意見是非常中肯、切中要害的。因此有必要開發大地形變流動數據庫2.0版，將所有流動觀測信息數據都納入統一的數據庫管理。