基于生態環境信息的數據倉庫模型構建

謝穎斯

（廣東省環境科學研究院，廣東 廣州 510000）

生態環境信息化是當今環境保護的重要手段，也是中國政府信息化建設的關鍵[1]。自生態環境信息化工作開展以來，全國各級環保部門先后就不同生態環境業務建設信息系統，推動信息公開，在提高環保政務服務水平的同時，接受社會公眾監督。但在信息化工作逐步推進的過程中，因欠缺系統統籌規劃，各部門之間缺乏充分的溝通與交流，不同業務的信息系統獨立、分散，甚至重復建設[2]。由于沒有制定統一的建設標準，導致各類業務數據相互割裂、質量參差，長此以來使得大量數據可利用價值低下，不利于數據的后續更新與長遠開發利用，造成資源浪費[3-4]。

隨著“大數據”理念及相關技術的普及，國務院也非常重視其在政務信息化建設中的作用和兩者相互促進發展的成效[5]，相關部門就各領域頒布多項大數據治理政策文件，大數據治理發展環境日益完善[6]。生態環境作為與民眾息息相關的一部分，也需建設智能、集成的生態環境大數據資源中心，進一步提升對環境污染統一監測、環保業務統一監管和數據分析應用的能力[7]。因此，建立一套長效的生態環境數據整合與開發利用的治理機制顯得尤為重要[8]。而這首要的基礎，是要基于生態環境數據的特點，打通每個業務系統之間的壁壘并彼此建立聯系，將這些“信息孤島”連成一體，建立專門集成儲存生態環境信息的數據倉庫。

1 生態環境數據特點與現狀

1.1 數據種類多、規模龐大

生態環境業務種類多，各信息系統中集合了污染源監管、環境質量監測、環境信用許可、環境應急管理等不同方面與類型的信息，涉及水、大氣、土壤、噪聲、輻射等方面。除了以污染源名稱、地理坐標、污染源總量為典型的結構化數據外，還包含了各類業務申報和審批文檔、監測視頻、現場圖片等非結構化數據。大部分業務持續運作，數據持續更新，數據體量持續增大。

1.2 數據標準不統一、質量不高

不同業務系統之間建設標準不同，從數據庫選型、運行環境、數據模型，到字段命名、字段類型、數據驗證等，都沒有統一的標準，基本數據字典目錄如行政區劃、國民經濟行業分類、污染物種類等采用過時數據或非官方標準目錄的情況非常常見。大部分系統在日常前端數據錄入時沒有做好數據校驗，相當一部分異常、無效、重復、不完整的數據進入系統數據庫，更有一部分使用范圍小、更新頻率低的系統在建設時從簡，對數據的處理直接采用“收集—展示”方式，沒有對數據庫進行嚴謹的設計。

1.3 業務實體對象重疊，數據關聯性差

多數信息系統的作用皆為有空間屬性的實體業務對象（各行政區、流域、污染源等）在特定時間點的業務流程記錄或信息歸檔，各系統的實體業務對象基本存在相互交叉、重疊的情況。但由于各業務系統分散建設，系統間數據呈碎片化，數據除了在自身所在系統內，沒有可分析利用的空間，多業務聯合分析統計的難度大增。結合前述兩點，海量數據以離散、毫無關聯的方式保存于各個數據庫中，數據價值大打折扣，加上“僵尸系統”和“失效數據”的大量存在，造成了資源的極大損失。

2 數據倉庫構建

數據倉庫是一個面向主題的、集成的、不可更新的、隨時間不斷變化的數據集合。與存儲操作性數據的傳統業務系統數據庫不同，它側重于數據分析與決策支持。生態環境信息數據倉庫基礎建設過程主要如下。

2.1 信息探究與標準建立

信息探究關鍵在于2個方面：一是梳理業務邏輯與流程，界定主要分析維度；二是理清各業務系統里的數據狀況，包括業務系統數據庫模型設計特點、各數據表以及每個字段的含義等，確定進入數據倉庫的內容和數據入倉標準與策略。

同時，正確參照國家現有的《環境信息元數據規范》，遵循共享性、唯一性、穩定性、可擴展性、前瞻性、可行性原則建立數據標準。對行政區劃代碼、國民經濟行業分類、污染物名錄等建立唯一的公共字典目錄，并與各業務系統自身的字典目錄建立映射，為多業務聯動提供前提。

2.2 建立數據模型

根據生態環境業務數據的特點，構建“實體—時間—事件”模型，如圖1所示。

圖1 “實體—時間—事件”模型ER圖

“實體”指具有空間屬性，且有業務管理或統計需求的業務單元，按照實體之間的空間包含關系，可以確定其層級結構并分類。由于大多數實體涉及多個業務，因此在構建實體關系結構時引入“主數據”概念。實體關系結構示例如圖2所示，實線表示實體的從屬關系，由實體數據的業務關系與地理坐標信息確定；虛線表示相等關系，需要不同業務的同類實體數據比對后確定，如圖中的4個固定污染源就都表示相同的業務單元。這種定義實體關系的方法，縱向看同時兼容了多種層級關系，橫向看避免了復雜耗時的實體去重合并工作，而且還能由多個業務系統來對實體數據進行查漏補缺，并保留各業務下側重不同的實體擴展信息，還能掌握實體參與各業務期間改名、易地的情況。

“時間”是實體業務對象在具體業務發生時的重要標記，根據各業務發生頻率可分為年、季度、月、日、小時等多個類別。

圖2 實體關系結構示例

“事件”即實體在特定時間內發生的業務內容，如某排污單位的排污許可證審批或某空氣質量監測點監測一次空氣質量，都可以作為事件看待。事件可按生態環境核心業務種類、業務負責部門等分別進行分類。

“實體—時間—事件”模型的建立，也定義了生態環境信息的3個基本維度，如圖3所示，除了能適應現有業務，也能兼容未來新增業務的接入。

圖3 環境信息的3個基本維度

2.3 數據倉庫分層架構

建立數據分層模型，對生態環境數據進行歸納整理。這里將數據倉庫分為3層：ODS層（操作性數據層）、DW層（數據倉庫層）和DM層（數據集市層）[9]，設計合適的ETL（抽取—轉換—加載）過程，將各業務數據庫的數據經過“加工”后加載到數據倉庫或數據集市中。數據從業務數據庫到實際應用的流向示意圖如圖4所示，實際工作中需建立自動化的調度策略，用于定期有序執行ETL作業流程，以保證數據倉庫的時效性。

ODS層是直接對接各個業務數據庫的一層，是數據源與數據倉庫之間的一個隔離，其數據庫結構與業務數據庫基本保持一致。數據源中的數據經過篩選，去除無效、異常、重復的部分后裝入本層。每個業務所用字典目錄與數據倉庫公共字典目錄的映射也于本層建立。

DW層為整個數據倉庫的核心部分，上述數據模型于本層實裝。ODS層中的數據按照所建立的數據模型重構后加載到本層。DW層的數據通常只允許增加，不允許修改或刪除，實際過程中也需要定期對本層數據進行質量評審，以保證數據倉庫的準確性。

DM層中的各個數據庫用于存儲基于數據倉庫中的整合數據，根據特定需求匯總成某一專題的數據。每一個數據集市都可以看作是數據倉庫的一個子集，它一般是面向特定的部門、業務或主題。

數據集市中的專題數據，可直接用于構建專題。由于數據最終直接來源于現有業務數據庫，使得構建應用時省去了數據收集等步驟，避免了重復建設業務系統的弊端，也保證了數據與現有業務歷史數據的一致性。同時，各業務的數據也能夠按需進行關聯分析，大大提高了現有數據資源的可用性與價值。

圖4 數據分層及過程策略

3 總結與展望

生態環境信息數據倉庫的構建，提供面向應用分析的集成化數據存儲環境，為解決生態環境數據現狀問題提供了整合方法與思路。后續可基于此快速構建生態環境管理專題庫和應用庫，并結合數據挖掘等技術，有效提高生態環境信息資源的利用價值和效率，進一步提升對生態環境業務綜合管理、智能分析應用以及綜合決策等信息系統建設的支撐能力。

然而，現階段生態環境數據治理大部分還處于重點業務數據資源的基礎性治理階段，業務數據尚未完整匯聚整合，多級數據共享通道有待全面打通，數據資產構建仍需進一步體系化。因此，如何利用生態環境信息數據倉庫技術結合生態環境歷史數據和實時數據為智慧環保提供數據服務支撐，還需要進一步的探索。