水利設計中數據整合技術的重要性分析

劉忠臣

【摘要】數據整合已經成為未來水利設計單位進一步發展的必經之路，水利設計單位需要進一步的發展和提高，就需要進行數據整合。文章采用數據整合技術，充分整合綜合辦公管理、計劃經營管理、項目設計流程管理、圖檔管理數據資源，并建設成統一的數據集成平臺。利用這一數據集成平臺將四大數據資源，經過抽取、規則轉換、清洗、加載，形成整合資源庫，為經營和戰略決策提供數據支持。

【關鍵詞】集成信息系統；數據整合；信息孤島

1. 前言

1.1決策分析需要的數據通常都是統計數據，但在現有信息系統下進行會比較復雜。原因有：

（1）做出一個決策分析往往需要查詢多個基于各種異構數據源的信息系統和外部系統，并進行大量數據分析，工作量大，數據利用率不高，且容易出現人為差錯。

（2）現有信息系統平臺及開發工具互不兼容，直接提取這些數據比較麻煩。

（3）各個信息系統沒有統一的數據接口，也沒有通用的數據標準和規范，各個數據庫無法直接集成。

（4）統計分析需要大量的歷史數據，但是歷史數據并不完整。

1.2因此，為了適應決策信息系統建設的需要，我們采用數據整合技術，充分整合綜合辦公管理、計劃經營管理、項目設計流程管理、圖檔管理數據資源，并建設成統一的數據集成平臺。

2. 數據資源分析

數據整合資源庫的數據都是一些統計和分析數據，如項目進度跟蹤管理統計、產值管理統計等，它們來源于生產數據，所以在數據整合之前，需對現有生產數據資源進行歸類。現階段生產數據資源主要分為綜合辦公管鉀數據集、計劃經營管理數據集、項目設計流程管理數據集和圖檔管理數據集等。

2.1綜合辦公管理數據集是實現人員基礎信息統一管理的基礎數據集。主要包括：

（1）個人基本信息：包括個人信息庫等。

（2）單位基本信息：包括單位基本信息庫、單位所屬分支機構信息庫等。

（3）參數信息庫：包括代碼庫、圖表分析生成庫等。

2.2計劃經營管理數據集主要包括：（1）市場信息：包括顧客信息資源庫、市場動態信息庫、競爭對手信息庫等。（2）招投標管理信息：包括招標信息庫、投標信息庫、專家信息庫等。（3）合同信息：包括合同信息庫、收付款項信息庫、產品交付管理庫等。（4）資質管理信息：包括資質信息庫、資質審核庫、資質借用管理庫等。

2.3項目設計流程管理數據集主要包括：（1）項目信息：包括項目立項信息庫、任務下達信息庫、項目組人員任命庫等。（2）項目任務分解：包括項目任務分解資源信息庫、關鍵路徑控制等。（3）網絡虛擬辦公室：包括項目動態信息庫、中間成果管理庫、動態分析庫等。（4）產品管理信息：包括產品校審信息庫、成果交付信息庫等。

2.4圖檔管理數據集主要包括：（1）歸檔管理信息：包括資料預歸檔管理庫、資料歸檔管理庫等。（2）整編信息：包括檔案整編信息庫等。（3）借閱信息：包括人員信息庫、檔案借閱信息庫等。（4）電子檔案信息：包括電子檔案授權庫、電子檔案借閱管理庫等。（5）銷檔信息：包括銷毀檔案信息庫、銷毀人員信息庫等。

3. 數據整合的實現方式

水利設計單位集成信息系統數據庫大多為SQLServer數據庫，數據整合實現方式通常可以采用數據庫開發技術和ETL技術實現，以下分別介紹這兩種實現方式。

3.1數據庫開發技術。

3.1.1利用數據庫開發技術的數據整合主要指利用數據庫本身的功能，如觸發器、PL/SQL存儲過程、DBLINK等功能完成，完成對各個信息系統所需要數據的抽取、查詢和關聯等。

3.1.2這種數據整合技術有如下優勢：（1）適合于同種數據庫之間的數據集成。（2）投資少，基本都是靠開發人員手工編程為主，只需要一些開發費用。但是該數據整合實現技術也存在一些局限性。（3）擴展性較差。由于都是開發人員手工編程，后期的維護成本較高，特別是在決策需求發生變化時，需要開發人員修改程序源代碼。（4）數據整合效率問題。由于數據庫都靠開發商編寫，在系統日趨龐大的情況下，在面對復雜的數據整合問題上，效率難以得到保證。

3.2ETL技術。

3.2.1通過ETL技術及專業ETL軟件，即數據抽取（Extract）、轉換（Transform）、裝載（Load）能將數據從原系統數據庫經過抽取，進行轉換，最后加載到目標數據庫，實現系統數據之間的整合。

3.2.2該數據整合實現技術運用在水利設計單位集成信息系統有如下優勢：（1）高效率。ETL軟件的數據抽取、轉換、加載的效率非常高，特別對于大數據量的抽取。并且支持對ORACLE9i增量數據抽取。（2）改進數據質量。能夠根據各種條件校驗源數據和目標數據質量，對垃圾數據進行清洗。（3）強大管理功能。能夠通過WEB管理界面對數據抽取策略執行制定時間觸發方式，對抽取結果進行分析等。（4）多平臺、多數據源支持。支持各種平臺、各種數據庫系統（如ORACLE、SQLServer等）以及不同版本數據庫之間的數據抽取。（5）具備多種數據轉換控件，能夠完成各種非常復雜的數據轉換工作。但是該數據整合實現技術也存在一些局限性：投資費用較為昂貴，實施周期通常較長。

4. 數據整合的實施

數據整合實施工作分為4個階段。

（1）第一階段為對信息系統原始數據分析階段。為了更加全面理解各種數據格式的含義，獲得各種相關文檔資源，因此首先要對信息系統原始數據進行分析。該階段主要包括了解需要采集的數據結構定義和數據表之間的設計聯系。例如：我們對包括非電子數據、excel格式數據及其各種不同數據庫格式數據進行分析。

（2）第二階段為設計實施階段。為了不影響原始數據格式的改變及其調用，并保證它們的安全性，第二階段主要是定義數據整合規則及策略的設計實施階段。前者包括字段映射、合并、函數計算定義等。后者主要定義時間策略。

（3）第三階段為數據校驗階段。為了不會產生各種不完整甚至錯誤信息，因此在系統正式運行之前，必須建立嚴格的數據校驗機制，以保證生產數據和整合平臺數據的一致性。例如：我們對導人的數據進行校驗，主要標準為水利設計單位設計規范標準，并對校驗出來的問題進行處理，主要是人工處理確認。

（4）第四階段為系統上線階段。將設計好的數據整合流程正式發布，并可設定計劃定時執行，系統管理人員可以通過監控界面，進行任務監控和跟蹤。根據需求，管理人員還可修改計劃，合理安排數據轉換任務，以在規定的時間內完成所有的數據轉換和加載任務。

5. 結語

（1）數據整合將改變原有的以部門和項目為中心的信息孤島局面，從而能夠實現整個水利設計單位的數據整合。原有的部門級、以項目為中心的運作方式，將可能使得各個項目的使用技術不盡相同，也使得項目的進度依賴于開發人員的編碼效率，從而使得整個水利設計單位的效率低下。

（2）進行整個單位的數據整合之后，就能夠在水利設計單位內部統一技術架構和標準，充分發揮團隊協作的效率。通過由數據整合進行的數據移植、數據倉庫等，將能夠使得水利設計單位的數據整合成本大大下降。

參考文獻

[1]蔣東興，劉啟新.數字校園信息整合之我見[M].北京：清華大學計算機與信息管理中心，2003.

[2]周志達，徐先傳.數據倉庫中數據抽取、轉換及加載工具研究[J].北京理工大學學報，2003，23（6）：720～723.

[文章編號]1619-2737（2014）03-18-634endprint