區域自動氣象站數據庫整合設計與實現

何 林，范 濤，曹 波

（1.陜西省氣象信息中心，西安 710014；2.渭南市氣象局，陜西渭南 714000）

區域自動氣象站數據庫整合設計與實現

何 林1，范 濤2，曹 波1

（1.陜西省氣象信息中心，西安 710014；2.渭南市氣象局，陜西渭南 714000）

為了有效解決省內各地市氣象局安裝多個廠家的區域自動站后，因各廠家的數據庫差異性導致的數據不兼容問題，從多源異構數據融合的思路出發，提出一種區域自動氣象站數據庫整合的設計方案，并利用.net平臺編程技術進行實現。根據渭南市氣象局區域站的實際情況定制開發軟件，并進行應用測試，驗證了軟件的可用性。

區域站；數據庫整合；C＃；客戶端軟件

截止2014年，陜西省的區域自動氣象站（以下簡稱區域站）共計建站1 800余個，這些遍布全省各地市、縣的區域站設備多為華云、長春、無錫三個廠家生產。由于各地區域站引進的設備廠家和型號參差不齊，并且各廠家配備自己的中心站軟件，生成的數據相互獨立，難以兼容，導致存儲數據庫的不統一。主要表現在數據庫平臺和表結構的不同，這些都加大了對原始觀測數據監控和管理的難度［1］。研究一個既能較好實現不同類型區域站生成數據的融合，又對當前觀測業務和觀測數據使用習慣影響較小的數據庫整合方案，并面向地市氣象局的實際應用需求開發相關軟件產品，為區域站數據的運維和管理帶來方便。

1 軟件設計

1.1 設計思路

各種區域站原始數據的存儲平臺和表結構，甚至表的數目都有較大差異，屬于典型的多源異構數據。因此在明確常見區域站數據源特點的基礎上，根據數據特點，選擇數據整合的源表和目標表 （源表即各區域站生成的原始數據相關表，而目標表則需根據實際需求創建一個新表），特別的，當源表的各字段之間具有包含 （子集）關系時，則亦可選擇一個源表作為目標表。然后，根據組合主鍵提取不同類型區域站的源數據存入適當的臨時存儲結構，最后將臨時存儲空間中的數據統一導入目標表［2］，從而完成數據的整合。

1.2 設計原則與總體架構

遵循簡單易操作、可擴展、可維護、整合效率高等原則，采用C＃語言結合VS集成開發環境將軟件設計為winForm窗體形式的可視化操作界面，以客戶端的形式呈現給用戶。作為第三方軟件，將整合后的數據庫作為提供給其他應用的接口，因此整個軟件架構可分為三層［3－4］，即表現層 （客戶端）、業務邏輯層、數據訪問層（數據庫服務器端）。①表現層 提供交互式的操作界面，主要用于接收用戶輸入的操作數據并做合法性驗證。由于本軟件的主要目標是進行后臺數據整合，因此表現層并沒有提供數據展示和檢索［5］的功能。②業務邏輯層 負責處理和轉發由表現層獲取的用戶輸入數據，并選用合適的臨時存儲結構對數據訪問層獲取的區域站原始數據進行存儲。③數據訪問層 數據庫的相關操作集中在該層，包括從多個源數據表中提取原始數據并提交給業務邏輯層，以及將業務邏輯層處理加工后的數據導入目標數據表中 （見圖1）。

圖1 軟件總體架構圖

1.3 功能模塊設計

綜合設計原則和用戶需求，將軟件分為四大功能模塊：對于歷史數據和遺漏數據進行操作的手動入庫模塊，對于日常實時數據進行操作的自動入庫模塊，便于和其他平臺進行交互的多平臺數據入庫模塊以及入庫過程中產生的日志查看模塊，各模塊子功能如圖2所示。

圖2 軟件功能模塊圖

2 關鍵技術研究與實現

2.1 數據庫連接與預處理技術

預處理主要解決從不同數據表提取源數據后所做的基本處理，如剔除無用字段、空字段數據的表示等方面，這與C＃數據庫連接操作緊密相關。對于不同的數據庫平臺，C＃的基本操作流程是一致的，其連接和預處理的偽代碼如下：

2.2 表選取與字段映射

連接操作結束后的首要問題是選擇合適的數據源表和目標表，源表即提取不同區域站原始數據的表，目標表是將預處理后臨時存儲結構DataSet中的數據導入的表。目標表需要綜合不同區域站型號和個數、中心站及客戶端軟件使用情況、源表數目、開發簡易度等多重因素進行選取。以渭南市局為例，三類不同廠家的區域站共161個，涉及包括正點數據和十分鐘數據在內的源表共26張，建立1張通用站號表，并將目標表選為無錫無線電科學研究所ZQZ－RG型區域站的2張數據表。

使用sql語句從源表中提取原始數據后，將源表和目標表中的對應字段進行映射，同時對不同表的數據類型進行轉換。例如，華云區域站正點數據源表中 “最大風速出現時間”字段命名為AFMXT，類型為datetime，而目標表映射字段名為WsMaxTime，類型為char（4），因此需要對數據進行處理后再導入，主要通過C＃字符串操作即可實現。

2.3 重復數據驗證技術

一般來說，區域站生成的原始數據使用源表的聯合主鍵 “站號＋觀測時間”即可提取，但是當數據導入時，需檢驗該條記錄是否已存在于目標表中，即對導入目標表中的重復數據進行唯一性驗證，其基本流程邏輯如圖3所示。

2.4 日志技術

日志分為操作信息和異常信息兩部分，以客戶端textbox文本框和日志文件兩種形式呈現。編寫一個專門的日志寫入方法，偽代碼如下：

圖3 重復數據驗證流程圖

2.5 批量導入 “假死”問題的解決

第一次使用批量導入功能時，由于歷史數據量非常大，使用客戶端將導致進程未響應的 “假死”現象，使得導入的時效和性能降低。為了解決這個問題，利用python語言編寫可執行腳本嵌入到軟件中，從而提高批量導入的效率。

3 應用測試

區域站數據庫的整合選取了渭南市氣象局進行應用測試。根據實際需求，對區域站設備使用現狀進行分析，定制研發了符合渭南市氣象局站點信息特點的整合軟件。經過長期測試，軟件運行狀況良好，已正式投入業務使用。自動入庫時，實時正點與十分鐘加密數據共約900條記錄的導入僅耗時17s，效率較高。同時，將整合后的數據庫與無錫區域站客戶端軟件結合起來進行數據查詢，對業務人員操作習慣影響較小，有效解決了區域站數據應用問題。

4 結語

雖然區域站數據庫整合的設計并不是一個通用的方案，需要根據不同地市氣象局的實際情況和需求進行個性化定制和處理，但是整個軟件設計與開發的思路卻是統一的，都是從多源異構數據融合的思路出發，以C＃語言對技術細節進行實現。因此，本文提出的軟件設計和實現方法是切實可行的，并且實際測試和試運行也證明了這一點。但是，該整合方案及軟件僅涉及數據入庫功能，未提供區域站數據的展示和檢索等具體應用，還需要在后續開發中逐步加入，從而真正降低對區域站數據運維、管理及使用的復雜性。

［1］曲鵬飛，劉鈞 .區域自動氣象站統一數據收集平臺的設計 ［J］.成都信息工程學院學報，2011，26 （2）：223－227.

［2］張靖，程希來 .多源異構數據整合應用研究 ［J］.成都信息工程學院學報，2009，24 （3）：254－258.

［3］王壘，燕東渭 .國家下發疑誤數據反饋系統設計與實現 ［J］.陜西氣象，2013 （2）：34－36.

［4］高宇，夏巧麗，楊銀見 .省級上行氣象信息傳輸軟件的開發 ［J］.陜西氣象，2006 （4）：23－25.

［5］王祝先 .區域自動站統一數據收集平臺軟件研究與實現 ［D］.哈爾濱：哈爾濱工程大學，2012.

P409

B何林，范濤，曹波 .區域自動氣象站數據庫整合設計與實現 ［J］.陜西氣象，2014（4）：44－46.

1006－4354 （2014）04－0044－03

2014－01－07

何林 （1987—），男，陜西武功人，碩士，工程師，從事氣象信息軟件開發、數據庫設計等。

陜西省氣象局科技創新基金計劃項目 （2014M－28）