數據湖在氣象信息系統中的應用

徐娟，劉鑫，席曉慧，張春燕

（1.甘肅省氣象信息與技術裝備保障中心，甘肅 蘭州 730020；2.國家氣象信息中心，北京 100081）

0 引 言

隨著信息技術的發展，氣象信息系統經歷了多次迭代升級，氣象數據越來越豐富，氣象數據傳輸時效和數據服務質量有了明顯提高，數據共享服務方式也更加靈活多樣。但由于氣象信息系統的分批建設，多套存儲設備共存，數據分散，現行各業務系統服務節點均需掛載底層存儲系統，業務拓展、設備擴充、存儲設備更換等場景設備關聯維護困難問題突出。基于用戶分級的數據安全考慮，要對不同的用戶和系統進行目錄訪問授權，由于多套存儲并存的現狀，存儲空間有效利用率受到影響，使用不同年份、不同類型的氣象數據時往往需要掛載很多存儲目錄，不利于數據統一管理。首先需要將多個存儲系統集成作為統一的底層數據源，為上層的數據應用提供客戶端應用接口和全局命名空間，其次需要通過追蹤用戶對文件的訪問記錄掌握數據存儲狀況和應用情況，此外，記錄并分析用戶的操作記錄可以在數據訪問發生異常時進行及時的溯源和問題排查。實際業務生產環境中，產品加工系統的應用通過讀取文件內容加工成新的產品寫入存儲，最終服務接口需要讀取實時和歷史氣象數據并提供給應用，穩定統一的目錄視圖、按需提供的目錄權限，定額的空間使用分配都能更好地保障氣象數據服務應用。

數……