LDM在構建共享數據平臺中的應用

楊菲菲 張璽 聶元丁

摘要對LDM軟件的工作機制、運行狀態、數據分發方式、安裝部署等進行了介紹，并與國內通信軟件9120進行了對比，分析各軟件的優缺點及適用范圍，指出LDM的事件驅動及多線程機制對于氣象數據共享的優越性，最后對該軟件用于合理構建面向共享服務的計算機系統和實現網絡數據交換共享時的適用范圍提出了一些建議。

關鍵詞LDM；通信軟件；計算機應用技術；數據共享

中圖分類號TP393文獻標識碼

A文章編號0517-6611（2017）12-0190-03

AbstractThe working mechanism，operating condition，data dissemination ways，deployment setting of LDM were introduced and it was compared with domestic communication software 9120.The advantages，disadvantages and applicability of these softwares were analyzed.The eventdriving of LDM and superiority of multithreading mechanism for meteorological data sharing were pointed out.Finally，some advices for the applicability of this software were given to reasonably build computer systems for shared service and achieve data exchange of network data for sharing.

Key wordsLDM； Communication software；Computers application technology；Data sharing

由于我國氣象預報事業的起步晚于歐洲EC及美國NCAR等國家和機構，他們在氣象事業發展的過程中積累了更加豐富的原始數據及預報產品，但是氣象數據資料的共享成為擺在世界各國氣象組織面前的難題，為了打破氣象數據私有化的僵局，數據交換技術上的突破已迫在眉睫。由于氣象資料的特殊性，大數據量的數據共享成為提高氣象預報準確性的關鍵。筆者對LDM軟件的工作機制、運行狀態、數據分發方式、安裝部署等進行了介紹，并與其他通訊軟件進行了對比，分析各軟件的優缺點及適用范圍，指出LDM的事件驅動及多線程機制對于氣象數據共享的優越性，最后對該軟件用于合理構建面向共享服務的計算機系統和實現網絡數據交換共享時的適用范圍提出了一些建議。

1LDM簡述

LDM（Local data manager）是以事件驅動數據分發為機制的軟件系統，事件優先的機制決定了數據產品隊列處理數據的及時性。LDM軟件在世界上許多國家，尤其是發達國家中都有廣泛應用，如美國的IDD（Internet Data Distribution）全國雷達資料傳輸系統（雷達資料收集傳輸到天氣局）等，TIGGE（THORPEX Interactive Grand Global Ensemble）項目也是LDM軟件的受益者，承擔著世界幾大歸檔中心之間的數據共享[1-3]。

1.1LDM的組成及運行機制

LDM軟件包含“產品隊列”“LDM服務器”“數據引入器”“產品隊列響應進程”“LDM接收進程”“LDM發送進程”，組件中除了產品隊列為可查外，其余均為觸發后自啟的進程（圖1）。LDM的“接收進程”和“發送進程”之間通過“遠程過程調用”即RPC進行通信連接，以便于數據傳輸和數據交換。LDM可以互為服務器端和客戶端，多個LDM之間通信可以通過角色自由互換進行[4-6]。

一般情況下，配置LDM時，$HOME/bin目錄下的ldmadmin腳本實現了LDM日常管理的功能，包括啟動和停止LDM。在啟動LDM之前必須先建好產品隊列，否則無法啟動。LDM軟件正常啟動后，可以設計測試數據和用例，進行數據的接收發送測試。通過修改upstream、downstream站點的配置文件$HOME/etc下ldmd.conf文件可以設置文件接收類別，$HOME/etc/ 下的pqact.conf文件控制接收到的文件處理規則，$HOME/bin/下LDM軟件命令ldmsend可以對數據的發送和接收進行測試，$HOME/bin/下的隊列監視命令可以監視隊列的接收情況。

1.2LDM的工作方式

LDM的工作方式比較靈活，可以按照任意順序進行組合，一般常見的組合方式有4種：兩站點間連接、一點對多點連接、多點中繼連接以及LDM集群方式連接[7-8]。

1.2.1兩站點間連接。

兩站點間連接的工作方式是指任意2個LDM站點互為“發送方”和“接收方”，來完成通信。兩站點間LDM數據交換方式如圖2所示。由于此工作方式自身的局限性，僅適用于較少站點之間的通信。

1.2.2一點對多點連接。

一點對多點連接方式一般適用于單向的數據通信，即中心的LDM站點既可以承擔發送數據的角色，又可以承擔接收數據的角色。

1.2.3多點中繼連接。LDM多點中繼連接的工作方式其實就是n對兩站點連接，這種方式多用于分級的數據鏈路通信中。多個站點中繼傳輸數據交換方式如圖3所示。

1.2.4LDM集群方式連接。

為了提高LDM服務器的實效性和穩定性，LDM還提供了集群的配置方式。

科羅拉多大學（idd.unidata.ucar.edu）的the Unidata Program Center offices已經部署了LDM集群方式來運作，這個集群包括1個主導服務器和一些數據服務器，主導服務器用于向前傳遞IDD的反饋請求給其他服務器，而數據服務器服務于數據的請求，它們之間使用的聯系反饋通過IP虛擬服務器（IPVS）[9-10]，其結構如圖4所示。

2LDM在CMA的部署和應用

2.1LDM的部署

LDM軟件自從1994年11月發布正式版本以來，已經是較為成熟穩定的通信軟件，目前軟件的最新版本為6.13.6。

國家氣象信息中心最早接觸LDM軟件是從2006年中期開始，初始的測試版本為6.4.5，2006年10月已經能夠通過LDM軟件接收來自ECWMF等中心的TIGGE數據，2007年初將測試工作由IBM-RS/6000系統的1個節點移植到1個Linux集群系統上，版本也升級至6.4.6，經部署發現LDM在Linux和AIX系統上具有很好的兼容性。基于此，開發了數據交換平臺，并運行良好，迄今已有10多年的歷史。

2.2LDM在TIGGE-CMA中的應用

TIGGE項目是世界氣象組織的“觀測系統研究和預報實驗”項目的重要組成部分，中國氣象局是其重要成員，也是歸檔中心之一。LDM軟件是TIGGE項目用于進行數據交換的工具，也是TIGGE項目的核心技術之一。

TIGGE平臺是一個Linux集群系統，現有平臺分為內網、外網2個部分。外網主要是數據交換平臺，內網TIGGE系統主要用于數據存儲管理。外網部分配置了8臺服務器，其中2個節點部署了LDM軟件，用于TIGGE數據的實時交換和處理，即數據交換服務器。其余節點用于數據管理（2臺服務器承擔對內和對外的數據處理和數據服務任務，1臺用于數據流程控制與監控，1臺用于集群管理，1臺是MARS Server）。內網部分配置了2臺服務器，用于MARS數據管理、系統監控、內外網數據同步、MARS Client端、數據備份Client端、系統監控客戶端和用戶檢索等，TIGGE平臺架構如圖5所示。

TIGGE利用LDM軟件實時接收來自全世界9個歸檔中心的數據，即ECWMF（歐洲中期天氣預報中心）、UK Met office（英國）、NECP（美國）、CMC（加拿大）、France（法國）、BOM（澳大利亞）、JMA（日本）、KMA（韓國）、CPTEC（巴西），并對ECMWF和NCEP等數據中心發送自己的氣象資料，在世界范圍內完成大數據的交換。國家氣象信息中心已成為亞洲唯一的數據歸檔中心，其中TIGGE資料在其中扮演著重要的角色。

3LDM 軟件與其他通信軟件的對比

3.1LDM軟件的特點

LDM軟件是當前優秀的點對點數據分發軟件，具有以下特征：①配置靈活，可以通過對配置文件進行不同配置，來完成對LDM服務器的配置，簡單易操作。②事件驅動機制。LDM軟件通過事件驅動機制以及對產品隊列的調度來完成數據產品的分發。③支持補傳。LDM軟件具有自己的補傳機制，可以通過發送missing文件來完成對缺失數據的補傳。④開源軟件，方便進行二次開發。⑤軟件健壯，幾乎支持所有的Linux及Unix平臺部署安裝。⑥輕量級應用，耗費內存少。

3.2與FTP軟件的對比FTP是TCP網絡協議，一般運行在20和21端口，因此FTP必須指定端口進行配置，且具有較長的延遲性。FTP具有以下劣勢：①明文傳輸；②必須指定端口；③必須由客戶端程序控制，靈活性較差。LDM軟件與FTP軟件的對比如表1所示。

3.3與國內通信軟件9120的對比

國家氣象信息中心一直參與負責國內及國際氣象通信軟件的研發和部署實施工作，9120是其中的一個版本，部署至全國氣象部門使用，其主要特點是定制優先級別，對不同的數據類型和工作區建立不同的目錄結構進行處理，根據文件和站點節目表進行數據收發的控制，具有自動補調機制。與LDM軟件相比，國內通信軟件9120具有以下缺點：①單一的輪詢方式處理文件，效率低下；②單線程；③收發的文件格式固定，不能進行靈活的對新增數據類型文件進行命名。LDM軟件與國內通信軟件9120的對比見表2。

4結論

LDM、FTP、9120軟件屬于不同時代且不同類型的軟件，具有各自優缺點。LDM軟件更專注于數據的傳輸，多站點間的通信以及和本地業務的關聯性。LDM 軟件的事件驅動機制、多線程的文件處理方法，使得該軟件完全可以保證傳輸的優先級，同時也分流解決了數據量較大時的擁塞問題，同時避免了傳統傳輸軟件的傳輸質量不高及數據不統一的問題。因此，LDM軟件較適用于我國氣象數據共享業務， 一方面可以實現在數據中心內的多層次、數據中繼的數據收集和下發工作，另一方面也可以實現多個數據中心間的信息共享及跨區域的數據交換工作。

下一代LDM系統的發展目標是揚長避短，既要維持現有產品的優勢，也要解決其缺點。當支持動態路由、數據共享、任意的數據產品時，如何取得最小的帶寬消耗將是下一代LDM產品的聚焦點。

參考文獻

[1] GANGER T J，ISTOK M J，BLANCHARD W M.The current Linux intel portable WSR88D code distribution and a summary of how it is being used in research，development，and operations[EB/OL].[2009-07-09].http：//ams.confex.com/ams/pdfpapers/85850.pdf.

[2] Unidata.Local data manager（LDM）[EB/OL].[2009-07-09].http：//www.unidata.ucar.edu/software/ldm/.

[3] LIPSCHUTZ R C，MACDERMAID C H.Recent advances in the FSL central facility data systems[EB/OL].[2009-07-09].http：//citeseerx.ist.psu.edu/viewdoc/download？doi=10.1.1.602.5517&rep=rep1&type=pdf.

[4] MCNITT J，FACUNDO J，SULLIVAN J O.Meteorological assimilation data ingest system transition project risk reduction activity[EB/OL].[2009-07-09].http：//ams.confex.com/ams/pdfpapers/134617.pdf.

[5] MACDERMAID C H，LIPSCHUTZ R C，HILDRETH P，et al.Architecture of MADIS data processing and distribution atFSI[EB/OL].[2009-07-09].http：//ams.confex.com/ams/pdfpapers/86227.pdf.

[6] DAVIS G P，REW R K.The Unidata LDM：Programs and protocols for flexible processing of data products[C]//10th tnternational conference on interactive information and processing systems for meteorology，oceanography，and hydrology.Nashville，Tennessee：American Meteor Society，1994：131-136.

[7] UNIDATA.LDM factsheet[EB/OL].（2007-02-17）[2009-07-09].http：//www.unidata.ucar.edu/software/ldm/factsheet.html.

[8] DROEGEMEIER K K，LEVIT J J，KELLEHER K，et al.Project CRAFT：A test bed for demonstrating the real Time acquisition and archival of WSR88D base（level II ）data[EB/OL].（2002-01）[2009-07-09].http：//www.unidata.ucar.edu/ projects/craft/.

[9] SAFFLEE R E，ISTOK M J，OKULSKIR R.NEXRAD product improvementexpanding science horizons[EB/OL].[2009-07-09].http：//ams.confex.com/ams/pdfpapers/85890.pdf.

[10] 〖ZK（#〗WAKEFIELD J S，MCDONALD P A，SCHULTZL M S，et al.Processing and display of atmospheric electricity data to support launch operations at the Eastern Range[EB/OL].（2004-09）[2009-07-09].http：//ams .confex.corn /ams /11 aram22sls /techprogram /paper_81920.html.