高能物理網格數據管理關鍵技術研究

摘要：首先概要介紹高能物理網格的需求和發展，然后對其中數據管理的關鍵技術進行深入分析和探討，包括名字服務、數據復制管理、數據傳輸、海量存儲系統、用戶訪問接口等。最后，介紹一個用于高能物理網格數據管理的文件系統原型設計。

關鍵詞：高能物理；網格計算；數據管理

中圖分類號：TP393文獻標志碼：A

文章編號：1001-3695(2007)10-0020-03

隨著高能物理實驗規模的不斷擴大和實驗復雜性的不斷增加，會產生越來越多的數據，預計到2010年，世界高能物理的實驗數據將達到100 PB，并在以后的幾年中超過1 000 PB。這樣龐大的數據使得高能物理的計算環境面臨著許多新的挑戰，即海量的數據存儲能力、超強的計算能力、高速的網絡互聯技術及大規模分布式的協同處理機制。為了迎接這些挑戰，目前高能物理計算領域內一些頂級的科研機構正在積極研究和應用網格計算技術[1]。網格計算技術被譽為繼Internet、Web之后的第三次網絡技術大浪潮。它是信息領域中又一次的重大科技進步，可以用來整合與共享網絡上分布的、異構的資源，包括高性能計算機、數據服務器、大型檢索存儲系統、虛擬現實系統等。目前，國內外對于網格計算技術的研究方興未艾。高能物理一直走在網格研究和應用的前列。由歐洲核子中心CERN領導開發的WLCG系統是目前世界上少數可以實用的先進網格系統之一。高能物理計算屬于數據密集型應用，需要處理海量的數據。因此，在規劃、部署和實現高能物理網格的過程中，數據的存儲、管理、傳輸、訪問、共享等成為其中一個非常關鍵的問題。

1高能物理網格體系結構與數據管理目標

1．1LHC實驗與WLCG體系結構

全球大型強子對撞機（LHC）計算網格(world wide LHC computing grid，WLCG)[2]將全球的高性能計算中心整合到一個平臺中，共同應對大型強子對撞機LHC實驗帶來的數據挑戰。LHC位于歐洲核子中心CERN，2007年投入運行后，每年將產生大約15 PB的實驗數據。全世界6 000多位物理學家需要對此進行分析，并且必須保證這些數據在15 a的生命期內可被利用。到2008年底，WLCG將覆蓋35個國家的500多個研究機構，將超過20萬臺計算機的計算資源整合在一起。

WLCG按分級機構來組織計算環境，分為五層：第一層是以CERN為中心的tier-0；第二層是以國家/地區為中心的tier-1；第三層是以國家/地區為中心的tier-2；第四層是以國家研究機構為中心的tier-3；第五層是以物理學家為中心的分析平臺。

WLCG體系結構和LHC計算模型如圖1所示。Tier各級功能有所不同：tier-0主要負責原始數據記錄、數據重建和向tier-1中心分發數據；tier-1負責數據分析、數據存儲管理、再處理和地區支持中心；tier-2負責磁盤存儲管理、物理模擬計算、終端用戶分析和并行交互分析。目前有11家WLCG tier-1站點，包括TRIUMF （加拿大）、CCIN2P3（法國）、GridKA（德國）、CNAF （意大利）、NIKHEF/SARA（荷蘭）、NDGF （北歐）、PIC（西班牙）、RAL（英國）、ASGC（中國臺灣）以及BNL和FNAL（美國）。

1．2數據管理目標

高能物理實驗對計算的要求有兩大特點：a)數據量大。對于數據的存儲、計算和傳輸都提出了極高的要求。b)高能物理具有極其廣泛的國際合作[3]。基于這兩大特點，高能物理網格的數據管理系統應該能夠滿足海量存儲、全球分布、快速訪問、統一命名的需求。具體包括以下目標：

a)命名透明性。高能物理網格中數據量非常龐大，且分布存儲于不同機構的異構存儲系統中。數據管理系統應該向用戶提供統一的、透明的數據命名方式。用戶不必知道數據的物理存儲位置，就可以通過文件的邏輯名字來訪問他所需要的資源。

b)復制透明性。為了提高數據可靠性或提高數據訪問性能，高能物理網格往往采用數據復制技術。復制透明性是指網格數據管理系統可以隨意對網格文件進行復制而無須用戶知道，并且用戶仍可以使用原來的文件邏輯名透明地定位到合適的副本。

c)協議透明性。網格上數據存儲于異構存儲系統中。存儲系統的不同帶來網格文件訪問協議的異構性。網格數據管理系統應該為用戶提供統一的訪問接口，選擇適當的訪問協議來實現用戶提出的數據訪問請求。

d)效率透明性。高能物理應用程序所需的數據可能分布于多個不同的站點。因此網格數據管理系統應該通過多種手段，盡可能提高網格中數據訪問的效率，如使用高性能的傳輸工具、使用歷史信息進行傳輸預測、基于用戶訪問模式進行自動復制、磁盤緩存、預取等。

2數據管理關鍵技術

2．1名字服務

高能物理網格中數據分布存儲于全球不同的站點。因此數據管理系統應該提供統一透明的命名空間，允許用戶在分布式異構環境下快速定位所需的數據。這就需要名字服務至少要具備以下幾種必需的功能：

a)名字服務要提供一個統一透明的邏輯名字空間，便于用戶記憶和使用。一般采用類似于傳統文件系統的樹型目錄結構，如/grid/dteam/user/chyd/f1。不管用戶在任何時候、任何地理位置、任何主機上登錄，他所看到的目錄結構都是一致的，不會因為物理文件的移動或登錄位置的不同而看到不同的名字空間。

b)網格文件可能有一個或多個物理實體，因此名字服務器需要記錄物理文件的實際位置，并維持邏輯文件名到物理文件名的映射，同時還要保證邏輯文件與其物理實體的一致性。

c)名字服務器中要記錄網格文件的元信息，如文件大小、所有者、訪問時間、checksum類型以及checksum值等。d)名字服務要提供訪問權限控制，包括兩種基本的認證方式，即網格安全認證GSI與傳統的基于用戶的訪問權限控制。

目前，WLCG的名字服務器使用LFC (LCG file catalog)[4]。

2．2存儲資源管理

海量存儲系統是整個高能物理網格數據管理的基礎，它負責存儲高能物理實驗所產生的數據。傳統的海量存儲系統，如CASTOR、dCache、EnStore、UniTree、HPSS等對本地的存儲資源（磁盤陣列、磁帶庫等）能進行很好的管理與使用，實現了HSM (hierarchical storage management)的功能。HSM對磁盤、磁帶等存儲資源進行透明管理，并根據文件訪問頻度等策略自動分布文件在磁盤和磁帶上。但是，各個存儲系統的接口各不相同，且沒有網格安全認證的支持。為此，國際網格論壇組織（GGF）制定了網格存儲管理的標準規范SRM（storage resource manager）。然后，各個存儲系統開發與SRM的接口，最終對網格用戶提供統一的調用方式。目前，大部分的存儲系統都實現了SRM接口。同時，SRM還支持數據緩存、預取、加鎖、空間預留等高級功能，大大方便了網格存儲資源的管理。

2．3數據傳輸

高能物理實驗數據量巨大，需要在廣域網中進行快速、統一的傳輸，這是高能物理網格需要解決的一個基本問題。目前，高能物理網格中主要采用了Globus項目組開發的網格數據傳輸和訪問協議GridFTP。它是對傳統FTP協議的一個擴展，提供了廣域網環境中安全和有效的數據傳輸。通過并行傳輸、分塊傳輸、TCP緩存窗口自動協商等機制，GridFTP大大提高了廣域網的數據傳輸性能。

在Globus Toolkit 4.0中GridFTP又實現了很多新功能，性能也得到進一步的提升。文獻[5]介紹了TeraGrid的測試結果，包括內存到內存、磁盤到磁盤的測試情況。其中，內存到內存的傳輸測試在32個節點情況下，在30 Gbps的網絡連接上取得了27 Gbps的傳輸性能，達到了90%的帶寬利用率。磁盤到磁盤的傳輸測試受限于磁盤本身速度，盡管如此，也達到了17.5 Gbps的傳輸性能。

2．4數據復制

數據復制技術是高能物理網格中一個非常關鍵的問題，其目的是為了獲得對數據更好的訪問性能，包括縮短訪問時間和實現容錯等。復制應該完成這樣一些功能：生成新的完整的或部分數據副本；把這些新的副本注冊到名字服務目錄中；允許用戶和應用去查詢目錄以發現所有現存的部分或全部文件副本；基于存儲和由網格信息服務所提供的網絡性能預測功能選擇最好的副本用于訪問。

數據復制非常復雜：a)對存儲系統的用戶和控制訪問要求進行安全認證服務；b)高能物理數據集非常龐大，要有部分復制和過濾的功能；c)實驗數據是不可更改的，要實現數據的一致性；d)網格數據管理系統要能夠根據用戶的行為動態進行復制創建、刪除和管理。有三個基本問題需要回答，即在什么時候創建復制，復制哪些文件，把文件復制到哪里？對于這些問題不同的回答，會導致不同的復制策略。Kavitha Ranganathan和Ian Foster對數據網格的不同復制策略進行了比較和分析[6]。他們總結了六種復制策略，幾乎涵蓋了在樹狀拓撲網絡環境下所有能想到的復制策略，包括無復制/緩存（no replication or caching）、最優客戶（best client）、層次下降復制（cascading replication）、簡單緩存（plain caching）、緩存加層次下降策略（caching plus cascading replication）、快速傳播（fast spread）。 

當副本不使用或需要存儲新的副本而可用空間又不足的時候，就要將近期最不經常訪問的副本清除。如果多個副本的熱點程度一樣，則將創建時間最早的那個清除掉，然后重復這個過程直到有足夠的空間可以使用。

雖然高能物理網格采用了分級組織方式，但是從技術角度來看，各個站點之間是平等的，可自由交換數據。因此，實現復制手段時更加靈活。一種常見且簡單有效的方式是由管理員定義復制訂閱、復制撤銷以及復制更新策略。

2．5透明的網格文件訪問協議

在網格環境中，文件訪問/傳輸的方式多種多樣，比較主流的方法和服務有GridFTP、GASS以及RFT。同時，用戶需求也不一樣，很多情況下用戶希望能夠像本地文件系統一樣使用網格文件。但是，GridFTP只能傳輸文件，不能在線打開、關閉、讀、寫、定位等；GASS提供的讀寫模式過于單一；RFT也只是一種傳輸服務而已。為此，許多組織和項目開發出能在網格上進行文件訪問的協議，如CERN的RFIO、美國Fermi和德國DESY實驗室的dcap、Sun公司的NFSv4 等。這些訪問文件的方法和協議單獨都能基本滿足用戶的需求，但是網格環境中存在多種存儲系統和訪問協議，給客戶端訪問文件帶來諸多不便。

對于不同文件訪問/傳輸協議，客戶端需要使用相應的命令、應用程序或API來訪問網格文件。例如GridFTP使用globusurlcopy命令，RFIO使用rfcp，dCache使用dccp。再者，如果要在應用程序中訪問網格文件，就必須根據網格客戶端情況，為每一種文件訪問/傳輸協議開發相應的應用程序版本。顯然，對于用戶來說是非常不方便的，而且增加了網格文件訪問應用程序開發的復雜性。為此，筆者提出并設計了可擴展的網格文件訪問接口GFAI (grid file access interface)為各種標準網格文件訪問/傳輸協議提供一個統一的接口訪問網格文件。其基本設計如圖2所示。GFAI屏蔽不同存儲系統的訪問協議細節，向上為網格用戶提供一個標準統一的與POSIX語義標準兼容的網格文件系統接口。為了使GFAI支持某種協議，需要為該種協議的封裝統一的文件系統接口庫。目前GFAI支持的協議有local file、GridFTP和RFIO， 即將支持的協議有dCache。目前接口提供的文件系統API有：gfai_create、gfai_open、gfai_seek、gfai_read、gfai_write、gfai_close;gfai_stat、gfai_rename、gfai_unlink；gfai_mkdir、gfai_rmdir、gfai_opendir、gfai_readdir、gfai_closedir。

2．6客戶端訪問接口

網格數據管理系統是一個非常復雜的系統，它的目標是為用戶或應用程序提供一個統一、透明的存儲空間，使得客戶端感覺不到它是在使用異構的網格資源。因此，網格數據管理系統一定要具有易用性的特點。同時，用戶應該能夠非常容易地在網格文件系統的基礎上開發新的應用，而這些應用又應該可以非常平滑地運行在新引入的網格系統上。另外，很多用戶希望原有的應用程序應該可以不加更改地運行在網格系統上，而不應該去修改源代碼或重新編譯。為了達到這些目標，網格數據管理系統應該提供三種基本的客戶訪問接口：專用shell方式，類似于已有的shell命令；應用程序開發庫，符合用戶的使用習慣；虛擬文件系統，讓用戶像使用傳統的文件系統一樣透明地訪問網格文件。

3網格文件系統設計

為了實現對高能物理網格中海量數據的方便管理和使用，筆者基于現有的一些網格中間件，設計了一個網格文件系統原型HEPGridFS，包括體系結構、名字服務、存儲資源管理、網格文件訪問、客戶端設計等。目的是將異構、動態變化、大規模的網格存儲資源虛擬成單一、穩定的文件系統視圖。該系統的基本框架如圖3所示。

在圖3中，當用戶需要訪問一個網格文件時，步驟如下：a）調用用戶訪問接口（shell命令、應用程序開發庫或虛擬文件系統）；b)用戶訪問接口查詢網格文件名字服務器；c)名字服務器根據邏輯文件名字返回一系列的物理文件名；d)用戶訪問接口將這一系列物理文件名發送給副本選擇器；e)副本選擇根據歷史以及預測信息，再根據一定的算法在這一系列物理文件名中選擇一個最優的副本，并將這個副本地址返回給用戶訪問接口；f)用戶訪問接口根據副本地址調用網格訪問接口GFAI向相應的網格存儲系統發出請求，協商好數據訪問的協議；g)網格存儲系統通過協商好的網格文件訪問協議向用戶訪問接口傳送數據；h)用戶訪問接口將網格存儲系統傳輸回來的數據根據用戶的需求進行適當的可視化，返回給用戶。其中，復制管理器定期讀取與其相關的網格存儲服務器的數據訪問信息，統計與分析用戶的訪問行為，再根據網格名字服務器中記錄的信息，按照管理員定義的復制策略，進行數據的自動復制。副本選擇器使用網絡信息服務（network weather service）對可用網絡帶寬進行預測，然后選出其中最優的副本。

4結束語

高能物理計算是典型的數據密集型應用，數據管理是高能物理網格中非常關鍵且極具研究意義的課題。隨著高能物理計算需求的不斷變化，數據管理系統需要更加深入的研究，如數據安全、數據一致性、自動復制、網格文件系統語義等。對數據管理系統的研究將對高能物理網格技術的完善與發展起著極大的推動作用。

參考文獻：

［1］

FOSTER I，KESSLMAN C.The grid:blueprint for a new computing infrastructure 2[M].金海，譯.北京:電子工業出版社，2004:224-262.

[2]WLCG Website[EB/OL].http://lcg.web.cern.ch/LCG/.

[3]于傳松.高能物理與網格計算[J].核電子學與探測技術，2004，24(6):563-567.

[4]BAUD J P，CASEY J.Evolution of LCG2 data management[C]//Proc ofCoference on Computing in High Energy and Physics.Switzerland：[s.n.]，2004:676-679.

[5]ALLCOCK B，CHERVENAK A，FOSTER I，et al.Data grid tools:enabling science on big distributed data[C]//Proc of SciDAC Conference.San Francisco:[s.n.]，2005:571-575.

[6]RANGANATHAN K，FOSTER I.Identifing dynamic replication strategies for a high performance data grid[C]//Proc of the International Workshop on Grid Computing.Denver， Colorado:[s.n.]，2001:302-315.

“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”