面向科學大數據的云計算平臺構建研究

【摘要】云計算與大數據是目前商業界和政府部門研究的熱點問題，同時學術界也對大數據與云計算在科學研究中的應用開展了大量研究。大數據包括體量、多樣性、價值和速度四方面特點；云計算包括彈性服務、資源池化、按需服務、服務可計費和泛在接入等五方面特點。兩者之間是一種相互依存的關系。當前科學研究面臨著大數據的眾多挑戰，云計算平臺構建就成為解決之道。文章以東南大學參與的AMS實驗項目為例，介紹了面向科學大數據的云計算平臺構建。

【關鍵詞】科學大數據；云計算：平臺構建

隨著新一代大規模互聯網應用的迅猛發展，產生了遠遠超過以往的海量數據，使用傳統的數據存儲與處理技術將耗費大量的時間和金錢，并且效率低下。為了解決這一難題，云計算與大數據的概念應運而生。

一、相關研究

云計算可以為大數據處理提供強大的計算能力。對亞馬遜公司的研究顯示，“若亞馬遜使用傳統的數據處理方法在1000個節點上處理IPB的數據需要耗費750天時間耗資六百萬美元，而使用云計算的MapReduce技術處理相同的數據，則只需要350分鐘耗資僅2040美元”。EMC公司的首席信息官Mirchandani認為“云計算和大數據是目前IT行業兩個最大的創新，他們將改變商業管理的方式并從最重要的資產信息中獲取相應的價值”。在用戶使用云計算后，用戶可以在其服務、存儲等虛擬化的過程中快速的看到其價值，并極大地降低使用的復雜性與使用成本。Zhang Liang-Jie認為目前“我們處于大服務時代，云計算和大數據包含以下幾大創新，即云計算和大數據創造了一種嶄新的商業模式；在應用程序架構上，云計算和大數據加快了應用軟件的服務化；在數據結構上，由于需要強大的計算能力和存儲能力，大數據的數據結構被重新設計；在技術架構上，軟件、硬件與服務被集成一體提供給開發人員；在云計算體系架構上，各架構之間的信息交換需要建立統一的標準和協議方可實現”。美國國家標準與技術研究院信息技術實驗室主任Chuck Romine認為“云計算與大數據都是當下的發展趨勢，二者融合的趨勢則更加明顯。云計算使大數據對于那些無法有效利用他們的人而言變得更容易獲得，相反，大數據也為在傳統海量數據規模下無法獲得的發現與創新打開了大門”。Eric等學者討論了云計算用于生物學科學研究的可行性，他們認為，“在生物學領域里的大規模數據的產生、存儲與分析將使用云計算與大數據的相關理論與方法，所面臨的挑戰是如何將大數據問題與正確的計算方法相匹配”。

綜上所述，云計算與大數據之間的相互需求與密切關系已經得到公認，目前兩者更多的應用于商業領域，云計算的出現使得大數據的處理效率大大提升，同時處理成本得到有效降低。由于在商業領域的出色應用，云計算與大數據的理論與方法在科學研究中也逐步得到應用。本文即針對科學研究中的大數據開展云計算平臺的構建研究。

二、大數據與云計算的關系

1 大數據與云計算的概念及特點

研究機構Gartner認為“大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產”。大數據技術的意義不在于掌握海量的數據信息，而在于對這些數據進行專業化處理與分析，關鍵在于提高對數據的加工能力，通過加工實現數據的增值。大數據通常為非結構化和半結構化數據，具有四個特點：第一，數據體量巨大，從TB級別上升至PB級別。第二，數據類型繁多，包含視頻、音頻、圖形、圖像、文本等等。第三，價值密度低。第四，處理速度快。學界將其歸納為4個V——體量（Volume）、多樣性（Variety）、價值（Value）、速度（Velocity）。

2006年Google、Amazon等公司提出了“云計算”的概念。根據美國國家標準與技術研究院（NIST）的定義，“云計算是一種利用互聯網實現隨時隨地、按需、便捷地訪問共享資源池（如計算設施、存儲設備、應用程序等）的計算模式”。云計算具有以下特點：第一，彈性服務。服務的規模可快速伸縮，以自動適應業務負載的動態變化。用戶使用的資源同業務的需求相一致，避免了因為服務器性能過載或冗余而導致的服務質量下降或資源浪費。第二，資源池化。資源以共享資源池的方式統一管理。利用虛擬化技術，將資源分享給不同用戶，資源的放置、管理與分配策略對用戶透明。第三，按需服務。以服務的形式為用戶提供應用程序、數據存儲、基礎設施等資源，并可以根據用戶需求，自動分配資源，而無須系統管理員干預。第四，服務可計費。監控用戶的資源使用量，并根據資源的使用情況對服務計費。第五，泛在接入。用戶可以利用各種終端設備隨時隨地通過互聯網訪問云計算服務。

2 大數據與云計算的關系

大數據離不開云計算。面對大數據的增長，傳統架構雖然能夠進行擴充，但其IT架構和數據處理方式無法有效地應對大數據環境，如果將大數據存放于傳統數據庫中是無法保證其有效性和實用性的。這就需要將大數據置于大的開放平臺上為有需求的用戶所用，這就形成了云計算平臺。相反，云計算也可助力大數據。針對大數據的特點，云計算相應的可以提供容納大數據流的空間，以及大數據分析所需的運算能力。云計算的分布式并行計算能力使大數據分析的過程中再無須架設低性價比的服務器集群，同時可以解決現有服務器集群多數時段空閑、少數時段性能不足的現象。云計算通過整合軟硬件資源，并借助負載均衡、分布式計算、并行計算、虛擬化、網絡存儲和統一管理等技術手段，實現IT服務的無縫化、定制化和彈性服務，可以使大數據平臺的復雜性大大降低，方便地存儲與處理異構系統中的海量數據，提升資源的利用效率。

云計算由于采用了大量的虛擬化技術和統一的跨平臺管理技術，數據中心硬件設施和軟件費用等運行成本會大幅降低，所節約的資金可用于大數據的采集、存儲、處理、分析等環節。大數據和云計算彼此之間旺盛的需求決定了兩者在相當長的一段時期內都將保持這種緊密的關系。

三、科學研究面臨的大數據挑戰

科學大數據，顧名思義，就是在科學研究、科學實驗的過程中產生的數量龐大、種類繁多的科學數據。現代科學已經不同于早期只依靠對個別實驗現象及少量科研數據的觀察與總結就可以獲得科學發現，而是需要從海量的科學數據中反復的提煉和挖掘，并進行深度綜合分析，方能得出科學結論。因此，現代科學研究與科學實驗往往會產生海量的科學數據，如何存儲與分析這些科學大數據就成為科研機構所面對的巨大挑戰。本文以東南大學所參與的AMS實驗項目為例，介紹科學研究所面臨的科學大數據。

阿爾法磁譜儀（Alpha Magnetic Spectrometer，AMS）實驗是由諾貝爾獎獲得者丁肇中教授領導的山美、俄、德、法、中等15個國家和地區共600多名科學家參加的大型國際合作項目，其目的是尋找反物質、暗物質的來源以及測量宇宙射線的來源。AMS-02探測器于2011年5月搭載“奮進號”航天飛機升空并被安裝到國際空間站，將在太空運行10-15年，其間數量龐大的原始數據將通過美國國家航空航天局的Ku波段傳回地面，中轉后傳到瑞士的歐洲核子研究中心（Conseil Europeen pour la Recherche Nucl6aire，CERN），隨后傳到東南大學的地面數據處理中心，由數據處理中心對其進行存儲、處理、計算和分析，這些科學數據將是AMS實驗物理分析的重要數據源。截至目前，AMS-02探測器己收集到超過300億個宇宙線數據，這些科學數據呈現出典型的大數據特點：

1 數據體量巨大

現代科學實驗所產生的科學數據通常數量極其龐人。AMS實驗期間將產生探測器采集的原始數據、由原始數據生成的重建數據、由蒙特卡洛仿真所得到的實驗對比數據以及一些中間數據等，按實驗10年運行期計總量將接近4PB。

2 數據類型繁多

科學數據通常類型繁多，在編碼方式、數據格式、應用特征等方面存在較大差異，并且多為異構數據。這些數據包含結構化數據和非結構化數據，以AMS實驗為例，其中結構化數主要包括AMS原始數據、重建數據以及蒙特卡洛仿真數據，非結構化數據主要包括AMS實驗的日志文件、剛戶數據以及處理的中間結果數據。

3 數據處理速度快

針對海量科學數據的分析與處理通常對實時性要求比較高。在AMS實驗中，地面數據處理中心需要實時同步接收并存儲來自國際空間站上的原始數據，并進行實時數據重建，生成物理事件信息。此外，還需要進行持續的蒙特卡洛仿真以生成對比數據以及不定期的大批量物理分析計算任務，這些任務需要在很短的時間完成，并將結果及時返回給CERN的AMS實驗總部，實時性要求較高。

4 數據價值密度低

針對AMS實驗的海量數據而言，單個數據只對應一個物理事件，通常不具有明顯的實際意義。只有通過將上百億次物理事件所對應的海量數據進行分析，才能從無序的海量數據中得出科學的結論。

四、面向科學大數據的云計算平臺構建

1 面向大數據的云計算體系架構

云計算體系架構包含核心服務、服務管理、用戶訪問接口三層，表現為一系列服務的集合。其中，“核心服務層將硬件基礎設施、軟件運行環境、應用程序抽象成服務。這些服務具有可靠性強、可用性高、規模可伸縮等特點，可以滿足多樣化的應用需求。服務管理層為核心服務提供支持，進一步確保核心服務的可靠性、可用性與安全性。用戶訪問接口層實現端到云的訪問”。云計算體系架構中的核心服務通常可以分為三層，即基礎設施即服務層（infrastructure as a service，IaaS）、平臺即服務層（platform as a service，PaaS）和軟件即服務層（software as a service，SaaS）。其中，IaaS提供硬件基礎設施部署服務，為用戶按需提供實體或虛擬的計算、存儲和網絡等資源。PaaS是云計算應用程序運行環境，提供應用程序部署與管理服務。通過PaaS層的軟件工具和開發語言，應用程序開發者只需上傳程序代碼和數據即可使用服務，而不必關注底層的網絡、存儲、操作系統的管理問題。SaaS是基于云計算基礎平臺所開發的應用程序。云計算服務管理層對核心服務層的可用性、可靠性和安全性提供保障。服務管理包括服務質量保證和安全管理等。云計算用戶訪問接口實現了云計算服務的訪問，通常包括命令行、Web服務、Web門戶等形式。面向大數據的云計算平臺體系架構如圖1。

2 東南大學云計算平臺及典型應用

（1）東南大學云計算平臺

東南大學云計算平臺面向全校提供高性能計算與云計算服務，適用于數據密集型和計算密集型應用，可為AMS-02實驗所產生的科學大數據處理提供基礎支撐。該平臺提供了IaaS、PaaS和SaaS層的服務，IaaS層的基礎設施為用戶提供虛擬機和物理機的按需分配，包含279個節點約3500個CPU核；配置10臺X3850X5企業級服務器；配置16臺X3650機架式服務器作為10節點連接存儲；一臺X3550服務器作為集群管理節點；共享存儲系統采用IBM DS5300，配備8Gb光纖端口，兩臺24口SAN交換機，存儲容量為500TB。平臺采用10臺36口400b高性能Infiniband交換機構建連接所有節點的全線速、無阻塞高速網絡。平臺的理論峰值浮點計算能力為每秒37萬億次，可根據科研人員的應用需求，為其按需配置私有計算集群，并自動安裝操作系統、應用軟件。在PaaS層，數據分析處理平臺和應用開發環境為大規模數據分析處理應用提供編程接口。平臺部署了IBM的云計算軟件統一管理軟硬件資源，以虛擬化和自動化的方式動態部署資源，用來統一提供計算和存儲服務，從而提供良好的擴展性，支持按需變化的運算模式。在SaaS層，以服務的形式部署云計算應用程序，便于用戶訪問與使用。

（2）東南大學云計算平臺典型應用

東南大學云計算平臺的典型應用就是AMS-02數據處理。該應用主要實現以下功能：（1）獲取并存儲完整的AMS-02在國際空間站采集的原始數據：（2）根據AMS-02原始數據并結合探測器的地面校正數據進行數據重建；（3）進行蒙特卡洛仿真、探測器模擬和仿真數據重建；（4）根據重建數據進行物理分析，并實現分析結果的可視化；（5）完成AMS-02重建數據分發和傳輸。

目前，該應用已經完成下列科學大數據的存儲與處理：（1）通過高速網絡鏈路從CERN獲取并存儲自AMS升空以來所有的原始數據約60TB，（2）完成了三輪針對AMS-02原始數據的完整重建并產生了約214TB的重建數據，為正在進行的AMS-02數據分析提供數據資源；（3）完成了大規模的AMS數據仿真并產生了約50TB的仿真數據；（4）實現了中國教育和科研計算機網內AMS專用10bps傳輸線路的網絡帶寬預留，可實現高速的數據傳輸、分發和訪問：（5）提供了100個物理分析用戶的能力，每個用戶擁有100GB的存儲空間。科學家通過對該平臺中數據的研究分析，已經從中捕獲了暗物質的證據。這些數據包含了“40萬個正電子，這些正電子有可能來自于脈沖星或者人類一直尋找的暗物質”，為暗物質研究提供了極有價值的數據支撐。

五、結束語

目前面向科學大數據的云計算平臺主要為用戶提供基于云架構的存儲服務與高性能計算服務，對科學大數據的處理研究尚不深入，如何為用戶提供相應的大數據處理方法將成為未來研究的熱點。