天文科技領(lǐng)域云：大數(shù)據(jù)時代的天文教育和科研信息化平臺

肖 健， 于 策， 崔辰州， 李長華， 何勃亮， 樊東衛(wèi)， 劉 梁， 陳 肖， 張海龍， 王傳軍

(1. 天津大學(xué) 軟件學(xué)院， 天津 300350； 2. 天津大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院， 天津 300350；3. 中國科學(xué)院 國家天文臺， 北京 100012； 4. 中國科學(xué)院 紫金山天文臺， 江蘇 南京 210008；5. 中國科學(xué)院 上海天文臺， 上海 200030； 6. 中國科學(xué)院 新疆天文臺， 新疆 烏魯木齊 830011；7. 中國科學(xué)院 云南天文臺， 云南 昆明 650011)

天文科技領(lǐng)域云：大數(shù)據(jù)時代的天文教育和科研信息化平臺

肖 健1， 于 策2， 崔辰州3， 李長華3， 何勃亮3， 樊東衛(wèi)3， 劉 梁4， 陳 肖5， 張海龍6， 王傳軍7

(1. 天津大學(xué) 軟件學(xué)院， 天津 300350； 2. 天津大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院， 天津 300350；3. 中國科學(xué)院 國家天文臺， 北京 100012； 4. 中國科學(xué)院 紫金山天文臺， 江蘇 南京 210008；5. 中國科學(xué)院 上海天文臺， 上海 200030； 6. 中國科學(xué)院 新疆天文臺， 新疆 烏魯木齊 830011；7. 中國科學(xué)院 云南天文臺， 云南 昆明 650011)

天文科技領(lǐng)域云以中國天文數(shù)據(jù)中心的數(shù)據(jù)資源為基礎(chǔ)，旨在為天文望遠(yuǎn)鏡的觀測時間申請、數(shù)據(jù)歸檔、檢索、分析以及科研課題提供服務(wù)。通過利用云計算和虛擬化技術(shù)，系統(tǒng)集成了國內(nèi)主要天文臺站的存儲、數(shù)據(jù)、計算、軟件等資源，形成了一個物理上分散、邏輯上統(tǒng)一的網(wǎng)絡(luò)化科學(xué)研究平臺。天文科技領(lǐng)域云既為現(xiàn)代觀測天文學(xué)研究提供了全生命周期的支持，又為數(shù)據(jù)驅(qū)動的天文教育和科普提供了開放平臺。

天文科技領(lǐng)域云; 天文學(xué)教育； 科研信息化； 大數(shù)據(jù)； 云計算； 虛擬天文臺

現(xiàn)在，天文學(xué)已經(jīng)進(jìn)入了大數(shù)據(jù)時代，以大數(shù)據(jù)、云計算、高性能計算為基礎(chǔ)的教育科研信息化環(huán)境建設(shè)更加重要和緊迫[1]。天文學(xué)是基于觀測的科學(xué)，國內(nèi)新一代觀測設(shè)施(LAMOST、FAST、AST3、天馬望遠(yuǎn)鏡等)和觀測計劃(SCUSS、BASS、SONG、盱眙巡天、銀河畫卷、UVBY巡天等)正在形成中國的天文大數(shù)據(jù)資源庫[2]。新成立的中國科學(xué)院天文大科學(xué)研究中心將完成對天文科技資源的統(tǒng)籌，實現(xiàn)觀測數(shù)據(jù)開放共享，為天文學(xué)研究帶來更多的發(fā)展機(jī)遇。

然而要充分發(fā)掘天文大數(shù)據(jù)的科學(xué)價值，需要在數(shù)據(jù)存儲、管理、檢索、分析、計算等方面突破分布式數(shù)據(jù)融合、訪問與獲取效率、數(shù)據(jù)與計算資源協(xié)同調(diào)度等一系列關(guān)鍵技術(shù)屏障，還要優(yōu)化大數(shù)據(jù)下的天文研究工作流程，借助虛擬天文臺[3]和云計算等技術(shù)，構(gòu)建一個完整的科研信息化平臺。

近年來，歐美天文臺和天文數(shù)據(jù)中心相繼推出了天文大數(shù)據(jù)服務(wù)。法國Strasbourg天文數(shù)據(jù)中心(CDS)維護(hù)著世界最大的天文星表數(shù)據(jù)庫，它與歐洲航天局(ESA)聯(lián)合開發(fā)的VizieR集成了近1.5萬個星表數(shù)據(jù)；CDS提供坐標(biāo)查詢服務(wù)的SIMBAD共收集了近4 000萬條天體的基本信息。美國航空航天局(NASA)與加州理工紅外處理分析中心(IPAC)聯(lián)合建設(shè)的河外星系數(shù)據(jù)庫(NED)[4]集成了數(shù)百個大型巡天項目以及數(shù)萬份科研出版物的信息，能提供目前能觀測到的所有波段的河外天體數(shù)據(jù)，且新發(fā)現(xiàn)的數(shù)據(jù)通過交叉證認(rèn)或者統(tǒng)計計算與現(xiàn)有數(shù)據(jù)融合，從而形成了一個統(tǒng)一的超級數(shù)據(jù)庫。此外，歐洲南方天文臺(ESO)除提供常規(guī)的在線數(shù)據(jù)檢索服務(wù)外，還提供專用的客戶端軟件，用于較復(fù)雜的數(shù)據(jù)處理分析。

目前，上述平臺都側(cè)重于數(shù)據(jù)存儲和檢索服務(wù)，還無法全面支持現(xiàn)代天文學(xué)研究，而且大型觀測設(shè)備和大規(guī)模巡天項目基本是各自獨(dú)立的，研究人員常常需要從各個分散的門戶網(wǎng)站搜集和下載所需的數(shù)據(jù)，不利于開展基于天文大數(shù)據(jù)的研究。

中國虛擬天文臺將大數(shù)據(jù)與云計算技術(shù)有機(jī)地結(jié)合起來，設(shè)計開發(fā)了我國天文科技領(lǐng)域云系統(tǒng)(以下簡稱“天文云”)。該系統(tǒng)首先是大數(shù)據(jù)平臺，基于國家科技基礎(chǔ)條件平臺、地球系統(tǒng)科學(xué)數(shù)據(jù)共享平臺和天文數(shù)據(jù)中心的現(xiàn)有數(shù)據(jù)資源，將國內(nèi)各觀測臺站分散的數(shù)據(jù)資源和計算資源整合到一起，結(jié)合不同天文望遠(yuǎn)鏡的特點(diǎn)，將其新產(chǎn)生的觀測數(shù)據(jù)持續(xù)地集成到該平臺。大數(shù)據(jù)平臺之上是基于虛擬化技術(shù)的中間層以及各類應(yīng)用，包括望遠(yuǎn)鏡觀測申請、數(shù)據(jù)檢索、數(shù)據(jù)處理分析等科研工作流，系統(tǒng)監(jiān)控、資源使用情況統(tǒng)計分析等運(yùn)維工具，以及面向公眾的科普教育類產(chǎn)品。

天文云是一個復(fù)雜的大系統(tǒng)，全部采用開源技術(shù)構(gòu)建，并根據(jù)天文數(shù)據(jù)和天文研究的特點(diǎn)在存儲節(jié)能、數(shù)據(jù)布局、索引、緩存等方面進(jìn)行了優(yōu)化。

1 大數(shù)據(jù)時代天文學(xué)研究的工作模式

天文數(shù)據(jù)具有規(guī)范性、交叉性、分布性等顯著特點(diǎn)。規(guī)范性是指天文數(shù)據(jù)的格式和結(jié)構(gòu)相對統(tǒng)一、類型固定、異構(gòu)性和不確定性較小，現(xiàn)代天文數(shù)據(jù)一般都遵守國際虛擬天文臺聯(lián)盟(IVOA)制定的相關(guān)規(guī)范。交叉性是指某個數(shù)據(jù)集(觀測設(shè)備)只能包含特定天區(qū)內(nèi)的天體在特定波段上的信息，而天文學(xué)家需要綜合不同數(shù)據(jù)集(多波段)的數(shù)據(jù)對目標(biāo)天體進(jìn)行研究，這需要高效的海量數(shù)據(jù)融合機(jī)制[5]。分布性是指數(shù)據(jù)存儲在分散的觀測臺站，由于數(shù)據(jù)量巨大且持續(xù)產(chǎn)生，很難歸檔到單一的數(shù)據(jù)中心。

為避免大量數(shù)據(jù)的移動，將計算推向數(shù)據(jù)[6-7]，又結(jié)合天文數(shù)據(jù)的特點(diǎn)，我們提出了大數(shù)據(jù)時代的天文學(xué)研究工作模式，如圖1所示。該模式以共享的云存儲為基礎(chǔ)，以原位(in situ)計算為主要方式，借助虛擬化技術(shù)，使天文學(xué)研究流程整體上在云計算環(huán)境內(nèi)完成。該模式的邏輯流程可分為以下4個環(huán)節(jié)，具體任務(wù)會涉及部分或全部的環(huán)節(jié)。

圖1 大數(shù)據(jù)和云計算環(huán)境下天文學(xué)研究的工作模式

(1) 數(shù)據(jù)分析。一般會先進(jìn)行數(shù)據(jù)檢索和定位，用戶通過云門戶進(jìn)行資源定位，找到所需的數(shù)據(jù)。

(2) 預(yù)處理。為計算環(huán)節(jié)準(zhǔn)備輸入數(shù)據(jù)，例如對檢索結(jié)果的進(jìn)一步過濾，生成模擬計算的初始狀態(tài)等。

(3) 分析計算。一般在云環(huán)境中的高性能計算平臺上完成，可以是高度并行的數(shù)值模擬，也可以是數(shù)據(jù)分析、數(shù)據(jù)挖掘。如果計算量或數(shù)據(jù)量較小，該過程可轉(zhuǎn)移到預(yù)處理或后處理環(huán)節(jié)的虛擬機(jī)進(jìn)行。

(4) 后處理。對計算的結(jié)果進(jìn)行分析、可視化等，最終成果可下載到用戶本地計算機(jī)。

在整個流程中，共享云存儲是核心，用來存儲原始數(shù)據(jù)、檢索得到的結(jié)果集、預(yù)處理及后處理產(chǎn)生的數(shù)據(jù)。云環(huán)境的虛擬機(jī)、高性能計算集群均可直接訪問共享云存儲。在傳統(tǒng)模式下，受高性能計算環(huán)境的限制，預(yù)處理和后處理環(huán)節(jié)的工作通常只能在用戶的本地計算機(jī)完成，因而不可避免地存在大量數(shù)據(jù)移動。本文的解決辦法是在云環(huán)境中為用戶實例化專用的虛擬機(jī)，定制具體程序，系統(tǒng)則通過統(tǒng)一協(xié)調(diào)數(shù)據(jù)與虛擬機(jī)，使用戶只需要利用本地計算機(jī)通過遠(yuǎn)程桌面操作云計算環(huán)境中的虛擬機(jī)，便可就近完成數(shù)據(jù)的處理，本地也無需配備存儲和數(shù)據(jù)處理服務(wù)器。

上述模式中，資源定位需要高效的數(shù)據(jù)融合和檢索機(jī)制[8]，需要將分散的數(shù)據(jù)資源統(tǒng)一管理起來，大規(guī)模的計算分析還需要數(shù)據(jù)資源與計算資源的協(xié)同調(diào)度[9]，并在系統(tǒng)層面上為用戶提供一個統(tǒng)一的門戶。

2 天文科技領(lǐng)域云的體系結(jié)構(gòu)

天文云的體系結(jié)構(gòu)如圖2所示，主要由6個獨(dú)立運(yùn)行的子系統(tǒng)和連接子系統(tǒng)的門戶網(wǎng)站組成，云存儲以共享的方式起橋梁的作用。天文云在整體上采用以數(shù)據(jù)為中心的模式[10]，涵蓋了數(shù)據(jù)采集(望遠(yuǎn)鏡觀測計劃)、數(shù)據(jù)歸檔、存儲、數(shù)據(jù)檢索、數(shù)據(jù)分析、計算等天文學(xué)研究的主要環(huán)節(jié)。在整個數(shù)據(jù)驅(qū)動的流程中，絕大部分工作都可以在天文云內(nèi)部完成，但望遠(yuǎn)鏡的觀測過程控制和大部分望遠(yuǎn)鏡的數(shù)據(jù)預(yù)處理部分例外。

圖2 天文科技領(lǐng)域云的體系結(jié)構(gòu)

由于觀測過程本身的復(fù)雜性，每個望遠(yuǎn)鏡都有專用的數(shù)據(jù)系統(tǒng)(data pipeline)把含有噪聲的原始數(shù)據(jù)轉(zhuǎn)變成高質(zhì)量的發(fā)布數(shù)據(jù)。該過程類似于通常意義上的數(shù)據(jù)清洗。

(2) 數(shù)據(jù)歸檔子系統(tǒng)。觀測數(shù)據(jù)進(jìn)入天文云的接口，負(fù)責(zé)關(guān)聯(lián)觀測數(shù)據(jù)與觀測申請，并加入數(shù)據(jù)所有者等元信息，用來提供數(shù)據(jù)保護(hù)期內(nèi)的授權(quán)訪問。將觀測數(shù)據(jù)異步傳輸?shù)较嚓P(guān)的數(shù)據(jù)中心和備份中心；在觀測數(shù)據(jù)之上構(gòu)建一個統(tǒng)一的標(biāo)準(zhǔn)化元數(shù)據(jù)層，支持后續(xù)的數(shù)據(jù)管理和檢索功能。

(3) 數(shù)據(jù)檢索子系統(tǒng)。提供天文云內(nèi)已歸檔數(shù)據(jù)的檢索服務(wù)，檢索引擎默認(rèn)搜索所有的數(shù)據(jù)集，用戶也可自定檢索的數(shù)據(jù)集范圍。檢索結(jié)果可導(dǎo)入天文云內(nèi)部的用戶存儲空間，避免大量數(shù)據(jù)在廣域網(wǎng)內(nèi)的移動。

(4) 云資源子系統(tǒng)。利用云計算和虛擬化技術(shù)將各個天文臺站分散的存儲和計算資源連接起來，統(tǒng)一管理云存儲和系統(tǒng)內(nèi)所有的虛擬機(jī)資源，提供各類虛擬機(jī)模板和遠(yuǎn)程訪問接口。

(5) 高性能計算系統(tǒng)。通過高速網(wǎng)絡(luò)連接到云存儲，可直接訪問天文云內(nèi)的數(shù)據(jù)資源，當(dāng)虛擬機(jī)無法滿足計算要求時，用戶依舊可使用傳統(tǒng)的計算集群，同時避免大量數(shù)據(jù)傳輸?shù)牡却龝r間。

(6) 公眾頻道。提供基于天文大數(shù)據(jù)的科普服務(wù)，代表性項目包括中國傳統(tǒng)星空圖、超新星搜尋以及基于萬維望遠(yuǎn)鏡(WWT)的數(shù)據(jù)天象廳等。

天文云還提供了一些輔助模塊，包括為用戶發(fā)表論文提供圖片、視頻、實驗數(shù)據(jù)等永久存儲地址的論文儲藏庫，觀測臺址和望遠(yuǎn)鏡周邊氣象實時信息，月相、曝光時間計算、星表可視化等在線工具，天文常用軟件和工具的資源列表，以及天文名詞術(shù)語庫等。

為安全起見，天文云各子系統(tǒng)均獨(dú)立部署在不同的虛擬機(jī)上。除天文云門戶和望遠(yuǎn)鏡子系統(tǒng)外，其他子系統(tǒng)都是分布式的主從結(jié)構(gòu)，負(fù)責(zé)管理和調(diào)度的主程序運(yùn)行在國家天文臺主節(jié)點(diǎn)，負(fù)責(zé)執(zhí)行具體任務(wù)的從程序運(yùn)行在各個臺站的本地節(jié)點(diǎn)。此外，天文云門戶中的大部分功能實現(xiàn)都借鑒了微服務(wù)(microservices)模式，用戶認(rèn)證、訪問控制等基礎(chǔ)功能被封裝為獨(dú)立的組件，從而更適合在云環(huán)境下部署和維護(hù)。

病險水庫除險加固事關(guān)百姓安危。每逢暴雨洪水，那些病險水庫就成為懸在百姓頭上的一把利劍，給人民群眾生命財產(chǎn)安全帶來極大威脅。為此，水利部大力實施病險水庫除險加固工程，截至2009年年底，列入專項規(guī)劃的6240座病險水庫各項前期工作全面完成，已開工建設(shè)6124座，開工率超過98%。除險一座水庫，造福一方百姓，讓人們不再為頭頂上的一盆危水而懸心。

值得一提的是，天文云的用戶認(rèn)證基于中國科技網(wǎng)通行證，實現(xiàn)了支持OAuth2.0協(xié)議的單點(diǎn)登錄功能，部分功能支持無狀態(tài)的授權(quán)訪問模式，便于在腳本程序中調(diào)用天文云的服務(wù)。

3 天文云的大數(shù)據(jù)管理

天文云的核心是天文數(shù)據(jù)，這些海量數(shù)據(jù)分布在國家天文臺的中國天文數(shù)據(jù)中心以及其他臺站的本地數(shù)據(jù)中心。天文數(shù)據(jù)一般遵循2年的保護(hù)期，2年之后，正式發(fā)布的數(shù)據(jù)要向全世界開放訪問，而保護(hù)期內(nèi)的數(shù)據(jù)需要經(jīng)過授權(quán)才能訪問。

如圖3所示，為了統(tǒng)一管理地理上分散的數(shù)據(jù)，天文云構(gòu)建了天文大數(shù)據(jù)的技術(shù)框架。該框架自底向上分為3層：(1)物理存儲層，包括各個臺站的數(shù)據(jù)中心；(2)數(shù)據(jù)管理層，主要實現(xiàn)對天文大數(shù)據(jù)的優(yōu)化策略；(3)數(shù)據(jù)訪問層，維護(hù)著全局的元數(shù)據(jù)，把查詢請求調(diào)度到具體的物理節(jié)點(diǎn)上執(zhí)行。

圖3 天文科技領(lǐng)域云的數(shù)據(jù)框架

數(shù)據(jù)管理層是天文大數(shù)據(jù)中承上啟下的核心模塊，涵蓋了節(jié)能存儲、數(shù)據(jù)融合、數(shù)據(jù)檢索等3個主要方面。數(shù)據(jù)存儲使用了基于文件的存儲與傳統(tǒng)數(shù)據(jù)庫相結(jié)合的方式，將圖像、星表的元數(shù)據(jù)按照IVOA的標(biāo)準(zhǔn)規(guī)范化之后，保存到本地的數(shù)據(jù)庫。為了節(jié)約能源，我們設(shè)計了節(jié)能存儲策略，使系統(tǒng)能夠自動關(guān)閉在一段時間沒有訪問過的硬盤[11]。通過在元數(shù)據(jù)庫中建立虛擬文件目錄(數(shù)據(jù)的實際保存位置)，可以在實際需要時再次激活硬盤。為了避免數(shù)據(jù)磁盤頻繁地開啟和關(guān)閉，利用固態(tài)硬盤(SSD)設(shè)立了二級緩存，并根據(jù)訪問日志自動識別訪問模式，對數(shù)據(jù)實行預(yù)取。

在多波段數(shù)據(jù)融合方面，天文云借鑒了NED預(yù)處理的策略[4]，即每當(dāng)有新數(shù)據(jù)集加入時，就啟動交叉證認(rèn)計算，將證認(rèn)結(jié)果保存到元數(shù)據(jù)庫中。這樣檢索時可直接返回融合后的數(shù)據(jù)，節(jié)省了實時計算的時間。大規(guī)模數(shù)據(jù)集之間的交叉證認(rèn)非常耗時，天文云采用了MapReduce模型(Hadoop框架)來完成交叉證認(rèn)計算過程的優(yōu)化[12]。

檢索性能是大數(shù)據(jù)應(yīng)用的關(guān)鍵指標(biāo)之一，我們基于HEALPix偽球面索引設(shè)計開發(fā)了一種高效的天文大數(shù)據(jù)時序子集檢索方法。HEALPix使用的是一種遞歸分級的算法，在檢索范圍RA、DEC(赤經(jīng)、赤緯)以及索引級數(shù)確定的情況下，就可以計算出HEALPix編號；HEALPix還可以保證編號相近的區(qū)塊在物理位置上也鄰近。當(dāng)查詢請求到來時，查詢坐標(biāo)會被轉(zhuǎn)換為對應(yīng)的HEALPix編號，再匹配索引記錄，便可快速定位數(shù)據(jù)所在的物理位置。為進(jìn)一步提升檢索速度，利用了內(nèi)存數(shù)據(jù)庫來緩存索引信息[13]。

4 天文云的虛擬化方案

云存儲位于天文云的虛擬層，檢索得到的數(shù)據(jù)通過共享的云存儲與計算資源在云環(huán)境中對接。天文云利用虛擬化技術(shù)將各個天文臺站分散的硬件資源整合成一個虛擬資源池，整個系統(tǒng)分為4個層次，自底向上依次為物理層、虛擬層、服務(wù)層和用戶層，如圖4所示。

(1) 物理層。物理層是由中國科技網(wǎng)(CSTNET)連接的各個臺站的硬件資源，目前包括了國家天文臺、紫金山天文臺、上海天文臺、新疆天文臺、云南天文臺和南京大學(xué)天文與空間科學(xué)學(xué)院，其中國家天文臺作為整個系統(tǒng)的主節(jié)點(diǎn)，除了提供計算和存儲資源外，還運(yùn)行著門戶網(wǎng)站以及其他監(jiān)控管理服務(wù)。

(2) 虛擬層。虛擬層提供統(tǒng)一的云存儲服務(wù)以及虛擬機(jī)的運(yùn)行環(huán)境。云存儲系統(tǒng)基于開源的集群文件系統(tǒng)GlusterFS構(gòu)建，云計算平臺基于功能全面、易于使用的CloudStack，虛擬機(jī)則使用了簡單易用的KVM，虛擬層的元數(shù)據(jù)和配置信息保存在PostgreSQL數(shù)據(jù)庫中(見圖5)。云存儲通過支持CIFS(common internet file system)協(xié)議的SMB(server message block)服務(wù)器，為虛擬機(jī)提供訪問網(wǎng)絡(luò)存儲的功能，通過定制虛擬機(jī)模板的初始化程序，虛擬機(jī)在啟動時將自動執(zhí)行掛載云存儲的腳本。

圖5 基于虛擬機(jī)的數(shù)據(jù)處理

(3) 服務(wù)層。服務(wù)層運(yùn)行于虛擬層統(tǒng)一管理的資源之上，提供各類應(yīng)用服務(wù)。服務(wù)分為3類：為用戶提供虛擬機(jī)實例和模板，為天文云各個子系統(tǒng)提供運(yùn)行環(huán)境，為整個系統(tǒng)提供管理和監(jiān)控服務(wù)。

(4) 用戶層。用戶層包括可接入平臺的各類終端設(shè)備，即用戶的本地設(shè)備，目前對桌面終端的支持比較完整，對移動終端的支持尚不完善。

天文云在物理層上是分布式的，在虛擬層之上又是統(tǒng)一的。用戶在使用之前可以根據(jù)實際情況選擇要創(chuàng)建的虛擬機(jī)的物理位置；在使用時遵循統(tǒng)一的訪問和操作規(guī)則，不必關(guān)心虛擬機(jī)的實際位置，確保了用戶體驗的一致性。

5 基于虛擬機(jī)的數(shù)據(jù)處理

圖5展示了天文數(shù)據(jù)從獲取到處理的過程，也可以看作對云環(huán)境工作模式的實例化。首先，用戶通過數(shù)據(jù)檢索系統(tǒng)得到所需的元數(shù)據(jù)；然后，將元數(shù)據(jù)對應(yīng)的星表或圖像保存到云存儲的用戶空間中；最后，在云資源中創(chuàng)建合適的虛擬機(jī)，并通過遠(yuǎn)程桌面或WebVNC登錄，直接處理已經(jīng)導(dǎo)入個人空間的數(shù)據(jù)。

為方便用戶過濾檢索結(jié)果，數(shù)據(jù)檢索系統(tǒng)還支持SAMP協(xié)議[14]，檢索結(jié)果可直接發(fā)送到在線的分析和可視化工具，也能夠與用戶終端機(jī)或者虛擬機(jī)上的天文軟件進(jìn)行交互。

如圖5所示，天文數(shù)據(jù)的后期分析經(jīng)常需要在圖形界面下進(jìn)行。為保證廣域網(wǎng)環(huán)境下通過遠(yuǎn)程桌面訪問虛擬機(jī)的通信質(zhì)量，考慮到天文云的核心用戶集中在各個天文臺以及少數(shù)高校，而IPv6網(wǎng)絡(luò)在這些單位已經(jīng)普及，我們提出了一種IPv4和IPv6的混合方案[15]，即外部廣域網(wǎng)通過IPv6接入，內(nèi)部局域網(wǎng)采用IPv4網(wǎng)絡(luò)。該方案既提高了通信質(zhì)量，又保證了內(nèi)部系統(tǒng)的安全。實際應(yīng)用情況表明，通過IPv6網(wǎng)絡(luò)訪問虛擬機(jī)遠(yuǎn)程桌面十分流暢。

天文云是一個地理上分散的系統(tǒng)，在所需數(shù)據(jù)比較單一的情況下，系統(tǒng)可以保證用戶要求的全部虛擬機(jī)在數(shù)據(jù)節(jié)點(diǎn)內(nèi)就近創(chuàng)建。但是，在一些規(guī)模較大的計算和分析中，經(jīng)常需要來自不同望遠(yuǎn)鏡以及不同波段的數(shù)據(jù)，這時候難免發(fā)生虛擬機(jī)和所需數(shù)據(jù)不在同一個節(jié)點(diǎn)的情況，而大量數(shù)據(jù)在廣域網(wǎng)范圍內(nèi)的移動勢必導(dǎo)致系統(tǒng)性能下降。因此，要保證云環(huán)境工作模式的可用性，除了前面提到的軟件架構(gòu)、數(shù)據(jù)存儲與檢索、資源虛擬化之外，必要時還須統(tǒng)一協(xié)調(diào)數(shù)據(jù)與計算資源。當(dāng)數(shù)據(jù)移動不可避免時，盡量將數(shù)據(jù)移動對系統(tǒng)可用性的影響降至最低。

為此，我們設(shè)計了一種“映射—再分配”兩階段的調(diào)度算法。該算法主要針對跨節(jié)點(diǎn)的后臺計算要求，先將計算任務(wù)按照數(shù)據(jù)節(jié)點(diǎn)分組(映射)，然后再根據(jù)預(yù)計完成時間選擇部分任務(wù)(數(shù)據(jù))進(jìn)行遷移(再分配)。在虛擬機(jī)使用和計算任務(wù)的高峰時段，該方法可以達(dá)到20%以上的整體性能提升。

6 天文云的教育科研應(yīng)用

天文云于2014年5月推出試用版，一年后發(fā)布正式版。天文云是一個開放的平臺，用戶在科技網(wǎng)通行證(http://passport.escience.cn)注冊后，登錄門戶網(wǎng)站(astrocloud.china-vo.org)就可以使用系統(tǒng)的全部功能。天文云自上線以來，新的模塊和功能不斷增加，目前已連接14臺望遠(yuǎn)鏡，注冊用戶超過1.8萬個，其中核心用戶來自國內(nèi)外近40家科研院所，集成科學(xué)數(shù)據(jù)200 TB，總存儲能力達(dá)1.5 PB，虛擬機(jī)總數(shù)近400臺，在輔助科學(xué)研究、教育以及科普方面已取得初步成果，并入選了中科院科研信息化十大優(yōu)秀案例。

在科研方面，科研團(tuán)隊開始通過天文云管理望遠(yuǎn)鏡的觀測時間申請，并利用虛擬機(jī)完成觀測結(jié)果的初步分析。2014年底，北京大學(xué)和云南天文臺的團(tuán)隊利用麗江2.4 m光學(xué)望遠(yuǎn)鏡(首個加入到天文云的望遠(yuǎn)鏡)觀測發(fā)現(xiàn)了遙遠(yuǎn)宇宙中迄今為止光度最大的類星體。2015年初，LAMOST DR1巡天光譜數(shù)據(jù)借助天文云正式對全世界發(fā)布，發(fā)布數(shù)據(jù)包含有220萬條光譜，是目前世界上最大的天體光譜庫。

在教育方面，中國科學(xué)院大學(xué)的研究生已連續(xù)3年基于天文云開展課程學(xué)習(xí)，天文云已累計為300余名研究生和教師提供服務(wù)。“多波段天文數(shù)據(jù)獲取與處理”“實測天體物理”等天文學(xué)基礎(chǔ)課程涉及到行星、太陽、光學(xué)紅外、高能、射電數(shù)據(jù)的獲取與處理等多個專題，需要準(zhǔn)備實驗數(shù)據(jù)并安裝配置多種軟件。利用天文云提供的數(shù)據(jù)檢索功能以及虛擬機(jī)模板，學(xué)生在數(shù)分鐘之內(nèi)便可創(chuàng)建一個完備的課程實驗環(huán)境。

在科普方面，最具代表性的是公眾超新星搜尋項目。該項目是新疆星明天文臺借助天文云平臺開展的首個基于國內(nèi)業(yè)余天文觀測數(shù)據(jù)的全民科學(xué)項目。目前公眾與天文學(xué)家已經(jīng)從大量圖像中辨識出超新星候選體11顆，其中7顆獲得光譜認(rèn)證。

7 結(jié)語

天文云的軟環(huán)境全部采用開源技術(shù)構(gòu)建，節(jié)約了成本，特別針對天文數(shù)據(jù)及其應(yīng)用特點(diǎn)，在數(shù)據(jù)融合、緩存、檢索、虛擬化、虛擬機(jī)調(diào)度等方面進(jìn)行了專門的優(yōu)化，取得了較好的應(yīng)用效果，同時也為其他領(lǐng)域的大數(shù)據(jù)平臺和云計算環(huán)境的建設(shè)提供了參考。

由于天文云的應(yīng)用示范效果，國內(nèi)的天文望遠(yuǎn)鏡正加速向天文云集成。一些民間天文臺，設(shè)立有天文學(xué)、天體物理等相關(guān)專業(yè)以及從事天文信息學(xué)相關(guān)研究的國內(nèi)高校和研究單位也有計劃加入天文云的大平臺，廈門大學(xué)天文系、國家超級計算天津中心正在建設(shè)天文云的專用節(jié)點(diǎn)。2017年初，國家天文臺與阿里云計算有限公司正式達(dá)成戰(zhàn)略合作，共同推進(jìn)大數(shù)據(jù)時代的天文學(xué)科學(xué)研究和科普教育工作。在未來的幾年內(nèi)，天文云的規(guī)模將會持續(xù)擴(kuò)大，底層架構(gòu)以及關(guān)鍵技術(shù)也會不斷優(yōu)化。

目前，天文云尚沒有覆蓋天文大數(shù)據(jù)科研的全部常用功能，尤其缺少專門針對天文大數(shù)據(jù)應(yīng)用的計算框架，大數(shù)據(jù)節(jié)能存儲、數(shù)據(jù)和計算的協(xié)同調(diào)度等算法還有很大的改進(jìn)空間。針對天文數(shù)據(jù)的區(qū)域?qū)傩院吞靺^(qū)密度優(yōu)化數(shù)據(jù)布局，也是我們正在進(jìn)行的工作。在教育和科普方面，如何利用好阿里云強(qiáng)大的功能，規(guī)范各類項目接入的流程和標(biāo)準(zhǔn)，進(jìn)一步提高天文云的開放性和多樣性，也是未來的工作重點(diǎn)之一。

References)

[1] 周宏仁.信息化:從計算機(jī)科學(xué)到計算科學(xué)[J].中國科學(xué)院院刊,2016,31(6):591-598.

[2] 崔辰州,于策,肖健,等.大數(shù)據(jù)時代的天文學(xué)研究[J].科學(xué)通報,2015(增刊1):445-449.

[3] 崔辰州,薛艷杰,李建,等.虛擬天文臺:天文學(xué)研究的科研信息化環(huán)境[J].中國科學(xué)院院刊,2013,28(4):511-518.

[4] The NASA/IPAC Extragalactic Database [EB/OL]. http://ned.ipac.caltech.edu.

[5] 鐘守波，韓波，張彥霞,等，天文大數(shù)據(jù)管理工具的設(shè)計與實現(xiàn)[J].天文研究與技術(shù)，2015,12(4):510-517.

[6] 王珊,王會舉,覃雄派,等.架構(gòu)大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望[J].計算機(jī)學(xué)報,2011,34(10):1741-1752.

[7] 孟小峰,慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計算機(jī)研究與發(fā)展,2013,50(1):146-169.

[8] 史英杰,孟小峰.云數(shù)據(jù)管理系統(tǒng)中查詢技術(shù)研究綜述[J].計算機(jī)學(xué)報,2013(2):209-225.

[9] 鄭湃,崔立真,王海洋,等.云計算環(huán)境下面向數(shù)據(jù)密集型應(yīng)用的數(shù)據(jù)布局策略與方法[J].計算機(jī)學(xué)報,2010(8):1472-1480.

[10] Begeman K, Belikov A N, Boxhoorn D R, et al. The Astro-WISE datacentric information system[J]. Experimental Astronomy, 2012, 35(1-2):1-23.

[11] 王意潔,孫偉東,周松,等.云計算環(huán)境下的分布存儲關(guān)鍵技術(shù)[J].軟件學(xué)報,2012(4):962-986.

[12] 趙青,孫濟(jì)洲,肖健,等. 基于MapReduce模型的分布式天文交叉證認(rèn)[J]. 計算機(jī)應(yīng)用研究, 2010(9):3322-3325.

[13] Hong Z，Yu C，Wang J，et al. AQUAdexIM: highly efficient in-memory indexing and querying of astronomy time series images[J].Experimental Astronomy，2016，42(3):387-405.

[14] Taylor M B, Boch T, Taylor J. SAMP, the Simple Application Messaging Protocol: Letting applications talk to each other[J]. Astronomy & Computing, 2015，11:379-388.

[15] 李長華,崔辰州,何勃亮,等.IPv6技術(shù)在天文學(xué)研究云計算環(huán)境中的應(yīng)用[J].計算機(jī)應(yīng)用,2016,36(增刊1):25-28.

AstroCloud: Astronomical education and scientific research informationization platform in big data era

Xiao Jian1, Yu Ce2, Cui Chenzhou3, Li Changhua3, He Boliang3, Fan Dongwei3, Liu Liang4, Chen Xiao5, Zhang Hailong6, Wang Chuanjun7

(1. School of Computer Software, Tianjin University, Tianjin 300350, China; 2. School of Computer Science and Technology, Tianjin University, Tianjin 300350, China; 3. National Astronomical Observatories, Chinese Academy of Sciences, Beijing 100012, China; 4. Purple Mountain Observatory, Chinese Academy of Sciences, Nanjing 210008, China; 5. Shanghai Astronomical Observatory, Chinese Academy of Sciences, Shanghai 200030, China; 6. Xinjiang Astronomical Observatory, Chinese Academy of Sciences, Urumqi 830011, China; 7. Yunnan Astronomical Observatory, Chinese Academy of Sciences, Kunming 650011, China)

AstroCloud is based on the data resources of the China Astronomical Data Center. It aims to provide services for the observation time application for the astronomical telescope, data archiving, data retrieval, data analysis and scientific research projects. Through the use of cloud computing and virtualization technology, the system integrates the storage, data, calculation, software and other resources of the main observatories in China, and forms a network platform of scientific research which is physically dispersed and logically unified. AstroCloud provides both the whole life cycle of modern observational astronomical research and the open platform for the data-driven astronomical education and popularization of science.

AstroCloud; astronomical education; scientific research informationization; big data; cloud computing; virtual observatory

P112; TP391

A

1002-4956(2017)10-0133-06

10.16791/j.cnki.sjg.2017.10.033

2017-04-24

國家自然科學(xué)基金-天文聯(lián)合基金項目(U1531111；U1531115)；國家自然科學(xué)基金青年科學(xué)基金項目(11503051)；中國科學(xué)院信息化專項 (XXH12503-05-05)

肖健(1978—)，男，河北玉田，博士，工程師，主要研究方向為天文信息技術(shù)、高性能計算.

E-mail：xiaojian@tju.edu.cn