基于Spark的SKA1-MID自校準管線分布計算實現*

戴 偉，汪 森，李秋虹，鄧 輝 ，梅 盈，王 鋒,

(1. 昆明理工大學云南省計算機技術應用重點實驗室，云南 昆明 650051；2. 復旦大學，上海 210000；3. 廣州大學天體物理中心，廣東 廣州 510006)

為了進一步開展當前重大科學問題如暗物質和暗能量、黑洞和致密天體、宇宙起源、天體起源以及宇宙生命起源等研究工作的需要，科學家提出了平方千米陣列項目[1-2]，并成為國際上即將建造的最大綜合孔徑射電望遠鏡[3]，得到全球天文學家的重點關注。平方千米陣列建在澳大利亞、南非及南部非洲8個國家的無線電寧靜區，其接收面積可達1 km2，頻率覆蓋50 MHz～20 GHz。平方千米陣列作為下一代射電望遠鏡，具有極高的靈敏度(比央斯基甚大陣(Jansky Very Large Array, JVLA)靈敏度提高50倍，搜尋速度提高10 000倍)，以千千米的基線獲得極高的空間分辨率，以納秒級的采樣獲得精細的時間結構，以10 Pb/s的速率產生超越全球互聯網總量的數據。以寬視場、多波束、高動態、高分辨和大數據為核心概念的平方千米陣列將顛覆射電天文學的傳統研究手段，給天文學研究帶來革命性全新的理念。

平方千米陣列高分辨率、高靈敏度、高動態范圍和寬視場等新特性，給數據處理帶來了前所未有的挑戰。平方千米陣列的巨大規模和復雜程度遠遠超出了現有射電天文望遠鏡陣列，全規模運行的平方千米陣列產生的海量數據需要10億億次/秒的處理能力，是目前世界上最快的超級計算機神威太湖之光處理能力(0.9億億次/秒)的10倍。考慮到計算效率和軟件執行效率(目前天文軟件在超算平臺上的執行效率普遍在10%，甚至更低)，實際需求將大大超出這個理論估算[4]。……