基于CubieBoard的大數(shù)據(jù)實驗平臺設(shè)計

韋堯，陳子陽，程靜文，高聰碩，張正艷，呂震宇

(華北理工大學(xué) 管理學(xué)院，河北 唐山 063000)

?

基于CubieBoard的大數(shù)據(jù)實驗平臺設(shè)計

韋堯，陳子陽，程靜文，高聰碩，張正艷，呂震宇

(華北理工大學(xué) 管理學(xué)院，河北 唐山 063000)

實驗平臺；大數(shù)據(jù)；Hadoop

針對傳統(tǒng)大數(shù)據(jù)實驗平臺部署成本高、網(wǎng)絡(luò)環(huán)境配置復(fù)雜等問題，將CubieBoard引入大數(shù)據(jù)實驗平臺架構(gòu)，搭建了五節(jié)點的大數(shù)據(jù)實驗環(huán)境，完成了Hadoop集群部署、MapReduce應(yīng)用開發(fā)部署和Mahout大數(shù)據(jù)分析挖掘?qū)嶒灐Ｔ撈脚_搭建成本低，部署容易，非常適合高校本科生和研究生作為大數(shù)據(jù)學(xué)習(xí)的入門實驗平臺。

“大數(shù)據(jù)”是近些年來國內(nèi)外關(guān)注的熱點，目前在眾多大型企業(yè)中廣泛應(yīng)用。然而大數(shù)據(jù)教育，特別是本科生大數(shù)據(jù)教育卻明顯落后于企業(yè)發(fā)展，使得目前技術(shù)市場上掌握大數(shù)據(jù)技術(shù)的人才嚴(yán)重短缺。早在2012年，美國國家教育部就已經(jīng)頒布了《通過教育數(shù)據(jù)挖掘和學(xué)習(xí)分析促進教與學(xué)》報告，已經(jīng)將大數(shù)據(jù)融入學(xué)習(xí)變革當(dāng)中[1]；我國CCF大數(shù)據(jù)專家委員會在《2015年大數(shù)據(jù)發(fā)展趨勢預(yù)測》中發(fā)布了2015年大數(shù)據(jù)十大發(fā)展趨勢，其中一項就是“大數(shù)據(jù)技術(shù)課程體系建設(shè)和人才培養(yǎng)是需要高度關(guān)注的問題”[2]。然而大數(shù)據(jù)人才培養(yǎng)一方面需要加快將業(yè)界應(yīng)用技術(shù)向高校轉(zhuǎn)移，但另外一方面卻受制于大數(shù)據(jù)高昂的硬件建設(shè)成本。一套大數(shù)據(jù)平臺硬件設(shè)備動輒需要數(shù)十萬元到上百萬，大多被用于科研[3-5]，很難大規(guī)模用于本科生教學(xué)工作。因此，目前很多大數(shù)據(jù)實驗轉(zhuǎn)而尋求在虛擬機上完成，但受到計算機硬件能力限制，目前基于虛擬機的大數(shù)據(jù)實驗多以單機實驗為主，很難完成多機集群部署。……