校園大數(shù)據(jù)實(shí)訓(xùn)室建設(shè)和實(shí)踐

■ 甘肅 段曉東

編者按：為滿足教學(xué)需求，筆者搭建了大數(shù)據(jù)實(shí)訓(xùn)平臺、開發(fā)了大數(shù)據(jù)實(shí)訓(xùn)課程、資源庫以及題庫等，幫助教師和學(xué)生順利開展線上教學(xué)活動(dòng)。本文筆者從設(shè)計(jì)、運(yùn)行與管理等方面具體介紹了這一建設(shè)方案，供讀者參考。

基于云計(jì)算架構(gòu)建設(shè)實(shí)踐創(chuàng)新型大數(shù)據(jù)實(shí)訓(xùn)室，為高校提供完整的數(shù)據(jù)科學(xué)實(shí)驗(yàn)平臺，重點(diǎn)建設(shè)專業(yè)教學(xué)資源以及實(shí)訓(xùn)、教學(xué)科研環(huán)境，滿足課程實(shí)驗(yàn)、課程設(shè)計(jì)、實(shí)習(xí)實(shí)訓(xùn)、科研訓(xùn)練等多方面需求，幫助學(xué)生學(xué)習(xí)課程內(nèi)容，提高動(dòng)手能力，激發(fā)學(xué)習(xí)興趣。

建設(shè)內(nèi)容

1.搭建大數(shù)據(jù)實(shí)訓(xùn)平臺

涵蓋實(shí)訓(xùn)教學(xué)、考試、管理，幫助學(xué)生快速掌握應(yīng)用大數(shù)據(jù)技術(shù)的技能。

2.開發(fā)大數(shù)據(jù)實(shí)訓(xùn)課程

結(jié)合大數(shù)據(jù)實(shí)訓(xùn)教學(xué)知識體系，開發(fā)大數(shù)據(jù)實(shí)訓(xùn)課程，充實(shí)教學(xué)實(shí)訓(xùn)平臺的課程內(nèi)容。

3.開發(fā)實(shí)訓(xùn)資源庫

結(jié)合大數(shù)據(jù)知識，設(shè)計(jì)開發(fā)教學(xué)案例、數(shù)據(jù)和算法。

4.開發(fā)試題庫

結(jié)合實(shí)訓(xùn)課程內(nèi)容，開發(fā)課程試題庫，用以學(xué)生的課內(nèi)外練習(xí)及考核。

項(xiàng)目效益分析

大數(shù)據(jù)實(shí)訓(xùn)室建設(shè)，能快速引入大數(shù)據(jù)技術(shù)、成熟的解決方案以及管理和教學(xué)內(nèi)容。另外，實(shí)訓(xùn)室的建設(shè)將使學(xué)生掌握主流技術(shù)，分享大數(shù)據(jù)應(yīng)用項(xiàng)目實(shí)踐經(jīng)驗(yàn)。

業(yè)務(wù)流程、業(yè)務(wù)功能和業(yè)務(wù)量分析

大數(shù)據(jù)實(shí)訓(xùn)平臺承載了課程教學(xué)、試題庫練習(xí)、案例分析等教學(xué)內(nèi)容。采用傳統(tǒng)的課堂學(xué)習(xí)結(jié)合在線案例實(shí)訓(xùn)的混合教學(xué)模式，可以使學(xué)生在傳統(tǒng)課堂進(jìn)行理論課的學(xué)習(xí)，在平臺上進(jìn)行案例實(shí)訓(xùn)學(xué)習(xí)、在線練習(xí)和在線考試；老師在平臺上發(fā)布各類課程、試題庫和案例庫。

平臺采用分布式存儲和計(jì)算引擎，每位實(shí)訓(xùn)學(xué)生最低需要4核CPU，8 GB內(nèi)存進(jìn)行實(shí)訓(xùn)，同時(shí)預(yù)留30 %的CPU和內(nèi)存資源維持正常運(yùn)轉(zhuǎn)。總共需要4×50＋60=260核CPU，520 GB內(nèi)存資源。

實(shí)訓(xùn)平臺面向三類用戶：學(xué)生、教師、系統(tǒng)管理員。學(xué)生在在線實(shí)訓(xùn)平臺完成大數(shù)據(jù)業(yè)務(wù)場景的數(shù)據(jù)采集、預(yù)處理、分析挖掘和數(shù)據(jù)可視化等大數(shù)據(jù)仿真實(shí)訓(xùn)操作，全面掌握大數(shù)據(jù)的理論和技能。

教師通過平臺發(fā)布大數(shù)據(jù)實(shí)訓(xùn)課程、案例和試題等教學(xué)資源，并對學(xué)習(xí)過程進(jìn)行管理，包括排課、考勤、考試等教學(xué)管理，做到因材施教，方便與學(xué)生形成一對一的互動(dòng)和溝通，實(shí)時(shí)掌握學(xué)生的學(xué)習(xí)狀況。

管理員全程參與監(jiān)控運(yùn)維平臺，具體包括用戶權(quán)限的管理，對服務(wù)器、網(wǎng)絡(luò)、數(shù)據(jù)庫等支撐平臺進(jìn)行統(tǒng)一管理和控制；全面監(jiān)控平臺的運(yùn)行情況，包括系統(tǒng)內(nèi)集群使用情況，人數(shù)上限和當(dāng)前使用量情況；支持調(diào)整集群配額，如改變集群節(jié)點(diǎn)個(gè)數(shù)、內(nèi)存、CPU配額等。

平臺總體設(shè)計(jì)

1.硬件部分

硬件部分專門提供面向大數(shù)據(jù)集群的硬件要求，服務(wù)器6臺，內(nèi)存要求≥128 GB，千兆交換機(jī)2臺，多電腦切換器一個(gè)，理線器6個(gè)，光纖跳線10個(gè)，PDU電源4個(gè)，品牌42U機(jī)柜一個(gè)。如果資金寬裕一點(diǎn)，可以直接采用刀片式服務(wù)器，內(nèi)存擴(kuò)充到16×16 GB，刀箱采用12U，可安裝在標(biāo)準(zhǔn)機(jī)柜中，支持半寬和全寬服務(wù)器混插，每個(gè)機(jī)箱可配置2個(gè)8路節(jié)點(diǎn)。交換模塊在不影響刀片部署密度的前提下支持網(wǎng)絡(luò)直通擴(kuò)展方案，同時(shí)支持不低于4個(gè)網(wǎng)絡(luò)交換機(jī)。本次配置2個(gè)網(wǎng)絡(luò)交換模塊，每個(gè)交換模塊配置8×1 GE＋8×10 GE。配置16×10 GE SFP+多模模塊。

光纖交換機(jī)直接采用24端口8 GB光纖交換機(jī)，存儲可采用SAN存儲，粗略估算：1個(gè)學(xué)生最多5個(gè)VM，一臺虛擬機(jī)100 GB大小，50個(gè)學(xué)生上機(jī)最多2500 GB，300個(gè)學(xué)生備份按照100 GB×300計(jì)算，總共需要33TB，同時(shí)需要考慮Raid冗余，因此最少需要50 TB存儲。

存儲系統(tǒng)的設(shè)計(jì)需滿足橫向擴(kuò)展能力和容錯(cuò)能力，其中橫向擴(kuò)展能力指根據(jù)需求增加不同的計(jì)算和存儲容量，依靠多服務(wù)器、存儲協(xié)同運(yùn)算，借負(fù)載平衡及容錯(cuò)等功能在確保可靠度的前提下提高運(yùn)算以及存儲能力，適應(yīng)未來教學(xué)任務(wù)的不斷增加。容錯(cuò)能力指保證整個(gè)大數(shù)據(jù)分析系統(tǒng)的穩(wěn)定性魯棒性，在技術(shù)架構(gòu)設(shè)計(jì)上需要考慮服務(wù)器節(jié)點(diǎn)發(fā)生宕機(jī)、故障時(shí)整個(gè)集群系統(tǒng)仍能保證提供分析服務(wù)以及數(shù)據(jù)的不丟失能力。

2.軟件部分

大數(shù)據(jù)分析平臺，包括分布式批處理，實(shí)時(shí)計(jì)算引擎、機(jī)器學(xué)習(xí)算法、分布式文件和數(shù)據(jù)存儲等方面的技術(shù)能力支撐，用以支持實(shí)訓(xùn)課程中數(shù)據(jù)預(yù)處理、特征提取、模型構(gòu)建和優(yōu)化分析等操作。

3.教學(xué)案例包

教學(xué)案例包用于為學(xué)生提供多場景的大數(shù)據(jù)分析案例，幫助學(xué)生從真實(shí)案例中了解大數(shù)據(jù)的應(yīng)用，各種算法的使用，各種數(shù)據(jù)處理的使用。

4.網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)

依托現(xiàn)有網(wǎng)絡(luò)設(shè)備，萬兆交換機(jī)2臺，提供萬兆以太網(wǎng)接口支持基于端口的劃分VLAN；支持組播標(biāo)準(zhǔn)LGMPV1/V2/V3;支持ARP攻擊防御，ACL等安全功能。

5.備份系統(tǒng)設(shè)計(jì)

數(shù)據(jù)平臺應(yīng)采用分布式文件系統(tǒng)，多機(jī)器容錯(cuò)。另外配置離線備份系統(tǒng)，保證數(shù)據(jù)不丟失。

項(xiàng)目建設(shè)與運(yùn)行管理

為協(xié)調(diào)系統(tǒng)建設(shè)中出現(xiàn)的問題，筆者單位成立了領(lǐng)導(dǎo)小組，落實(shí)相關(guān)人員的職責(zé)，執(zhí)行領(lǐng)導(dǎo)小組的決策，協(xié)調(diào)具體工作的實(shí)施，并對系統(tǒng)建設(shè)情況進(jìn)行定期檢查和監(jiān)督。在項(xiàng)目質(zhì)保期內(nèi)，由學(xué)院項(xiàng)目負(fù)責(zé)團(tuán)隊(duì)和項(xiàng)目承建單位共同承擔(dān)項(xiàng)目的運(yùn)行維護(hù)工作。在質(zhì)保期后，由學(xué)院項(xiàng)目負(fù)責(zé)團(tuán)隊(duì)承擔(dān)運(yùn)行維護(hù)工作，同時(shí)由項(xiàng)目承建單位提供相應(yīng)的技術(shù)支持。