基于Hadoop的云教學(xué)資源平臺(tái)的研究

蔣云霞，符琦

(湖南科技大學(xué) a.教務(wù)處；b.計(jì)算機(jī)科學(xué)與工程學(xué)院，湖南 湘潭 411201)

?

基于Hadoop的云教學(xué)資源平臺(tái)的研究

蔣云霞a，符琦b

(湖南科技大學(xué) a.教務(wù)處；b.計(jì)算機(jī)科學(xué)與工程學(xué)院，湖南 湘潭 411201)

摘要：云計(jì)算的出現(xiàn)為海量教學(xué)資源的分布存儲(chǔ)與管理提供了新的思路與技術(shù)。為滿足教育教學(xué)資源共享建設(shè)的低成本、高可靠的彈性訪問與服務(wù)需求，在現(xiàn)有Hadoop云實(shí)現(xiàn)技術(shù)的框架下，提出了分布式存儲(chǔ)、訪問與管理的云資源共享平臺(tái)，并設(shè)計(jì)了相關(guān)的云平臺(tái)資源存儲(chǔ)結(jié)構(gòu)和Web應(yīng)用程序，為現(xiàn)代教育教學(xué)資源共享平臺(tái)的構(gòu)建提供了思路。

關(guān)鍵詞：教學(xué)資源；云計(jì)算 ；Hadoop；HDFS；MapReduce

1云技術(shù)在教學(xué)資源共享平臺(tái)的應(yīng)用

目前，教育信息化進(jìn)程隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展而日趨加速，在我國(guó)發(fā)布的教育信息化10年《發(fā)展規(guī)劃》中已明確指出：“到2020年，基本建成人人可享有優(yōu)質(zhì)教育資源的信息化學(xué)習(xí)環(huán)境”，“人人可享有優(yōu)質(zhì)教育資源的信息化環(huán)境基本形成”[1]。隨之而來的一個(gè)主要問題就是因信息化教學(xué)資源的爆炸式增長(zhǎng)帶來的流媒體、動(dòng)畫、多媒體課件等各類教學(xué)資源分布式存儲(chǔ)、管理與訪問等問題。如何在有效保障教學(xué)資源共享存儲(chǔ)可擴(kuò)展性的同時(shí)提高資源共享服務(wù)效率對(duì)教學(xué)資源平臺(tái)的建設(shè)來說至關(guān)重要。

云計(jì)算技術(shù)的出現(xiàn)為海量教學(xué)資源的分布存儲(chǔ)與管理提供了新的思路，目前，該技術(shù)已在教育領(lǐng)域得到了成熟應(yīng)用。如，Google和IBM公司率先開始在美國(guó)高校中提供基于云計(jì)算軟硬件環(huán)境的學(xué)術(shù)研究服務(wù)；雅虎公司與斯坦福、普渡等大學(xué)合作，建設(shè)基于Hadoop集群技術(shù)的教學(xué)資源共享平臺(tái)與服務(wù)模式；麻省理工大學(xué)利用Amazon的EC2云建立了OCW(Open Course Ware，開放課程計(jì)劃)，并向全球免費(fèi)提供上千門公開課程的教學(xué)資源；網(wǎng)易公司在改良Hadoop基礎(chǔ)上建立了云計(jì)算中心，將國(guó)內(nèi)外的公開課都搬入了其開設(shè)的網(wǎng)易公開課中；清華大學(xué)發(fā)起并建立的CNKI(China National Knowledge Infrastructure，中國(guó)國(guó)家知識(shí)基礎(chǔ)設(shè)施)工程目前已成為了國(guó)內(nèi)數(shù)字資源最全最大的共享平臺(tái)等。云教學(xué)資源平臺(tái)的構(gòu)建為教育者和受教育者提供了低成本、高可靠的各種彈性服務(wù)，滿足了不同受眾的不同需求，使得各類型海量教學(xué)資源的在線發(fā)布、共享與管理已成為了一種趨勢(shì)。

2基于Hadoop的云教學(xué)資源平臺(tái)的構(gòu)建

Hadoop 是Apache基金會(huì)提出的可支持TB級(jí)別大文件數(shù)據(jù)處理的開源云計(jì)算平臺(tái)，具有投入成本低(主要指以可重復(fù)利用的低端硬件為基礎(chǔ)設(shè)施)、可擴(kuò)展性高、易部署且開源等優(yōu)勢(shì)。目前，該技術(shù)已在學(xué)術(shù)界和企業(yè)界得到了成熟應(yīng)用，如在線學(xué)習(xí)的百度傳課網(wǎng)和阿里巴巴的淘寶網(wǎng)、支付寶應(yīng)用等[2]。Hadoop的核心技術(shù)主要指HDFS分布式文件系統(tǒng)和MapReduce并行處理框架，其中HDFS是一個(gè)部署在低端計(jì)算機(jī)硬件設(shè)備上的高容錯(cuò)系統(tǒng)，能對(duì)大數(shù)據(jù)文件進(jìn)行分塊存儲(chǔ)，有效實(shí)現(xiàn)了一次寫入多次讀寫的高效數(shù)據(jù)訪問功能；MapReduce則為分布式存儲(chǔ)的海量數(shù)據(jù)的并行訪問與處理提供了軟件實(shí)現(xiàn)方法[3]。本文采用Hadoop來構(gòu)建低成本且易部署的高性能云教學(xué)資源共享平臺(tái)。

2.1基于Hadoop的云教學(xué)資源平臺(tái)整體架構(gòu)

圖1　基于Hadoop的云教學(xué)資源平臺(tái)示意圖

云教學(xué)資源平臺(tái)除了需要具有分布式存儲(chǔ)教學(xué)資源的功能，還需要提供多樣化的學(xué)習(xí)服務(wù)，以便在不斷累積的教學(xué)資源基礎(chǔ)上形成一個(gè)擴(kuò)展性良好的資源生態(tài)環(huán)境。因此，結(jié)合Hadoop的HDFS和MapReduce核心技術(shù)，本文提出了如圖1所示的云教學(xué)資源平臺(tái)的整體框架。其中：1)教學(xué)資源數(shù)據(jù)存儲(chǔ)層：該層主要采用HDFS作為云教學(xué)資源的物理存儲(chǔ)層，平臺(tái)中的所有教學(xué)資源(如媒體素材、課件、網(wǎng)絡(luò)課程庫、題庫等)都將被其分級(jí)、分塊地存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)。圖中的HBaset和MySql/Oracle則分別用于存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)(如圖片、圖像和音頻/視頻信息等)、半結(jié)構(gòu)化數(shù)據(jù)(如郵件、報(bào)表、資源庫等)和結(jié)構(gòu)化數(shù)據(jù)。

2)教學(xué)資源數(shù)據(jù)訪問層：該層通過結(jié)合HBase和MySql/Oracle幾種不同類型數(shù)據(jù)庫的優(yōu)勢(shì)，為前端Web應(yīng)用程序統(tǒng)一的數(shù)據(jù)訪問接口和良好的數(shù)據(jù)訪問性能。前者主要負(fù)責(zé)存儲(chǔ)數(shù)據(jù)量大或信息變更較頻繁的數(shù)據(jù)庫表信息，后者則用于存儲(chǔ)信息修改少、訪問量不大的數(shù)據(jù)，并為較大的數(shù)據(jù)庫表建立相應(yīng)的索引。由于云教學(xué)資源均存儲(chǔ)在分布式集群設(shè)備中，而不是存儲(chǔ)在本地?cái)?shù)據(jù)庫，因此，教學(xué)資源數(shù)據(jù)的訪問主要通過數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)讀取2個(gè)接口來實(shí)現(xiàn)。3)Web業(yè)務(wù)邏輯與展示層：該層通過采用的主流Web開發(fā)框架SSH2來實(shí)現(xiàn)業(yè)務(wù)邏輯與數(shù)據(jù)的前端展示，分別實(shí)現(xiàn)了教學(xué)資源共享各類業(yè)務(wù)的調(diào)度請(qǐng)求與響應(yīng)，以滿足不同用戶對(duì)教學(xué)資源的不同請(qǐng)求服務(wù)。

2.2云教學(xué)資源結(jié)構(gòu)設(shè)計(jì)

圖2　云教學(xué)資源存儲(chǔ)訪問架構(gòu)示意圖

多樣化的教學(xué)資源是云平臺(tái)的核心管理對(duì)象，其資源數(shù)據(jù)的設(shè)計(jì)、存儲(chǔ)、優(yōu)化與訪問應(yīng)符合教育教學(xué)的基本原則，有效地保障多樣化學(xué)習(xí)的可持續(xù)性發(fā)展。為滿足受教育者對(duì)知識(shí)構(gòu)建的需求，本云平臺(tái)中的各類教學(xué)資源按學(xué)科專業(yè)進(jìn)行歸類、存儲(chǔ)和管理，從而構(gòu)建以專業(yè)代碼為劃分依據(jù)的課程資源平臺(tái)，以便受教育者能自主選擇感興趣的專業(yè)范圍進(jìn)行學(xué)習(xí)，從而完善自身的知識(shí)體系。與此同時(shí)，通過采用B/S模式的通信架構(gòu)，能最小化客戶端的安裝復(fù)雜度(用戶只要安裝瀏覽器軟件，并在其中輸入資源平臺(tái)的網(wǎng)址即可，如圖2所示)，并有效兼容傳統(tǒng)資源平臺(tái)的訪問模式。原有資源平臺(tái)中的資源依據(jù)云資源結(jié)構(gòu)進(jìn)行遷移和有效整合后，即可向原有用戶提供持續(xù)性資源服務(wù)，這樣既可減少教學(xué)資源的重復(fù)性建設(shè)，又能重新整合、優(yōu)化和擴(kuò)展原有資源。

2.3云教學(xué)資源平臺(tái)Web應(yīng)用程序設(shè)計(jì)

客戶端瀏覽器所訪問的Web應(yīng)用程序是云教學(xué)資源平臺(tái)的窗口，不同的客戶可通過申請(qǐng)的不同訪問權(quán)限對(duì)平臺(tái)資源進(jìn)行訪問與管理(如圖3所示)。如，當(dāng)教師登錄系統(tǒng)后，可以發(fā)布個(gè)人教學(xué)資源，查看其他專業(yè)在線課程，對(duì)全部或部分學(xué)生發(fā)布作業(yè)、電子郵件，參與教學(xué)問題的網(wǎng)上討論，撰寫教學(xué)博客，查看所上課程、課程設(shè)計(jì)相關(guān)信息等；學(xué)生登錄后則可以查閱并關(guān)注教師發(fā)布的各種教學(xué)資源(如課件、軟件、博文等)，參與網(wǎng)上教學(xué)討論、提交作業(yè)、發(fā)布教學(xué)問題等；系統(tǒng)管理員登錄后，剛可對(duì)平臺(tái)中課程教學(xué)相關(guān)的所有資源進(jìn)行管理，同時(shí)為不同的客戶分配相應(yīng)權(quán)限，并根據(jù)學(xué)生的登錄歷史記錄，為其設(shè)置資源推送規(guī)則，以便定期推送學(xué)生感興趣的教學(xué)資源，在提高優(yōu)質(zhì)資源使用率的同時(shí)，進(jìn)一步促進(jìn)學(xué)生的學(xué)習(xí)主動(dòng)性和學(xué)習(xí)興趣，實(shí)現(xiàn)《發(fā)展規(guī)劃》中所提出的最終目標(biāo)。

圖3　教師資源訪問用例圖

3結(jié)語

隨著網(wǎng)絡(luò)技術(shù)、信息技術(shù)的發(fā)展，教育資源網(wǎng)絡(luò)化、信息化也在飛速發(fā)展，隨之產(chǎn)生的信息爆炸式增長(zhǎng)帶來的數(shù)據(jù)分布式存儲(chǔ)、快速訪問等問題也日趨重要。本文對(duì)云教學(xué)資源分布式存儲(chǔ)模式結(jié)構(gòu)及其訪問方式進(jìn)行了研究，提出了基于Hadoop的云資源共享平臺(tái)，為分布式教學(xué)資源共享提供了一些思路。

參考文獻(xiàn)：

[1] 教育部.國(guó)家中長(zhǎng)期教育改革和發(fā)展規(guī)劃綱要(2010-2020年)[EB/OL].(2010-07-29.)[2015-12-24].教育部門戶網(wǎng)站.http://www.moe.edu.cn/publicfiles/business/htmlfiles/moe/moe_838/201008/93704.html.

[2] 鄒復(fù)民,蔣新華,胡惠淳，等.云計(jì)算研究與應(yīng)用現(xiàn)狀綜述[J].福建工程學(xué)院學(xué)報(bào)，2013(3):231-242.

[3] 郭松.基于Hadoop的學(xué)習(xí)資源分布模型設(shè)計(jì)研究[D].沈陽：沈陽師范大學(xué),2014.

(責(zé)任校對(duì)晏小敏)

doi:10.13582/j.cnki.1674-5884.2016.04.036

收稿日期：20151216

基金項(xiàng)目：2012年湖南省普通高等學(xué)校教學(xué)改革研究項(xiàng)目(255) ；2013年湖南省普通高等學(xué)校教學(xué)改革研究項(xiàng)目(240)

作者簡(jiǎn)介：蔣云霞(1975-)，女，湖南衡陽人，副教授，碩士，主要從事通信與信息系統(tǒng)研究。

中圖分類號(hào)：G640

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1674-5884(2016)04-0111-03