大數據時代高校云資源應用

劉中宇　劉海良

【摘要】大數據是近年來IT界廣泛關注的焦點，在數據量龐大、種類繁多、信息多樣化的大數據背景下，高校教學服務和數據利用方式將發生顯著的變化，并因此帶來新的機會。云計算和大數據技術的完美結合，使得高校可以對其數據資源采取完全數據篩選的方式來進行分析、挖掘隱藏在數據背后的規律，對未來進行預測，以便教師、學生和管理者改變自己的教學、學習和管理決策，最終真正實現學生做到心中有數的學習。

【關鍵字】大數據；云計算；教育資源；數據處理

【中圖分類號】G40-057 【文獻標識碼】A 【論文編號】1009-8097（2013）07-0059-04

引言

“大數據”（Big data）是IT界繼“Web2.0”、“數據挖掘”和“云計算”之后近兩年最流行的詞。大數據革命也正以Apache Hardtop為中心如火如荼地進行著，IBM、EMC、Oracle、VMware和MicrosoR等商業機構已看到了在這場革命中蘊含的商業價值，都爭相投入到研究大數據的領域，都希望能搶先占有市場的主動權，并基于云計算等平臺開發了諸如Biglnsights等產品，大數據技術能夠幫助用戶在茫茫的數據海洋里快速找到所需的資源。面對大數據的這些優勢，教育界也掀起了對大數據的研究熱潮，在《2013NMC地平線報告（高教版）》中非常有預見性的認為“大數據和學習分析”將在未來2至3年成為主流技術。在“大數據”時代如何提高對日益增長的教育資源的處理能力，尋找新的數據計算策略是當今教育界所關注的焦點，而要解決以上的幾個問題，我們就必須理性地認識大數據。

一 大數據概述

2011年5月，全球知名咨詢公司麥肯錫（MckinseyandCompany）發布了《大數據：創新、競爭和生產力的下一個前沿領域》報告，首次提出了“大數據”的概念，并在報告中指出“數據已經滲透到每一個行業和業務職能領域，逐漸成為重要的生產因素；而人們對于海量數據的運用將預示著新一波生產率增長和消費者盈余浪潮的到來”。但到目前為止對大數據的定義還沒有一個明確的界定，但各種表達均存在一個共同點，即：大數據不是傳統意義上的海量數據，而是一種具有數據量龐大、數據種類繁多、數據信息多樣化的特點。據DCCI互聯網數據中心在2012年7月26日舉辦的“Adworld2012互動營銷世界”上給出的數據顯示：2010年，全球數據量已達1.2ZB，而在如此龐大的數據中，只有10%的數據是結構化數據，其余的則是由郵件、視頻、微博等大量的半結構化數據和非結構化數據它還具有市場價值高，預測速度快等特點。如日本大地震發生后僅9分鐘，美國國家海洋和大氣管理局（NOAA）就發布了詳細的海嘯預警。

二 大數據與云計算的結合，給高校教育資源的應用帶來新機會

云計算的出現打破了以前高校信息化建設中的“信息孤島”現象，它成為了各種分散教育資源集中應用的平臺，這使得各種教育資源得到充分的應用，同時，云計算的出現讓教師與學生有了真正的互動，并且它與各種終端設備的無縫連接，為移動學習提供了有力的技術支撐。然而大數據的出現更是讓云計算的應用有了真正的用武之地，它們的有力結合將會釋放出巨大的能量，它幾乎會波及各行各業，對于教育領域而言，他們的結合也將會給高校的教育資源的應用帶來更多的機會。

1 給數字圖書館帶來新變革

對于圖書館行業來說，云計算的出現也改變了傳統圖書館的服務模式，應用云計算的存儲、管理等相關技術為讀者提供網絡化應用，這在很大程度上改變了傳統圖書館的窗口服務模式，因此各省高校都紛紛以云為基礎建立起高校圖書館聯盟以更快、更好地發展圖書館行業，如江西省高校圖書館聯盟平臺應用云技術真正實現了資源共享一體化、服務一體化、管理一體化。然而在大數據時代下的圖書館行業更將面臨新的變革，大數據可應用數據分析、挖掘等技術對存儲在云服務端的各種分散的關系化、結構化和非結構化數據進行分析和挖掘，掌握讀者的借閱行為、愛好、知識應用能力等以預測讀者對知識服務的需求，使圖書館管理人員能根據預測進行決策；也可應用大數據技術對讀者的科研創新合作過程及合作交互型知識服務過程將要發生什么進行分析和預測，從而應對圖書館未來所面對的生存危機，同時也可通過應用大數據的分析，預測以及智能決策等技術為圖書館建立科學及實用的風險評估模型，如數據圖書館館藏信息安全評估模型。

2 讓數據更能引導用戶學習

對于教育界而言，大數據與云技術的結合使得教育資源的應用突破了原有意義上的應用格局，使教師與學生不僅僅是能夠共享存儲在云服務端的教育資源，并且能夠通過大數據的數據分析、數據挖掘等技術對各種類型多樣的數據進行分析和挖掘，以得出隱藏在其背后的數據信息，并為師生提供最合理的策略和方案。教師可以通過大數據技術對學生學習行為、學習愛好等非結構化數據進行分析及挖掘，讓教師做出預測并及時做出決策，更好地引導學生學習，同時也可應用大數據的分析技術對開設的課程進行效果評估，以及時調整培養方案；大數據技術也可對學生某一段時間以來的各種表現，如上網、業余學習等非結構化數據的進行分析，預測出下一個時期將會發生的事情，以便盡早通過這些預測做出最適合學生健康發展的決策，并且基于大數據的數據分析技術為學生推薦學習軌跡，開展適應性學習，自我導向學習。

3 讓高校教育決策者在掌握更多數據后做出更正確抉擇

早期的關系化數據時代，對數據分析基本上是采用抽樣的方法，推及所有人群，其準確性會大打折扣。而在當今大數據時代，利用大數據的分析能力，IT能夠提供給企業決策層的將會是一個從各個領域進行了全面篩選的信息，這能夠讓企業的領導層更準確地了解市場、客戶以及自己的產品。同樣高校云存儲中心為大數據的應用提供了更多關于師生客觀而又真實的行為記錄的數據基礎，數據處理中心對這些零散而又無特定結構的數據應用大數據的數據分析、數據挖掘等技術處理后將會給決策者預示出做出某一決策后未來的發展趨勢，使決策者在了解其發展趨勢之后決定是否做出某一決策，這樣，使得決策者能在低風險下做出正確的決策，真正實現基于數據進行決策。其次，大數據技術也可幫助高校提高教學質量，促進教育公平。高校可從數據中心獲取關于高校內正常教學活動所產生的各項教學數據并在信息部門的協同下應用大數據的數據分析、挖掘技術實現自上而下的開展教學管理優化，促使高校教學管理體變革。

三 大數據時代云資源數據處理及服務

從存儲在云服務端的資源中發現數據并加以利用，再提出相應的策略以指導師生學習是大數據對數據分析、挖掘的最終目標，然而關系數據庫生成的簡單報表遠不能達到此目標，這就需要對數據進行更加深入的分析，這些分析需要依賴復雜的分析模型。運用這些模型人們不僅可以通過數據了解現在發生了什么，而且可以對將要發生什么進行預測，以便在行動上做出一些主動的準備。對于高校師生更是如此，他們不僅希望通過數據了解發生了什么，更是希望通過數據對未來進行預測，以便讓他們做出相應的方案，這樣他們就可以在信息化時代處于主動的狀態而不是被動狀態。

1 大數據時代數據處理

云計算的出現在很大程度上解決了數據存儲以及計算等問題，因此各高校紛紛投入資金以建設以云為中心的教學環境，以提高教育資源的利用率。但對于數據的分析仍然是依賴于簡單的關系數據庫，這種簡單的分析方法對數據的分析，查詢往往耗費大量的時間、人力、物力并且效率不高。面對這些問題，大數據時代提出利用Hadoop技術包括內存檢索技術，數據實時反應技術對大量的教育資源進行分析的方法，這個方法通過構建一個基于云計算的大數據資源處理平臺，并通過Map Reduce編程模型對數據進行管理，以提高對數據分析的速度以及效率。該數據處理平臺首先是對各種碎片數據進行收集，其主要的數據來源是存儲在遠程云服務端的教育資源，包括學生信息云、教室信息云等教育信息資源，在完成數據收集之后，便可對這些碎片數據進行過濾，以提煉出連續的、低信息粒度的數據，而后將提煉出的優質數據交于上層以進行數據分析，利用這個數據處理平臺對幾百甚至是幾千個數據節點進行分析。數據挖掘是利用數據挖掘算法，包括分類算法，回歸算法，聚合算法和降維算法等挖掘算法，對數據分析之后的數據進行數據挖掘，以挖掘出隱藏在數據背后有價值的信息為用戶做出決策奠定基石。在大數據時代對數據的挖掘依然是結合云計算，采用的數據挖掘技術對存儲在云服務端的大量的、不完全的、模糊的教育資源挖掘其隱藏在這些數據背后的事先不知道的，但是又存在著對教師以及學生非常有價值的信息，并及時提出預警和指導幫助，同樣圖書館也可根據讀者的借閱圖書信息數據對讀者的學習行為、借閱行為、愛好等數據分析，提出新的服務方案、策略。其數據處理平臺如圖1所示。

（1）云資源層：云資源層的數據主要來源于云服務端的資源，如教室信息云，學生信息資源云等教育資源，通過Hadoop中的HDFS技術對這些數據信息進行存儲，再利Hbase、ZooKeeper等數據處理和管理工具動態生成MapReduce任務并對其進行計算和聚合高效處理。

（2）模型層：模型層對存儲在數據層里的學生信息數據進行Hadoop的ETL處理輸出匯總信息，包括學生學習行為，與他人協作行為等基本行為模型的分析，以掌握學生性格特征，學習能力，對資源滿意度等基本信息，以期在對學生有更多了解后，給他們提出最適合他們自己學習的指導。

（3）應用層：通過模型層對學生信息或者其他教育資源信息分析后得出的結果，包括學生學習能力，學生性格特征等信息，對教師目前的教學效果以及學生的學習效果進行評估，并對未來師生教與學的效果進行預測，通過對預測的結果進行分析、挖掘給師生提出最佳教與學的策略。

2 大數據時代的教育資源服務

云計算和大數據技術的興起以及用戶對知識需求的變化使高校資源服務得以變遷。在大數據的背景下，高校教育資源在服務方式、途徑、模式等方面將會不斷得改變。未來的高校為教師、學生提供的服務將是通過數據的匯聚、過濾、分析和挖掘這一系列數據操作而得出的。因此，未來的高校提供給師生的服務將更加具有針對性和鮮明性。首先，在大數據的背景下，教育所提供的資源服務對于用戶來說，只需要關注其最終結果而不必知道其內在原因。高校資源服務最終目標是為用戶提供最快、最及時、最準確的服務，對于高校數據處理中心而言只需應用大數據技術對各種碎片數據進行分析和挖掘，以研判采取的某種教學方式對教師的教學效果或學生學習效果是否有影響，如果效果明顯，那么決策者只需決定是否采用這種教學方式，不必要去追究這樣做會使效率改變的原因。其次，大數據時代下的資源服務將會更加主動、更加貼近用戶的實際需求，隨著信息化時代的加速，各高校在以數字校園的背景下紛紛對資源系統進行整合，以最大限度的提高資源的應用，如此一來高校師生不僅可以盡可能的應用資源，而且也可以參與諸如資源平臺建設、服務評價等交互式工作，而系統可以收集用戶在該平臺上留下的“痕跡”以動態的掌握用戶對各種資源的需求，及時滿足用戶的需求，這樣使用戶對資源中心所提供的資源更加認可，而資源中心也會因為用戶的認可而大大增強主動服務的意識。

四 大數據時代高校教育發展趨勢

云計算為大數據提供了更多可彈性擴展，廉價的存儲空間和計算資源，而且其提供的資源不僅種類繁多，并且分布廣泛，是高校異構系統處理數據的有力方式，因此，在大數據時代下，高校教育將會朝著更多方向發展。

1 向以學生心中有數的終生制學習方向發展

大數據時代，高校信息中心將不僅僅是簡單的關系數據，而更多的是記錄了關于學生在資源共享平臺留下的行為方式（瀏覽、下載）等非結構化的數據，而數據處理中心的任務是對這些數據進行分析、挖掘，最終以某種數據表示方式呈現給學生，讓學生了解自己在各類資源子系統的活動頻次及活動類型和某段時期內的學習狀況，同時給學生提出量身定制的學習計劃。因此，這將會使學生從以往的“模糊”學習向“以學生心中有數”的學習發展，真正實現終生制學習。

2 改變傳統教與學課堂，向以交流為主的課堂方向發展

在未來的大數據環境下，課堂將會是以交流為主的學習，在傳統的課堂中教師主要是充當教的角色而很少是學生當中交流的一員，這種方式很難達到很好的教學效果，然而在大數據時代下，通過大數據技術為教師呈現學生的基本情況，教師在了解學生基本情況后可以制作出盡可能包括眾多的學生不理解的知識點的學習視頻。而學生在課后可根據教師制作的教學視頻，有目的、有選擇性地觀看，回到傳統的課堂將疑難點與教師或同學面對面的交流，這樣一個以交流為主的課堂學生積極性也會更高，而且學習效率也將大大提高。

3 使教室管理向更高效、更安全、更快捷的方向發展

傳統的實驗室或多媒體教室的管理通常是一個管理人員管理一個機房或某幾個機房，然而這樣的管理方式卻不是高效率的，而且大大浪費高校的人力資源，在大數據時代，高校內可將校內所有計算機實驗室或者多媒體教室的信息存儲到數據中心，利用大數據技術，對不同校區、不同教室類型、不同學期、不同時段以及不同教室里的教學設備產生的各項參數進行分析，挖掘后，并通過反饋的數據對某一教室里在某一時刻的某一設備進行一個未來的趨勢的預測，判斷是否可能發生故障或者該設備是否可以承受高負載的運行等情況，這樣可使管理人員提前對這些將會發生故障的設備進行更換，以避免較大的損失，這將會大大提高設備的利用率，并且在這種趨勢下只需少數管理員在設備監控中心對校內所有機房進行監控，這樣大大節省了高校的人力、物力、財力。

五 結束語

大數據是隨著移動互聯、云計算等技術的成熟而出現并不斷發展起來的，并且受到IT界、學術界的廣泛關注，它的出現為云計算的更多實際應用找到了更大的舞臺，大數據通過利用云計算的超強大的數據存儲以及數據計算能力，可以更加方便的處理大數據的海量信息，為用戶提供了更方便、更快捷的服務，它將是人類走向“智慧”的鑰匙。然而大數據也面臨著諸多技術問題，如大數據的數據表示方法問題，高效率低成本的大數據存儲問題等，但是隨著市場的發展和信息技術的不斷成熟，圍繞大數據的問題將會得到解決。