大數據視角下高校綜合信息分析平臺的構建

管廷昭++夏艷東

摘要：物聯網和云技術的發展促進高校信息化向新的階段智慧校園發展，隨之帶來的數據源的擴大。如何處理、存儲和分析這些結構化和非結構化的數據是高校信息化建設面臨的新問題，而大數據的出現為解決這一問題提供了可能。文章在對高校信息化數據和大數據研究的基礎上，提出了基于大數據環境的高校綜合信息分析平臺建設的框架，為從大數據的視角下分析處理數據，建設綜合信息分析平臺，更好的為高校決策提供輔助支撐提供可能。

關鍵詞：大數據 智慧校園 綜合信息分析平臺

中圖分類號：TP39 文獻標識碼：A 文章編號：1007-9416（2014）08-0073-02

1 高校信息化數據現狀

利用先進的計算機和網絡技術，構建數字化和信息化校園，服務于高校教學、科研和管理的需要，促進教學質量、科研水平和服務社會能力的提高，是高校進行信息化建設的最終目的，也是高校邁向世界一流大學的必由之路。隨著云計算和物聯網技術的發展和成熟，高校信息化建設正在從數字化校園向新的階段智慧校園邁進。

所謂智慧校園指的是以物聯網為基礎的智慧化的校園工作、學習和生活一體化環境，這個一體化環境以各種應用服務系統為載體，將教學、科研、管理和校園生活進行充分融合。智慧校園的三個核心的特征：一是為廣大師生提供一個全面的智能感知環境和綜合信息服務平臺，提供基于角色的個性化定制服務；二是將基于計算機網絡的信息服務融入學校的各個應用于服務領域，實現互聯和協作；三是通過智能感知環境和綜合信息服務平臺，為學校與外部世界提供一個相互交流和相互感知的接口。

智慧校園所擁有的數據信息不僅僅包括教務，科研，管理等產生的結構化數據，還包括學生上網、微博和教師上課產生的課件、音視頻等產生的非結構化數據。因為目前中國高校人數一般都過萬，人數較多，所有這些結構化和非結構化數據構成高校信息的數據源，并且規模較大。面對眾多數據，僅僅利用傳統大型關系數據庫對結構化數據進行分析，很多時候并不能提供全面的業務支持，必須考慮非結構化數據才能獲取更全面的信息，這是智慧校園必須面對的難題和挑戰。

大數據是繼云計算和物聯網之后新興的計算機技術，其目標就是從由結構化和非結構化組成的數據海洋中挖掘信息、判斷趨勢、提供支持。

2 大數據研究概述

2.1 大數據的概念及特征

目前大數據還沒有一個公認的定義，不同的定義基本都是從大數據的特征出發所給出的。如國際數據公司認為大數據應當具有價值性，大數據的價值往往呈現稀疏性的特點。IBM公司認為大數據必然具有真實性。維基百科將大數據定義為：大數據是指利用常用軟件工具捕獲、管理和處理數據所耗時間超過可容忍時間的數據集。大數據的特征通常用四個V開頭的關鍵詞來描述：數量（Volume）、種類（Variety）、速度（Velocity）和價值（Value）。

（1）數據體量巨大（Volume）。截至目前，人類生產的所有印刷材料的數據量是200PB（1PB=210TB），而歷史上全人類說過的所有的話的數據量大約是5EB（1EB=210PB）。當前，典型個人計算機硬盤的容量為TB量級，而一些大企業的數據量已經接近EB量級。

（2）數據類型繁多（Variety）。這種類型的多樣性也讓數據被分為結構化數據和非結構化數據。相對于以往便于存儲的以文本為主的結構化數據，非結構化數據越來越多，包括網絡日志、音頻、視頻、圖片、地理位置信息等，這些多類型的數據對數據的處理能力提出了更高要求。

（3）處理速度快（Velocity）。這是大數據區分于傳統數據挖掘的最顯著特征。根據IDC的“數字宇宙”的報告，預計到2020年，全球數據使用量將達到35.2ZB。在如此海量的數據面前，處理數據的效率就是企業的生命。

（4）價值密度低（Value）。價值密度的高低與數據總量的大小成反比。以視頻為例，一部1小時的視頻，在連續不間斷的監控中，有用數據可能僅有一二秒。如何通過強大的機器算法更迅速地完成數據的價值“提純”成為目前大數據背景下亟待解決的難題。

2.2 大數據的關鍵技術

大數據來源于互聯網、管理系統和物聯網等信息系統，經過大數據處理系統的分析挖掘產生新的知識，用于支撐決策或業務的自動智能化運轉。從數據在信息系統中的生命周期看，大數據從數據源到最終應用需要經過數據準備、數據管理、計算處理、數據分析、知識展現五個環節，每個環節都不同程度面臨技術上的挑戰。大數據主要技術有：

（1）文件系統：該系統提供最底層存儲能力的支持，是支撐上層應用的基礎。Google公司最早開發出了自己的文件系統GFS（Google File System），隨后微軟也開發了自己的Cosmos，隨后又出現了HDFS。

（2）數據庫系統：由于關系模型的分布式數據庫不能應對大數據時代大規模的壓力，相應地提出了許多新型數據庫系統，如Google的Bigtable，Amazon的Dynamo等等，直到現在形成統一的NoSQL。雖然NoSQL沒有準備的定義，但一般認為具有模式自由、簡易備份、最終一致性、支持海量數據等特征。同時形成了對應的索引與查詢技術。

（3）數據分析：目前最著名的計算模型為Google的MapReduce。Google公司目前針對MapReduce離線處理模式的不足，提出了基于Web數據級別的交互式數據分析系統Dremel，能夠實現極短時間內的海量數據分析。在離線與實時處理模式上，已經出現了二者融合的趨勢。

（4）大數據處理工具：Hadoop是目前最為流行的大數據平臺。目前對該平臺進行改進以便應用到各種場景是研究的熱點之一。除了Hadoop外還有其他處理工具。

3 高校綜合信息的大數據分析

智慧校園是一個包含云計算、物聯網等技術的綜合體。智慧校園的設計理念是通過新一代信息技術的應用使師生及管理人員能以更加精細和動態的方式開展教學和管理。當今師資建設、教學質量、學科專業建設、學生就業形勢、網絡教學和學生心理動態等眾多教育問題成為高校面臨的重要問題。利用大數據技術對基于物聯網和云計算等新技術的校園信息化設施展開大規模的數據抓取，并實施有效的深度數據分析，可為教育資源優化、人才質量提高提供科學的決策依據。透明的數據更能體現以學生為中心的教育思想，便于提前規劃專業學習方向，融合學生與教師之間的矛盾，緩解社會就業壓力。endprint

擁有幾萬人的高校，師生每時每刻都活動都產生大量的結構化和非結構化數據，對于這些數據的分析和利用，可以依托信息技術構建大數據處理流程。如前所述，大數據處理流程包括數據準備、數據管理、計算處理、數據分析、知識展現五個環節。

數據準備包括數據源的確立、數據存儲和傳輸所需的基礎設施。目前高校信息化建設基礎設施建設已經比較完備，擁有數據存儲和高速的以太網網絡，為數據存儲和傳輸提供保障。高校數字化校園建設為業務系統的結構化數據提供了數據標準規范，這些都為大數據處理做好了準備。

數據的管理是指在服務器集群或大型計算機中對各個業務系統或者師生活動所產生的數據進行質量控制并管理數據信息的整個生命周期。通過關聯規則、回歸和分類預測、聚類分析等方法分析數據之間的相互聯系。

計算處理包括數據倉庫、語境搜索、Hadoop系統等。數據倉庫是信息化數據按照預先制定的規則進行存儲，然后進行數據庫分析。語境搜索是指對信息化數據進行索引與搜索，在上一步信息整合的基礎上進一步實現上下文協同觀察。Hadoop系統是一個分布式基礎架構，實現一個分布式文件系統，適合大數據存儲，可以高效的分析處理存儲為PB級的結構化和非結構化數據信息。

數據分析包括BI分析、預測分析、內容分析、輔助決策分析。在高校的信息化分析平臺中，主要是對信息內容進行分析，為學校政策的制定、教師教學科研情況以及學生學習和心理狀態等提供智力支持。

知識展現是指利用最佳的可視化組合，收集、提取并展現數據的分析結果，給用戶的判斷和決策做出一個輔助支持。

綜合上述分析，我們可以構架出在大數據環境下高校數據綜合信息分析的整體框架圖（如圖1所示）。

4 未來展望

智慧校園是高校信息化建設的新階段，未來一個時期建設智慧校園是高校信息化的主要任務，構建安全、穩定、高效、節能環保的智慧校園是高校發展規劃的重要組成部門，其中將各種應用和數據結合是信息化建設的重點。隨著各種應用的廣泛和數據的增多，應用大數據技術處理信息化建設中的結構化、半結構化和非結構化數據，為高校發展和決策提供智力支持將是未來一個考慮方向。

參考文獻

[1]孟小峰，等.大數據管理：概念、技術與挑戰[J].計算機研究與發展，2013，50（1）：146-149.

[2]周寶曜，等.大數據戰略、技術、時間[M].電子工業出版社.

[3]王元卓，等.網絡大數據：現狀與展望[J].計算機學報，2013.6.

[4]陶學嬌，等.大數據研究綜述[J].系統仿真學報.2013.08，Vol.25S.

[5]羅軍鋒，等.大數據時代的高等教育信息化[J].中國教育信息化，2014.01.

[6]宓詠，等.大數據創新智慧校園服務[J].中國教育信息化，2013.24.

[7]張軍，等.大數據時代的國家創新系統構建問題研究[J].中國科技論壇.2013.12.endprint

擁有幾萬人的高校，師生每時每刻都活動都產生大量的結構化和非結構化數據，對于這些數據的分析和利用，可以依托信息技術構建大數據處理流程。如前所述，大數據處理流程包括數據準備、數據管理、計算處理、數據分析、知識展現五個環節。

數據準備包括數據源的確立、數據存儲和傳輸所需的基礎設施。目前高校信息化建設基礎設施建設已經比較完備，擁有數據存儲和高速的以太網網絡，為數據存儲和傳輸提供保障。高校數字化校園建設為業務系統的結構化數據提供了數據標準規范，這些都為大數據處理做好了準備。

數據的管理是指在服務器集群或大型計算機中對各個業務系統或者師生活動所產生的數據進行質量控制并管理數據信息的整個生命周期。通過關聯規則、回歸和分類預測、聚類分析等方法分析數據之間的相互聯系。

計算處理包括數據倉庫、語境搜索、Hadoop系統等。數據倉庫是信息化數據按照預先制定的規則進行存儲，然后進行數據庫分析。語境搜索是指對信息化數據進行索引與搜索，在上一步信息整合的基礎上進一步實現上下文協同觀察。Hadoop系統是一個分布式基礎架構，實現一個分布式文件系統，適合大數據存儲，可以高效的分析處理存儲為PB級的結構化和非結構化數據信息。

數據分析包括BI分析、預測分析、內容分析、輔助決策分析。在高校的信息化分析平臺中，主要是對信息內容進行分析，為學校政策的制定、教師教學科研情況以及學生學習和心理狀態等提供智力支持。

知識展現是指利用最佳的可視化組合，收集、提取并展現數據的分析結果，給用戶的判斷和決策做出一個輔助支持。

綜合上述分析，我們可以構架出在大數據環境下高校數據綜合信息分析的整體框架圖（如圖1所示）。

4 未來展望

智慧校園是高校信息化建設的新階段，未來一個時期建設智慧校園是高校信息化的主要任務，構建安全、穩定、高效、節能環保的智慧校園是高校發展規劃的重要組成部門，其中將各種應用和數據結合是信息化建設的重點。隨著各種應用的廣泛和數據的增多，應用大數據技術處理信息化建設中的結構化、半結構化和非結構化數據，為高校發展和決策提供智力支持將是未來一個考慮方向。

參考文獻

[1]孟小峰，等.大數據管理：概念、技術與挑戰[J].計算機研究與發展，2013，50（1）：146-149.

[2]周寶曜，等.大數據戰略、技術、時間[M].電子工業出版社.

[3]王元卓，等.網絡大數據：現狀與展望[J].計算機學報，2013.6.

[4]陶學嬌，等.大數據研究綜述[J].系統仿真學報.2013.08，Vol.25S.

[5]羅軍鋒，等.大數據時代的高等教育信息化[J].中國教育信息化，2014.01.

[6]宓詠，等.大數據創新智慧校園服務[J].中國教育信息化，2013.24.

[7]張軍，等.大數據時代的國家創新系統構建問題研究[J].中國科技論壇.2013.12.endprint

擁有幾萬人的高校，師生每時每刻都活動都產生大量的結構化和非結構化數據，對于這些數據的分析和利用，可以依托信息技術構建大數據處理流程。如前所述，大數據處理流程包括數據準備、數據管理、計算處理、數據分析、知識展現五個環節。

數據準備包括數據源的確立、數據存儲和傳輸所需的基礎設施。目前高校信息化建設基礎設施建設已經比較完備，擁有數據存儲和高速的以太網網絡，為數據存儲和傳輸提供保障。高校數字化校園建設為業務系統的結構化數據提供了數據標準規范，這些都為大數據處理做好了準備。

數據的管理是指在服務器集群或大型計算機中對各個業務系統或者師生活動所產生的數據進行質量控制并管理數據信息的整個生命周期。通過關聯規則、回歸和分類預測、聚類分析等方法分析數據之間的相互聯系。

計算處理包括數據倉庫、語境搜索、Hadoop系統等。數據倉庫是信息化數據按照預先制定的規則進行存儲，然后進行數據庫分析。語境搜索是指對信息化數據進行索引與搜索，在上一步信息整合的基礎上進一步實現上下文協同觀察。Hadoop系統是一個分布式基礎架構，實現一個分布式文件系統，適合大數據存儲，可以高效的分析處理存儲為PB級的結構化和非結構化數據信息。

數據分析包括BI分析、預測分析、內容分析、輔助決策分析。在高校的信息化分析平臺中，主要是對信息內容進行分析，為學校政策的制定、教師教學科研情況以及學生學習和心理狀態等提供智力支持。

知識展現是指利用最佳的可視化組合，收集、提取并展現數據的分析結果，給用戶的判斷和決策做出一個輔助支持。

綜合上述分析，我們可以構架出在大數據環境下高校數據綜合信息分析的整體框架圖（如圖1所示）。

4 未來展望

智慧校園是高校信息化建設的新階段，未來一個時期建設智慧校園是高校信息化的主要任務，構建安全、穩定、高效、節能環保的智慧校園是高校發展規劃的重要組成部門，其中將各種應用和數據結合是信息化建設的重點。隨著各種應用的廣泛和數據的增多，應用大數據技術處理信息化建設中的結構化、半結構化和非結構化數據，為高校發展和決策提供智力支持將是未來一個考慮方向。

參考文獻

[1]孟小峰，等.大數據管理：概念、技術與挑戰[J].計算機研究與發展，2013，50（1）：146-149.

[2]周寶曜，等.大數據戰略、技術、時間[M].電子工業出版社.

[3]王元卓，等.網絡大數據：現狀與展望[J].計算機學報，2013.6.

[4]陶學嬌，等.大數據研究綜述[J].系統仿真學報.2013.08，Vol.25S.

[5]羅軍鋒，等.大數據時代的高等教育信息化[J].中國教育信息化，2014.01.

[6]宓詠，等.大數據創新智慧校園服務[J].中國教育信息化，2013.24.

[7]張軍，等.大數據時代的國家創新系統構建問題研究[J].中國科技論壇.2013.12.endprint