大數據時代的高校信息管理中心對策

陳甜遠

摘 要：高校信息管理中心在大數據時代，面臨著存儲空間巨大、管理復雜、存儲利用率低下以及拓展數據分析新業務的諸多挑戰。針對大數據大量化、多樣化、快速化、不確定和價值難的特性，本文提出“高效存儲”和“云存儲”的技術來解決現有存儲空間不足和存儲效率低下的問題。而Apache Hadoop的開源分布式數據處理平臺對信息管理中心今后的數據分析職能指明了方向。

關鍵詞：大數據；數據管理中心；高效存儲；云存儲；分布式數據處理

1 前言

隨著我們進入以海量數據的結構復雜、處理速度加快為特征的新信息化時代，“大數據”（Big Data）這個新名詞不得不被我們提上議事日程。事實上，大數據不是作為一種技術被提出，而是由于不斷增長的數據量和數據類型而逐漸衍生出的社會現象。這為高校帶來機遇和挑戰，信息管理中心作為高校實施教育信息化的重要部門，如何在大數據時代，提高海量增長數據存儲處理能力、尋求新的信息服務途徑，是信息管理中心必須思考和研究的，只有理性認識“大數據”及其給我們的環境帶來的改變，分析挖掘海量數據的內在聯系并歸納得出新的結論，才能為高校信息化建設發展提供更好的服務。

2 大數據的概述

“云計算”、“物聯網”等熱點的余溫還未過去，“大數據”這一概念已經迫不及待地闖入我們的視野，并成為時下最火熱的互聯網信息技術行業詞匯。美國互聯網數據中心指出，互聯網上的數據每年將增長50%，每兩年便將翻一番，而目前世界上90%以上的數據是最近幾年才產生的。2012年，美國已經制定了“大數據研發計劃”，可見對大數據的重視程度已經上升為一種國家戰略。

最早提出“大數據”時代已經到來的機構是全球知名咨詢公司麥肯錫。麥肯錫在研究報告中指出，數據已經滲透到每一個行業和業務職能領域，逐漸成為重要的生產因素；而人們對于海量數據的運用將預示著新一波生產率增長和消費者盈余浪潮的到來。隨著互聯網技術的不斷發展，數據本身就是資產，這一點在業界已經形成共識。事實上，全球互聯網巨頭都已意識到了“大數據”時代數據的重要意義。包括EMC、惠普、IBM、微軟在內的全球IT 巨頭紛紛通過收購“大數據”相關廠商來實現技術整合，亦可見其對“大數據”的重視。那么到底什么是大數據，業界內還沒有一個準確的定義。中科院計算研究所給出的定義：“大數據是指無法在可容忍的時間內用傳統IT技術和軟硬件工具對其進行全生命周期內的感知、獲取、管理、挖掘和服務的數據集合”。大數據可分成大數據技術、大數據工程、大數據科學和大數據應用等領域。目前人們談論最多的是大數據技術和大數據應用。大數據從某種程度上說是數據分析的前沿技術。簡言之，從各種各樣類型的數據中，快速獲得有價值信息的能力，就是大數據技術。

2.1 大數據的特點

大數據區別于傳統數據，是因為它有4V+1V的特性，即大量化（Volume）、多樣化（Variety）、快速化（Velocity）、不確定（Varacity）和價值難（Value）。

第一，數據體量巨大。數據容量從TB級別躍升到PB級別，世界數據總量已經達到ZB的數量級，大企業的數據量已經達到PB數量級。第二，數據類型繁多。目前非結構化數據已經占到世界數據總量的75%以上，數據間的互相作用使得其關聯性更加復雜。第三，數據真偽難辨。隨著數據量增大，數據的真實性難以辨別，例如對于網上發布的信息來源是否屬實都難以馬上判斷。第四，數據處理速度快，要達到秒極，許多“大數據”應用環境需要較高的IPOS性能，甚至需要實時獲取有價值的數據。第五，價值密度低。面對每時每刻產生的海量數據，需要專業的技術工具進行篩選、分析出有價值的信息，否則，會變成不斷增長的數據垃圾。

2.2 大數據帶來的影響

一個大數據的新時代正在到來，其對商業、政府、民主和文化的影響將是巨大的。首先，以往我們進行商業判斷時，大多靠我們的經驗和直覺，所以會出現不是很確定的判斷。大數據時代很多企業的正確決策是依靠數據分析得出，例如企業通過內部數據挖掘，更精準地找到用戶，降低營銷成本，提高企業銷售率，依靠大數據技術為企業帶來巨大的運營效益。而政府可以通過收集在網上人們的搜索、發帖和微博消息等數據信息，分析人們的行為和情緒，從數據中找到民意所向，及時優化策略，調整措施，提高政府辦事效率。大數據可以幫助人們開啟循“數”管理的模式，也是我們當下“大社會”的集中體現，三分技術，七分數據，得數據者得天下。

3 大數據時代的信息管理中心發展

3.1 當前高校信息管理中心職能情況

伴隨著高校信息化的發展，高校信息管理中心在教育信息化建設和數據中心管理中扮演著越來越重要的角色，其名稱也是隨著職能的發展而變化，由最初的電教中心，到教育技術中心，再到現在的信息管理中心。目前它負責學校信息化的日常工作，信息資源的收集、制作、利用、發布的過程、方法和手段，承擔教師現代教育技術的培訓和指導，制定學校信息化建設發展規劃和信息化工作的各項規章制度。信息管理中心的職能大概范圍分為4個部分：

（1）校園網建設：負責園區網、互聯網、廣播電視網的建設、運行、管理和維護。

（2）信息資源建設：負責校園門戶網信息的建設、維護和日常更新，對信息資源的收集和采編，建立學校資源庫，建立各種資源應用系統，為教學和辦公提供服務。

（3）電教服務：為教員進行多媒體技術、網絡技術和辦公軟件應用等信息化培訓工作，提教員高信息化應用技能。維護電教設備，以及安排好多媒體教室的使用。

（4）照相錄像保障：承擔校內宣傳和教學工作的錄像和照相保障任務，以及后期的視頻采集、光盤刻錄、硬盤復制、專題片制作、視頻圖片的分類保存等。

3.2 信息管理中心面臨的問題

（1）大數據存儲管理問題。首先，存儲空間巨大給存儲硬件帶來壓力。大數據時代信息管理中心的數據管理已經不止是簡單的網頁文本、照片和視頻文件。數據來源不斷增多，例如移動互聯網、手機、平板電腦、pc以及遍布校園內的傳感器和監控器等，這些都是數據的來源或者承載著，它們每天帶給我們大容量（通常可以達到PB級的數據規模）的數據，這就需要購置大量的存儲設備去滿足不斷增長的需求，而傳統模式的數據存儲方式不但擴展能力有限，而且擴展方法比較麻煩。

其次，容量效率低。在高校多種應用系統的環境下，存儲系統資源相互獨立，往往造成存儲系統的利用率不均衡，有的存儲設備雖然已經飽和，而有的利用率卻不到30%，這就造成存儲設備的資源浪費。

最后，對于非結構化數據存儲管理效率低。對各種類型的數據如辦公文檔、圖像、音頻、視頻、電子郵件、超媒體等非結構化數據來說，數據處理操作不僅需要使用不同的文件處理軟件，而且要在人工參與下才能完成。過多的人工操作會大大增加數據處理的時間，致使信息管理中心無法快速獲得重要的信息，工作效率降低。

（2）傳統工作流程出現的問題。高校信息管理中心以信息資源建設，教育技術保障為主的傳統職能，在大數據時代已經不能滿足高校信息化發展的要求，信息管理中心不僅需要收集、存儲大量的數據信息，還要在這些原始數據的基礎上通過專業技術手段分析、挖掘數據，得到更為有效的信息資源，為高校教育發展和信息化建設的決策提供數據參考。而傳統的數據管理方式適用于存量不大并且實時性要求不高的結構化數據，面對大容量的非結構化數據只是杯水車薪。

3.3 怎么應對大數據的挑戰

面對大數據帶給我們的諸如存儲空間巨大、管理復雜、存儲利用率低下、能源消耗巨大等諸多挑戰，為了提高數據存儲數量和效率，人們提出了“高效存儲”、“云計算”等技術來解決存儲效率方面的問題。

首先，高效存儲技術通常包括數據壓縮、重復數據刪除、自動精簡配置等。但其單一技術往往難以顯著地提高存儲利用效率、降低能耗、降低成本，實際中通常綜合運用多種技術以獲得更佳的整體效果。

（1）數據壓縮技術原理將收到的數據通過存儲算法存儲到更小的空間中去。最新研發出的在線壓縮（RACE）技術，使得數據壓縮技術發生了極大的改變，它具有更快捷更準確的活躍數據判斷能力和縮減能力，在不降低性能要求的情況下，將存儲需求最多可降低80%。與傳統壓縮技術不同，對RACE技術，當主數據在首次寫入時即被壓縮，當大量數據在主存中雜亂無章地存儲時，可以有效地控制存儲，進而降低功耗，提高存儲系統中的磁盤和緩存的性能和效率。

（2）重復刪除技術，通過刪除存儲設備中數據集中重復的數據，只保留其中一份，從而消除冗余數據，對存儲容量進行優化。其中以Dedupe技術為例，它將文件變成定長或變長的數據塊，采用MD5/SHA1等Hash（散列）算法為數據塊計算指紋。具有相同指紋的數據塊即可認為是相同的數據塊，存儲系統中僅需要保留一份，將數據縮減到原來的1/20-1/50。由于大幅度減少了對物理存儲空間的需求，進而減少傳輸過程中的網絡帶寬、節約設備成本。

（3）自動精簡配置，是一種全新的存儲空間管理技術。在傳統存儲空間分配過程中，系統往往預先給某個應用分配足夠大的空間，實際使用容量僅占其20%-30%，這是一種很大的浪費。自動精簡配置技術是利用虛擬化方法減少已分配但未使用的存儲容量的浪費，用戶需要多少存儲空間系統則按需分配，它不會一次性地劃分過大的空間給某項應用，而是通過塊或塊組將資源寫入特定卷。當該項應用所產生的數據增長、分配的容量空間已不夠的時候，系統會兩次從后端存儲池中補充分配一部分存儲空間。因此自動精簡配置技術優化了存儲利用，擴展了存儲管理功能，是解決存儲過量供給的最有效方式。

其次，“大數據”的天生就與“云計算”有著密切聯系。云計算的蓬勃發展，客觀上開啟了大數據時代的大門。如果用高速公路來比喻云計算，那么大數據就是所有汽車中的貨物。云計算為大數據提供了存儲空間、訪問渠道及運算能力。云存儲是在云計算概念上延伸和發展的一個新的概念，是指通過集群應用、網絡技術或分布式文件系統等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。信息管理中心可以通過租用云服務提供商的服務，將大部分數據遷移至云存儲上，所有的升級、維護等管理任務均由云存儲服務提供商來完成，而不必考慮存儲容量、存儲設備類型、數據存儲位置，以及更多的關于數據的可用性、可靠性和安全性等繁雜的技術層面，避免了購買硬件設備及技術維護而投入的精力，節省下來的資源可以用于更多的業務發展。

最后，迎接大數據的挑戰，不僅僅是硬件的準備，而對海量數據進行挖掘分析，得到有價值的信息，才是大數據的真正本質。商家可以通過與互聯網運營商合作從搜索引擎、Facebook的帖子和微博消息中分析人們的行為和情緒的細節，挖掘用戶的行為習慣和喜好，找到更符合用戶興趣和習慣的產品和服務，并有針對性地調整和優化。同樣，高校信息管理中心可以從收集到的大量數據中分析得到有效信息來優化職能，更有效的服務。對大數據分析，需要建設非結構化數據分析平臺，當前平臺主要有并行數據庫、MapReduce及基于兩者的混合架構。而Apache Hadoop開源分布式數據處理平臺以其大數據特性成為業界焦點，它能夠對大容量數據進行分布式處理，具有高可靠性、高效性及高擴展性。并且用戶可以輕松地在Hadoop上開發和運行處理海量數據的應用程序。因此，要熟悉和掌握Hadoop分布式數據分析平臺，對信息管理中心的技術人員提出了更高的要求，需要及時更新知識結構，盡快熟悉和掌握分布式數據處理的原理和應用，成為大數據時代背景下高校信息管理中心的數據人才。