讓沉睡的數據說話

文/本刊記者 王左利

讓沉睡的數據說話

文/本刊記者 王左利

“從沉淀的數據中發現有價值的信息，深入挖掘、綜合利用、轉化為知識，才是信息系統真正價值的體現，而這方面可拓展的空間幾乎是不可限量的?！?/p>

大數據時代的使命

2012年，美國發起的“大數據”研究吸引了全球的目光。奧巴馬稱：“通過提高我們從大型復雜的數字數據集中提取知識和觀點的能力，承諾幫助加快在科學與工程中的步伐，加強國家安全并改變教學研究。”透露出美國進行大數據研究的重要目標之一——教育。

為了推動大數據的研究，美國聯邦政府的部門和機構宣布新的2億美元的投資，“提高從大量數字數據中訪問、組織、收集發現信息的工具和技術水平?！?/p>

“大數據”時代的腳步悄然而至，高校也身在其中。在高教學會信息化分會青委會日前舉行的一次技術論壇上，一直專注于數據分析與挖掘工作的清華大學信息化技術中心袁芳做的一個報告引起了與會者的共鳴：《如何在大數據時代掘寶？》她認為，高校也正面臨著大數據所帶來的挑戰與機遇。“隨著互聯網應用的豐富，每個學生和老師每天都在生產著各種各樣的數據，當數據量達到一定級別后，就可以進行很有意義的分析挖掘工作。”她認為，海量數據的分析將對教育信息化產生深刻的影響和沖擊。她覺得，“高校也要關注大數據技術的研究和應用，智謀未來?！?/p>

大數據時代勢不可擋。相關人士表示，未來的十年將是一個“大數據”引領的智慧科技時代。隨著社交網絡的逐漸成熟，移動帶寬迅速提升，云計算、物聯網應用更加豐富。更多的傳感設備、移動終端接入到網絡，由此產生的數據及增長速度將比歷史上的任何時期都要多，都要快。

目前，幾乎所有的高校都在進行數據中心的擴建，因為這兩年數據的發展與前幾年比較已經不是一個數量級，以往數據中心的空間已經無法適應當前快速發展的要求?！澳壳拔倚祿Y源正以每年30%到50%的速度在增長?！敝醒胴斀洿髮W信息網絡中心主任葉新恩說。

在北京師范大學，校務管理信息系統數據有500~600G，校園卡系統日記1TB~2TB，校園網日記數據大約有1TB?！皬拇鎯徺I量的增長來看，2011年學校大約增加存儲400TB，尤其是一些理科科研單位，如氣候氣象數據，遙感影像數據等存儲量很大，其他教學類資源存儲量也非常大?！北睅煷缶W絡與信息中心主任劉臻說。

在清華大學，目前電子校務系統的運行業務數據大致有1.5億條，這還并不包括系統日志、校園卡交易等流水數據，換算到存儲量的話，大致是7~8T的樣子，其中并不包括視頻等流媒體數據。

另外，非常關鍵的是，高校當今數據庫里的內容不僅是多，而且結構已發生了極大改變，大量的數據是非結構化數據。據統計，全球結構化數據增長速度約為32%，而非結構化數據增速高達63%。這個趨勢在高校亦然。

袁芳認為，對于傳統的結構化的數據，由于已經達到一定數量，以關注其應用為主，而對于正在生長的海量的非結構化數據，則要關注怎么收集、用什么方式有效管理。“學校正在掌握著越來越多活的數據，這為我們提供了新的方向——尋找某個規律背后的原因。”她說。

數據挖掘前的準備

數據挖掘，也稱為數據庫中的知識發現，是從數據庫中的數據抽取隱含的、未知的和潛在有用的信息(如知識規則、約束和規律等) 的非平凡的過程。確切地講，數據挖掘是一種決策支持過程，它主要基于AI、機器學習、統計學等技術，高度自動化地分析各組織原有的數據，做出歸納的推理，從中挖掘出潛在的模式，為管理人員決策提供支持。

國外高校教學管理中, 數據挖掘已成為提高教學管理質量與水平的一種有力工具。如美國學校能夠以85%的精確度去預測學生的升學率, 從而把注意力集中在輟學風險比較大的學生身上。而在國內, 數據挖掘在各領域的運用與實踐尚不普遍, 不少的企業或部門仍處于觀望與考慮之中, 在高校教學管理中的應用更是有待于人們去深入地研究。

從海量數據中尋找出有意義的規律，并為高校未來的發展提供決策上的支撐，使高校邁入“智慧”的校園，是信息化數據挖掘的最終目標。

“要實現很好的數據分析，需要有兩個前提條件：一是足夠的數據量；二是數據必須是可用的、真實的，這就需要數據質量的保證?！痹颊f。

但是目前普遍存在的問題是數據質量不高。許多高校的數據分析、利用仍停留在初級水平，數據很難被發掘利用也反映了在系統建設和使用過程中的數據不準確、不精確、不一致等諸多質量問題。

第一，數據整合做得不深入?，F在，整合是大勢所趨，是高校信息化建設必須面對的挑戰。一方面，隨著信息化應用的深入和普及，各業務間出現了大量的數據交換需求；由于時間積累、建設方式多樣和系統耦合度因素，數據交換呈網狀結構，隨著需求的增加，授權越來越復雜，亟需對現有信息或數據進行整合，提高信息資源的利用率。另一方面，隨著非結構化數據的增多，需要對業務類的結構化信息和資源辦公類的非結構化數據整合。

第二，標準化的挑戰。目前，信息系統中的業務數據定義不清、概念混淆，程序設計時控制和校驗不嚴，系統使用時數據輸入偏差等原因，導致數據質量問題很多。業務數據標準化程度低，不僅導致數據質量問題，也給數據集成帶來了很多麻煩。

第三，數據的利用率很低?！皵祿绻麅H僅是保存并沉睡在系統中，那么其質量問題很難暴露出來，只有被使用時，問題才會逐漸顯現?！?/p>

他表示，要想提高數據質量，首先需要把好數據輸入的源頭、保證輸入的數據符合要求，其次通過技術手段控制數據輸入的格式、標準和要求。

此外，需要指出的是，數據質量并非單純的技術問題。很多時候，數據的真實性有待商榷。比如，同一所高校不同部門針對同一項目給出的數據不一致。

事實上，數據質量不僅是一個技術問題，更是一個管理問題。業務部門需要利用數據來處理業務工作，意味著要為數據完整性、完備性、準確性給出定義和語義層次上的解釋。解決數據質量問題往往要耗費較多資源及增加管理成本，因此還需要管理層在數據質量和所花費的代價兩方面進行平衡?？傊瑪祿|量問題不單單是一個技術問題，更需要來自管理和技術兩方面的協同努力。

數據分析能做什么

數據挖掘被信息產業界視為數據庫技術的前沿,數據庫技術的新應用領域。它在數據倉庫、決策支持、市場策略和金融預測等領域具有廣泛的應用前景。全世界排名前列的大型和超大型公司95 %以上都建立了數據倉庫和應用了數據挖掘技術。

袁芳表示，要進行數據分析，首先必須有充足的有質量的數據。之所以說現在做數據挖掘的時機是成熟的，是因為高校尤其是一些大型高校擁有大量的教學、管理、科研等數據，這為從各個層面進行數據分析提供了信息基礎。此外，最近幾年移動互聯網技術、微博等SNS網站的推出，使學校擁有了很多可用的、有價值的海量數據。這也意味著，要進行信息挖掘，必須充分擴展應用，才有可能掌握更多的數據。

目前，進行數據挖掘的高?；径际切畔⒒龅煤芎?、規模較大的學校，其主要原因是他們有充足的數據量。此外，也有人力來做這部分的工作。

在數據分析中，去年非常著名的是，通過對最近幾年清華和北大本科生的所屬地域對比分析發現，來自農村的學生所占比例相比10年前大大落后。這些數據從一定層面上反映出深刻的社會問題，值得全民關注。

總體來看，目前高校對信息數據的挖掘主要集中在幾個方面：一、針對網絡系統運行所做的數據分析；二、針對教學教務管理所做的支持；三、針對特定學生的分析；四、針對科研所做的數據分析支持。

比如，華東師范大學對校園網站數據進行分析，從而改善用戶體驗。他們在數據分析后發現，“Chrome、Firefox、Safari等瀏覽器一直被認為是冷門。但從華東師范大學的訪問數據可以看到，這些瀏覽器仍然占有10%以上的瀏覽份額。我們根據這些瀏覽器一一進行兼容性測試，確保頁面在以上占比較高的環境下能夠正常顯示。”

浙江大學通過對資產的歸納、整理，最終形成權威、全面的資產數據，并基于資產數據提供數據查詢和分析服務。這些數據分析的成果已經被真正地應用起來，能夠幫助教務處更好地利用教室、實驗室等資源。

復旦大學則對特定的學生進行數據分析，并且得到一些非常有價值的數據。比如，他們對來自不同區域的學生進行分析，分析結果認為，學生成績受不同地區基礎教育發展狀況的影響較大。從平均績點看，來自東部地區、中部地區、西部地區學生的成績呈遞減趨勢。在中部和西部地區，城鎮學生成績優于農村學生，東部地區則相反。分析認為，出現這種情況或與學生所受基礎教育相關：在中、西部地區，城鎮的基礎教育資源和水平明顯高于農村；而在東部地區，農村和城鎮教育資源和水平相對均衡，不少農村學生在基礎教育階段反而可能學得更深。

此外，他們對保送生的教學情況進行了分析。 分析得出，自主選拔錄取學生的平均績點總體高于保送生，內地新疆班、內地西藏班、預科生、留學生、港澳臺學生學習成績較差。根據現有保送生政策，除少數省級優秀學生外，大多數保送生是學科競賽獲獎者，他們在基礎教育階段偏科較嚴重，還有個別保送生為退役優秀運動員，基礎也較為薄弱，因此不少保送生在入校后出現學習困難的情況。而經歷過“復旦水平測試”和高考雙重選拔的自主招生錄取學生，各項基礎都比較扎實，總體成績相對穩定。

“在數據分析中，目標要很明確?！鼻迦A大學袁芳說。清華正在做一些學生成長類的數據分析。比如，針對進校時成績很優秀的一批學生，追蹤其在大學四年的各種數據，觀察其成長路徑，或者對畢業時表現很優秀的學生進行追溯?！皵祿治鍪且豁椃浅Ｏ到y的工作，涉及到很多社會學的內容?！?/p>

清華大學對數據分析做了四個境界的界定：一是基于一個統一、權威的數據，提供綜合查詢；二是做一些固定的統計分析，固定報表；三是做一些靈活的統計分析，針對熱點情況進行分析；四從大量數據中找出規律，發現出一些可以幫助大學未來發展的戰略。

?

光明的未來

對于數據分析的前景，大部分認為：前景非常好，但挑戰很多。袁芳認為，數據分析存在兩個方面的關鍵因素。首先，業務和技術的緊密結合非常重要。業務需求是所有數據分析的目的，做數據分析要先挖掘出分析什么，擁有了需求，高校才能有針對性地對數據進行分析，把數據深層次的價值挖掘出來，讓它們為決策服務。

在微博上一些人討論，在數據分析中“明確目的、收集數據、整理數據、分析數據、數據可視化、數據報告”這幾個步驟最重要的部分是什么？袁芳回復說，前四個步驟缺一不可，要有需求，需求決定了素材和路徑。她打了一個比方：“好比做菜，得知道吃什么，才去買原材料，拿回來清理干凈，再加工，才有得吃。最苦的是清理，費力不討好；最有價值的是加工。”

然而，數據挖掘的“需求”在高校一直是個很困惑的問題。香港中文大學資訊科技服務處處長梁光漢就說：“我們都說做數據挖掘是為了給領導做決策使用，但是領導的需求是什么？我們不知道。但由于我們沒有一種好的形式展現給領導看，原來數據挖掘可以幫助我們做這個，所以領導也就看不到數據挖掘的前景了。”

這是一種很被動的情形?！拔覀円粯右裁媾R這個問題，也無法突破這樣的怪圈。只好先假設一些目標，做一些我們認為有意義的分析，然后把結果給業務部門看，期待著他們會發現，原來數據挖掘可以幫助他們實現這樣的功能。那么，也許可以啟發出他有別的需求。反正就是盡自己可能變被動為主動?！痹颊f。

其次，數據分析對于技術人員的要求很高，要求他們不僅精通技術，也要熟悉校園網業務。

在技術方面，基于數據挖掘的未來前景，挖掘工具也越來越多。通用的數據挖掘工具不區分具體數據的含義，采用通用的挖掘算法，處理常見的數據類型。通用工具可以做多種模式的挖掘，挖掘什么、用什么來挖掘都由用戶根據自己的應用來選擇。

此外，還有一個非常重要的是：高校對數據挖掘機制方面的理順。華東師范大學信息化辦公室主任沈富可說：“關于數據挖掘，國內的院校研究也已起步，但尚停留在學術研究層面，高校內鮮有帶有行政管理職能的院校研究機構成立，其功能定位、研究范疇和研究方法與國外院校研究相比，尚有較大差距。其研究人員多是高等教育學專業背景的人員，雖從美國引進、傳播了院校研究的概念，并嘗試推動了院校研究的實踐，但數據分析作為現代院校研究的基礎和重要內容，尚未引起我國大多數致力于院校研究的學者的重視。

他認為，數據分析作為推動高校未來發展的一項很有戰略眼光的事業，應當從整個管理體制中完善。這一點，我們可以從國外大學中得到一些借鑒。以美國紐約大學為例，其數據管理體制中有兩個重要角色：數據管理員（Data Steward）和院校研究辦公室。他們的數據分析是由院校研究辦公室自上而下地開展工作，院校研究辦公室直接從學校數據倉庫獲取數據，信息化部門密切與之配合，雙方協同確保學校數據的準確性和完整性。他認為我國高校在數據挖掘方面也可以參考這一機制。

“數據分析也需要不斷地迭代升級，不斷地實戰試錯，才能留下寶貴的財富?！毕嚓P人士說。