高校教育大數(shù)據(jù)平臺的構(gòu)建與關(guān)鍵技術(shù)研究

張 寧

（遼寧省大數(shù)據(jù)管理中心遼寧省信息中心 遼寧沈陽 110002）

引言

當代社會之所以能夠以如此快的速度進行不斷的發(fā)展和進步，主要是因為大數(shù)據(jù)在社會發(fā)展過程中，起到的重要推動作用，并且為我們國家的各個領(lǐng)域方面的發(fā)展也有著重大的引導(dǎo)作用。對于我國教育領(lǐng)域方面的影響，也是非常的深遠，各大高校為了能夠積極地順應(yīng)時代發(fā)展的潮流，也在積極地構(gòu)建大數(shù)據(jù)平臺，如此一來，就能夠充分的運用大數(shù)據(jù)平臺的信息分析作用以及相關(guān)的挖掘能力，對于我國教育體制方面的改革是有著重大的推動作用。

一、教育大數(shù)據(jù)的整體特征和相關(guān)平臺所具有的功能

1.教育大數(shù)據(jù)的特征內(nèi)容

根據(jù)相關(guān)資料調(diào)查顯示，教育大數(shù)據(jù)的含義，主要指的就是在進行教育教學(xué)的過程中能夠生產(chǎn)出具有結(jié)構(gòu)化和非結(jié)構(gòu)化等相關(guān)特點的數(shù)據(jù)信息，除了要具有結(jié)構(gòu)化和非結(jié)構(gòu)化，還應(yīng)當具有分布式存儲管理相關(guān)特點的新技術(shù)以及新的處理模式，并且在這樣的影響下，教育大數(shù)據(jù)才能夠針對多元化的數(shù)據(jù)信息進行的分析、儲存和有效處理。大數(shù)據(jù)相關(guān)的新技術(shù)和處理模式，在一般情況下，指的都是認知計算、HBase分布式數(shù)據(jù)庫以及Hadoop分布式集群等能夠起到分析挖掘以及儲存計算方法。教育大數(shù)據(jù)在不斷發(fā)展的前提下，是能夠不斷地推動我國教育體制改革方面不斷地進步和發(fā)展，并且在其中還能起到非常關(guān)鍵的作用，以及能夠體現(xiàn)出較高的價值，一般教育數(shù)據(jù)所包含的內(nèi)容，是包括高校在日常生活中產(chǎn)生的教育教學(xué)、科目研究以及學(xué)生管理方面產(chǎn)生的數(shù)據(jù)信息，其中最主要的結(jié)構(gòu)內(nèi)容還包括了高校師生的基本信息，就比如說，學(xué)生的學(xué)習(xí)成績、教材等，以及教師相關(guān)教學(xué)內(nèi)容相關(guān)各種基本信息。這些師生的基本信息以及學(xué)校發(fā)展的基本信息之間是獨立存在專屬的儲存空間，在一定程度上是具有較高價值、多種類的類型等相關(guān)特征[1]。

2.數(shù)據(jù)大平臺中包含的各種功能

只有將教育大數(shù)據(jù)相關(guān)的利用價值進行深層次的挖掘，就能夠幫助各類高校建立起本校專屬的數(shù)據(jù)大平臺。數(shù)據(jù)大平臺的重要性基本上是由于其具有的多功能，才在各個高校中能夠起到非常重要的作用。接下來，將從以下兩個方面來對數(shù)據(jù)大數(shù)據(jù)所具有的功能進行簡單的論述。

第一點，數(shù)據(jù)大平臺能夠?qū)τ趯W(xué)校所產(chǎn)生的各種數(shù)據(jù)信息進行有效的融合以及儲存，就比如說，相關(guān)高校在日常管理的過程中，會產(chǎn)生很多數(shù)據(jù)信息，比如上文提到的學(xué)的基本信息，相關(guān)學(xué)生方面的管理而產(chǎn)生出來的信息內(nèi)容，再加上高校的教師和學(xué)生的數(shù)量普遍來說是比較多的，所以在一定程度上，產(chǎn)生出來的各種數(shù)據(jù)信息也是比較繁多和復(fù)雜的。如果不能夠充分的利用數(shù)據(jù)大平臺相關(guān)內(nèi)容來進行處理和儲存的話，就會在高校管理的過程中，產(chǎn)生很多影響，嚴重的話，還會影響到整個高校的日常管理。由此可得，在高校中充分的運用數(shù)據(jù)大平臺，是能夠完美地體現(xiàn)出數(shù)據(jù)大平臺能夠?qū)⒏咝Ｈ粘Ｉ罟芾磉^程中產(chǎn)生的各類數(shù)據(jù)信息進行妥善的處理和儲存[2]。

第二點，數(shù)據(jù)大平臺在高校教育的應(yīng)用過程中，還能夠充分地體現(xiàn)出數(shù)據(jù)大平臺能夠?qū)Ω咝Ｈ粘９芾韺W(xué)習(xí)過程中產(chǎn)生的新型信息數(shù)據(jù)進行統(tǒng)一化的管理以及數(shù)據(jù)信息的整體儲存。詳細地說，就是高校在實際的經(jīng)營管理過程中，學(xué)生和教師是會產(chǎn)生一定的變化，尤其是學(xué)生，每一年都會有畢業(yè)的學(xué)生，還會有新來的學(xué)生，對于這些新來的學(xué)生所產(chǎn)生的重大信息數(shù)據(jù)等相關(guān)內(nèi)容，都是需要進行統(tǒng)一的管理和儲存的，還要注意與原有的信息數(shù)據(jù)方面進行區(qū)分，避免出現(xiàn)混淆的情況。因此，在整個對新型數(shù)據(jù)信息的處理過程中，能夠更好地展現(xiàn)出大數(shù)據(jù)平臺的功能。

但是，由于高校中各種數(shù)據(jù)信息的來源是多種多樣的，這樣一來，對于大數(shù)據(jù)平臺相關(guān)功能的缺陷展現(xiàn)得淋漓盡致，因此，就需要采取相對應(yīng)有效的數(shù)據(jù)信息處理相關(guān)措施。就比如說，在運用大數(shù)據(jù)平臺相關(guān)功能的過程中，要盡可能的制定統(tǒng)一化的數(shù)據(jù)標準，對于以往陳舊的數(shù)據(jù)信息進行有效的處理，避免在接受新型信息內(nèi)容的過程中，和陳舊信息內(nèi)容之間混淆了。其次，應(yīng)當有效地確保相關(guān)數(shù)據(jù)信息在訪問的過程中，所使用的是統(tǒng)一接口，并且還要有效地保障所產(chǎn)生的數(shù)據(jù)是具有唯一性特點的歸口。然后還要在對高校相關(guān)信息數(shù)據(jù)進行有效處理的過程中，要對有問題的數(shù)據(jù)信息進行準確的篩選，繼而進行處理、分析，要最大限度地保障整個數(shù)據(jù)信息的質(zhì)量是始終處于提升的狀態(tài)。最后，對于大數(shù)據(jù)交換平臺的相關(guān)內(nèi)容要進行合理化處理，要以數(shù)據(jù)信息共享方面的不斷提高作為基礎(chǔ)內(nèi)容，并且要在數(shù)據(jù)信息的采集方面盡可能做到規(guī)范處理，同樣也包括管理和應(yīng)用等方面的內(nèi)容，這樣一來，對于高校中的綜合數(shù)據(jù)信息的相關(guān)分析處理的能力進行有效的提高，從而保證整個高效數(shù)據(jù)能夠?qū)崿F(xiàn)全量的融合。

二、高校教育大數(shù)據(jù)平臺的構(gòu)建問題

在高校相關(guān)數(shù)據(jù)信息的處理過程中，充分的運用數(shù)據(jù)大平臺的相關(guān)功能，是能夠?qū)⒏咝Ｈ粘９芾砉ぷ髦挟a(chǎn)生所有數(shù)據(jù)都集中在同一個數(shù)據(jù)庫當中，在對整個數(shù)據(jù)庫中的相關(guān)數(shù)據(jù)信息進行處理、分析以及挖掘的過程中，是需要將學(xué)生的具體情況進行有效的融合，這樣一來，是為了能夠更好地研究出合適的教學(xué)方案和具有科學(xué)性的教學(xué)模式，與此同時，對于整個高校的教學(xué)方面的管理工作以及學(xué)術(shù)研究方面的發(fā)展，提供了關(guān)鍵的數(shù)據(jù)信息方面的有力保障，從而能夠?qū)⒏咝５慕虒W(xué)質(zhì)量進行更高層面的提升，并且在一定程度上對于我國高校教育教學(xué)方面的改變提供了一定促進作用。

相關(guān)高校在進行數(shù)據(jù)大平臺的構(gòu)建過程中，還應(yīng)當充分的發(fā)揮相關(guān)的功能，主要從以下四個內(nèi)容進行描述。第一，相關(guān)高校要能夠為學(xué)校提供相對應(yīng)的數(shù)據(jù)信息采集的各種接口，要保證數(shù)據(jù)大平臺在進行數(shù)據(jù)信息的收集過程中，各個系統(tǒng)中的數(shù)據(jù)的連接是具有效果的，這樣一來，就能夠最大限度地實現(xiàn)數(shù)據(jù)大平臺在進行數(shù)據(jù)信息的收集過程中是保證具有時效性的，而且對于具有非結(jié)構(gòu)化和結(jié)構(gòu)化相關(guān)數(shù)據(jù)也能夠進行有效的采集、融合以及處理。第二，相關(guān)高校在充分運用數(shù)據(jù)大平臺的過程中，對于分布式儲存系統(tǒng)的運用要始終保證科學(xué)合理的運用，就比如說，對于前文提到過的那兩個系統(tǒng)的運用過程中，要將各種類型的數(shù)據(jù)信息進行有效的儲存，將相關(guān)數(shù)據(jù)大平臺中的查詢以及管理等相關(guān)功能進行有效地提高。第三，相關(guān)高校在運用數(shù)據(jù)大平臺的過程中，要依據(jù)相關(guān)分析、管理以及應(yīng)用等方面的各種需求，來對相關(guān)的計算方法進行區(qū)別運用，就比如說常見的算法有，圖式計算、實時計算等。這樣一來，就能夠?qū)⒏咝Ｖ写罅康臄?shù)據(jù)信息進行有效的手機、挖掘以及分析和使用。第四，依據(jù)相關(guān)高校的教育教學(xué)的各種決定需求以及高校發(fā)展各個方面的需求，要能夠提供與之相匹配的數(shù)據(jù)分析法以及數(shù)據(jù)計算等方法來進行有關(guān)數(shù)據(jù)信息方面的處理和分析。

1.數(shù)據(jù)信息方面的采集層

相關(guān)高校教育教學(xué)過程中，產(chǎn)生的教育數(shù)據(jù)信息的基本內(nèi)容一般是包含著教學(xué)、科學(xué)研究以及學(xué)生就業(yè)問題等方面的教育管理數(shù)據(jù)，還有就是在實際的學(xué)生教學(xué)過程中而產(chǎn)生的各種教學(xué)視屏、圖畫以及相關(guān)文檔等各種數(shù)據(jù)信息，以及在教師的教學(xué)過程中以及學(xué)生的學(xué)習(xí)過程中會產(chǎn)生的各種數(shù)據(jù)信息也要進行有效的處理。高校教育大數(shù)據(jù)平臺對于各種信息數(shù)據(jù)方面收集工作過程中，通常會對高校各種業(yè)務(wù)管理體系在運轉(zhuǎn)過程中產(chǎn)生的各種數(shù)據(jù)信息和具有實時性的數(shù)據(jù)信息這兩種進行有效的收集。在這其中，相關(guān)收集業(yè)務(wù)的管理過程中也會產(chǎn)生各種類型的數(shù)據(jù)信息，對于這類數(shù)據(jù)信息的相關(guān)處理基本上逗死通過批量導(dǎo)入、將接口的相關(guān)處理進行公開化以及將數(shù)據(jù)庫相關(guān)的數(shù)據(jù)信息記錄直接讀取出來等各種方式來進行實現(xiàn)，但是，針對各種圖像、音頻等相關(guān)多媒體數(shù)據(jù)的收集過程中，一般是經(jīng)過圖像識別的有關(guān)技術(shù)，才得以實現(xiàn)。

2.數(shù)據(jù)信息方面的儲存層

相關(guān)數(shù)據(jù)信息的儲存層，一般都是要以HBdoop技術(shù)作為基礎(chǔ)，再充分的利用服務(wù)器中所含有的硬件，以及對于Hadoop這種具有分布式特點的計算框架來構(gòu)建出一個可以為Hive、HBase等相關(guān)信息技術(shù)來為大數(shù)據(jù)相關(guān)內(nèi)容提供相對應(yīng)的服務(wù)，與此同時，還要完成高難度的吞吐、容錯以及可靠等相關(guān)工作，來進行數(shù)據(jù)信息的分析挖掘工作的相關(guān)任務(wù)，并且，還要充分運用具有較高的擴展性以及可靠性的分布式系統(tǒng)。這樣一來，就能夠最大程度的滿足各種不同方式的儲存以及可以實現(xiàn)數(shù)據(jù)結(jié)構(gòu)對于高校教育中大數(shù)據(jù)的各種采集工作以及存儲要求，因此，在進行數(shù)據(jù)挖掘?qū)哟蔚倪^程中，還要有一定高效方面提高相關(guān)的基礎(chǔ)保障[3]。

3.數(shù)據(jù)信息中的挖掘?qū)?/h3>

在高校相關(guān)數(shù)據(jù)信息的處理過程中，相關(guān)數(shù)據(jù)信息中的挖掘?qū)又饕艘獙Ω咝Ｖ邢嚓P(guān)教學(xué)方面的管理內(nèi)容進行簡單的分析、挖掘以及御用，再具體地說，其中主要內(nèi)容就是包括學(xué)生具體行為方面的分析、學(xué)習(xí)內(nèi)容的有關(guān)分析和專業(yè)分析，以及教師的各種教學(xué)行為方面的分析和科學(xué)研究方面的分析等。在這其中，主要能夠波及大數(shù)據(jù)平臺中的技術(shù)，可以從兩個方面的具體內(nèi)容進行簡單的分析，第一點，在實際的應(yīng)用過程中，要不斷挖掘新數(shù)據(jù)技術(shù)的相關(guān)需求，將挖掘相關(guān)的模型進行有效的設(shè)計。第二點，在充分利用大數(shù)據(jù)信息平臺的過程中，要充分的利用數(shù)據(jù)挖掘的各種功能，要及時地發(fā)現(xiàn)問題，并采取合適的措施來進行解決。

4.數(shù)據(jù)信息中的運用層

在對高校相關(guān)數(shù)據(jù)信息的分析、處理和挖掘的過程中，需要注意的一個方面就是要從中發(fā)現(xiàn)相關(guān)數(shù)據(jù)信息的運用價值的高低，但是為了能夠有效地體現(xiàn)出相關(guān)數(shù)據(jù)信息在運用過程中的各種價值觀念，還需要在實際的運用過程中進行充分的展現(xiàn)。依據(jù)學(xué)生的角度來看，要對學(xué)生的基本信息和狀態(tài)進行深度挖掘和分析，盡可能全面的掌握學(xué)生的心理狀態(tài)，要幫助學(xué)生在未來的發(fā)展軌跡中設(shè)定相關(guān)的發(fā)展目標，而且要依據(jù)學(xué)生的心理狀態(tài)以及成長經(jīng)歷，對學(xué)生進行畫像描述。依據(jù)教師的角度來看的話，應(yīng)當在教學(xué)的過程中，將上文提到的數(shù)據(jù)信息方面的挖掘工作進行充分的運用，并將其中有用的數(shù)據(jù)信息融入相關(guān)的教學(xué)方案中，這樣一來，相關(guān)教師的教學(xué)方法就得到了有效的創(chuàng)新，并且能夠提高相關(guān)教師的教學(xué)質(zhì)量。而且對于專業(yè)化的相關(guān)內(nèi)容的發(fā)展要有一個全面的分析，要及時地檢查專業(yè)改革所帶來的多方面影響，避免出現(xiàn)制約專業(yè)進行改革等不好的情況。與此同時，能夠有效預(yù)測是否存在制約高校整體發(fā)展的各種負面的因素。

三、高校教育大數(shù)據(jù)平臺中關(guān)鍵技術(shù)

1.收集數(shù)據(jù)信息相關(guān)技術(shù)

高校大數(shù)據(jù)平臺在收集相關(guān)數(shù)據(jù)的過程中，通常會采取以下兩種方法：第一種，關(guān)于已經(jīng)存在的各種業(yè)務(wù)管理中相關(guān)系統(tǒng)進行對接工作的過程中，需要將各個業(yè)務(wù)系統(tǒng)中產(chǎn)生的各種數(shù)據(jù)信息都要進行集中處理，一般來說，都是要放到同一個大的數(shù)據(jù)倉庫中進行儲存，然后對于相關(guān)數(shù)據(jù)信息的存取標準要制定出一個合理的標準要求，并且在這種前提下，充分的利用API對接來直接對相關(guān)數(shù)據(jù)信息進行讀取和相關(guān)的收集工作。第二種，就是采用比較直接的方法來對數(shù)據(jù)倉庫中的數(shù)據(jù)信息進行收集，一般來說，是會應(yīng)用到Flume技術(shù)來達到相對應(yīng)的收集工作的目的。在整個收集數(shù)據(jù)信息的過程中，主要的對象就是高校中的學(xué)生和教師，并且會對高校中的師生在校的生活中發(fā)生的事情中的數(shù)據(jù)信息進行收集，但是當事件監(jiān)聽器對于相關(guān)事件對象的行蹤信息有所掌握之后，就會充分運用事件處理器，并且將相關(guān)事件中的各種行為信息數(shù)據(jù)進行有效的處理和整理，在完全整合之后，會將相關(guān)內(nèi)容發(fā)送到相關(guān)服務(wù)器當中的收集組件，收集組件在處理完相關(guān)數(shù)據(jù)信息之后，會將相關(guān)的數(shù)據(jù)信息發(fā)送當緩存組件中。之后才會通過數(shù)據(jù)發(fā)布的相關(guān)組件將有用的數(shù)據(jù)信息發(fā)送到消息處理的隊伍之中。

2.數(shù)據(jù)總倉庫的設(shè)計技術(shù)

結(jié)合之前所產(chǎn)生的各種數(shù)據(jù)信息的處理方法，可以從中看出，一般情況下，都會充分利用各個業(yè)務(wù)當中的管理系統(tǒng)進行有效的儲存。并且針對這一部分的數(shù)據(jù)信息會進行有效的收集，對于各種類型的知識內(nèi)容也會進行獲取，在相關(guān)數(shù)據(jù)倉庫搭建后，還需要相關(guān)聯(lián)的數(shù)據(jù)進行轉(zhuǎn)換，這樣是為了將相關(guān)數(shù)據(jù)信息更好地進行儲存。由于高校的專業(yè)種類是比較多的，教師和學(xué)生數(shù)量也比較多，因此，在進行數(shù)據(jù)收集的過程中，要按照專業(yè)、教師以及學(xué)生的各種行為進行有效的分析，并且在應(yīng)用的過程中，要保證相關(guān)主題是符合相關(guān)要求，另外，還要充分結(jié)合數(shù)據(jù)顆粒度中存在的原理進行相關(guān)數(shù)據(jù)組織工作，并且還要設(shè)計出大數(shù)據(jù)平臺的儲存?zhèn)}庫。

3.數(shù)據(jù)存儲以及計算技術(shù)

高校教育大數(shù)據(jù)在實際應(yīng)用的過程中，所能夠設(shè)計到的范圍與規(guī)模的發(fā)展過程中，逐漸呈現(xiàn)出增大的發(fā)展趨勢，因此，在進行高校教育大數(shù)據(jù)進行相關(guān)的管理工作以及儲存的過程中，要充分的利用Hadoop技術(shù)，這樣一來，就能夠更好地實現(xiàn)相關(guān)數(shù)據(jù)信息的儲存管理和計算機一體化方面的發(fā)展。

結(jié)語

總的來說，在高校管理的過程中，構(gòu)建出高校教育大數(shù)據(jù)平臺，是能夠?qū)⑾嚓P(guān)教育教學(xué)過程產(chǎn)生的多種數(shù)據(jù)信息進行深層次的挖掘，這樣一來，還能夠充分體現(xiàn)出教育大數(shù)據(jù)中的重要現(xiàn)實意義，就比如說，可以更好地幫助高校培養(yǎng)出精通各種大數(shù)據(jù)信息技術(shù)的專業(yè)性人才，以及能夠在一定程度上推動了高校方面的教育、教學(xué)以及科學(xué)研究方面的改革，還能夠更好促進相關(guān)政策的順利運行。