大數(shù)據(jù)技術(shù)在高校信息化中的應(yīng)用與研究的思考

胡欣顏

摘要：隨著社會(huì)市場(chǎng)經(jīng)濟(jì)的不斷進(jìn)步，大數(shù)據(jù)時(shí)代已然到來。為了促進(jìn)現(xiàn)代化經(jīng)濟(jì)建設(shè)的進(jìn)一步發(fā)展，確保各個(gè)行業(yè)與大數(shù)據(jù)信息技術(shù)的完全融合，是社會(huì)市場(chǎng)經(jīng)濟(jì)快速發(fā)展與進(jìn)步的必要前提條件。為此，需結(jié)合大數(shù)據(jù)時(shí)代背景互聯(lián)網(wǎng)概念，建立高校與社會(huì)發(fā)展相適應(yīng)的現(xiàn)代信息化教學(xué)模式，引導(dǎo)學(xué)生創(chuàng)新思維能力的發(fā)展，從而增加學(xué)生的專業(yè)能力與綜合素質(zhì)水平，為國(guó)家培養(yǎng)高素質(zhì)的復(fù)合型人才。

關(guān)鍵詞：大數(shù)據(jù)技術(shù);高校;信息化應(yīng)用;研究思考

引言：

現(xiàn)階段，科學(xué)信息技術(shù)手段的逐漸普及使社會(huì)各個(gè)領(lǐng)域的現(xiàn)代信息化建設(shè)步伐飛速進(jìn)步，高校傳統(tǒng)模式下的教學(xué)方法以及無法順應(yīng)社會(huì)市場(chǎng)經(jīng)濟(jì)不斷變化的發(fā)展需求，需要做出相對(duì)應(yīng)的創(chuàng)新改革，將對(duì)應(yīng)的大數(shù)據(jù)技術(shù)與高校相關(guān)教學(xué)課程有效結(jié)合，充分發(fā)揮大數(shù)據(jù)技術(shù)的實(shí)際價(jià)值，推動(dòng)高校的信息化建設(shè)進(jìn)度。

1.高校信息化建設(shè)現(xiàn)狀

現(xiàn)階段，大數(shù)據(jù)技術(shù)在信息化中的實(shí)際應(yīng)用過程對(duì)各大高校來說，大多仍處于迷茫階段。高校建設(shè)了眾多大數(shù)據(jù)信息系統(tǒng)，如教務(wù)管理系統(tǒng)、招生就業(yè)系統(tǒng)、一卡通系統(tǒng)、考勤以及網(wǎng)絡(luò)管理系統(tǒng)等各類大數(shù)據(jù)平臺(tái)系統(tǒng)，為在校師生提供較為方便快捷的先進(jìn)信息化服務(wù)，同時(shí)也產(chǎn)生了大量的數(shù)據(jù)信息。大數(shù)據(jù)技術(shù)在高校信息化中的應(yīng)用需要以此種數(shù)據(jù)信息為根據(jù)，對(duì)其進(jìn)行有效的開發(fā)與利用，才可對(duì)高校各方面的工作成果較以往更為有效，也在一定程度上提高了高校的現(xiàn)代化信息建設(shè)水平。

除此之外，由于前期階段高校的信息化系統(tǒng)建設(shè)缺少健全完善的統(tǒng)一標(biāo)準(zhǔn)與規(guī)劃方案，使大數(shù)據(jù)信息系統(tǒng)所產(chǎn)生的數(shù)據(jù)信息具有不統(tǒng)一性、碎片化特征，難以實(shí)現(xiàn)互相共享以及有效的信息交流溝通，極大程度上限制了高校教學(xué)質(zhì)量與管理水平的提高。

2.大數(shù)據(jù)技術(shù)在高校信息化建設(shè)中的應(yīng)用

2.1數(shù)據(jù)采集模塊

大數(shù)據(jù)技術(shù)具有多元化、多樣化的特征，其數(shù)據(jù)信息來源廣泛，數(shù)據(jù)采集的對(duì)象也分為多個(gè)種類。如高校實(shí)際運(yùn)營(yíng)過程中的教學(xué)數(shù)據(jù)、管理數(shù)據(jù)、一卡通數(shù)據(jù)、科研數(shù)據(jù)以及各類上網(wǎng)瀏覽記錄以及互聯(lián)網(wǎng)數(shù)據(jù)信息等，大數(shù)據(jù)技術(shù)基于以上數(shù)據(jù)信息為依據(jù)，來進(jìn)行有效的數(shù)據(jù)資源的采集提取與分類整理以及數(shù)據(jù)存儲(chǔ)工作，從而為后續(xù)的數(shù)據(jù)資源處理工作的有序開展奠定基礎(chǔ)保障。

2.2數(shù)據(jù)處理模塊

隨著現(xiàn)代化經(jīng)濟(jì)建設(shè)的不斷發(fā)展，當(dāng)今時(shí)代背景，信息資源數(shù)量正急劇增漲，數(shù)據(jù)資源具有極高的駁雜性與碎片化特征，數(shù)據(jù)預(yù)處理與格式轉(zhuǎn)換所需要花費(fèi)的相關(guān)經(jīng)濟(jì)成本投入也較高，通常情況下采用三種數(shù)據(jù)采集方法對(duì)其進(jìn)行有效的采集分析。

一種方法是利用節(jié)后與ETL工具，針對(duì)大數(shù)據(jù)時(shí)代背景下的結(jié)構(gòu)化數(shù)據(jù)信息采用數(shù)據(jù)庫導(dǎo)入的方式對(duì)其進(jìn)行有效的數(shù)據(jù)采集分析工作，其中，ETL工具可使用如Kettle或是其他相關(guān)工具;另一種方法是對(duì)非結(jié)構(gòu)化與半結(jié)構(gòu)化的數(shù)據(jù)信息進(jìn)行采集分析工作，利用Flume或Sqoop等方式對(duì)其進(jìn)行有效的數(shù)據(jù)采集分析工作。

除此之外，針對(duì)互聯(lián)網(wǎng)絡(luò)上的半結(jié)構(gòu)化以及非結(jié)構(gòu)化數(shù)據(jù)信息，可借助網(wǎng)絡(luò)爬蟲工具，對(duì)互聯(lián)網(wǎng)資源的原始網(wǎng)頁數(shù)據(jù)信息進(jìn)行采集抓取，從而對(duì)其進(jìn)行數(shù)據(jù)采集分析工作。也可運(yùn)用分布式的存儲(chǔ)架構(gòu)來對(duì)互聯(lián)網(wǎng)絡(luò)信息數(shù)據(jù)資源進(jìn)行處理，按照數(shù)據(jù)信息的不同類型與不同特征，通過數(shù)據(jù)信息資源的整合、清洗變換等處理方式，將結(jié)構(gòu)化信息數(shù)據(jù)資源存儲(chǔ)于RDBMS中，與之相對(duì)應(yīng)的半結(jié)構(gòu)化信息數(shù)據(jù)資源以及非結(jié)構(gòu)化信息數(shù)據(jù)資源則持久化到HBsae以及HDFS中，達(dá)到數(shù)據(jù)資源預(yù)期中的理想處理效果。

2.3數(shù)據(jù)挖掘分析模塊

大數(shù)據(jù)信息處理架構(gòu)期間，數(shù)據(jù)信息資源的挖掘分析模塊是其核心模塊，將直觀影響到大數(shù)據(jù)信息處理架構(gòu)的實(shí)際效果，其重要性不言而喻。數(shù)據(jù)挖掘分析模塊通常情況下，是通過Kafka將數(shù)據(jù)信息資源在其內(nèi)部架構(gòu)中進(jìn)行分發(fā)，再根據(jù)不同的業(yè)務(wù)需求以及數(shù)據(jù)信息資源的實(shí)際情況與種類的不同，數(shù)據(jù)信息資源可分為兩方面，一方面是基于Spark Streaming的準(zhǔn)實(shí)時(shí)處理部分，另一方面則是基于MapReduce的離線處理部分，通過以上處理方式將數(shù)據(jù)信息資源同步到ElasticSearch中（實(shí)時(shí)索引系統(tǒng)），為龐大駁雜的大數(shù)據(jù)信息資源提供實(shí)時(shí)有效且方便快捷的數(shù)據(jù)信息資源檢索服務(wù)。

同時(shí)，數(shù)據(jù)信息資源的挖掘分析工作主要是基于Hive平臺(tái)，調(diào)用Hive平臺(tái)的挖掘算法來進(jìn)行數(shù)據(jù)信息資源的并行計(jì)算，從而獲取到大量數(shù)據(jù)信息資源中所隱藏的知識(shí)模式，也要基于高校的信息化建設(shè)數(shù)據(jù)資源處理標(biāo)準(zhǔn)，嚴(yán)格按照國(guó)家相關(guān)法律法規(guī)去創(chuàng)設(shè)與之相對(duì)應(yīng)的數(shù)據(jù)信息資源分析模型。

2.4數(shù)據(jù)應(yīng)用模塊

如字面意義所言，數(shù)據(jù)應(yīng)用模塊是將其數(shù)據(jù)資源信息的采集分析處理結(jié)果應(yīng)用到高校的各類實(shí)際分析決策場(chǎng)景中，為高校師生提供較以往更為有效的個(gè)性化服務(wù)于更為科學(xué)合理的決策項(xiàng)目與教學(xué)管理模式。通過建立大數(shù)據(jù)信息資源共享平臺(tái)，可使高校的數(shù)據(jù)信息資源不再具有碎片化特征，使其形成統(tǒng)一的大數(shù)據(jù)信息資源處理模式，數(shù)據(jù)信息資源的處理效率與處理質(zhì)量較以往也有了極大程度上的提升，為學(xué)生提供全方面的學(xué)習(xí)服務(wù)與生活服務(wù)，也為教職工與高校提供了更為真實(shí)準(zhǔn)確的數(shù)據(jù)信息資源的后臺(tái)保障，使決策更為合理。

3.大數(shù)據(jù)技術(shù)在高校信息化建設(shè)中的作用

大數(shù)據(jù)技術(shù)可實(shí)現(xiàn)高校的數(shù)據(jù)信息資源整合與配置優(yōu)化，避免傳統(tǒng)模式下“數(shù)據(jù)孤島”現(xiàn)象的產(chǎn)生，使高校的治理能力得到一定程度上的提升，管控措施也得到相應(yīng)完善。同時(shí)，大數(shù)據(jù)背景下，可基于師生之間互動(dòng)教學(xué)與實(shí)際學(xué)習(xí)過程中的數(shù)據(jù)信息資源開展全面智能的動(dòng)態(tài)化數(shù)據(jù)采集與分析，以此為依據(jù)不斷創(chuàng)新發(fā)展高校的教學(xué)模式與教學(xué)方法，以便提升課程的教學(xué)質(zhì)量與教學(xué)效率，有利于高校的人才培養(yǎng)。

除此之外，大數(shù)據(jù)技術(shù)也可分析學(xué)生的實(shí)際需求以及心理動(dòng)態(tài)，從而在第一時(shí)間發(fā)現(xiàn)學(xué)生個(gè)體情緒上的不穩(wěn)定，繼而有效保護(hù)學(xué)生的人身安全，提高高效的教學(xué)管理水平。

結(jié)束語：

大數(shù)據(jù)技術(shù)的發(fā)展對(duì)高?，F(xiàn)代化信息建設(shè)的有序開展奠定的重要的后臺(tái)技術(shù)基礎(chǔ)保障，同時(shí)也是現(xiàn)階段教育行業(yè)深化創(chuàng)新改革的必然要求。大數(shù)據(jù)技術(shù)在高校的信息化應(yīng)用中，可將自身的作用充分發(fā)揮到最大效益，最終促進(jìn)學(xué)生健康成長(zhǎng)以及教職工教學(xué)質(zhì)量與教學(xué)效率的提升，從而有效推動(dòng)我國(guó)教育行業(yè)的健康可持續(xù)發(fā)展。

參考文獻(xiàn)：

[1]張海峰.大數(shù)據(jù)時(shí)代高校國(guó)有資產(chǎn)全生命周期信息化建設(shè)探析.實(shí)驗(yàn)室研究與探索，2020（10）.

[2]邱筠.大數(shù)據(jù)時(shí)代高校資產(chǎn)管理信息化建設(shè)探析.湖北師范大學(xué)學(xué)報(bào)，2020（5）.