基于大數(shù)據(jù)技術(shù)的專業(yè)發(fā)展信息化系統(tǒng)研究

張偉龍　李榮嫻　張波

摘要：專業(yè)質(zhì)量建設(shè)是當(dāng)前高等職業(yè)院校內(nèi)部質(zhì)量保障體系建設(shè)的重要環(huán)節(jié)。運(yùn)用大數(shù)據(jù)技術(shù)構(gòu)建專業(yè)發(fā)展信息化系統(tǒng)，整合業(yè)務(wù)系統(tǒng)和數(shù)據(jù)資源，能為相關(guān)部門提供信息可靠、數(shù)據(jù)精準(zhǔn)、資源共享和可視化分析的服務(wù)，輔助學(xué)院開展專業(yè)質(zhì)量診斷與改進(jìn)工作，提升專業(yè)建設(shè)水平，推動智慧校同建設(shè)步伐。

關(guān)鍵詞：大數(shù)據(jù)技術(shù);可視化分析;專業(yè)建設(shè);質(zhì)量診斷

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2020）20-0038-02

為貫徹落實(shí)《高等職業(yè)院校內(nèi)部質(zhì)量保障體系診斷與改進(jìn)實(shí)施方案》等文件精神，完善質(zhì)量標(biāo)準(zhǔn)和制度體系，全面提升人才培養(yǎng)質(zhì)量[1]。在教學(xué)質(zhì)量診斷與改進(jìn)體系及理論指導(dǎo)下，以提升學(xué)院辦學(xué)質(zhì)量及促進(jìn)后續(xù)發(fā)展為中心，采用大數(shù)據(jù)技術(shù)建沒專業(yè)發(fā)展信息化系統(tǒng)，將專業(yè)相關(guān)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)實(shí)現(xiàn)統(tǒng)一存儲、分析及應(yīng)用，建立自動采集匯總的機(jī)制，讓專業(yè)數(shù)據(jù)形成循環(huán)扭轉(zhuǎn)的數(shù)據(jù)流，積累專業(yè)數(shù)據(jù)資產(chǎn)及資源庫，存儲文檔、圖片、視頻等非結(jié)構(gòu)化教學(xué)資源，通過數(shù)據(jù)應(yīng)用，挖掘分析，為決策提供依據(jù)，最終用信息化輔助學(xué)校人才培養(yǎng)質(zhì)量體系的搭建。專業(yè)建設(shè)信息化平臺通過多終端采集數(shù)據(jù)，實(shí)現(xiàn)對專業(yè)建設(shè)工作流程全過程的跟蹤、監(jiān)控、預(yù)警、診斷與改進(jìn)，提升教育教學(xué)質(zhì)量管理信息化水平[2]。

1專業(yè)建設(shè)面臨的問題

（1）人才培養(yǎng)滯后于市場需求。專業(yè)人才培養(yǎng)目標(biāo)和市場需求存在差異。高職院校新增專業(yè)往往根據(jù)當(dāng)前市場社會熱點(diǎn)，熱門專業(yè)進(jìn)行設(shè)置，但市場需求和產(chǎn)業(yè)調(diào)整會對人才需求產(chǎn)生變化。人才培養(yǎng)周期性較長，再加上各個學(xué)院爭相開設(shè)熱門專業(yè)，這必然會導(dǎo)致學(xué)生畢業(yè)就業(yè)時壓力增大。有的職業(yè)院校師資力量不足，致使學(xué)生就業(yè)競爭力不足。人才培養(yǎng)與市場脫節(jié)，必然導(dǎo)致專業(yè)質(zhì)量低下，浪費(fèi)國家人力物力和財力，影響職業(yè)院校的長遠(yuǎn)發(fā)展。

（2）缺乏長遠(yuǎn)規(guī)劃，定位不精確。專業(yè)設(shè)置定位模糊、專業(yè)課程銜接不夠緊密、課程沒置不全面、專業(yè)課程重復(fù)現(xiàn)象嚴(yán)重等問題一直影響專業(yè)發(fā)展。專業(yè)建設(shè)服務(wù)區(qū)域經(jīng)濟(jì)，人才培養(yǎng)與市場需求緊密相連，精準(zhǔn)預(yù)測區(qū)域動向，合理制定專業(yè)長遠(yuǎn)發(fā)展規(guī)劃和短期發(fā)展規(guī)劃是專業(yè)質(zhì)量的關(guān)鍵。

（3）專業(yè)相關(guān)系統(tǒng)多樣，數(shù)據(jù)利用率低。當(dāng)前各大院校專業(yè)數(shù)據(jù)資源增長迅速，并以非結(jié)構(gòu)化數(shù)據(jù)為主，但是在面對視頻、圖像等非結(jié)構(gòu)化數(shù)據(jù)在分析、利用等方面存在著嚴(yán)重不足。大量的專業(yè)數(shù)據(jù)分布與學(xué)生迎新系統(tǒng)、學(xué)工系統(tǒng)、教師選課系統(tǒng)、教務(wù)管理系統(tǒng)、智慧課堂等系統(tǒng)之中，數(shù)據(jù)重復(fù)性大，保存分散，不利于專業(yè)發(fā)展有效數(shù)據(jù)的提取。專業(yè)數(shù)據(jù)資源浪費(fèi)嚴(yán)重，專業(yè)改進(jìn)不及時、不徹底。

2專業(yè)大數(shù)據(jù)的特點(diǎn)分析

2.1大數(shù)據(jù)的概念及特點(diǎn)

大數(shù)據(jù)（big data），是指用傳統(tǒng)技術(shù)和軟件工具無法進(jìn)行有效的數(shù)據(jù)獲取、存儲管理、挖掘分析的數(shù)據(jù)集合，是當(dāng)今社會重要的信息資產(chǎn)[3]。衡量大數(shù)據(jù)的標(biāo)準(zhǔn)可以從這五個方面考慮，分別是數(shù)據(jù)規(guī)模、數(shù)據(jù)類型、數(shù)據(jù)增長或轉(zhuǎn)換速度，數(shù)據(jù)的密度和價值。大數(shù)據(jù)技術(shù)主要包括大數(shù)據(jù)的采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)交換、數(shù)據(jù)存儲、數(shù)據(jù)分析和數(shù)據(jù)挖掘等。簡而言之，大數(shù)據(jù)是把所有的數(shù)據(jù)放到一起，再通過云計算，運(yùn)用數(shù)據(jù)分析和挖掘技術(shù)，找到數(shù)據(jù)關(guān)聯(lián)，實(shí)現(xiàn)精準(zhǔn)預(yù)測。

2.2專業(yè)大數(shù)據(jù)的數(shù)據(jù)來源及其分析

專業(yè)大數(shù)據(jù)是專業(yè)建設(shè)過程中建沒過程中，形成的一系列數(shù)據(jù)。數(shù)據(jù)形式多樣，有標(biāo)準(zhǔn)化文本形式結(jié)構(gòu)數(shù)據(jù)，也有圖片、教學(xué)視頻等過程性非結(jié)構(gòu)化數(shù)據(jù)。其數(shù)據(jù)內(nèi)容主要包括專業(yè)建設(shè)方案、人才培養(yǎng)、師資團(tuán)隊(duì)、教學(xué)資源、專業(yè)管理和社會服務(wù)六大塊內(nèi)容。

專業(yè)建設(shè)方案包括專業(yè)市場調(diào)研、專業(yè)區(qū)域競爭力、專業(yè)申報、專業(yè)分析報告、專業(yè)建設(shè)計劃、年度終結(jié)、存在問題、成因和改進(jìn)措施等。人才培養(yǎng)包括訂單班、校企合作、學(xué)徒制、技能大賽、各類證書賽項(xiàng)、課程體系、課程教學(xué)實(shí)施等數(shù)據(jù)。師資團(tuán)隊(duì)包括師資培養(yǎng)、教職工發(fā)展規(guī)劃、校外專家、名師培養(yǎng)、教師科研提升等。資源建設(shè)包括校內(nèi)專業(yè)資源、實(shí)訓(xùn)場地建設(shè)、校外實(shí)訓(xùn)基地、教學(xué)信息化資源等。社會服務(wù)主要包括招生就業(yè)信息、繼續(xù)教育信息、學(xué)生職業(yè)發(fā)展、社會捐贈、技術(shù)服務(wù)和成果轉(zhuǎn)化等。

2.3專業(yè)大數(shù)據(jù)系統(tǒng)設(shè)計的技術(shù)路線和系統(tǒng)架構(gòu)

為滿足專業(yè)建設(shè)過程中所產(chǎn)生的大量的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)存儲，可視化分析和有效數(shù)據(jù)挖掘等需要，根據(jù)批處理的特點(diǎn)，采用基于HDFS存儲系統(tǒng)+Spark架構(gòu)開發(fā)系統(tǒng)。

Hadoop是一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，它可以利用集群實(shí)現(xiàn)高速運(yùn)算和海量存儲，其核心是HDFS和MapReduce。HDFS為海量數(shù)據(jù)提供了存儲，MapReduce為海量數(shù)據(jù)提供了計算框架。由于MapReduce是面向磁盤的，受磁盤讀寫速度的制約，MapReduce在交互式查詢、實(shí)時計算和迭代計算方面并不高效。Spark是基于內(nèi)存運(yùn)算的大數(shù)據(jù)框架，具有良好的并行運(yùn)算性能，具有高容錯性和高可伸縮性，可以在大量廉價硬件之上部署大規(guī)模集群，性能上要優(yōu)于MapReduce，在同等條件下要比Hadoop快10到100倍，具有能力更強(qiáng)，效率更高的特點(diǎn)。基于分布式文件系統(tǒng)HDFS的NoSql數(shù)據(jù)庫HBase有存儲速度快，易擴(kuò)展，容錯性高等特點(diǎn)，滿足采集大規(guī)模數(shù)據(jù)集實(shí)時讀寫、隨機(jī)訪問的需求[4]。

專業(yè)大數(shù)據(jù)系統(tǒng)架構(gòu)分五個層次：（1）數(shù)據(jù)源層：對多種數(shù)據(jù)類型進(jìn)行實(shí)時采集，包括結(jié)構(gòu)化數(shù)據(jù)源、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù);（2）數(shù)據(jù)傳輸和預(yù)處理層：針對上下課簽到、食堂刷卡、圖書借閱等密集數(shù)據(jù)采集時，基于KAFKA構(gòu)建消息隊(duì)列實(shí)現(xiàn)緩存區(qū)，避免數(shù)據(jù)井噴式增長可能導(dǎo)致的數(shù)據(jù)滯后丟失等情況。還包括通訊網(wǎng)關(guān)服務(wù)，并行作業(yè)傳輸實(shí)現(xiàn)對數(shù)據(jù)快速采集與交換;（3）數(shù)據(jù)存儲層：通過數(shù)據(jù)接收、數(shù)據(jù)預(yù)處理、數(shù)據(jù)檢查、預(yù)判分析、數(shù)據(jù)的存儲等功能完成對數(shù)據(jù)的接收、解析和存儲工作;（4）數(shù)據(jù)分析層：運(yùn)用數(shù)據(jù)倉庫、聯(lián)機(jī)分析、數(shù)據(jù)挖掘等技術(shù)提取、整合有價值的數(shù)據(jù);（5）應(yīng)用展示層，為使用者提供可視化數(shù)據(jù)展示、專業(yè)畫像及可操作UI界面。

3專業(yè)發(fā)展大數(shù)據(jù)系統(tǒng)的主要功能模塊

3.1數(shù)據(jù)交換和數(shù)據(jù)共享系統(tǒng)

專業(yè)大數(shù)據(jù)的數(shù)據(jù)交換和共享系統(tǒng)主要包括專業(yè)數(shù)據(jù)字典、異元數(shù)據(jù)交換系統(tǒng)和數(shù)據(jù)共享系統(tǒng)三部分：一是，根據(jù)專業(yè)建設(shè)和專業(yè)質(zhì)量診斷與改進(jìn)需求，設(shè)計專業(yè)字典及各類指標(biāo)體系、質(zhì)量控制點(diǎn)，編制專業(yè)數(shù)據(jù)指標(biāo)規(guī)范。例如：專業(yè)編號、專業(yè)名稱、專業(yè)群編號、專業(yè)群名稱等。構(gòu)建專業(yè)數(shù)據(jù)字典，規(guī)范各項(xiàng)專業(yè)指標(biāo)編號和名稱，說明指標(biāo)作用和指標(biāo)來源，為各個部門使用統(tǒng)一的、標(biāo)準(zhǔn)化數(shù)據(jù)提供服務(wù);二是，建沒完善的數(shù)據(jù)交換系統(tǒng)為各個部門的數(shù)據(jù)通信建立統(tǒng)一的數(shù)據(jù)通道，保證數(shù)據(jù)信息準(zhǔn)確及時;三是，建設(shè)一套完善專業(yè)數(shù)據(jù)共享系統(tǒng)，實(shí)現(xiàn)一次錄入多部門多用戶多次共享的功能，減少冗余數(shù)據(jù)。專業(yè)數(shù)據(jù)共享系統(tǒng)可教職工數(shù)據(jù)采集數(shù)量和頻率，有效提高各部門協(xié)同工作效率、提升專業(yè)建設(shè)的質(zhì)量。

3.2數(shù)據(jù)清洗系統(tǒng)

數(shù)據(jù)清洗系統(tǒng)主要是為提高數(shù)據(jù)質(zhì)量，發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識別的錯誤。數(shù)據(jù)清洗主要是對數(shù)據(jù)進(jìn)行預(yù)處理，通過判斷識別，得到數(shù)據(jù)集含有的諸如錯誤、無效、重復(fù)的數(shù)據(jù)等，再填補(bǔ)空值，最大可能地保證在數(shù)據(jù)真正使用和分析應(yīng)用前的正確性，從而提高數(shù)據(jù)決策的質(zhì)量[5]。數(shù)據(jù)源的采集是一項(xiàng)極為繁雜的工作，大量的數(shù)據(jù)原始填報是由人工完成的，而錄入后的數(shù)據(jù)清理一般是由計算機(jī)完成。原始數(shù)據(jù)往往存在數(shù)據(jù)缺失、數(shù)據(jù)重復(fù)、數(shù)據(jù)異常甚至錯誤等問題。例如迎新系統(tǒng)原始數(shù)據(jù)庫中學(xué)生性別字段用“男”和“女”表示。教學(xué)過程中，教務(wù)管理系統(tǒng)原始數(shù)據(jù)庫中性別字段用“Y”和“N”表示。數(shù)值類型、字符串回車、全角半角、日期格式等這一系列的錯誤都會導(dǎo)致ETL運(yùn)行失敗，這就需要在獲取數(shù)據(jù)之前有一套完整的數(shù)據(jù)清洗機(jī)制。例如對于數(shù)據(jù)進(jìn)行統(tǒng)一的對比，找出不一致的數(shù)據(jù)精準(zhǔn)處理，統(tǒng)一標(biāo)準(zhǔn)，交給業(yè)務(wù)部門刪除異常數(shù)據(jù)。對數(shù)據(jù)進(jìn)行清洗和比較，是為滿足專業(yè)建設(shè)和專業(yè)質(zhì)量診斷與改進(jìn)需求的高質(zhì)量數(shù)據(jù)。

3.3專業(yè)大數(shù)據(jù)畫像系統(tǒng)

專業(yè)大數(shù)據(jù)畫像系統(tǒng)是專業(yè)各項(xiàng)指標(biāo)的綜合展示系統(tǒng)，為滿足專業(yè)質(zhì)量保證系統(tǒng)核心KPI決策分析，從人才培養(yǎng)、資源建沒、社會服務(wù)、專業(yè)評價、交流合作等各方面指標(biāo)進(jìn)行詳細(xì)的指標(biāo)量化分值設(shè)置，并且進(jìn)行橫向縱向排名分析實(shí)現(xiàn)專業(yè)建設(shè)持續(xù)改進(jìn)。所應(yīng)用的大數(shù)據(jù)相關(guān)技術(shù)有：專業(yè)數(shù)據(jù)關(guān)聯(lián)分析、獨(dú)立成分分析、分類分析、主成分分析、聚類分析和異常分析以及決策樹等。該系統(tǒng)包含能滿足專業(yè)發(fā)展和質(zhì)量診斷改進(jìn)需求的專業(yè)大數(shù)據(jù)分析模型，幫助各個系部、專業(yè)相關(guān)部門直觀地了解專業(yè)現(xiàn)狀，深入分析專業(yè)建設(shè)成效，為專業(yè)發(fā)展提供決策支持等。例如應(yīng)用聚類分析技術(shù)分析學(xué)生，對課堂回答問題的頻率、正確性，按照學(xué)生對知識的掌握情況進(jìn)行分類，開展精準(zhǔn)輔導(dǎo)，針對不同群體制定不同的教學(xué)安排。

4專業(yè)發(fā)展大數(shù)據(jù)系統(tǒng)建設(shè)的意義

專業(yè)發(fā)展大數(shù)據(jù)系統(tǒng)不僅能實(shí)現(xiàn)專業(yè)的申報、遴選、淘汰以及檢測、預(yù)警、改進(jìn)，還對專業(yè)相關(guān)數(shù)據(jù)進(jìn)行整合、實(shí)現(xiàn)數(shù)據(jù)分析和挖掘形成專業(yè)畫像，有利于推進(jìn)高職院校專業(yè)建設(shè)質(zhì)量工作，促進(jìn)師生樹立質(zhì)量理念，培育質(zhì)量文化，履行質(zhì)量主體責(zé)任，形成常態(tài)化的診斷與改進(jìn)制度.具有較強(qiáng)預(yù)警功能和激勵作用。

5結(jié)論

應(yīng)用大數(shù)據(jù)技術(shù)建設(shè)專業(yè)發(fā)展信息化平臺，整合學(xué)院各個部門間的數(shù)據(jù)資源，為學(xué)院專業(yè)建設(shè)工作提供精準(zhǔn)可靠的數(shù)據(jù)支撐。能夠有效提升專業(yè)建設(shè)水平，實(shí)現(xiàn)專業(yè)建設(shè)過程中處處留痕，實(shí)時改進(jìn)的功能，穩(wěn)步提升專業(yè)質(zhì)量、專業(yè)知名度的效果。利用專業(yè)建設(shè)大數(shù)據(jù)系統(tǒng)能夠?yàn)閷I(yè)定制、專業(yè)申報、優(yōu)質(zhì)專業(yè)遴選、專業(yè)質(zhì)量診斷與改進(jìn)和劣質(zhì)專業(yè)淘汰，提供一整套現(xiàn)代化解決方案，持續(xù)提升辦學(xué)活力和人才培養(yǎng)質(zhì)量，對加快發(fā)展現(xiàn)在職業(yè)教育具有重要意義。

參考文獻(xiàn)：

[1]袁洪志，陳向平.文化育人：高等職業(yè)教育質(zhì)量提升的新視角[J].江蘇高教，2016（1）：135-137，151.

[2]方娟.基于質(zhì)量提升的職業(yè)院校教學(xué)診改工作研究[J].哈爾濱職業(yè)技術(shù)學(xué)院學(xué)報，2018（3）：4-6.

[3]汪保友，錢晶，袁時金.基于Hadoop的電信大數(shù)據(jù)來集方案研究與實(shí)現(xiàn)[J].電信科學(xué)，2017，33（1）：135-142.

[4]程學(xué)旗，靳小龍，王元卓，等.大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J].軟件學(xué)報，2014，25（9）：1889-1908.

[5]范會麗，彭寧，任薇.基于Hadoop平臺的數(shù)據(jù)清洗研究[J].電腦知識與技術(shù)，2020，16（5）：27-28.

【通聯(lián)編輯：代影】

收稿日期：2020-03-23

基金項(xiàng)目：河北省社會科學(xué)發(fā)展研究課題——大數(shù)據(jù)背景下專業(yè)建設(shè)質(zhì)量診斷與改進(jìn)研究（編號：2019030401065）

作者簡介：張偉龍（1981-），河北交通職業(yè)技術(shù)學(xué)院，副教授，碩士，主要研究方向：大數(shù)據(jù)技術(shù)。