基于大數(shù)據(jù)的學(xué)籍預(yù)警管理的關(guān)鍵技術(shù)與系統(tǒng)設(shè)計(jì)

周希宸，代偉，黃學(xué)佳

（四川西南航空職業(yè)學(xué)院，四川成都，610000）

1 學(xué)籍預(yù)警制度的現(xiàn)狀

學(xué)籍預(yù)警是基于各專業(yè)的人才培養(yǎng)方案，對(duì)學(xué)生的學(xué)習(xí)成績(jī)展開(kāi)研究。主要屬于數(shù)據(jù)分析和數(shù)據(jù)挖掘領(lǐng)域。目前我國(guó)對(duì)于教育數(shù)據(jù)挖掘的研究更側(cè)重于理論層面的探索以及對(duì)國(guó)外案例的介紹，對(duì)挖掘技術(shù)的應(yīng)用研究相對(duì)不足。伴隨信息技術(shù)與行業(yè)的深入融合，目前很多高校都在進(jìn)行信息化數(shù)字化智能化的智慧化校園建設(shè)，聯(lián)合系統(tǒng)集成類軟件技術(shù)企業(yè)進(jìn)行合作定制開(kāi)發(fā)符合各自校情的系統(tǒng)。但這是一個(gè)系統(tǒng)且復(fù)雜的工程，也需要大量的流程再造和經(jīng)費(fèi)支持。而經(jīng)費(fèi)的來(lái)源，是大多數(shù)高校，尤其是民辦高校的一大核心痛點(diǎn)。所以，信息化數(shù)字化智能化是一個(gè)漫長(zhǎng)的探索過(guò)程。提升校本研究團(tuán)隊(duì)的科技成果轉(zhuǎn)化能力具有重要意義。

目前，我校對(duì)于學(xué)生成績(jī)管理及學(xué)籍預(yù)警制度的實(shí)施處于半自動(dòng)化狀態(tài)。在現(xiàn)有的教務(wù)管理系統(tǒng)中只能實(shí)現(xiàn)各學(xué)院各專業(yè)各同學(xué)的成績(jī)查詢，而不能進(jìn)一步對(duì)學(xué)生成績(jī)進(jìn)行分析并可視化的展示。對(duì)于將要處于和已處于學(xué)籍預(yù)警狀態(tài)的學(xué)生進(jìn)行預(yù)警的處理更多的是手動(dòng)處理。篩選出名單之后，由學(xué)院及班主任進(jìn)行逐一通知。因此，對(duì)學(xué)籍預(yù)警管理流程與制度的信息化數(shù)字化智能化實(shí)施路徑的探索非常必要。

2 學(xué)籍預(yù)警制度的重要意義

2.1 高校教學(xué)管理面臨嚴(yán)峻考驗(yàn)

隨著高等教育大眾化進(jìn)程的深入，招生規(guī)模不斷擴(kuò)大，學(xué)生的文化素質(zhì)基礎(chǔ)參差不齊。面對(duì)學(xué)習(xí)態(tài)度不佳，多門(mén)考試未通過(guò)的學(xué)生，必須按照相關(guān)的教育教學(xué)管理制度進(jìn)行處理，如降級(jí)或退學(xué)等。高校的教學(xué)管理工作面臨著日益嚴(yán)峻的考驗(yàn)。

教育的目標(biāo)是為了把學(xué)生培養(yǎng)成行業(yè)需要的合格人才，讓學(xué)生不斷完善自我，創(chuàng)造美好幸福的生活。因此，學(xué)校需要對(duì)于學(xué)生在校的學(xué)習(xí)情況進(jìn)行全面清晰的掌控，對(duì)于將要出現(xiàn)學(xué)籍風(fēng)險(xiǎn)的同學(xué)提前進(jìn)行更科學(xué)和高效的預(yù)警，讓他們及時(shí)掌控學(xué)校及各學(xué)院各專業(yè)整體的情況，對(duì)教育教學(xué)質(zhì)量進(jìn)行更好的監(jiān)督和管理。

2.2 學(xué)生個(gè)人發(fā)展及成長(zhǎng)需要

每個(gè)學(xué)生在自身的成長(zhǎng)中，都會(huì)遇到各種挫折和困難，并且還會(huì)出現(xiàn)階段性的反復(fù)。大學(xué)是學(xué)生世界觀、人生觀、價(jià)值觀形成的重要階段。讓他們合理安排好自己的學(xué)習(xí)和生活，而不能在“享樂(lè)主義”中荒廢學(xué)業(yè)，導(dǎo)致多門(mén)課程不合格而受到退學(xué)處理。科學(xué)完善的學(xué)籍預(yù)警可以引導(dǎo)學(xué)生良性發(fā)展。

2.3 加強(qiáng)大學(xué)生家庭教育需要

在大學(xué)階段，家長(zhǎng)不僅僅要從生活上關(guān)心孩子，也更要關(guān)注孩子的學(xué)習(xí)。因?yàn)榇髮W(xué)階段，學(xué)生的獨(dú)立性及大多數(shù)學(xué)生異地求學(xué)的情況，家長(zhǎng)無(wú)法隨時(shí)獲得學(xué)生的各種情況。而大多數(shù)學(xué)生只會(huì)報(bào)喜不報(bào)憂，導(dǎo)致家長(zhǎng)無(wú)法真實(shí)了解學(xué)生的在校表現(xiàn)，最終導(dǎo)致學(xué)生與家庭之間教育脫節(jié)。科學(xué)完善的學(xué)籍預(yù)警可以加強(qiáng)學(xué)校與學(xué)生家長(zhǎng)之間的聯(lián)系，互通有無(wú)，共同幫助學(xué)生得到良好的發(fā)展。

3 基于大數(shù)據(jù)的學(xué)籍預(yù)警管理系統(tǒng)的功能需求

我校共有7大院系，各院系下分別下屬專業(yè)1-8個(gè)，每個(gè)專業(yè)擁有學(xué)生人數(shù)從幾十到上千不等。每名學(xué)生在校正考平均12科/學(xué)期，4學(xué)期共計(jì)48條成績(jī)。原有的教務(wù)系統(tǒng)只是呈現(xiàn)了這些學(xué)科成績(jī)，而對(duì)于管理者無(wú)法從整體上掌握各學(xué)院各專業(yè)各科的成績(jī)情況,無(wú)法進(jìn)一步自動(dòng)化推進(jìn)學(xué)籍預(yù)警管理流程。因此，本項(xiàng)目立足于以下研究目標(biāo)：

（1）對(duì)全院學(xué)生的學(xué)業(yè)成績(jī)進(jìn)行整體畫(huà)像

（2）對(duì)各二級(jí)學(xué)院，各專業(yè)，各班級(jí)的學(xué)業(yè)成績(jī)進(jìn)行整體畫(huà)像

（3）對(duì)學(xué)生的補(bǔ)考科目和時(shí)間進(jìn)行批量精準(zhǔn)報(bào)送

（4）對(duì)學(xué)生的重修科目和實(shí)踐進(jìn)行批量精準(zhǔn)報(bào)送

（5）對(duì)學(xué)生畢業(yè)前夕的學(xué)業(yè)完成情況進(jìn)行清晰管理

（6）信息化支持教學(xué)管理線對(duì)學(xué)生學(xué)籍預(yù)警的制度化流程，進(jìn)行一站式服務(wù)

4 基于大數(shù)據(jù)的學(xué)籍預(yù)警管理系統(tǒng)的關(guān)鍵技術(shù)

4.1 基于B/S的網(wǎng)絡(luò)架構(gòu)

為滿足開(kāi)放、互連、信息隨處可見(jiàn)與共享、開(kāi)發(fā)成本低廉的要求，本項(xiàng)目采用B/S型模式，即瀏覽器請(qǐng)求，服務(wù)器響應(yīng)的工作模式。第一層是瀏覽器。不同的客戶端進(jìn)行簡(jiǎn)單的輸入和輸出呈現(xiàn)。第二層是Web服務(wù)器，實(shí)現(xiàn)信息傳送。當(dāng)學(xué)生、任課教師、管理者在瀏覽器輸入特定的賬號(hào)登入系統(tǒng)進(jìn)行相關(guān)模塊的訪問(wèn)請(qǐng)求。由Web服務(wù)器統(tǒng)一受理后向數(shù)據(jù)庫(kù)服務(wù)器發(fā)送訪問(wèn)數(shù)據(jù)庫(kù)的請(qǐng)求。第三層是數(shù)據(jù)庫(kù)服務(wù)器。大量的學(xué)生成績(jī)等數(shù)據(jù)信息存放在此。通過(guò)在數(shù)據(jù)庫(kù)中查詢檢索后，將返回的結(jié)果發(fā)送給Web服務(wù)器。Web服務(wù)器將收到的收據(jù)結(jié)果轉(zhuǎn)換為HTML文本形式發(fā)送給瀏覽器，進(jìn)而向不同用戶所使用的瀏覽器端呈現(xiàn)結(jié)果。

4.2 大數(shù)據(jù)技術(shù)架構(gòu)

單從目前的學(xué)生成績(jī)數(shù)據(jù)體量，不必要使用大數(shù)據(jù)技術(shù)。但本項(xiàng)目立足于大數(shù)據(jù)思想及大數(shù)據(jù)技術(shù)展開(kāi)研究，更多是出于團(tuán)隊(duì)專業(yè)能力提升和項(xiàng)目未來(lái)的擴(kuò)展性的要求。

本項(xiàng)目首先根據(jù)項(xiàng)目的具體功能需求和角色進(jìn)行完整的數(shù)據(jù)庫(kù)流程設(shè)計(jì)，并在原來(lái)的教務(wù)系統(tǒng)下載學(xué)生成績(jī)數(shù)據(jù)進(jìn)行整理，將學(xué)生成績(jī)?cè)紨?shù)據(jù)和存放在MySQL中的基礎(chǔ)數(shù)據(jù)，通過(guò)sqoop開(kāi)源工具將MySQL中的數(shù)據(jù)采集到Hadoop的HDFS中進(jìn)行數(shù)據(jù)存儲(chǔ)，再通過(guò)Hadoop的數(shù)據(jù)倉(cāng)庫(kù)工具Hive，對(duì)數(shù)據(jù)進(jìn)行提取、清洗、轉(zhuǎn)化、加載，隨后使用分布式SQL查詢引擎Presto連接數(shù)據(jù)可視化工具，對(duì)提取和篩選后的數(shù)據(jù)進(jìn)行可視化的呈現(xiàn)。如下表所示，項(xiàng)目的整體架構(gòu)從數(shù)據(jù)源、數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)應(yīng)用等不同層級(jí)進(jìn)行支撐。

5 基于大數(shù)據(jù)的學(xué)籍預(yù)警管理系統(tǒng)的系統(tǒng)設(shè)計(jì)

本項(xiàng)目主要對(duì)學(xué)生各學(xué)期的學(xué)習(xí)成績(jī)進(jìn)行分析與呈現(xiàn)，對(duì)數(shù)據(jù)信息的存儲(chǔ)和處理是重要的環(huán)節(jié)之一。根據(jù)項(xiàng)目的研究目標(biāo)進(jìn)行需求分析。

5.1 系統(tǒng)的功能需求

5.1.1 參與者的確定及用例的獲取

本項(xiàng)目涉及的參與者包括學(xué)生、教師、教研室主任、院長(zhǎng)、管理員。不同的參與者有不同的需求，把這些需求轉(zhuǎn)化成用例。學(xué)生查詢自己的各學(xué)期的成績(jī)，包括課程所屬學(xué)期、課程性質(zhì)、學(xué)分、周學(xué)時(shí)、正考成績(jī)、補(bǔ)考成績(jī)、重修成績(jī)并能修改自己登錄系統(tǒng)的密碼；教師查詢自己所教授科目的成績(jī)，教研室主任查詢本教研室所涉及專業(yè)課程的成績(jī)，院長(zhǎng)查詢?nèi)核姓n程的成績(jī)信息。管理員可對(duì)其他參與者進(jìn)行權(quán)限管理，同時(shí)可以添加修改相關(guān)的學(xué)生、教師、課程、成績(jī)等信息。

5.1.2 系統(tǒng)的模塊劃分

此項(xiàng)目存在一定的復(fù)雜程度，將其劃分成以下幾個(gè)模塊。

（1）用戶管理模塊

用戶管理模塊的核心任務(wù)是提供用戶的注冊(cè)、登錄、個(gè)人信息添加和修改功能。對(duì)于四種不同的參與者分別存在以下功能。

非管理員：通過(guò)本模塊添加個(gè)人信息、修改個(gè)人信息；個(gè)人信息包括密碼、手機(jī)號(hào)、郵箱等。

管理員：對(duì)已注冊(cè)用戶進(jìn)行管理，包括對(duì)一些常常進(jìn)行非法操作的賬號(hào)進(jìn)行封禁和銷號(hào)等。

（2）成績(jī)查詢模塊

成績(jī)查詢模塊主要任務(wù)是管理學(xué)生的成績(jī)，各個(gè)學(xué)期各專業(yè)已修科目的正考成績(jī)，補(bǔ)考成績(jī)和重修成績(jī)。

（3）補(bǔ)考管理模塊

補(bǔ)考管理模塊主要任務(wù)是對(duì)學(xué)生正考成績(jī)數(shù)據(jù)進(jìn)行處理，對(duì)于特定時(shí)間段正考不合格的同學(xué)給予補(bǔ)考通知。

不同權(quán)限的用戶可以查詢不同的補(bǔ)考信息明細(xì)并進(jìn)行可視化的呈現(xiàn)。學(xué)生可以查看個(gè)人的補(bǔ)考信息，教師可以查看自己所授學(xué)科的補(bǔ)考信息，教研室主任可以查看本教研室的補(bǔ)考信息，院長(zhǎng)可以查看全學(xué)院所屬專業(yè)的補(bǔ)考信息。

（4）重修管理模塊

重修管理模塊主要任務(wù)是對(duì)學(xué)生補(bǔ)考成績(jī)數(shù)據(jù)進(jìn)行處理，對(duì)于特定時(shí)間段補(bǔ)考不合格的同學(xué)給予重修通知。

不同權(quán)限的用戶可以查詢不同的重修信息明細(xì)并進(jìn)行可視化的呈現(xiàn)。學(xué)生可以查看個(gè)人的重修信息，教師可以查看自己所授學(xué)科的重修信息，教研室主任可以查看本教研室的重修信息，院長(zhǎng)可以查看全學(xué)院所屬專業(yè)的重修信息。

（5）學(xué)籍預(yù)警管理模塊

學(xué)籍預(yù)警管理模塊的主要任務(wù)是對(duì)學(xué)生的補(bǔ)考次數(shù)，補(bǔ)考不合格門(mén)數(shù)達(dá)到一定數(shù)量，重修次數(shù)，重修不合格門(mén)數(shù)達(dá)到一定數(shù)量的同學(xué)發(fā)布學(xué)籍預(yù)警風(fēng)險(xiǎn)。

5.2 系統(tǒng)的非功能需求

由于目前本項(xiàng)目只是針對(duì)學(xué)生的成績(jī)來(lái)進(jìn)行分析。為了后期全面推進(jìn)數(shù)字化校園建設(shè)。除了學(xué)生成績(jī)的維度，還有其他的學(xué)生狀態(tài)與行為數(shù)據(jù)也可以進(jìn)行數(shù)據(jù)分析與挖掘?？紤]到未來(lái)可能添加更多的功能，適當(dāng)?shù)靥岣呦到y(tǒng)的可擴(kuò)展性。因此，該系統(tǒng)采用分層設(shè)計(jì)，把各個(gè)功能模塊橫向劃分為顯示層，接口層，實(shí)現(xiàn)層。在本項(xiàng)目中這些層次對(duì)應(yīng)著以下組件。

(1)顯示層：界面層；(2)接口層：業(yè)務(wù)工作層；(3)實(shí)現(xiàn)層：業(yè)務(wù)實(shí)現(xiàn)層；(4)其他實(shí)用組件：數(shù)據(jù)庫(kù)。

5.3 系統(tǒng)設(shè)計(jì)的核心點(diǎn)

（1）數(shù)據(jù)源

本項(xiàng)目的設(shè)計(jì)初衷是因?yàn)楝F(xiàn)有的成績(jī)管理對(duì)數(shù)據(jù)的分析與呈現(xiàn)不足。因此，對(duì)于數(shù)據(jù)的整合是本項(xiàng)目的第一個(gè)關(guān)鍵。原系統(tǒng)的數(shù)據(jù)主要存放在MySQL數(shù)據(jù)庫(kù)中，幾年前由一家系統(tǒng)集成企業(yè)為學(xué)校定制開(kāi)發(fā)。從我們所擁有權(quán)限來(lái)看，我們擁有的常規(guī)權(quán)限是到教務(wù)系統(tǒng)中將各學(xué)院各年級(jí)各專業(yè)的學(xué)生的成績(jī)數(shù)據(jù)以為Excel的形式導(dǎo)出。另外，還有一個(gè)方式可以省下一些精力。即請(qǐng)系統(tǒng)集成企業(yè)給一個(gè)接口，我們可以有權(quán)限連接他們的MySQL數(shù)據(jù)庫(kù)。這樣得到原始成績(jī)數(shù)據(jù)的方式就更快捷一些。出于項(xiàng)目的未來(lái)用途，本項(xiàng)目主要研究用于未來(lái)的教學(xué)實(shí)戰(zhàn)，輔助項(xiàng)目驅(qū)動(dòng)的課程建設(shè)。所以，在獲取數(shù)據(jù)源上采用了導(dǎo)出Excel數(shù)據(jù)的形式。

（2）數(shù)據(jù)采集

本項(xiàng)目采用大數(shù)據(jù)技術(shù)支撐研究。因此從數(shù)據(jù)源到大數(shù)據(jù)體系必須經(jīng)歷數(shù)據(jù)采集的過(guò)程。本次主要采用Excel文件類型的原始數(shù)據(jù)采集上傳到HDFS存儲(chǔ)?？紤]項(xiàng)目后續(xù)的擴(kuò)展性，例如增加一些新的功能，預(yù)留了從MySQL數(shù)據(jù)庫(kù)采集數(shù)據(jù)。由于本項(xiàng)目不是單一的進(jìn)行數(shù)據(jù)存儲(chǔ)處理，而是要通過(guò)大數(shù)據(jù)的相關(guān)組件來(lái)數(shù)據(jù)進(jìn)行清洗和分析。因此，本項(xiàng)目最終確定的操作路徑是，把從原始教務(wù)系統(tǒng)下載的Excel表學(xué)生成績(jī)存入到MySQL數(shù)據(jù)庫(kù)中。基于對(duì)項(xiàng)目的需求分析，對(duì)數(shù)據(jù)的整合與規(guī)范進(jìn)行初步的思考。

（3）數(shù)據(jù)存儲(chǔ)

在已經(jīng)搭建好的Hadoop環(huán)境下安裝MySQL。然后運(yùn)用Sqoop開(kāi)源工具，將MySQL中的數(shù)據(jù)導(dǎo)入到HDFS存儲(chǔ)，為后續(xù)進(jìn)行數(shù)據(jù)處理做好準(zhǔn)備。

（4）數(shù)據(jù)處理

在這個(gè)環(huán)節(jié)，需要用到基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)工具Hive。通過(guò)它對(duì)學(xué)生成績(jī)進(jìn)行提取、轉(zhuǎn)化、加載。因?yàn)閷W(xué)生所屬的學(xué)院和專業(yè)不同，為了后期能更具體的呈現(xiàn)學(xué)生的成績(jī)情況并進(jìn)行分析。因此，在本環(huán)節(jié)要充分考慮項(xiàng)目的整體需求和輸出的結(jié)果的落地性和相關(guān)性，進(jìn)而在第一個(gè)環(huán)節(jié)考慮的數(shù)據(jù)的整合和規(guī)范思路，在此環(huán)節(jié)中進(jìn)行具體實(shí)施。在Hive建表時(shí)充分融入管理思維，為后續(xù)進(jìn)行流程優(yōu)化奠定基礎(chǔ)。Hive處理好數(shù)據(jù)源數(shù)據(jù)的同時(shí)，借助Presto分布式查詢引擎，對(duì)學(xué)生成績(jī)數(shù)據(jù)進(jìn)行限定條件的分析，在龐大的學(xué)生成績(jī)數(shù)據(jù)中查詢中存在補(bǔ)考重修并多門(mén)學(xué)科存在補(bǔ)考重修的數(shù)據(jù)，以在補(bǔ)考管理模塊和重修管理模塊中得以呈現(xiàn)。

（5）數(shù)據(jù)應(yīng)用

研究此項(xiàng)目的初衷是原有教務(wù)系統(tǒng)學(xué)生成績(jī)管理存在痛點(diǎn)。本項(xiàng)目以大數(shù)據(jù)的思維，采用大數(shù)據(jù)的相關(guān)技術(shù)棧進(jìn)行技術(shù)重構(gòu)的目標(biāo)是體現(xiàn)數(shù)據(jù)的價(jià)值?；谇懊娴臄?shù)據(jù)分析，在數(shù)據(jù)應(yīng)用層，我們將接入數(shù)據(jù)可視化技術(shù)將Presto實(shí)時(shí)查詢和分析的數(shù)據(jù)進(jìn)行更加生動(dòng)的呈現(xiàn)，如柱狀圖，餅狀圖等。這樣，數(shù)據(jù)在各個(gè)職能部門(mén)的作用就變得更加鮮活，能夠在各自的業(yè)務(wù)范圍內(nèi)更好的觀察數(shù)據(jù)，并支持管理決策，實(shí)現(xiàn)學(xué)生成績(jī)管理的流程閉關(guān)。

基于以上大數(shù)據(jù)思想及技術(shù)架構(gòu)體系，通過(guò)原始數(shù)據(jù)的采集，解決數(shù)據(jù)存儲(chǔ)的問(wèn)題，然后對(duì)學(xué)生成績(jī)進(jìn)行數(shù)據(jù)提取、清洗、轉(zhuǎn)換和加載，設(shè)計(jì)符合功能模塊需求的hive表，再添加Presto分布式SQL查詢引擎連接數(shù)據(jù)可視化工具。兩相對(duì)比，此項(xiàng)目研究思路對(duì)于之前的半自動(dòng)化的成績(jī)管理的現(xiàn)狀，將學(xué)生成績(jī)管理流程的前后銜接，對(duì)數(shù)據(jù)進(jìn)行有效地分析和管理，有力的支持管理決策，同時(shí)學(xué)生及學(xué)生家長(zhǎng)對(duì)于學(xué)生的成績(jī)也有清晰的了解。對(duì)學(xué)院的學(xué)風(fēng)建設(shè)、教學(xué)管理，以及教學(xué)質(zhì)量的提升和教學(xué)評(píng)價(jià)提供了有力的信息化保障。