基于大數據技術的高校學生信息管理系統設計

唐婷，聶麗霞

（隴東學院 數學與信息工程學院，甘肅 慶陽 745000)

0 引言

隨著高校“三全育人”綜合改革的推進，學生管理工作呈現出新的特點，承擔學生管理工作的部門和個人逐漸增多，工作內容逐層細化，時空管理面擴大，工作途徑多元化。精準、全面、實時掌握學生信息是做好學生管理工作的前提，而大數據技術是掌握學生信息的一把利劍。目前，已有學生大數據采集、學生定位、學生畫像等方面的相關研究。設計數據源層、數據存儲層、數據處理層、應用層共四層開發基于大數據處理技術的學生管理系統，實現學生管理信息共享，完成學生學業、行為、心理健康等方面的監測，提高學生管理效率，提升學生管理工作水平。

1 關鍵技術分析

1.1 大數據技術

大數據是指在預期時間內用傳統數據處理工具無法完成數據獲取和處理的數據集。與傳統數據集相比，數據生產速度快、數據體量大、數據結構復雜、數據價值密度低是大數據的基本特征。但較傳統數據集而言，大數據的根本優勢并不是龐大的數據集，而是通過反復加工之后獲得的有效信息，從而提升數據的使用價值和經濟價值。

大數據處理過程包括數據采集、存儲、管理、分析和可視化。單臺計算機難以滿足大數據處理海量、高速、并行的要求，常用分布式數據處理技術來解決這一難題。Hadoop生態系統是目前基于大數據技術進行系統開發的主要工具，包含了MapReduce、HDFS、HBase、Hive、Sqoop等子項目，可滿足大數據處理需求[1]。

1.2 物聯網技術

物聯網是指通過無線射頻技術、傳感器技術、嵌入式技術、網絡技術等實現設備或人員互聯互通，是“物物相連”的網絡。物聯網中的每一個設備或人員擁有唯一的射頻識別碼，該碼具有識別、定位、跟蹤、通信等功能，是大數據采集的重要手段，也是大數據處理技術發展的基礎。目前，高校已普遍使用了校園卡以方便學生考勤、圖書借閱、校內消費等，校園卡便是應用了物聯網技術，卡中預置了電子標簽，提前寫入學生姓名、學號、所屬班級等基本信息，是學生在校園卡管理系統中的身份標識。射頻識別手機卡將校園卡與手機卡相結合，兩卡合一，方便攜帶，學生在手機端綁定校園卡賬號，即可充值、消費、查詢信息，提高了校園卡的安全性能和利用率，加速了智能化數字校園的形成[2-3]，是基于大數據的學生管理系統的主要數據收集來源。

2 高校學生信息化管理現狀

2.1 高校學生信息化管理的不足之處

學生管理工作是一盤統籌兼顧的棋，教務管理、財務管理、就業管理、后勤管理、安全管理、心理健康管理等需要各部門分工合作、密切配合，正確、實時、全面的學生數據是進行學生管理的重要資源。然而，現實中受上級部門管理、學校發展規劃、財政支持等原因，學校內各部門信息化管理建設程度不同，或未實現信息化管理，仍處于紙質化辦公階段，或使用不同的信息管理系統，數據難以共享，并且現有信息管理系統只提供基礎的增刪改查功能，沒有對數據進行分析，造成現有數據浪費。學校沒有完善、統一的學生信息管理系統造成學生和老師數據重復報送、事務辦理流程復雜、各部門之間數據認可度不高的局面，增大了數據規模，加劇了數據生產速度，各部門數據結構、數據標準、存儲方式、安全級別不一致使得數據利用率低下，難以適應學生管理工作實時性、科學性的需求。

2.2 高校使用大數據進行學生管理的有利條件

高校大力發展智慧校園，已普遍實現校園網絡全覆蓋，高速的校園網絡通信設備及現有的各類信息管理系統，為實現基于大數據進行學生管理工作提供了基本的軟、硬件條件。學校通過開設信息技術類課程對大學生進行信息素養教育，通過“互聯網+”、信息技能大賽等途徑提高大學生信息實踐能力，較社會其他群體而言，大學生信息素養水平較高，接受新鮮事物的能力強，學生管理工作者在管理中積累了豐富的工作經驗，但常常受現有條件的制約，為學生提供便利和做好服務依然困難重重，所以建立全校統一的數據庫，打破部門之間的數據壁壘，通過大數據技術及時掌握學生思想、學習、生活等方面的現狀，實現校園安全、學生心理健康、衛生健康動態管理，是高校學生管理工作者的迫切愿望。

3 基于大數據的高校學生管理信息系統分析

3.1 系統目標分析

基于大數據技術的高校學生信息管理系統為建立全校統一的學生信息管理數據庫提供良好的軟、硬件接入能力，識別和對接多類終端產品，滿足用戶訪問系統的設備個性化需求；通過大數據技術對學生數據進行采集、存儲、清洗和挖掘，為全校學生建立信息化檔案；通過數據分析技術和可視化技術對校園安全狀態、校園流行病趨勢、學生就業分布、學生心理健康現狀等提供圖形化顯示。用戶通過授權賬號登錄系統，不同身份擁有不同操作權限，可在相關頁面上傳、下載、查詢、修改信息，便于學生管理工作者全面掌握學生動態信息，同時也為學生獲取校內信息創造便利條件，提高學生管理精細化、及時性、針對性水平。

3.2 系統功能需求分析

基于大數據的高校學生管理系統分為學生基本信息管理、教務信息管理、學工信息管理及后勤信息管理4大功能模塊，數據真實性、實時性、有效性分別由學生所在學院、教務處、學生處、后勤處負責。學生、部門（院系）管理員、學校管理員是該系統的三類用戶，學生學籍信息由教務信息管理部門導入系統，學生首次登錄系統后，完成密碼修改并完善個人信息，便可訪問系統的其他功能模塊。部門（院系）管理員賬號由學校管理員分配，登錄后對本部門（院系）負責的信息進行上傳、下載、修改、刪除、發布、鎖定、加密等，對其他部門（院系）的信息可查看、下載。學校管理員登錄系統后可查看系統的所有數據，根據業務需要開放、添加、刪除、鎖定部門（院系）的功能模塊。系統功能模塊圖如圖1所示。

圖1 系統功能模塊圖

1) 學生基本信息管理。學生學籍信息由教務管理部門從后臺導入，包含學生姓名、學號、性別、出生年月日、身份證號碼、所在學院、所學專業、所在班級、入校時間等。學生登錄系統后可查看以上信息，并完善個人聯系方式、宿舍、家庭住址、興趣愛好、家庭經濟狀況等。通過射頻識別校園卡采集學生定位數據，可顯示學生出入校園、宿舍、圖書館等時間信息。

2) 教務信息管理。教務處是教務信息管理的責任部門，發布課程信息、競賽通告、參賽進展等，學生在此模塊可查詢本專業課程體系設置、本學期全校開設的所有課程，查詢、打印本人學習成績單、課表，接收各類競賽通知，查詢已參賽結果。學院管理員可導入本學院學生成績，對成績不合格學生發出學業預警報告。

3) 學工信息管理。學生工作處負責學工信息管理，發布各級三好學生、優秀學生干部、獎學金、助學金評定政策，定時開通各類評先獎優申請通道，發布就業信息、服兵役信息等。學生可對以上信息進行查詢、在線申請獎補助、完成已就業登記、服兵役登記。院系在此模塊中可對本學院學生分配宿舍、導入班主任信息，對學生申請的各類補助信息查看、匯總、審核并導出結果。

4) 后勤信息管理。后勤保障處發放學生校園卡，對校園卡在線綁定、掛失、充值等業務進行管理，發布院系宿舍信息，發布校園健康信息，安排全校心理健康普查活動，發放心理健康調查問卷，設置心理健康在線輔導。在大數據分析的基礎上對校園流行病發布預警。學生綁定校園卡后，在校醫院就醫或購藥、校內超市購物、購買水電可使用校園卡結算，在客戶端進行心理健康在線咨詢和線下預約，圖書借閱、出入校園等信息也將實時上傳至校園卡管理系統，并被進一步采集到學生信息管理系統中。院系在此模塊可查看、修改本學院學生相關信息。

4 基于大數據的高校學生管理系統設計

基于大數據的高校學生管理系統采用B/S（即Browser/Server，瀏覽器/服務器模式）開發模式，即瀏覽器請求，服務器響應。訪問終端只需要通過Web瀏覽器即可登錄系統進行身份驗證，Web服務器受理訪問請求后，數據庫服務器存儲數據信息并提供訪問結果，Web 服務器再將訪問結果反饋給用戶，從而實現數據交互[4-5]。為滿足大規模、多源異構數據處理的實時性，并能進行模型分析，本系統開發主要使用Hadoop 開源組件，程序編寫使用Java 語言，采用分層設計，分為數據源層、數據存儲層、數據處理層和應用層，上層可以向下訪問，下層為上層提供服務。系統功能架構圖如圖2所示。

圖2 系統架構圖

4.1 數據源層

系統數據源層的主要任務是為系統采集數據。與學生相關的數據主要來自三個方面：其一，學生訪問互聯網數據。高校校園局域網架構和無線網覆蓋為數據采集提供了便捷并且安全的途徑，學生訪問互聯網需要登錄校園網授權界面，輸入學號和密碼進行驗證。網絡訪問日志可使用Hadoop的Flum組件進行采集。此類數據格式多樣、數據量大、生成時間自由；其二，校園一卡通數據。一卡通記載了學生的圖書借閱、餐廳用餐、門禁管理、充值等多項數據，通過校園卡管理系統即可獲取；其三，相關部門從各類管理系統中導出或日常管理工作中產生的數據，涉及學生學籍、成績、資助、獎罰信息，此類數據可通過系統接口導入到學生管理信息數據庫中。系統數據源呈現出結構化、半結構化和非結構化數據共存的特點。Flum是數據源層中最重要的大數據信息采集工具，它可以收集分布在多臺服務器上的日志數據、社交媒體數據等多種數據源，并將它們移動到HDFS存儲。

4.2 數據存儲層

數據存儲層主要用于存儲學生信息源數據、預處理數據、系統用戶數據和用戶交互結果數據。結構化數據可在MySQL數據庫中保存，半結構化和非結構化數據使用非關系型數據庫HBsase 保存，HBsase 數據表分兩級建設數據屬性，即列族和列限定符，其中列限定符可后續動態添加，方便系統管理員根據實際需求設置新的表結構。HDFS 支持高吞吐量訪問，可將數據存儲在多臺校園服務器上，易于擴展并且可有效避免數據集中在單一服務器上發生的宕機問題。Sqoop 可方便地實現MySQL 數據庫與Hadoop 之間的交換，Flume 完成數據源的多途徑采集，所以，通過Sqoop組件和Flume組件將數據批量導入到HDFS中，為數據處理做好準備，并且將數據備份到其他目錄中。由于學生信息包含個人隱私，所以在本層還會對原始數據進行脫敏、清洗，再將各類格式的數據通過轉換、加工、融合等預處理，建立統一的數據處理單元，提取數據特征，為系統提供可靠的數據處理集。

4.3 數據處理層

數據處理層不但要為用戶訪問系統傳輸數據，還要結合數據計算模型對學生學業成績、活動軌跡、校園消費、圖書借閱等數據進行分析。采用聚類算法、關聯規則挖掘算法對學生進行特征分類，基于歷史數據和學生個人特征，對學生進行心理健康監測、學業預警、職業規劃等。本層利用Hadoop 各組件自帶的對外API 接口將HBase 和Hive 連接和聯合，以SQL 或類SQL 的Hive_SQL 語言可直接對兩個數據庫表的結合訪問，包括數據讀寫、查詢、統計、分析，方便批量管理HDFS中的相關數據，提升數據處理效率和準確性。

4.4 應用層

應用層是用戶訪問系統的接口，也是系統向用戶提供數據的窗口，通過調用下層數據向本層提供訪問結果。Hadoop 的文件訪問接口通常是JavaAPI 形式，與Java 具有良好的交互能力，使用Java 語言編寫GUI界面。在此系統中，除了常見的系統訪問界面外，將查詢結果以圖形的形式展示給用戶，安裝JavaScript開源組件Echart，實現數據可視化功能[6-7]，包括直線圖、曲線圖、柱狀圖等，滿足用戶交互式圖形分析需求。通過可視化報表，學生管理工作者可了解學生學習困難、行為傾向、興趣愛好等，以便及時采取干預措施和制定培養策略，學生能查看自身學業、健康、圖書借閱、自習、行為習慣等在周圍人中所處的水平，為學生認識自我、爭先創優提供一定價值的參考。

5 結論

大數據技術在學生數據采集、數據存儲、數據處理中可發揮重要作用，數據可視化能夠為管理員提供更加簡明的數據分析結果，使學生信息管理更加科學、直觀。將大數據技術應用于學生管理信息系統的開發，對各部門現有學生信息進行遷移和整合，對學生實時產生的數據進行采集，建立全校統一的數據庫，實現學生信息同步化、多維度地查詢與應用，提高數據利用率，在較短時間內將海量數據轉變為寶貴的信息，為學生提供可靠及時的信息獲取渠道，有效提升學生管理工作效率，并創新學生管理工作方式。