基于大數據的學生行為分析平臺研究與實現

張立輝

摘要：隨著“數據中國”的深入開展，高校教育管理的信息化、數據化成為不可逆轉的趨勢。高校數據管理的重要任務是挖掘教學數據深層次的價值并使其為學校發展決策提供數據支撐。文章提出的大數據用戶行為分析平臺通過挖掘海量用戶行為數據，解析用戶行為喜好并進行智能推薦，能夠從數據中精準識別用戶基礎行為及專題行為，通過行為匹配進而分析用戶偏好情況。平臺針對用戶偏好進行智能推薦，對用戶進行行為分類，有效掌握用戶動態；針對預測群體進行精準推薦，為提升產品營銷成功率做出貢獻。

關鍵詞：大數據；用戶行為；智能推薦；預測

中圖分類號：C37? 文獻標志碼：A

0 引言

隨著大數據應用的不斷普及和發展，學生之間通過網絡來進行信息交流逐漸頻繁，如何有效地對學生行為進行分析是目前行為分析平臺的主要難點之一。為適應高校學生平臺的應用情況，文章提出結合大數據技術和互聯網等多項技術，提出基于高校師生共同使用的基于大數據的學生行為分析平臺。

1 平臺的研究現狀

從文明之初的“結繩記事”，到文字發明后的“文以載道”，再到近現代科學的“數據建模”，數據一直伴隨著人類社會的發展變遷，承載了人類基于數據和信息認識世界的努力和取得的巨大進步［1］。國家的多項規劃中不止一次提到要加快信息化的發展建設，更要加強基于大數據技術的應用建設，大數據的應用不僅要實現對大數據的管理、大數據的清洗與挖掘，更要將基于大數據的信息化建設變成國家的發展戰略。

我國是人口大國，高校林立，在高校的多元管理過程中會產生大量的數據信息，比如學生的基本信息管理、學生的成績管理、學生的圖書借閱管理等［2］。學生在學校論壇等平臺會留下大量的數據信息。教師的工齡及薪酬管理、上課課件和視頻傳輸、項目管理及經費應用等教學科研會產生大量的數據信息。除此之外，高校教務及行政系統的設備管理、辦公自動化建設和學校主頁建設也會產生大量的數據信息。學校在執行教學管理和學生管理的過程中會同時采用多個管理系統進行數據維護和管理，多年應用會積累大量的數據信息。對這些數據進行挖掘和分析尤為有意義。

2 立項的必要性

許多學校每學期都會統計教師和學生的信息，但是傳統的管理模式都是通過Excel表格實行人工數據統計，每次的數據統計都會產生一定的誤差。為此，使用數據平臺實現教師和學生數據的統一管理，從已有數據中進行統計，不僅可以提高管理的可靠性，還能夠提升管理人員的工作效率，甚至能改變教育領域傳統的授課模式、學習模式和管理模式［3］。對現存海量原始數據分析的成果，可應用在科研計算、招生推廣、學科管理、薪資統籌、教師和學生信息跟蹤等多個方面。在新形勢下，多數高校已經形成共識。在信息爆炸時代，開展數據的深度分析和應用工作，對高校的發展而言是非常有必要的一項工作。

2.1 學?？茖W決策，需要數據深度分析和應用的輔助

完善高校管理大數據工程支持體系。一方面，將大數據分析分別與高校中的垂直管理和橫向業務聯系起來并充分融合，形成“數描高校”，即通過大數據分析方法，將高校中的人、財、物，以及各類事件、活動、過程和現象進行可視化處理，既對高校各類主體、實體進行靜態“畫像”，也對各類活動或過程開展動態“攝像”，為推動高校管理科學化提供精準動態的認識和把握。另一方面，推動建立高?？茖W管理體系。建立高校管理決策中教育大數據分析結果使用原則和流程；成立專家小組，推動教育大數據“數描方法”與領域專家分析相結合，助推科學規劃與科學決策。

2.2 教學質量評估，需要科學的數據深度分析和應用

每所高校都要定期開展教學評估工作，在評估工作中引入大數據分析技術不僅具備管理的依據，可以使教學工作的管理更加科學，還提高了學校數字化建設的步伐。在教學質量評估工作中引入大數據挖掘與分析技術，可以有效地提高教師的教學質量，還可以從教師教學的業績、教學手段多樣化、師生的互動、教學場所的使用情況等多個環節中尋找數據之間的內在關系，通過數據的分析可以為教學管理部門提供決策支持信息，為教師提供各方面的反饋信息，使教師可以更好地開展教學工作，提高教學質量。

2.3 教師教學能力的提升，需要數據支持

傳統的教學都是憑教師的感覺進行設計，沒有數據支撐，也不能和學生的實際情況契合?，F在，通過深度分析學生在觀看網絡教學視頻過程中的關注頻次和瀏覽量，分析得出學生感興趣或者難理解的課程關鍵節點，幫助教師有的放矢地改進教學重點、確定教學難點，勢必會引導教師改革教學方式。

2.4 校企融合，解決技術難題

大數據分析工作涉及數據抽取、清洗、整理、建模與分析、測試優化、預警展示、手機App應用等方面，對技術要求很高，可與行業企業合作，解決技術難題。這些技術問題將是大數據分析工作最大的障礙，需要重點注意兩個方面：（1）大數據分析及決策應用與智慧校園平臺的關聯關系。智慧校園平臺支撐整個學校的運營管理，采集了各類業務的原始數據。已建設有智慧校園平臺的學校，大數據分析與決策應用應基于智慧校園平臺；未建設智慧校園平臺的學校可直接建設整合集成大數據分析的智慧校園平臺。（2）注意大數據分析平臺及展示工具的選型。首先支持的數據源應全面，其次是應支持App接入，再者應支持電視、LED等展示終端接入。

3 平臺研究目標

學校是一個育人的搖籃，師生會產生大量的數據信息，利用大數據技術將產生的這些數據進行分析，可以找出數據之間的關聯關系，學校的管理人員通過數據即可掌握教師和學生的在校情況，掌握學生在各種活動中的行為規律，針對有問題的學生進行疏導，培養學生良好的行為習慣，幫助學生樹立合理的學習和行為觀念。通過數據的分析可促使學生的管理工作更加有效，在工作中能夠更加切實地解決教師和學生遇到的問題，消除教師和學生之間的矛盾，減輕學生的消極思想，促進學生的良性發展。

4 平臺研究主要內容

大數據的學生行為分析平臺主要功能包括9個模塊：（1）地址庫生成模塊基于學校多平臺常用的地址，采取數據爬取技術生成地址庫標簽，最終生成便于程序使用的地址庫。（2）數據清洗模塊用于實現清洗學校平臺的異常數據以及不作為分析范圍的數據，包括加載基礎數據、判斷數據字段是否一致、判斷url是否為空。（3）數據解析模塊用于識別教師和學生在學校多個平臺的操作行為，匹配出基礎數據地址并根據地址庫標識出訪問標簽。（4）用戶畫像模塊用于對學生操作行為實施匹配后的數據進行畫像，識別出學生的不同類別值，便于其他模塊準確掌握學生的操作行為。（5）學生信息分析模塊可實現對學生生源地、各專業學生性別等信息的統計分析。（6）學生平臺訪問管理模塊負責記錄學生對學校平臺訪問的持續時間，用于分析學生對平臺的關注度。（7）數據統計模塊可對清洗后的標準化數據進行可視化處理，通過餅圖、柱狀圖等多種圖形向學校管理人員展示數據分析結果，提供分析決策的數據支撐。（8）智能推薦模塊主要用于實現對學生關心課程的推薦，包括加載同類學生喜歡的課程。（9）對外接口模塊可為外系統提供教師和學生的最新狀態查詢服務，包括接口調用、驗證調用權限、查詢調用請求信息、返回查詢結果。

5 主要關鍵技術及創新點

5.1 關鍵技術

基于大數據的用戶行為分析平臺，主要采用Hadoop，MapReduce，HDFS，Python進行數據清洗和處理，采用Spark數據分析等技術手段來實現學生數據分析。

5.1.1 Hadoop集群層

Hadoop是由Apache基金會開發的大數據分布式系統基礎架構。用戶可以在不了解分布式底層細節的情況下，輕松地在Hadoop上開發和運行處理大規模數據的分布式程序，充分利用集群的威力高速運算和存儲。

Hadoop是一個數據管理系統，作為數據分析的核心，其匯集了結構化和非結構化的數據，這些數據分布在傳統的企業數據棧的每一層。

Hadoop也是一個大規模并行處理框架，擁有超級計算能力，定位于推動企業級應用的執行。

5.1.2 HDFS存儲層

HDFS是Hadoop Distribute File System的簡稱，意為Hadoop分布式文件系統，是Hadoop核心組件之一，作為最底層的分布式存儲服務而存在。HDFS使用Master和Slave結構對集群進行管理。一般一個HDFS集群只由一個NameNode和一定數目的DataNode組成。NameNode是HDFS集群主節點，DataNode是HDFS集群從節點，兩種角色各司其職，共同協調完成分布式的文件存儲服務。

5.1.3 MapReduce計算層

數據在進行清洗以后被存儲在HDFS系統，使用MapReduce計算框架可對數據進行分析。根據學校管理人員的需求，系統設定分析角度和分析方向，每一個分析方向都需要通過專門的MapReduce程序實現，主要設定的分析角度有學費的收取情況、學生生源地分布情況、學生的分數分布情況、學生平臺訪問情況等。

5.1.4 數據清洗和處理

數據清洗是一項復雜且煩瑣的工作，也是整個數據分析過程中最為重要的環節。數據清洗的目的有兩個，第一是通過清洗讓數據可用，第二是讓數據變得更適合進行后續的分析工作。這樣獲取到的原始數據不能直接用來分析和處理，因為這些數據存在各種各樣的問題，如包含無效信息、列名不規范、格式不一致、存在重復值、缺失有效值等。數據處理理念經歷了三大轉變過程，第一階段是處理全體數據而不是處理抽樣數據，第二階段是提高效率而不是追求數據的絕對精確，第三階段是處理數據的相關性而不是尋求數據的因果關系。具體的大數據處理流程可以概括為4步，分別是數據采集、數據導入和預處理、數據統計和分析以及數據挖掘。

（1）數據處理指由于數據量過于龐大，無法在較短時間內迅速解決，或者無法一次性裝入內存［4］。解決方案是針對大量數據采用巧妙的算法搭配合適的數據結構。

（2）數據庫存儲層是一個支持多副本的分布式存儲系統，包含多個存儲服務器，主要提供數據存儲服務。存儲層支持持續的數據更新。數據更新是基于日志回放機制，而非傳統數據庫的檢查點數據頁刷盤機制，因此在CPU資源占用、內存帶寬占用、資源峰谷差異等方面有更好的表現。

（3）用戶接口層是整個系統與系統的使用者進行信息交換的媒介。將可視化界面及系統的全貌展示給學校管理人員，學校管理人員通過可視化層展示界面將請求直接發送給管理人員，用戶層接收到可視化層發送的請求，將請求傳遞給平臺的后臺其他層，實現請求的處理并將處理結果利用可視化技術展示給管理人員。用戶接口層的主要功能是實現用戶的請求并接收分析結果。

5.2 創新點

技術方面：平臺采用大數據技術，通過分布式存儲技術實現數據的存儲，在數據存儲過程中采用一個NameNode和多個DataNode，利用MapReduce技術實現數據的初級處理，利用Spark技術實現數據的最終處理。

教學方面：大數據的用戶行為分析平臺可以根據用戶的多種情況進行統計并展示數據，教師根據平臺顯示的結果，不僅可以對部分用戶進行有針對性的教育和管理，還可以利用平臺實現對用戶興趣的調查，尋找用戶的興趣點，在課堂上針對用戶興趣展開教學，提高教學質量。

6 結語

綜合需求分析和功能分析可以看出，高校的師生在學生行為分析平臺會產生大量的數據。在學生行為分析平臺具體使用的過程中，可以根據不同的需求對數據進行清洗和可視化，為高校的各級領導及平臺使用者提供數據支持和數據分析結果。

參考文獻

［1］韓冰.大數據技術在圖書館讀者借閱行為分析中的應用［J］.科技視界，2021（24）：61-62.

［2］李春艷.教育大數據背景下用戶網絡學習行為機制研究［J］.電腦知識與技術，2021（20）：41-42.

［3］葉力銘.基于Spark電商用戶行為數據的分析與研究［D］.沈陽：沈陽師范大學，2020.

［4］羅嘉龍.基于大數據分析技術的用戶行為分析平臺設計與實現［J］.電腦知識與技術，2019（35）：54-56.

（編輯 王永超）

Research and implementation of student behavior analysis platform based on big data

Zhang? Lihui

（Changchun? Polytechnic， Changchun 130033， China）

Abstract： With the in-depth development of “Data China”， the informatization and data transformation of university education management have become an irreversible trend. The important task of university data management is to mine the deep value of teaching data and make it provide data support for school development decisions. The big data user behavior analysis platform can accurately identify user basic behavior and thematic behavior from the data， analyze user behavior through behavior matching make intelligent recommendation for user preference， classify user behavior. It can effectively grasp user dynamics， make accurate recommendation for prediction group and make great contribution to improving the success rate of product marketing.

Key words： big data; user behavior; intelligent recommendation; prediction