基于校園一卡通的數據挖掘及可視化設計

摘要：為了更直觀、全面、高效地了解一卡通系統運行及用戶用卡狀況。以所在單位為例，設計和實現了一卡通大數據挖掘及可視化系統。基于一卡通交易信息、終端設備位置、地理位置圖等信息，采用Python為主要工具配合各開源模塊設計了數據挖掘和結果可視化平臺。實驗證明該系統能夠幫助多角度多形式地了解一卡通系統運行狀況、用卡習慣等，進而提高決策水平。該系統可為高校大數據深度應用提供參考。

關鍵詞：一卡通;大數據;數據挖掘;可視化;地理信息系統

中圖分類號：TP391.1 ? ? ?文獻標識碼：A

文章編號：1009-3044（2021）31-0100-02

Design of Data Mining and Visualization System Based on Campus Card System

YAO Li-juan

（Chengdu Textile College， Chengdu 611731， China）

Abstract： For more intuitive， comprehensive， and efficient understanding of the health of the campus card system and the trading conditions， take our college as an example， a big data mining and visualization system was designed and implemented. Based on card trading information， terminal equipment location， and combined with GIS information system， this scheme implemented data mining and visualization system， based on the python analytics platform. This system could establish a multi-angle and multi-form understanding of the health of a card system， then improve the level of decision-making. This system could provide reference for the deep applications of big data in colleges.

Key words： campus card system; big data; data mining; visualization; GIS

1 背景

隨著高校信息化建設日益深入，各種教務、后勤、服務、采購等系統的建立，教育信息化水平有了大幅度的提高。校園“一卡通”系統是智慧校園[1]的重要組成部分，以信息卡作為數據載體。一卡通作為傳統的身份識別介質，由于和“人”進行了有效綁定，因此可以通過各種終端設備，在上下課考勤、門禁出入、注冊報到、刷卡消費等場景中普遍得以應用[2]。由于，對校園卡應用數據進行分析和挖掘[3-4]，可以對用卡者的消費行為、生活習慣、出勤情況和校園的公共服務情況、教學狀況等方面進行規律分析。進而通過這些信息，校園各部門管理者可以指導教學方案、教學質量、課程安排、道路規劃等方面的調整。其中數據可視化技術可以讓用戶通過視覺感知，更清晰直觀、方便快速地抓住數據的信息，輔助管理者做出高效的決策。

因此校園卡應用數據的挖掘和分析、可視化成為智慧校園下一步發展的關鍵環節。本文基于采用python分析平臺[5]設計和實現了一卡通大數據挖掘可視化系統[6]。運用數據挖掘技術對校園卡應用數據，結合終端設備位置，對一卡通系統運行狀況進行了可視化展示。

2 基于一卡通系統的數據挖掘

2.1 一卡通系統的數據特點

本校已經建成了一卡通物聯網平臺，推動一卡通服務向移動化、多元化服務轉變，促進學校教學、管理、生活的信息化、智能化、自動化。本文使用的數據來自本校校園一卡通所產生的交易流水數據，主要包括以下數據見表1。該數據存儲在Oracle數據庫中，通過python接口程序讀出去除隱私數據后，以文本格式文件分日期存放。

2.2 基于scikit-learn的數據挖掘

scikit-learn是基于python語言的一個開源的機器學習工具包。它通過python的模塊NumPy， SciPy和Matplotlib等庫實現高效的算法應用，并且涵蓋了幾乎所有主流機器學習算法，包括回歸 （Regression）、降維 （Dimensionality Reduction）、分類 （Classfication）、聚類 （Clustering）等。Sklearn 采用流水線機制實現了對全部步驟的流式化封裝和管理，因此代碼量顯著減少，非常適合數據挖掘算法原型開發。sklearn中的大部分函數可以歸為估計器（Estimator）和轉化器（Transformer）兩類，通過pipline可以很方便地建立大數據處理流程。

2.3 基于python平臺的可視化

Django 是一個由 Python 編寫的一個開放源代碼的 Web 應用框架。Django 開發之初就嚴格按照 MVC 設計規范，引入MVC設計模式。Django負責處理網站開發中通用的部分，因此利用django可以以專注于編寫應用程序，非常適合本項目可視化這種低強度的web應用。

對于圖表的顯示，項目采用EChart js圖標庫，該庫是純Javascript，兼容大部分的瀏覽器，底層依賴輕量級的Canvas類庫，可以利用js和ajax技術可以非常容易地提供生動、可交互，數據可視化圖表。圖表定義采用xml能滿足該平臺的需求，而且有充分的可擴展性。

對于地圖部分，為了以后拓展校園地圖方面的進一步應用，項目采用了mapbox gl js作為地圖支持框架。Mapbox GL JS有著出色顯示效果的前端地圖框架，并且其前端代碼是開源的，實現了豐富的交互功能。Mapbox的地圖，可以多層疊加，采用geojson等可以非常方便對關注地點進行自定義。系統通過構造校園平面圖可以方便在其上實現豐富多彩的數據展示和交互功能。

2.4 基于docker的計算平臺部署

數據挖掘是一項數據驅動的技術，圍繞數據各個部門可以根據不同的需求開發各自的應用。各個應用產生新的數據又可以驅動新的應用產生。云計算技術[7]的伸縮性為數據挖掘提供了很好的支撐。本部門已經實驗性搭建了基于Docker的云中心及管理平臺，Docker的使用使應用開發者更加關注于解決問題，無需考慮軟件兼容、系統發布部署的問題。管理中心提供了標準的管理端口、服務也采用REST進行標準化，也有利于應用間的數據共享和利用。利用該技術可以快速搭建測試基于數據驅動的大數據應用。

3 基于一卡通的數據挖掘及可視平臺設計

3.1 系統總體構架設計

基于一卡通的數據挖掘及可視平臺數據挖掘平臺基于 docker分布式部署的python大數據計算平臺。平臺滿足從一卡通的業務數據的歷史和運行數據挖掘出數據中隱含的有價值信息。隨著采集的深入，數據量巨大，配置在docker上可以使系統具有高度的可伸縮性，充分合理地安排運行資源。系統主要由數據倉庫模塊、數據挖掘和統計分析模塊、可視化模塊組成。圖1給出了大數據挖掘平臺系統模塊結構：

首先數據總線接口：接口模塊的功能為從一卡通系統中采集實時交易運行數據，然后歷史存儲在本地數據文件型數據庫中，既可以保證了交易數據的實時性也可以滿足隸屬數據的挖掘需要?；趐ython的數據挖掘平臺：采樣python為開發工具，python 以 sci- learn-kit 為數據挖掘工具，Django為web服務框架能夠較快地實現系統原型滿足低強度的應用?；趀chart mapbox的可視化界面：基于B/S結構的web富客戶端，基于mapbox.gl和echart等js庫實現豐富可視化功能，以GIS以校園地理圖為背景，然后獲取終端位置信息，圖層疊加后即為所需的終端設備信息顯示。

3.2 校園一卡通可視化主題

1）實時交易可視化：校園卡的刷卡記錄能反映出食堂、實驗室、門禁宿舍、浴室等校園熱點區域的人流量情況。通過將校園卡用戶的消費數據轉換成具有人流量信息和地址編號的時間序列，利用實時交易數據可以對當前用卡情況進行可視化展示。在地圖上可以顯示出熱點交易信息，用多種echart圖表顯示數據。

2）人流量預測[8]可視化：利用歷史數據輸入到各種預測模型對模型進行訓練，獲得模型之后可以利用實時數據對給定時間段人流量進行預測。本文結合大量歷史數據，對數據進行預處理后，載入人流量預測模型進行訓練，從而進行人流量的預測。相對于以往采用計算機視覺的方法，該方法更能適合校園基本固定人群和人群行為模式相對固定的特點，還能利用該特點提高預測精度。進一步結合教務課程安排信息和教室位置信息可以估計出人流量通過的路線和擁堵情況。進而對特定時間特定地點的人流進行預測。圖2給出了實時交易及讓人流量可視化的效果。

3）多個系統數據聯合展示：借助地圖顯示平臺對地理位置相關的數據進行綜合顯示。

下圖為該基于一卡通的數據挖掘及可視平臺效果。中間為校園一角，實時交易熱點區域用不同顏色顯示，地圖可以縮放，變換視角，配合mapbox的漫游交互，設定路線可以在地圖中瀏覽數據，周圍為echart實現的實時統計數據圖。

4 結束語

隨著智慧校園的建設，校園卡應用數據對智慧校園的建設及大數據深度應用有著至關重要的作用。本文采用python平臺采用數據挖掘技術模塊和web服務模塊設計和實現了一卡通大數據挖掘及可視化系統。并進行了實時交易及人流量預測可視化。實驗證明該系統能夠幫助多角度多形式地了解一卡通系統運行狀況。下一步還將對數據關聯、數據融合、可視化主題做進一步優化。

參考文獻：

[1] 徐強.向智慧化邁進——高校智慧校園一卡通建設研究[J].科技經濟導刊，2021，29（16）：29-30.

[2] 倪國英，石宇.大數據在高校后勤信息化建設中應用與探究[J].產業創新研究，2020（6）：142-143.

[3] 牟國棟，楊洪萬.智慧校園環境下校園一卡通數據管理的分析與探討[J].信息技術與信息化，2021（3）：209-211.

[4] 迎梅.大數據時代的數據挖掘與應用[J].網絡安全技術與應用，2021（6）：51-52.

[5] 馮艷茹.Python語言在大數據分析中的應用[J].電腦知識與技術，2020，16（24）：72-73，80.

[6] 盧弘杰.大數據可視化與可視分析[J].電腦知識與技術，2021，17（8）：27-29.

[7] 楊武.混合云平臺的設計及實現[J].電腦知識與技術，2021，17（11）：77-78.

[8] 謝貴才，段磊，蔣為鵬，等.多尺度時序依賴的校園公共區域人流量預測[J].軟件學報，2021，32（3）：831-844.

【通聯編輯：謝媛媛】

收稿日期：2021-06-20

基金項目：四川省教育廳科研項目：面向校園的大數據系統及云技術研究（項目編號：17ZB0016）

作者簡介：姚莉娟（1978—），女，四川成都人，講師，學士，主要研究方向為大數據處理技術、網絡安全。