高校實驗室大數據可視化平臺研究

陳鐳 劉玉 楊琴

摘要： 高校實驗室各類應用系統中積攢了大量的業務數據，如何從這些沉睡的數據中發現具有決策價值的信息變得越來越重要。在開源系統Metabase的基礎上，設計實現了一套實驗室大數據可視化分析系統，使數據成為易于展示的文字、圖表或圖形形式，以便對這些數據進行深層次觀察和分析。以在線課程可視化子系統為例，實驗室大數據可視化分析系統的使用，可更直觀地為實驗教學、實驗室管理提供決策依據。

關鍵詞： 大數據; 可視化; Metabase; 實驗室管理

中圖分類號：TP311? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2020）11-43-03

Abstract： There is a large number of business data accumulated in various application systems of university laboratory， how to find the information with decision value from these sleeping data becomes more and more important. Based on the open source system Metabase， a laboratory big data visualization analysis system is designed and implemented， which makes the data easy to be displayed in the form of text， chart or graph， so as to be better observed and analyzed in depth. Taking the online course visualization subsystem as an example， the use of the laboratory big data visualization analysis system can provide experiment teaching and laboratory management with a decision-making basis more intuitively.

Key words： big data; visualization; Metabase; laboratory management

0 引言

高校實驗室在完善和優化本職業務功能，提供高質量服務的同時，實驗室各類應用系統，如實驗室管理系統、門禁系統、監控系統、機房預約系統、電子班牌系統等信息化系統中，積攢了大量的業務數據。數據的周期、容量、規模和類型都在不斷增長。如何從這些沉睡的數據中發現具有決策價值的信息變得越來越重要。高校實驗室應當把數據從單純的存儲向分析、挖掘升級轉變，通過對各級各類教育教學、管理系統數據的采集、關聯、分析等方法，將數據轉化為潛在的知識，構建高校實驗室大數據可視化與決策分析體系[1-2]，為實驗室及學科建設發展服務。

大數據、人工智能時代的到來，使這些設想變得可能?？梢暬夹g可以將原始數據轉變成易于展示的文字、圖表或圖形的形式，是體現數據關聯性價值最直觀的方式。本文利用大數據可視化技術，結合實驗教學、實驗室管理各類具體業務需求，在開源系統Metabase的基礎上，設計并實現了一套實驗室大數據可視化平臺系統。力圖對實驗室數據進行深入的探索和分析，多維度、可視化的展現數據背后的狀況，為決策分析提供借鑒參考。

1 Metabase介紹

Metabase是一個免費、開源的數據可視化工具，安裝配置環境簡單，容易上手，操作門檻低，不會SQL語句也能使用[3]。支持對外共享，權限控制，數據分析人員首先和數據庫建立連接，然后通過創建問題（Question）的方式來提煉數據，再通過儀表盤（Dashboards）呈現給用戶。圖1展示了Metabase可視化案例中，數據的轉換過程。

Metabase系統進行數據分析的一般流程如下。

⑴ 環境配置。在完成Metabase的安裝、簡單的配置之后，啟動Metabase，默認運行端口為3000，打開鏈接http：//your_host：3000。首先創建一個初始化的管理員賬戶，可以配置郵箱，通過郵箱給指定用戶發送通知，邀請新用戶，重置密碼等。

⑵ 連接數據庫。依次點擊右上角設置-管理員-數據庫-添加數據庫，選擇Database type（支持PostgreSQL、MySQL、Druid、SQL Server、MongoDB、Spark SQL、BigQuery、SQLite、H2等數據庫），按照提示填入數據庫信息再點保存即可連到數據庫。

⑶ 創建新問題（Question）。點擊“創建問題”，可以選擇簡單查詢模式、自定義查詢模式、原生查詢模式（SQL語句），根據不同的場景選擇不同的模式。然后選擇數據集，設置過濾條件、瀏覽視圖、聚合條件，在此基礎上，對數據進行一些簡單的計算后（計數、求和、求平均、最大值、最小值等），獲取結果集。

⑷ 問題可視化。Metabase在查詢結果后，默認的是Tables的表現形式。點擊“可視化”可以把處理好的數據轉換為圖形（線性圖、條形圖、環形圖、散點圖、漏斗圖、地圖），同時可以對圖表的格式，圖表X軸、Y軸顯示的標簽進行修改和設置。

⑸ 添加到儀表盤（Dashboards）。保存完問題后，可以將保存成功的問題添加到中儀表盤中，儀表盤中數據會隨著數據庫原始數據的變化自動更新。所以日常做的日報和一些需要重復性處理的實時簡單分析圖表，都可以放進儀表盤中。

⑹ 分享鏈接。通過設置可以定時將選定的問題發送至指定郵箱，使用戶及時收到最新的可視化數據，也可以手動分享公開鏈接。

2 系統分析與設計

通過與身處教學管理一線的教師、管理人員交流，開展調研，了解他們對實驗室大數據可視化的具體需求，并不斷的補充完善。本文設計實現一套基于可視化的實驗室大數據決策分析系統，為實驗教學、實驗室管理提供決策依據，目前主要系統功能模塊如圖2所示，包括在線課程可視化，實驗教學可視化，機房管理可視化，門禁系統可視化等。

⑴ 在線課程數據可視化分析

新冠肺炎疫情期間，按照停課不停教、停課不停學的統一部署，學校采用線上直播教學的方式進行網絡授課。每天直播系統中都會保存大量的直播課程數據。通過可視化分析的方式，直播課程開展狀況一目了然，如查看某天的直播課程數、上課學生數、總計學習人次、累計開課教學班、開課教師總數、總計直播課程數、每天按學院開課數、教師數、學生數、開課比例、哪門課程開的最多、哪位老師上的課最多等等指標。

⑵ 實驗教學數據可視化分析

實驗教學數據可視化分析主要包括實驗室排課、調課、課時、課表統計等方面[4]。利用好實驗教學可視化系統，管理人員可以根據實驗內容和教學設備條件、空余時間，按課程、教師、周次、節次、起始時間、上課人數安排實驗室，做出具體安排后形成實驗室課表，并發放給任課老師、實驗室機房管理人員、學生。而實驗教學管理系統可以與門禁管理系統結合，通過與校園一卡通對接，讀取一卡通系統的師生信息，實現教學實驗分批、分組智能安排、考勤簽到、實驗過程跟蹤監控及實驗上課信息匯總統計等。

⑶ 機房管理數據可視化分析

實驗室機房管理可視化分析，幫助管理人員實時查詢實驗室運行信息、機房管理系統信息、教師學生的身份和課程信息等[5]，根據需要授權不同用戶的使用權限。用戶可以隨時隨地查詢實驗室開放信息、預約信息、實驗室軟硬件配置信息、近期內課程安排信息等[6]。機房管理人員可以實時無縫掌控實驗室及相關范圍內的數據，教師、學生也可以依據自身需求關注實驗室信息以便合理安排行程計劃。

⑷ 門禁系統數據可視化分析

門禁系統數據可視化分析，主要對教師、學生、機房管理員等人員的刷卡記錄進行分析，從中可以發現一些有意思的數據。例如當天最早刷卡時間，最晚離開刷卡時間，某些機房通常是由哪些管理人員刷開的，進而可以分析出員工的考勤情況，從學生的刷卡記錄中很容易的分析出本門課程的出勤率等。

3 在線課程可視化子系統

本節以在線課程可視化子系統的部分功能為例，通過自定義查詢和編寫個性化SQL語句的方式，展示了基于Metabase的可視化系統的功能效果。

在Metabase中創建問題的方法有三種，簡單查詢模式、自定義查詢模式和原生查詢模式（SQL語句），其中原生查詢就是通過個性化的編寫SQL語句進行相關信息的查詢，如果功能需求條件不是很復雜，通常自定義查詢已經能滿足用戶需求。

⑴ 某一天直播課程數，其SQL語句為：

select count（distinct "dbo"."zxkbResult"."合班號"）

AS "count" FROM "dbo"."zxkbResult" WHERE

"dbo"."zxkbResult"."finishDate" = {{search_date}}

可視化效果如圖3中所示，2020年6月1日當天的直播課程數為433門。

⑵ 某一天按學院分類統計的開課數據，其SQL語句為：

select "dbo"."zxkbResult"."開課學院" AS "開課學院"，

count（distinct "dbo"."zxkbResult"."合班號"） AS

"count"， count（distinct "dbo"."zxkbResult"."教師編碼"）

AS "count_2"， sum（"dbo"."zxkbResult"."合班人數"）

AS "sum"

FROM "dbo"."zxkbResult"

WHERE "dbo"."zxkbResult"."finishDate"={{search_date}}

GROUP BY "dbo"."zxkbResult"."開課學院"

ORDER BY "count" desc

可視化效果如圖4中所示，2020年6月1日當天，外國語學院的開課數最多，其次為經濟學院，最后為實驗中心。

⑶ 各學院線上課程占總課程的比列，其SQL語句為：

select bb."開課學院"，count（合班號） AS "所有課程數"，

count（合班號2） AS "已開線上課程數"， count（合班號2）*1.0/count（合班號） AS "開課比例" FROM （SELECT "dbo"."ZXKB"."合班號" AS "合班號"， "dbo"."ZXKB"."開課學院" AS "開課學院"， "dbo"."ZXKB"."課程名稱" AS "課程名稱"， "zxkbResult"."合班號" AS "合班號2"， count（*） AS "count" FROM "dbo"."ZXKB"

LEFT JOIN "dbo"."zxkbResult" "zxkbResult" ON "dbo".

"ZXKB"."合班號" = "zxkbResult"."合班號"GROUP BY "dbo"."ZXKB"."合班號"， "dbo"."ZXKB"."開課學院"， "dbo"."ZXKB"."課程名稱"， "zxkbResult"."合班號"） AS BB group BY "開課學院" order BY "所有課程數" desc，"已開線上課程數" desc

可視化效果如圖5中所示，經濟學院開課數最多，其次是外國語學院，而且這兩個學院線上課程占總課程的比列達到100%，開課數最少的學院為國際交流學院，且線上課程占總課程的比列不足50%。

4 結束語

本文在利用在開源系統Metabase的基礎上，設計并實現了一套高校實驗室大數據可視化分析系統，對實驗室各類應用系統中積攢的業務數據進行圖形化展示，方便為分析決策提供依據。從運行的效果看，該可視化系統不僅功能強大、界面美觀，而且適用性廣泛。下一步的工作將擬整合可視化和大數據分析建模兩大功能，構建功能更加完整的高校實驗室大數據挖掘分析平臺。

參考文獻（References）：

[1] 張陽.大數據可視化統計分析通用平臺的設計與實現[D].北京交通大學碩士學位論文，2019.

[2] 李馥娟.大數據實驗室建設與應用研究[J].實驗技術與管理，2018.35（5）：243-246

[3] 蘇米.Metabase使用教程[EB/OL].https：//zhuanlan.zhihu.com/p/52085283，2018-12-11.

[4] 李菁.高校實驗室綜合管理系統的設計與實現[D].東南大學碩士學位論文，2016.

[5] 張凱，宋慧寧，楊再明.高校智慧實驗室的構建路徑研究[J].數字教育，2019.6：30-35

[6] 任本旺.面向多元化應用的實驗室管理及信息服務平臺研發[D].濟南大學碩士學位論文，2016.