數(shù)據(jù)可視化平臺(tái)的建設(shè)與應(yīng)用
——以哈爾濱工程大學(xué)為例

哈爾濱工程大學(xué) 劉佳 叢建偉 李澤鋒

將海量的枯燥數(shù)據(jù)通過技術(shù)手段以人眼易于識(shí)別的圖像、圖形和圖表形式呈現(xiàn)出來并動(dòng)態(tài)更新，更直觀地幫助人們理解數(shù)據(jù)中隱藏的信息，是數(shù)據(jù)可視化的重要研究和發(fā)展方向。文章首先介紹了數(shù)據(jù)可視化的相關(guān)知識(shí)和工具，然后以哈爾濱工程大學(xué)為例，對(duì)建立學(xué)校數(shù)據(jù)可視化環(huán)境、建設(shè)“疫情防控”數(shù)據(jù)駕駛艙以及支持學(xué)校開展科學(xué)精準(zhǔn)疫情防控工作的做法和經(jīng)驗(yàn)進(jìn)行了介紹和總結(jié)，以期為其他高校提供有意義的參考。

如今，大數(shù)據(jù)和人工智能蓬勃發(fā)展，已成為各行各業(yè)的熱門話題。海量的數(shù)據(jù)及復(fù)雜的數(shù)據(jù)關(guān)系為數(shù)據(jù)分析和利用帶來了巨大的挑戰(zhàn)，如何將海量的枯燥數(shù)據(jù)通過技術(shù)手段以人眼易于識(shí)別的圖像、圖形和圖表形式呈現(xiàn)出來并動(dòng)態(tài)更新，更直觀地幫助人們理解數(shù)據(jù)中隱藏的信息，成為重要的研究方向[1]。

1 什么是數(shù)據(jù)可視化

數(shù)據(jù)可視化是運(yùn)用和諧的色彩、平衡的視覺元素和一些集中注意力的特性，以圖像、圖形和圖表的形式多緯度地呈現(xiàn)數(shù)據(jù)細(xì)節(jié)的、趨勢(shì)的信息。數(shù)據(jù)可視化，一半是藝術(shù)一半是科學(xué)，把握藝術(shù)性的同時(shí)要有科學(xué)性，保證科學(xué)性的同時(shí)也不能缺乏藝術(shù)性。數(shù)據(jù)可視化最首要的任務(wù)是準(zhǔn)確地傳遞數(shù)據(jù)的信息，不能誤導(dǎo)和歪曲數(shù)據(jù)本來的含義；另外，數(shù)據(jù)可視化應(yīng)當(dāng)是美觀的，能夠強(qiáng)化數(shù)據(jù)信息的表達(dá)[2]。

2 數(shù)據(jù)可視化的典型應(yīng)用

2.1 在醫(yī)學(xué)領(lǐng)域的應(yīng)用

三維醫(yī)學(xué)數(shù)據(jù)可視化已經(jīng)成為數(shù)字醫(yī)學(xué)領(lǐng)域的重要研究方向之一[3]。三維數(shù)字醫(yī)學(xué)模型可以展示人體器官更加清晰的三維形態(tài)以及復(fù)雜的空間組織結(jié)構(gòu)，可以幫助醫(yī)生做出更加準(zhǔn)確的判斷，目前已被廣泛應(yīng)用于醫(yī)學(xué)影像診斷和分析、手術(shù)規(guī)劃與導(dǎo)航、CT 仿真、PET 診斷、放射醫(yī)學(xué)診斷和虛擬內(nèi)窺鏡成像技術(shù)等方面。

2.2 在氣象領(lǐng)域的應(yīng)用

氣象數(shù)據(jù)可視化在氣象科學(xué)研究領(lǐng)域和天氣預(yù)報(bào)業(yè)務(wù)中發(fā)揮著重要的支撐作用[4]。巨型臺(tái)風(fēng)、龍卷風(fēng)、大范圍的干旱和洪澇、水循環(huán)等的觀測(cè)和預(yù)報(bào)預(yù)警已成為現(xiàn)實(shí)，而且，更深、更廣、更專業(yè)的氣象知識(shí)如地形雨、冷暖鋒、厄爾尼諾、下?lián)舯┝鞯龋舱谧哌M(jìn)公眾的視線，對(duì)氣象數(shù)據(jù)可視化提出了更高的要求。

2.3 在工程領(lǐng)域的應(yīng)用

數(shù)據(jù)可視化正在強(qiáng)力推動(dòng)工程建設(shè)技術(shù)和管理的重大變革。數(shù)據(jù)可視化應(yīng)用于海上風(fēng)電工程，可監(jiān)測(cè)風(fēng)機(jī)的狀態(tài)和進(jìn)行設(shè)備遠(yuǎn)程巡檢，能夠很好地解決施工難度大、運(yùn)維成本高的問題[5]；應(yīng)用于流體力學(xué)工程，通過實(shí)時(shí)模擬三維管網(wǎng)內(nèi)的流體運(yùn)動(dòng)，可有效地幫助人們監(jiān)測(cè)管網(wǎng)內(nèi)的物質(zhì)運(yùn)輸狀態(tài)，以及在防災(zāi)避險(xiǎn)時(shí)(如巷道、軌道突水)指導(dǎo)人們及時(shí)規(guī)避風(fēng)險(xiǎn)[6]。

3 數(shù)據(jù)可視化工具

目前市面上的數(shù)據(jù)可視化工具眾多，根據(jù)不同的標(biāo)準(zhǔn)可以劃分為不同的類別，從軟件和編程工具兩方面可以進(jìn)行如下劃分[1,7]。

3.1 可視化軟件

3.1.1 三維圖像類

三維圖像類可視化軟件側(cè)重于利用計(jì)算機(jī)圖形學(xué)將復(fù)雜的科學(xué)概念或結(jié)果以三維視覺圖像的形式呈現(xiàn)出來，如醫(yī)學(xué)圖像領(lǐng)域的3D Slicer、地理信息領(lǐng)域的ArcGIS 等。

3.1.2 圖形圖表類

圖形圖表類可視化軟件側(cè)重于利用二維圖形、圖表的形式呈現(xiàn)數(shù)據(jù)的統(tǒng)計(jì)分析結(jié)果、規(guī)律和變化趨勢(shì)，如辦公軟件Microsoft Excel、商業(yè)智能軟件PandaBI 等。

3.2 可視化編程工具

3.2.1 JavaScript 語言

JavaScript 是一種基于對(duì)象、事件驅(qū)動(dòng)的客戶端腳本語言，在Web 開發(fā)中廣泛使用。Chart.js、D3.js 和Chartist.js 都是比較好用的JavaScript 圖形圖表庫，用戶在項(xiàng)目中導(dǎo)入后即可根據(jù)需要?jiǎng)?chuàng)建各種樣式的圖形圖表。

3.2.2 Python 語言

Python 是近年來比較流行的面向?qū)ο竽_本語言，廣泛應(yīng)用于可視化編程、人工智能等計(jì)算機(jī)科學(xué)領(lǐng)域。進(jìn)行數(shù)據(jù)分析必要的Python 類庫主要有Pandas、Geopandas、SQLite3、Numpy 和Matplotlib 等[8]，支持?jǐn)?shù)據(jù)庫訪問、數(shù)據(jù)處理和圖像處理。

4 我校數(shù)據(jù)可視化的應(yīng)用：疫情防控

為快速落實(shí)國(guó)家疫情防控政策、實(shí)現(xiàn)科學(xué)精準(zhǔn)疫情防控[9]，最大化降低疫情對(duì)學(xué)校教學(xué)和科研等活動(dòng)的影響，學(xué)校信息化部門基于數(shù)據(jù)可視化平臺(tái)建設(shè)上線了“疫情防控”數(shù)據(jù)駕駛艙，為學(xué)校疫情防控工作的有序有效開展和資源精準(zhǔn)投入提供了重要的依據(jù)和保障。

疫情防控-數(shù)據(jù)分析預(yù)警情況頁面如圖1 所示。

4.1 規(guī)劃數(shù)據(jù)可視化技術(shù)架構(gòu)

我校的疫情防控?cái)?shù)據(jù)可視化工作，實(shí)際上是綜合考慮學(xué)校的疫情防控需求、信息系統(tǒng)和數(shù)據(jù)資源情況、技術(shù)支撐能力以及本地疫情形勢(shì)等多方面的因素，采取了分兩步走的策略：第一步，先進(jìn)行疫情相關(guān)原始數(shù)據(jù)的治理，通過SQL 程序查詢提供所需的結(jié)果數(shù)據(jù)，確保能夠?qū)崿F(xiàn)應(yīng)急響應(yīng)疫情防控；第二步，以第一步治理后規(guī)范的疫情相關(guān)數(shù)據(jù)為基礎(chǔ)進(jìn)行多緯度統(tǒng)計(jì)分析，通過數(shù)據(jù)可視化平臺(tái)以圖形、圖表的形式呈現(xiàn)，實(shí)現(xiàn)常態(tài)化疫情防控。

疫情防控?cái)?shù)據(jù)可視化技術(shù)架構(gòu)如圖2 所示。

圖2 疫情防控?cái)?shù)據(jù)可視化技術(shù)架構(gòu)Fig.2 Data visualization technology architecture for epidemic prevention and control

4.2 建立數(shù)據(jù)可視化環(huán)境

4.2.1 選擇合適的數(shù)據(jù)可視化工具

數(shù)據(jù)可視化工具承擔(dān)對(duì)學(xué)校各類數(shù)據(jù)的可視化呈現(xiàn)任務(wù)，基于數(shù)據(jù)可視化工具開發(fā)的數(shù)據(jù)圖形圖表和組合而成的數(shù)據(jù)大屏對(duì)于發(fā)掘數(shù)據(jù)價(jià)值、發(fā)現(xiàn)潛在問題、優(yōu)化管理流程、快速響應(yīng)決策等學(xué)校業(yè)務(wù)的開展具有重要的意義。我校對(duì)于數(shù)據(jù)可視化工具（以下稱“平臺(tái)”）的需求主要包括以下幾個(gè)方面：

（1）支持多種類型的數(shù)據(jù)源；

（2）自動(dòng)化程度高，操作便捷；

（3）可根據(jù)需要任意添加多種類型的圖形圖表組件和數(shù)據(jù)大屏；

（4）支持配置多表關(guān)聯(lián)進(jìn)行數(shù)據(jù)分析和呈現(xiàn)；

（5）支持圖表數(shù)據(jù)下載為Excel 文件；

（6）支持自定義圖形圖表，如開源的EChart 圖表代碼；

（6）可將數(shù)據(jù)大屏發(fā)布為公開超鏈接；

（7）可根據(jù)用戶自身的角色和權(quán)限，配置不同的圖形圖表和數(shù)據(jù)大屏的查看和下載權(quán)限；

（8）支持單點(diǎn)身份認(rèn)證登錄；

（9）達(dá)到性能要求，訪問流暢；

（10）符合安全標(biāo)準(zhǔn)，保障數(shù)據(jù)的安全。

4.2.2 確保平臺(tái)與其他系統(tǒng)的暢通

根據(jù)前期建設(shè)規(guī)劃，平臺(tái)需對(duì)接以下系統(tǒng)：

（1）與單點(diǎn)身份認(rèn)證系統(tǒng)對(duì)接，師生通過單點(diǎn)身份認(rèn)證即可登錄平臺(tái)；

（2）與學(xué)校中心數(shù)據(jù)庫、校園卡系統(tǒng)數(shù)據(jù)庫、數(shù)據(jù)交換平臺(tái)均連接暢通，數(shù)據(jù)工作人員可通過數(shù)據(jù)交換平臺(tái)將中心數(shù)據(jù)庫、校園卡系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)推送至平臺(tái)數(shù)據(jù)庫；

（3）與數(shù)據(jù)庫管理平臺(tái)連接暢通，數(shù)據(jù)工作人員可通過數(shù)據(jù)庫管理平臺(tái)對(duì)數(shù)據(jù)流轉(zhuǎn)的各個(gè)環(huán)節(jié)進(jìn)行靈活管理，保障數(shù)據(jù)從源端到目標(biāo)端準(zhǔn)確、快速地呈現(xiàn)。

4.3 建設(shè)“疫情防控”數(shù)據(jù)駕駛艙

4.3.1 設(shè)計(jì)“疫情防控”數(shù)據(jù)駕駛艙頁面

“疫情防控”數(shù)據(jù)駕駛艙頁面的設(shè)計(jì)主要有以下4 個(gè)步驟：

（1）圍繞學(xué)校疫情防控工作，調(diào)研學(xué)校相關(guān)各方對(duì)“疫情防控”數(shù)據(jù)駕駛艙的需求，擬定各單位關(guān)心的內(nèi)容和數(shù)據(jù)來源；

（2）根據(jù)“疫情防控”數(shù)據(jù)駕駛艙頁面顯示的容量，將擬定的內(nèi)容進(jìn)行分類，分別在不同的頁面上顯示，并為各個(gè)頁面擬定名稱；

（3）規(guī)劃“疫情防控”數(shù)據(jù)駕駛艙的主體色調(diào)，再根據(jù)每個(gè)頁面的內(nèi)容分別設(shè)計(jì)布局和圖形圖表樣式，并為每個(gè)圖形圖表擬定名稱；

（4）與學(xué)校相關(guān)各方多次溝通確認(rèn)，完成“疫情防控”數(shù)據(jù)駕駛艙頁面的設(shè)計(jì)，形成最終效果圖，切圖后即可在平臺(tái)繪制出初步的有背景效果的數(shù)據(jù)呈現(xiàn)頁面。

4.3.2 準(zhǔn)備圖形圖表數(shù)據(jù)

在“疫情防控”數(shù)據(jù)駕駛艙頁面顯示的每個(gè)圖形或圖表，與平臺(tái)的數(shù)據(jù)庫表或視圖[10]并不一定是一對(duì)一的關(guān)系，而可以是一對(duì)多、多對(duì)一的關(guān)系。下面以學(xué)生預(yù)警數(shù)據(jù)為例來介紹。

根據(jù)建設(shè)需求，要在數(shù)據(jù)分析預(yù)警情況頁面顯示5項(xiàng)學(xué)生預(yù)警數(shù)據(jù)，分別為：

（1）昨日學(xué)生最后進(jìn)出校數(shù)據(jù)；

（2）昨日在校園學(xué)生24 點(diǎn)前未歸寢數(shù)據(jù)；

（3）當(dāng)前在校園學(xué)生48 小時(shí)未出寢數(shù)據(jù)；

（4）當(dāng)前在校園學(xué)生72 小時(shí)無校內(nèi)軌跡數(shù)據(jù)；

（5）當(dāng)前學(xué)生已出校但有校內(nèi)軌跡數(shù)據(jù)。

每項(xiàng)學(xué)生預(yù)警數(shù)據(jù)各對(duì)應(yīng)1 個(gè)明細(xì)數(shù)據(jù)圖表和1 個(gè)統(tǒng)計(jì)數(shù)據(jù)圖表，一共是10 個(gè)圖表。

在實(shí)際開發(fā)中，并非一定要在源端對(duì)應(yīng)建立10 個(gè)數(shù)據(jù)庫表或視圖，而是應(yīng)該根據(jù)這5 項(xiàng)學(xué)生預(yù)警數(shù)據(jù)的特點(diǎn)，盡可能地整合成1 個(gè)數(shù)據(jù)表后推送至平臺(tái)數(shù)據(jù)庫。通過這樣整合處理，不僅可以在數(shù)據(jù)處理時(shí)保持?jǐn)?shù)據(jù)的一致性，同時(shí)還可以減少數(shù)據(jù)交換接口的使用，最大化降低平臺(tái)應(yīng)用的復(fù)雜性和運(yùn)維開銷。

實(shí)際操作步驟如下：

（1）在學(xué)校中心數(shù)據(jù)庫，先把5 項(xiàng)學(xué)生預(yù)警數(shù)據(jù)用一個(gè)視圖“學(xué)生預(yù)警數(shù)據(jù)”整合處理出來，如圖3 所示；

圖3 “學(xué)生預(yù)警數(shù)據(jù)”視圖Fig.3 "Student Alert Data" view

（2）在數(shù)據(jù)交換平臺(tái)建立數(shù)據(jù)交換接口，將中心數(shù)據(jù)庫的“學(xué)生預(yù)警數(shù)據(jù)”視圖數(shù)據(jù)推送至平臺(tái)數(shù)據(jù)庫表“XSYJSJ”中，數(shù)據(jù)交換接口如圖4 所示；

圖4 學(xué)生預(yù)警數(shù)據(jù)交換接口Fig.4 Student alert data exchange interface

（3）平臺(tái)數(shù)據(jù)庫表“XSYJSJ”的數(shù)據(jù)如圖5 所示，“XSYJSJ”表字段與“學(xué)生預(yù)警數(shù)據(jù)”視圖字段是一一映射關(guān)系。其中，“預(yù)警類別”字段有5 個(gè)值，據(jù)此可分別篩選出所需的5 項(xiàng)學(xué)生預(yù)警數(shù)據(jù)，并可分別進(jìn)行統(tǒng)計(jì)，然后通過圖形圖表在數(shù)據(jù)大屏上呈現(xiàn)。

圖5 “XSYJSJ”表數(shù)據(jù)Fig.5 "XSYJSJ" table data

4.3.3 開發(fā)數(shù)據(jù)呈現(xiàn)頁面

在平臺(tái)中，新建圖形圖表，連接平臺(tái)的數(shù)據(jù)庫表“XSYJSJ”，選擇合適的圖形圖表樣式，提取相關(guān)字段、配置相關(guān)參數(shù)后，即可繪制出所需的圖形圖表。通過不斷地調(diào)整圖形圖表大小、配色以及內(nèi)容的字體、間距等，呈現(xiàn)最優(yōu)效果[11]。

在圖1 數(shù)據(jù)分析預(yù)警情況頁面中，單擊“昨日在校園學(xué)生24 點(diǎn)前未歸寢人數(shù)”超鏈接，即可打開“昨日在校園學(xué)生24 點(diǎn)未歸寢”明細(xì)數(shù)據(jù)頁面，如圖6 所示。

圖6 學(xué)生預(yù)警明細(xì)數(shù)據(jù)頁面Fig.6 Student alert details page

同理，在圖1 數(shù)據(jù)分析預(yù)警情況頁面中，單擊另外4個(gè)超鏈接，即可打開對(duì)應(yīng)的另外4 項(xiàng)學(xué)生預(yù)警數(shù)據(jù)。

在明細(xì)數(shù)據(jù)頁面，通過判斷訪問者不同的輔導(dǎo)員、副書記和學(xué)工處管理人員角色權(quán)限，僅對(duì)應(yīng)顯示其管理的學(xué)生的預(yù)警數(shù)據(jù)和提供Excel 數(shù)據(jù)下載。

4.4 上線及運(yùn)維保障

對(duì)平臺(tái)的功能、性能、訪問者角色權(quán)限配置和瀏覽器適應(yīng)情況等方面進(jìn)行全面測(cè)試，確保滿足要求后即可上線使用，上線后持續(xù)進(jìn)行運(yùn)維保障。

特別需要重視以下幾個(gè)方面：

（1）“疫情防控”數(shù)據(jù)駕駛艙呈現(xiàn)的數(shù)據(jù)最終來源于近30 個(gè)信息系統(tǒng)，這些信息系統(tǒng)各有數(shù)據(jù)量不等的前端設(shè)備，例如校園卡系統(tǒng)就有2000 多臺(tái)前端設(shè)備。各信息系統(tǒng)的管理員時(shí)常會(huì)根據(jù)需要新增、修改或撤銷設(shè)備以及對(duì)信息系統(tǒng)進(jìn)行配置變更，這些操作都會(huì)引起信息系統(tǒng)數(shù)據(jù)的變化。因此，平臺(tái)運(yùn)維人員一定要加強(qiáng)與各信息系統(tǒng)管理員、建設(shè)廠商的溝通協(xié)調(diào)，并針對(duì)每個(gè)信息系統(tǒng)做好數(shù)據(jù)規(guī)范化和建立“先確認(rèn)再操作”的機(jī)制，在相關(guān)各方都確認(rèn)接下來的操作引起的數(shù)據(jù)變化能被正常處理后再開始操作，并監(jiān)控?cái)?shù)據(jù)正常流轉(zhuǎn)。

（2）“疫情防控”數(shù)據(jù)駕駛艙不僅呈現(xiàn)統(tǒng)計(jì)數(shù)據(jù)，還呈現(xiàn)部分個(gè)人行動(dòng)軌跡相關(guān)的明細(xì)數(shù)據(jù)，因此，平臺(tái)運(yùn)維人員要特別注意訪問者的角色權(quán)限控制，最小化配置數(shù)據(jù)查看和下載權(quán)限，避免發(fā)生數(shù)據(jù)安全問題。

（3）隨著疫情防控工作需求的變化，將會(huì)有更多的數(shù)據(jù)需要可視化呈現(xiàn)。在這種情況下，為減輕平臺(tái)面對(duì)高訪問量和大數(shù)據(jù)量的壓力，需保持先在中心數(shù)據(jù)庫和校園卡系統(tǒng)數(shù)據(jù)庫等源端數(shù)據(jù)庫中整合處理出數(shù)據(jù)結(jié)果，再通過數(shù)據(jù)交換平臺(tái)對(duì)接至平臺(tái)數(shù)據(jù)庫相應(yīng)數(shù)據(jù)表中的數(shù)據(jù)流轉(zhuǎn)方式。源端數(shù)據(jù)庫負(fù)責(zé)初始數(shù)據(jù)的整合處理，平臺(tái)只進(jìn)行簡(jiǎn)單的數(shù)據(jù)統(tǒng)計(jì)分析，主要負(fù)責(zé)可視化呈現(xiàn)。

5 結(jié)論

“疫情防控”數(shù)據(jù)駕駛艙通過50 余個(gè)圖表全面展示疫情防控總覽概況、數(shù)據(jù)分析預(yù)警、人車進(jìn)出校門、校內(nèi)場(chǎng)所人流、健康信息填報(bào)和人員出差離哈等幾個(gè)方面情況，面向?qū)W校疫情防控相關(guān)人員授權(quán)訪問，為學(xué)校制定和調(diào)整精準(zhǔn)的疫情防控策略，以及各單位合理安排本單位疫情防控工作和檢查工作執(zhí)行情況提供數(shù)據(jù)支撐。文章首先介紹了數(shù)據(jù)可視化的相關(guān)知識(shí)和工具，然后以哈爾濱工程大學(xué)為例，對(duì)建立學(xué)校數(shù)據(jù)可視化環(huán)境、建設(shè)“疫情防控”數(shù)據(jù)駕駛艙以及支持學(xué)校開展科學(xué)精準(zhǔn)疫情防控工作的做法和經(jīng)驗(yàn)進(jìn)行了介紹和總結(jié)，以期為其他高校提供有意義的參考。