基于多維日志數(shù)據(jù)的典型可視分析問題研究

王佳 付榮 李明東 姜飛 李雪竹

摘 要：數(shù)據(jù)可視化能夠把數(shù)據(jù)中隱藏的規(guī)律和特征以圖形的方式呈現(xiàn)出來，使得用戶可以快速地、直觀地了解數(shù)據(jù)中的信息，多維數(shù)據(jù)可視化是對海量的多維數(shù)據(jù)進行分類是一項復(fù)雜的工作，本文提出了一種多維時空數(shù)據(jù)協(xié)同可視分析的方法。

關(guān)鍵詞：多維數(shù)據(jù);可視化;關(guān)聯(lián)性

一、數(shù)據(jù)可視分析概述

（一）數(shù)據(jù)可視原理介紹。數(shù)據(jù)可視化綜合運用計算機圖形學(xué)、圖像處理、人機交互等技術(shù)，將原始數(shù)據(jù)變換為可識別的圖形符號、圖像、視頻或動畫，并以此呈現(xiàn)對用戶有價值的信息。用戶使用可視化交互工具進行數(shù)據(jù)分析，通過對可視化結(jié)果的感知獲取知識，并進一步提升為智慧。因此，數(shù)據(jù)可視化的終極目的是對事物規(guī)律的洞悉，即從數(shù)據(jù)中發(fā)現(xiàn)、決策、解釋、分析、探索和學(xué)習(xí)，而非所繪制的可視化結(jié)果本身。在數(shù)據(jù)可視化的工作中更關(guān)注數(shù)據(jù)和圖形，由此建立的數(shù)據(jù)可視化領(lǐng)域模型如圖1所示。

“數(shù)據(jù)可視分析”是指實時的、人機互動的、更加直觀的數(shù)據(jù)分析工具，讓人和機器進行真正的交流，給予企業(yè)真正的“大數(shù)據(jù)認知能力”。在大數(shù)據(jù)時代，可視化在數(shù)據(jù)的獲取、處理和分析階段都發(fā)揮著重要的作用。以大數(shù)據(jù)為基礎(chǔ)，以可視化和數(shù)據(jù)分析模型作為兩翼，共同為用戶創(chuàng)造價值，三者缺一不可，相輔相成。

（二）數(shù)據(jù)可視與數(shù)據(jù)挖掘之間的關(guān)聯(lián)。數(shù)據(jù)可視化與數(shù)據(jù)分析和數(shù)據(jù)挖掘的目標(biāo)都是從數(shù)據(jù)獲得信息與知識，但方式有異。數(shù)據(jù)可視化將數(shù)據(jù)呈現(xiàn)為可以直觀感知的圖形圖像，用戶可以通過交互操作發(fā)現(xiàn)數(shù)據(jù)中隱藏的規(guī)律和特征;而數(shù)據(jù)分析和數(shù)據(jù)挖掘根據(jù)特定的模型，自動地獲取數(shù)據(jù)中隱藏的信息，并把最后的結(jié)果直接交給用戶，缺乏交互性。為了充分利用可視化技術(shù)，數(shù)據(jù)挖掘領(lǐng)域已提出了可視數(shù)據(jù)挖掘的方法，其核心是將數(shù)據(jù)挖掘的結(jié)果用可視化方法予以呈現(xiàn)

二、數(shù)據(jù)可視過程

（一）數(shù)據(jù)可視化的環(huán)節(jié)。學(xué)可視化和信息可視化均設(shè)計了可視化流程的參考體系結(jié)構(gòu)模型，并被廣泛應(yīng)用于數(shù)據(jù)可視化系統(tǒng)中。它描述了從數(shù)據(jù)空間到可視空間的映射，包含串行處理數(shù)據(jù)的各階段：數(shù)據(jù)分析、數(shù)據(jù)濾波、數(shù)據(jù)的可視映射和繪制。可視化模式：是指據(jù)展現(xiàn)形式的概括。數(shù)據(jù)可視化的首要任務(wù)是選擇合適的視覺編碼，采用何種視覺編碼由感知系統(tǒng)的特性、數(shù)據(jù)的屬性和任務(wù)目標(biāo)等因素決定。在大數(shù)據(jù)時代，由于采集的數(shù)據(jù)量大而且數(shù)據(jù)具有動態(tài)性，這就要求可視化方法不僅能靜態(tài)展示還能夠高效地進行動態(tài)展示。

（二）多維時序數(shù)據(jù)趨勢性分析問題的描述。多維時序數(shù)據(jù)趨勢性分析的難點在于當(dāng)數(shù)據(jù)量很龐大時，如何對大量客觀對象的變化趨勢進行同時展示，在有限的空間內(nèi)如果對數(shù)據(jù)的各個屬性都進行展示則會導(dǎo)致圖形或圖像相互覆蓋的問題。假設(shè)每個對象在一個時間段內(nèi)有一個數(shù)據(jù)記錄，共有n個時間段，可以得到時間和數(shù)據(jù)的二元組集合：

? ? ? ? ? ? ? ? ? ? ? ? （1）

si為ti時間段的數(shù)據(jù)值，i=1，2，… ，n。在此基礎(chǔ)上計算出每個對象在t1

到tn時間段內(nèi)階段數(shù)據(jù)值的相關(guān)信息，數(shù)據(jù)結(jié)構(gòu)如下：

（2）

（三）可視分析中數(shù)據(jù)降維設(shè)計。對于具有多維性和時序性的數(shù)據(jù)如果不能有效地進行投影，將使可視結(jié)果混亂，如交易數(shù)據(jù)。數(shù)據(jù)走勢圖可以讓用戶直觀的了解對象的數(shù)據(jù)走勢，通過時間和階段值二元組可以繪制出走勢圖。

（四）規(guī)程變化中性能趨勢預(yù)測。波動性反映對象的變化趨勢是否平穩(wěn)，數(shù)據(jù)值是否存在較大波動;動力性反映對象的數(shù)據(jù)量是否具有較好的持續(xù)性以及數(shù)據(jù)值的增長是否比較強勁。通過這兩個指標(biāo)用戶對觀察對象的前景有一個預(yù)期，可以提前做好預(yù)測和計劃。

三、多維數(shù)據(jù)流CCA跟蹤算法

（一）算法基本思路。TCCA建立在滑動窗口模型基礎(chǔ)上。根據(jù)滑動窗口模型，時間流逝過程中，窗框持續(xù)前滾，每步刪掉窗框內(nèi)一條最早到達的記錄，同時新增一條當(dāng)前時刻到達的新記錄。若窗框中的兩組數(shù)據(jù)都有相同的記錄數(shù)見而第一組數(shù)據(jù)的維數(shù)為p第二組數(shù)據(jù)的維數(shù)為W則第/時刻窗框中的記錄構(gòu)成的矩陣表示如下：

（4）

（二）算法穩(wěn)定性分析。實驗主要考察算法TCCA的穩(wěn)定性，評估時用算法運行時間的標(biāo)準(zhǔn)差大小度量其穩(wěn)定性。為求解算法TCCA的執(zhí)行時間標(biāo)準(zhǔn)差，需多次重復(fù)執(zhí)行算法。實驗在人工合成的數(shù)據(jù)集DSG上進行。算法執(zhí)行過程中所產(chǎn)生的數(shù)據(jù)維數(shù)較低，而數(shù)據(jù)規(guī)模則為中小規(guī)模，確切地說，第一組數(shù)據(jù)是5維，第二組數(shù)據(jù)是8維，兩組數(shù)據(jù)的總?cè)萘拷詾?100，而窗框長度固定為100。共進行了兩個實驗，第一個實驗在一次隨機產(chǎn)生的數(shù)據(jù)上觀察，結(jié)果如圖2所示;而第二個實驗則考察算法在重復(fù)15次產(chǎn)生的數(shù)據(jù)上的平均執(zhí)行時間。

四、總結(jié)

提出的多維時空數(shù)據(jù)的多維屬性協(xié)同可視分析方法，該方法可以對多層次屬性的值分布及其相互關(guān)系進行分析;對隱藏在時空數(shù)據(jù)中的時序特征也設(shè)計了可視分析方法，利用MDS算法進行空間變換，把原始的多維時空數(shù)據(jù)按時間順序映射到時序坐標(biāo)軸上，通過坐標(biāo)軸空間的放縮增強用戶對數(shù)據(jù)的理解;為了解決平行坐標(biāo)中大量曲線無法識別的問題，設(shè)計了層次聚類算法對數(shù)據(jù)按類別進行特征分析，以使用戶可以快速對大量數(shù)據(jù)的時空演變規(guī)律進行總體分析。

參考文獻：

[1] 張怡，熊朝陽，張加萬.多維數(shù)據(jù)的不確定性可視相關(guān)分析[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2018，30（06）：1089-1099.

[2] 不確定性數(shù)據(jù)管理技術(shù)研究綜述[J]. 徐震.中國新通信.2018（02）

[3] 王雄斌. 面向大規(guī)模多源傳感流數(shù)據(jù)的關(guān)聯(lián)在線檢測方法[D].北方工業(yè)大學(xué)，2017.

基金項目：2020年宿州學(xué)院虛擬仿真實驗教學(xué)項目（編號：szxy2020xnfz02）;2021年國家級大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項目（編號：202110379027）;2020年安徽省教育廳高等學(xué)校省級質(zhì)量工程項目（編號：2020szsfkc1004）;2020年宿州學(xué)院校級質(zhì)量工程項目（編號：szxy2020xxkc07）;2020年宿州學(xué)院專創(chuàng)融合重點課程項目（編號：szxy2020zckc22）。