數(shù)據(jù)可視化在大數(shù)據(jù)時(shí)代中的應(yīng)用探究

沈杰

【摘要】隨著大數(shù)據(jù)時(shí)代的來臨，數(shù)據(jù)挖掘和分析的發(fā)展已具有相當(dāng)重要的現(xiàn)實(shí)意義。用戶對(duì)數(shù)據(jù)進(jìn)行分析的需求增長， 數(shù)據(jù)可視化的要求也會(huì)變得愈發(fā)強(qiáng)烈。能有效呈現(xiàn)出用戶需要的數(shù)據(jù)， 并易于理解進(jìn)而幫助用戶做出決策的數(shù)據(jù)可視化技術(shù)將在當(dāng)前及未來大有作為。本文描述了當(dāng)前數(shù)據(jù)可視化的時(shí)代背景，主要應(yīng)用，并表明其作用與注意點(diǎn)，揭開數(shù)據(jù)可視化在現(xiàn)代社會(huì)的作用。

【關(guān)鍵詞】數(shù)據(jù)可視化;大數(shù)據(jù);商業(yè)智能;數(shù)據(jù)挖掘

1.時(shí)代背景

自21世紀(jì)以來，數(shù)據(jù)爆炸已是人類的重大挑戰(zhàn)，人們淹沒在數(shù)據(jù)海洋中，卻對(duì)信息，知識(shí)極其缺乏，人類分析數(shù)據(jù)的能力與獲取數(shù)據(jù)的能力相差甚遠(yuǎn)。同時(shí)，數(shù)據(jù)的多態(tài)、高維、獲取的動(dòng)態(tài)性、數(shù)據(jù)關(guān)系的異構(gòu)更增加了數(shù)據(jù)使用的難度。在傳統(tǒng)企業(yè)占據(jù)主流地位的關(guān)系型數(shù)據(jù)庫有越來越多無法進(jìn)行管理的數(shù)據(jù)。這類數(shù)據(jù)的量巨大，具有多樣性，如各類文本、圖像、視頻、傳感器信息，且數(shù)據(jù)產(chǎn)生和更新的頻率上升到一個(gè)新層次?？偨Y(jié)下即為海量化（Volume），多樣化（Variety），快速化（Velocity），這三點(diǎn)為大數(shù)據(jù)的主要特征。人們要從海量非結(jié)構(gòu)化數(shù)據(jù)中挖掘有用信息的這種推力，使大數(shù)據(jù)技術(shù)正逐步代替?zhèn)鹘y(tǒng)信息管理技術(shù)。伴隨著推力巨大的互聯(lián)網(wǎng)，大數(shù)據(jù)時(shí)代的大幕正逐步拉起。而在這發(fā)展過程中，能有效呈現(xiàn)多元化數(shù)據(jù)， 便于決策的數(shù)據(jù)可視化便越來越引起關(guān)注。

2.數(shù)據(jù)可視化的作用

在信息科學(xué)與知識(shí)管理中，DIKW（Data，Information，Knowledge，Wisdom）體系作為最基礎(chǔ)的模型，在數(shù)據(jù)處理流程中完成從數(shù)據(jù)到智慧的轉(zhuǎn)化。人們急切的需要能展示演繹數(shù)據(jù)的工具，并且能夠傳達(dá)數(shù)據(jù)身后真正的知識(shí)與智慧的工具。在整個(gè)轉(zhuǎn)化過程中，可視化于溝通，傳遞，表達(dá)方面表現(xiàn)出明顯的優(yōu)勢(shì)。

數(shù)據(jù)可視化運(yùn)用計(jì)算機(jī)圖形學(xué)，圖像處理等技術(shù)，并以其在視覺感知與人腦認(rèn)知上的優(yōu)勢(shì)使美學(xué)因素融合在數(shù)據(jù)分析中。優(yōu)秀的數(shù)據(jù)信息圖甚至可以達(dá)到藝術(shù)的層面，令人賞心悅目。其在數(shù)據(jù)處理流程中持續(xù)的優(yōu)勢(shì)，使數(shù)據(jù)可視化交互工具市場(chǎng)逐步做大。

數(shù)據(jù)就是石油，傳統(tǒng)的各類領(lǐng)域中不被重視的數(shù)據(jù)重新歸納總結(jié)會(huì)釋放出巨大潛力。新聞中的數(shù)據(jù)信息可以歸納為信息圖表，再與其他新聞進(jìn)行分析整合，人們往往可以從中有收獲。政府機(jī)關(guān)的數(shù)據(jù)通過有效整理并進(jìn)行可視化，可以增加其透明度，民眾可以更容易獲取有效信息。企業(yè)數(shù)據(jù)可視化，可以對(duì)整個(gè)企業(yè)運(yùn)營流程有很好的掌控，便于管理與盈利。網(wǎng)絡(luò)數(shù)據(jù)及公共資源的潛在價(jià)值也極大，各類社交網(wǎng)站開放的API可以供開發(fā)研究人員挖掘人們生活消費(fèi)習(xí)慣，甚至可以通過文本分析并進(jìn)行可視化發(fā)現(xiàn)流行病的爆發(fā)趨勢(shì)，購物網(wǎng)站對(duì)用戶已購貨物記錄進(jìn)行地域偏好分析，也可獲得有價(jià)值的情報(bào)。

3.主要應(yīng)用

3.1 文本可視化

將文本信息提取技術(shù)與可視化相結(jié)合的文本可視化可以輔助用戶將文本中的信息簡(jiǎn)潔地呈現(xiàn)出來。原始文本經(jīng)過文本信息挖掘，視圖繪制和人機(jī)交互，這便是基本的可視化流程。在諸多網(wǎng)站上，文本可視化的標(biāo)簽云技術(shù)已越來越常見，其為基于關(guān)鍵詞的最簡(jiǎn)單的文本可視化技術(shù)，用顏色和字體的大小體現(xiàn)關(guān)鍵詞于文本中的分布差異，衍生的Wordle技術(shù)改進(jìn)了空間布局，提升了美學(xué)效果。在進(jìn)行信息檢索時(shí)，也可以使用TileBar，Sparkler等可視化方法來提升檢索效果。除此之外，文本信息中還包含了大量的人類主觀信息，可以在RSS新聞內(nèi)容，社交平臺(tái)中挖掘用戶情感傾向信息，幫助調(diào)查者從宏觀角度進(jìn)行分析并為決策提供依據(jù)。

3.2 多媒體數(shù)據(jù)可視化

大數(shù)據(jù)時(shí)代，人們?cè)缫褜?duì)半結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)充滿了好奇。圖像，視頻，音頻中的數(shù)據(jù)價(jià)值推動(dòng)了多媒體數(shù)據(jù)的可視化。比如社交照片中群體成員之間的關(guān)聯(lián)多使用了海賽圖方法;視頻的可視化則經(jīng)常使用將圖像堆疊成立方的方法，為抽取視頻中的運(yùn)動(dòng)信息提供方便;音樂的可視化如今也多是媒體播放工具的一個(gè)功能。

3.3 商業(yè)智能的數(shù)據(jù)可視化

如今的大量在線商業(yè)數(shù)據(jù)具有強(qiáng)烈的跨媒體特征與豐富的時(shí)空地理屬性，用戶的消費(fèi)日志包含了大量個(gè)人信息，這些都催生了該領(lǐng)域的可視化發(fā)展。當(dāng)前商業(yè)智能的數(shù)據(jù)分析大多借助于OLAP的多維分析模式實(shí)現(xiàn)，采用可視化技術(shù)進(jìn)行數(shù)據(jù)探索。從最早的柱狀圖、餅圖、網(wǎng)狀圖等簡(jiǎn)單圖表，發(fā)展到呈現(xiàn)公司狀態(tài)與商業(yè)環(huán)境的儀表盤、子彈圖，新成長的技術(shù)能有效地傳達(dá)數(shù)據(jù)背后的知識(shí)和思想。同時(shí)隨著Tableau，Spotfire等軟件的推廣，可視化極大推動(dòng)商業(yè)智能的大眾化，降低了普通人進(jìn)行數(shù)據(jù)分析的門檻。

3.4 Web端可視化

Web端的可視化是通過HTML，CSS，Javas-cript技術(shù)，在網(wǎng)頁上實(shí)現(xiàn)可交互的可視化作品及時(shí)全面顯示信息。Web端的可視化可以提升用戶效率，使選擇操作更加方便，感官更加舒服。D3.js就是一套面向Web的數(shù)據(jù)可視化的Javascript庫，具有極大的設(shè)計(jì)靈活性和可移植性。國內(nèi)開發(fā)的DataV.js同樣出色，可以便捷的調(diào)用且兼容各類瀏覽器。

4.數(shù)據(jù)可視化的注意點(diǎn)

可視化雖然是非常好的了解數(shù)據(jù)的方式，不過也很容易以錯(cuò)誤的方式執(zhí)行從而背離了其價(jià)值所在。為充分展示信息而不顧圖表的整體協(xié)調(diào)，想要包含更多的信息效果卻適得其反，這樣做很容易使圖表缺乏美感。有限的儀表盤空間要包含的是重要的且值得優(yōu)先考慮的數(shù)據(jù)，且當(dāng)圖表顯示過多的信息時(shí)，過于緊密的布局很容易顯示出錯(cuò)誤的信息。而另一種錯(cuò)誤則是為了追求畫面的美觀，卻使數(shù)據(jù)內(nèi)容的表達(dá)不佳。所以在可視化的過程中，目標(biāo)的確立是最為基本的，專注于自己的目標(biāo)有助于更好地傳遞表達(dá)數(shù)據(jù)，同時(shí)與圖表的美觀之間也能達(dá)到一種平衡。

真實(shí)的數(shù)據(jù)往往需要占用大量時(shí)間進(jìn)行規(guī)范化，特征選擇，維歸約等預(yù)處理操作，數(shù)據(jù)集的清洗與規(guī)范化或許是實(shí)踐中占最多時(shí)間的部分，此點(diǎn)不容忽視。同時(shí)，數(shù)據(jù)可視化是一種輔助分析的工具，非分析工具，正常的處理流程還要借助傳統(tǒng)的統(tǒng)計(jì)手段及其他專業(yè)的知識(shí)?？偠灾?，數(shù)據(jù)可視化作為一種對(duì)數(shù)據(jù)信息進(jìn)行專業(yè)化處理的優(yōu)秀工具，其理論與技術(shù)將在未來獲得逐步提升，最終一定會(huì)對(duì)商業(yè)社會(huì)及科研領(lǐng)域的發(fā)展作出重大貢獻(xiàn)。

參考文獻(xiàn)

[1]涂子沛.正在到來的數(shù)據(jù)革命：大數(shù)據(jù)[M].桂林：廣西師范大學(xué)出版社，2012.

[2]陳為，沈則潛，陶煜波.數(shù)據(jù)可視化[M].北京：電子工業(yè)出版社，2013.

[3][美]Nathan Yau著，向怡寧譯.鮮活的數(shù)據(jù)——數(shù)據(jù)可視化指南[M].人民郵電出版社，2012.