Thor Olavsrud 沈建苗
數(shù)據(jù)分析和相關(guān)的數(shù)據(jù)技術(shù)與社交媒體、移動(dòng)和云計(jì)算一道已成為數(shù)字時(shí)代的幾大顛覆者。隨著許多公司從2017年開始從數(shù)據(jù)生成型企業(yè)轉(zhuǎn)向數(shù)據(jù)驅(qū)動(dòng)型企業(yè),數(shù)據(jù)和分析已成為許多企業(yè)的重心。2018年,這些技術(shù)需要開始實(shí)現(xiàn)價(jià)值。
多年來(lái)數(shù)據(jù)在企業(yè)界迅速積累。隨著數(shù)據(jù)源從互聯(lián)網(wǎng)轉(zhuǎn)移到移動(dòng)端和機(jī)器,物聯(lián)網(wǎng)會(huì)進(jìn)一步加快生成數(shù)據(jù)的速度。
實(shí)時(shí)流數(shù)據(jù)平臺(tái)提供商DataTorrent的首席執(zhí)行官Guy Churchward說(shuō):“這迫切需要以一種經(jīng)濟(jì)高效的方式來(lái)擴(kuò)展數(shù)據(jù)管道。”
對(duì)于許多企業(yè)來(lái)說(shuō),由Apache Hadoop之類的技術(shù)作為支撐,解決方案就是創(chuàng)建數(shù)據(jù)湖――面向整個(gè)企業(yè)的數(shù)據(jù)管理平臺(tái),用于以原生格式存儲(chǔ)企業(yè)的所有數(shù)據(jù)。數(shù)據(jù)湖有望消除信息孤島,因?yàn)樗峁┝藛我粩?shù)據(jù)存儲(chǔ)庫(kù),整個(gè)企業(yè)可以將該存儲(chǔ)庫(kù)用于從業(yè)務(wù)分析到數(shù)據(jù)挖掘的各個(gè)方面。很多廠商號(hào)稱原始、無(wú)人管理的數(shù)據(jù)湖是無(wú)所不包的大數(shù)據(jù)萬(wàn)靈藥。
雖然數(shù)據(jù)湖已被證明存儲(chǔ)海量數(shù)據(jù)很有效,可是從這些數(shù)據(jù)中獲取可付諸行動(dòng)的洞察力卻很難。
Churchward說(shuō):“數(shù)據(jù)湖讓許多公司順利地度過(guò)了數(shù)據(jù)‘靜態(tài)和‘批處理時(shí)代。然而早在2015年,這種架構(gòu)被過(guò)度使用的弊端開始顯露出來(lái),現(xiàn)在數(shù)據(jù)湖成了實(shí)時(shí)數(shù)據(jù)分析的致命弱點(diǎn)。先放置數(shù)據(jù)再分析數(shù)據(jù),這立刻使公司處于極大的劣勢(shì)。獲取洞察力,并盡快采取行動(dòng),然而依賴過(guò)時(shí)事件數(shù)據(jù)的公司無(wú)法看清情況、應(yīng)采取的行動(dòng)以及任何可能的即時(shí)補(bǔ)救措施。……