“機器數據”把數據變成答案

賀文

同樣的數據會有不同的用處，這是數據分析、數據挖掘目前的重要趨勢 。

從現在每年接待乘客數量9000萬人到2020年的1億人，迪拜機場無疑是世界上最繁忙的國際旅游機場。與這個增速同步的是機場管理方對于乘客滿意度的重視。

面對每年運送1 5億件的行李規模，迪拜機場通過分析行李系統的數據，提高行李的流轉速度，以確保乘客能盡快提取行李

Michael Ibbitson是迪拜機場負責技術和基礎設施的執行副總裁，他介紹，在未增加飛機跑道的前提下，如何提升旅客承載量，挖掘數據背后的價值，是他們的解決之道。

一般來說，機場的安全檢查需要10分鐘左右，迪拜機場如何在5分鐘或者更短的時間內讓95%的乘客通過安檢？他們的做法是，統計可能引發安全警報的情況和發生點，根據整個機場的人員流動情況，不斷地動態調整安檢口的人員部署，并且及時做好乘客的分流。

面對每年運送1.5億件的行李規模，迪拜機場通過分析行李系統的數據，提高行李的流轉速度，以確保乘客能盡快提取行李。因為已經裝備了足夠多的傳感器，比如主要的行李系統和行李從飛機運到傳送帶的運輸車，如果能夠更早地獲取包括飛機到達等信息，機場管理方就可以更好地安排地勤人員、協調資源，接待落地的飛機，讓乘客不需要等待就拿到自己的行李。

擁有豐富數據的遠不止是機場。隨著移動硬件的迅速普及，互聯網更廣范圍的覆蓋，移動互聯網應用越來越豐富，所有的互動幾乎都會被傳感器所捕捉，跟周邊的環境進行數據的傳遞和互動。

挑戰也隨之而來，如何在這個互動的世界里去捕捉數據流，如何在呈幾何數量級增長的各種各樣的數據里，尤其是在非結構性的數據里，去挖掘價值，獲取深度的分析。“不僅僅是存儲數據，而是讓數據能夠有用”，“把數據變成答案”是一件非常困難但又極具價值的事。

“無用之用”的數據

迪拜機場在一年多之前開始使用Splunk的管理系統。

這家大數據的軟件解決方案提供商，既提供云端部署也有本地部署。Splunk總裁兼首席執行官 Doug Merritt介紹，“把機器數據轉換為答案”是他們一直秉持的發展理念，他們給企業客戶提供解決方案和機器學習技術，來解決最棘手的IT運營，應用程序性能分析，業務分析，物聯網和安全難題?，F在Splunk生態系統中有超過1000個解決方案。

如何做到“把機器數據轉換為答案”？Splunk亞太區副總裁梅正宇介紹，他們通常會先跟客戶進行多次研討會溝通，Splunk了解自己的產品，知道可以做什么;客戶最了解自己的商業環境，雙方通過溝通來找問題，要向數據提問什么樣的問題，要解決什么樣的問題，一起來開發解決方案。

在大中華區也有一個機場使用了Splunk的產品進行IT運維、安全維護。在這個過程中，該公司的CIO直覺可以更多地運用數據來幫助他們提升營運的效率。事實上，很多機場都可能有一個數據庫，或者是數家服務商所提供的業務數據，當把所有這些數據放到一起時，可以做很多的營運系統，比如怎么去監測機場及周圍環境的交通，怎么監測進出港的人流，怎么確保進港飛機增多時能有效調配機場的資源，通過一些演示項目，該機場的管理者發現，只要把他們的數據放到Splunk這個平臺上，很多管理方面的問題是可以得到解決的。

對于亞太市場未來的增長，Splunk公司首席營銷官Brian Goldfarb用“Huge（巨大的）”來形容：Splunk公司從美國起步，進入歐洲，再進入亞洲。亞洲市場“very large”，而且市場還處在非常早期，借由這幾年移動互聯網的飛速發展，這里的企業他們已經掌握（存儲）了非常大量的數據。

如何把Splunk在美國、歐洲服務企業客戶的經驗，通過標準化的產品，用于服務亞太公司、中國公司，幫助他們解決在發展中面臨的通用問題。

Splunk北亞區總經理戴健慶介紹，他們在中國專注于拓展以下行業的客戶：金融、電信運營商和制造業，以華為、聯想、小米為例的高新科技企業，“每個公司都在數字化轉型，都面臨著數據問題”。

大數據版“百度”

“數據驅動”在中國正在成為流行，不管是真正因為信仰數據而依據數據作出決策，還是為了趕時髦。

“當大家都在談論大數據時，什么都可以是 ‘大數據的，反倒是沒有意義。”Splunk公司IT市場高級副總裁Rick Fitz強調，Splunk是“機器數據”的擁躉：他們傾向于利用存儲在機器當中的數據，強調通過各種傳感器（包括移動智能終端設備在內）收集的數據，強調將各種文本信息（包括文字信息、語音信息等）變成機器可識別的數據，他們更偏愛熱數據、實時動態的數據，用以進行數據分析、管理、運營，在這些數據中挖掘價值。

表面上看，Splunk的大數據技術與市面上很多數據挖掘公司大同小異，不過Doug Merritt堅持他們的獨特性：Splunk的底層存儲架構是一個扁平化的索引，這就不會要求你在存儲數據時提取它的結構，而是在你提問的時候才去提取它的結構，這樣一來，數據可以易于重復利用，因為你在存取數據時給所有的數據都已經做了標簽。

梅正宇進一步闡釋，相應地在“建?！边@個問題上，傳統的大數據解決方案都是前期建模，即當你存儲導入數據時要先建模。早期建模，因為人的認知有限，要把很多有用的數據、有用的信息先淘汰掉，這樣反倒降低了數據可利用的價值。Splunk的做法是把建模后置，數據存儲進來時只做標簽索引，發現問題時才把這個schema（格式、模式）建起來，過去不被利用的、非結構化的數據、非邏輯化的數據，都有可能發揮“無用之用”，這就給數據分析與挖掘帶來很多的靈活性。“我們就好像是大數據的百度?！彼绱吮扔?。endprint

數據生意的“開放”和“第三方”

“同樣的數據會有不同的用處”，這是數據分析、數據挖掘目前的重要趨勢，具體來說呈現出如下的特點：靈活的架構，我們可以去向數據源提各種各樣的問題;把機器學習和人提問結合起來，先通過機器學習的算法來甄別異常，再通過人來判斷異常是否真實，如果它確實有潛在威脅的，再去做深度挖掘，找到它的根本原因和根本問題所在。

具體到Splunk，所采集的數據可以用來回答比如客戶活動應用開發的效率、系統的完整性等問題，也可以用來做安全分析。Splunk對于信息安全的認知，也較傳統安全公司有了不同。

Splunk公司負責安全業務的高級副總裁宋海燕介紹，傳統的安全公司以端為出發點提供安全解決方案，但是隨著信息安全技術的發展，需要從終端、網絡、神經網絡等多個維度來考慮安全問題，這與之前“把門鎖上”的思路是完全不同的。比如，從單點的信息來防范安全攻擊，到更多維度信息綜合分析安全隱患的可能;從面對安全攻擊的“加鎖”、“加防火墻”的防護，到對安全隱患的提前預警，建立信息安全的監視系統，盡早地找到入侵、解決入侵，建立動態的適應性的安全響應機制。

這是一種全新的解決問題的思路，不可能是通過單一產品來解決安全問題。宋海燕介紹，Splunk傾向于和合作伙伴一起來提供安全解決方案，他們的生態合作伙伴包括了賽門鐵克、思科這樣的傳統安全公司和科技網絡公司。Splunk在其中的角色是“給企業提供一個安全隱患分析研究的隊伍”，相當于是“安全隱患分析的大腦”。

通過機器收集了大量的數據，但是哪些數據是有用的，如何來判斷數據的有用性;實時數據帶來的更大挑戰是，需要時間來理解數據，才能進行分析，這對于原有的信息反饋機制都會帶來轉變。這種全新的數據理念，無疑需要有更多的擁躉，一起來建立新的數據生態。

無論是國外的Splunk還是國內的TalkingData，這類大數據公司都特別強調自己的“第三方”角色、專家角色。梅正宇介紹，Splunk可以和很多廠商成為合作伙伴或者是生意伙伴，甚至包括一些看似業務有競爭關系的公司，比如IBM、亞馬遜、思科等。

在今年9月底的.conf大會上，Splunk宣布，他們在全球合作伙伴生態系統迅速擴大，目前為全球超過950家合作伙伴提供系統和支持，幫助推動更多市場機會和收益。Splunk 的合作伙伴范圍廣泛，涵蓋全球系統集成商、代理商、增值分銷商、技術聯盟伙伴、原始設備制造商和托管服務提供商等。

Splunk在中國開展業務，除了要和傳統的SI（System Integration，系統集成商），解決方案提供商，比如安全的、IT運維的，或者是做制造業解決方案的，做電信解決方案的服務商合作之外，他們更強調從“Use Case（用例）的合作伙伴”入手。戴健慶介紹，他們積極在中國與OEM成為合作伙伴，合作方式就是先從Use Case OEM開始。endprint