大數據項目產品選型的五個建議

曾勇

數據如今對企業來說可謂是頭等大事。使用欺詐檢測來降低財務風險或是建設推薦系統來改善用戶體驗，都需要數據來為企業解決這些日益復雜的問題提供支撐。

既然數據已成為企業的重要元素，那我們這幾年在數據這個領域都學到了什么？市面上有多種不同的軟件模式，包括私有專屬軟件、云端SAAS軟件和開源軟件，因此，現在開展大數據分析項目時，開發者、架構師及數據科學家要在眾多軟件中進行選型，某些軟件可能需要昂貴的前期投資或需要投入龐大資源，當然也有一些工具恰到好處，既容易部署又為構建原型（prototype）提供了廣泛的支持。

尋找合適的工具對提高項目成功率及避免落入常見陷阱至關重要。以下為在大數據分析項目中進行產品選型的五個建議。

從簡單的小規模起步

企業構建數據分析項目常見的最大錯誤往往是貪大求全。特別是如果項目是從上往下推，執行團隊很有可能會被要求構建一套既沒有明確成效卻又十分復雜的解決方案，造成項目成本高昂且工期很長。

企業不如從規模較小的項目起步，讓決策者很快可以看到成效，提升他們對同類項目的信心。利用現代化開源技術，企業不但不用作大量的前期投資，更可以讓開發者迅速投入工作，在幾天或幾周內就能構建出所需的應用程序或是原型。

及早考慮可擴展性

即使只是構建一個框架，也應盡早測試其可擴展性。很多項目之所以失敗，全因應用程序在構建時并沒有測試其擴展性，也可能是因為其所選技術并不是為處理大數據而設計的。

確保性能測試不是事后的事。先預計在這段時間內將會產生多少數據，并進行測試和評估，構建合適的架構，同時確保當數據量增加并需要橫向擴展時，也不會影響業務。

數據的實時性很重要

我們都經歷過應用程序或網站沒反應或是緩慢的那種痛苦，時至今日，任何不能實時響應的事情我們都不能接受。如果有一個請求沒有被及時處理，用戶可能很快就會因缺乏耐性而離開該網站或程序，從而導致客戶流失及營收下降。

企業要確保所用的軟件不但能處理大量數據，還要有能力實時響應這些請求。建議使用具備聚和與地理位置分析功能且能與實時搜索相結合的數據分析軟件。

采用靈活的數據模式

現今的系統主要包括結構化和非結構化數據。但不要被那些為結構化圖表及數據而設計的關系型數據庫所限制。這類數據庫很難被加上索引，解析、搜索及分析這些日積月累的大量數據往往很難。

企業應采用具備通用數據結構的軟件。很多用于數據分析的軟件包括NoSQL數據庫及Elasticsearch等均采用JSON作為數據格式，支持文字、數字、字符串、布爾值、數組和哈希等結構化和非結構化數據類型。

挑選開發者易于使用的工具

現今數據流量之多讓企業或開發者在應對大數據分析項目時，很難去使用不包含開放API接口的軟件。

API接口被用作數據錄入、索引及數據分析，這些數據一般來自不同的數據源或是業務系統本身的數據。

企業應提供給開發者一套擁有豐富、開放及資料完整的應用程序API接口，讓他們更快速有效地解決問題。久而久之，當項目壯大時，開發者亦能不斷創新及改進這套應用程序。

總結

基于以上五點為大數據分析項目挑選最適合的工具，將有助改善項目的價值時間，并確保企業已為長遠的成功作好準備。很多如華為、聯想、BBC、高盛集團、英國衛報等大企業均已采用這方式，挑選如Elastic Stack這樣的開源軟件來解決其關鍵項目。只要方法正確，企業所需的數據分析其實可以很迅速、簡單及劃算。