大數據：任務并不簡單

文/本刊記者 盧敏 劉學

大數據的概念聽起來很美好，似乎利用大數據的大門在不久的將來就會打來。但是一切并沒有這么簡單。

大數據真正起作用的地方并非在于如何對其進行存儲，而是如何好好對其進行利用。其實用戶需要一種實時分析大量原始數據的方式，然后在有需求的時候從中挖出有價值的部分。

現在看來這個任務并不簡單。

多角度、深層次是關鍵

“大數據時代的來臨已經毋庸置疑。”山西移動業務支撐系統部統計分析室經理王峰肯定地說，“從數據量上來說，我們已經進入了ZB時代。”

作為國內第一家進行數據倉庫和BI系統建設的電信運營商，山西移動從2001年就開始進行其經營分析系統的規劃。從2002年系統上線到現在已經是近10年的時間。對于數據量的急速增長、市場形勢的瞬息萬變、用戶群體的復雜變化，這10年來，經營分析系統在山西移動的業務過程中到底扮演了怎樣的角色？對于大數據時代的來臨，它發生了哪些變化？就這些問題，王峰給出了答案。

對大數據時代的到來，用戶數量眾多的電信運營商感覺尤為深刻。山西移動每天流入經營分析系統的數據量大約為300GB，龐大的數據量帶來了巨大的潛在價值和決策能力。談到大數據時代的數據分析，王峰認為，山西移動的片區精細化管理就已經體現了大數據分析的特性。

王峰以北京為例來說明片區管理的大數據特性。片區管理是地理緯度上的客戶分塊，例如北京包括東城區、西城區、海淀區等。而每個區又可以向下細分，比如西城區可以細化到金融街區，最后細化到移動基站的一個扇面區域。如果一個用戶在昌平入網，卻經常在金融街區通話，就要把用戶定位成一個金融街用戶。每一個細化的片區由一個片區經理管轄，金融街的片區經理就要對定義成金融街的客戶進行服務，例如問候短信或新產品通知。片區經理不僅要對現有客戶進行服務，還要對潛在客戶進行挖掘。山西移動要求片區經理對自己管轄區域內的每一棟寫字樓的每一家企業進行記錄并錄入片區化支持系統。根據掌握的多種數據，對用戶進行精細化分類和深度挖掘，進而進行相關的營銷活動，這種線上線下的共同合作，體現的正是大數據分析的特點。

山西移動的經營分析系統作用于營銷層面主要包含兩個核心應用。一個是核心客戶保有。核心客戶是指用戶UP值貢獻高、漫游行為較多，有重要影響的高價值客戶。如果某個核心客戶在一段時間內的主叫時長出現了顯著的下降，統計分析部就會在核心客戶保有的應用上發現這個用戶，認定該核心客戶有發展為普通客戶的可能，并且把與之相關的客戶明細提供給相關的市場營銷部門，由營銷部門對其實施保有措施。另一個應用是離網用戶關懷，與核心客戶保有應用相比，該應用是更針對離網客戶的預警。

對于海量數據的保有，山西移動的策略是數據與應用同在。一個應用上線有自己的生命周期，應用由哪個部門提出、應用的主要功能、開發人員、何時上線、預計使用期限等信息都會被記錄在生命周期管理系統中。當應用達到使用期限，根據實際效果如果沒有必要進行生命周期的延長，應用下線時就將相關的數據評估為無效，進行清理。

雖然在外部用戶層面，客戶很難感知到經營分析系統的存在，但山西移動正通過它進行著各種各樣的營銷活動，從而為用戶提供更精確的服務。而在山西移動內部，經營分析系統的內部客戶對數據的滿意度得到了非常大的提升，管理層和業務部門在決策上獲得了更好的支撐。

未來屬于將數據轉化為產品的公司。作為電信運營商，山西移動有著先天的優勢可以掌握海量的有效數據。面對大數據時代的來臨，多角度深層次的數據分析也正在成為山西移動統計分析部門支持決策的重要手段。

用戶在越來越大的數據量下不堪重負

數據整合“第二坎”

ESG在2011年曾就企業所面臨的數據整合難題進行了調研，結果發現，數據量的龐大規模是企業所面臨的第二大難題，位列首位的則是數據整合的進程耗時過長。

目前，各廠商正在密切關注著大數據所帶來的機會，并通過推出新產品或收購等舉措把握這一重要機會，從而創造更多利潤。比如IT廠商巨頭IBM和EMC，這兩家都收購了非常類似的廠商來實現技術的整合。EMC所收購的Isilon公司，其集群NAS產品就屬于橫向擴展（Scale-out）存儲，而該技術的優勢正是處理非機構化數據。并且其后來又收購的Greenplum，則用來補充針對數據庫類的大數據的解決方案。IBM收購的Netezza也是類似于Greenplum的技術，充分考慮到了現在的存儲趨勢。

雖然這看起來是一種有用的舉措，但是廠商僅將焦點關注于某款產品解決某種問題的話，顯然是不夠的。其實最終用戶根本不在意自身采用的到底是誰家的產品和技術，而在意的是這些產品和技術是否能夠賦予自身一個很好的IT支撐能力。在這樣的情況下，存儲提供的服務和技術就需要解決這些問題，才可以更貼近于客戶，更好地服務于客戶。所以對于廠商而言，他們不僅要注重解決“大數據”的需求，也要注重數據整合平臺的創新，從而在當今以服務為導向的IT模式中提供企業所需的高性能、靈活性和終端用戶的功能。ESG中國區總經理兼高級分析師王叢表示，大數據這一領域將會有一些新的技術不斷地推出，在未來的12個月或是24個月，預計會不斷涌現能處理大型非結構化數據的技術。

目前在“大數據”這一大趨勢下，北美的廠商已經走在了前列，而中國的廠商目前還在著重考慮怎么生產存儲和硬件，而沒考慮到以解決方案的形式向用戶進行推介。EMC或IBM收購這些公司的目的是去整合他們的整個解決方案，能夠讓它在IT上是透明的，進一步靠近存儲、靠近數據。中國廠商目前也在嘗試走這條路，但起步相對要晚，還需要花費一段時間去學習這些已經在這個變革過程中取得成功且走在前面的廠商。對于廠商而言，花太多時間去看哪家有哪些產品已經不是那么重要了，他們需要注重的是了解技術趨勢和市場動態。

集群NAS會是市場的一個主流，傳統的NAS有一定的局限性。其實集群NAS是擠占了NAS和SAN的市場空間。據ESG統計，NAS占全球存儲市場的20%左右，中國的NAS只占了不到8%的中國存儲市場。另一方面，中國的SAN又是一個極端，SAN占全球存儲市場的42%～46%，中國的SAN占中國存儲市場的60%。

NAS應該是有空間的，但其所占的市場份額卻沒有增長力度；SAN的技術已經顯得不那么盡如人意了，但其市場趨勢還是持續上揚。這是因為數據中心還處于建設過程中，而另一部分則因為這兩種技術之間還沒有找到一個很好的平衡點。

總之，大數據對結構化數據或是數據庫來講，對BI的管理能力都非常重要。大數據對非結構化數據來講，尤其是對服務媒體行業，是能提高效率降低整個IT成本的一個比較好的舉措。對于中國廠商而言，隨著大數據量的猛增，集群NAS在中國市場空間將得到非常快速的增長，這將是中國用戶的福音，也將是中國廠商的一個大機遇，區別就在于是否能夠很好的把握。

Netezza：只怕數據不夠大

大數據的概念和云計算一樣，不是新近出現的。但是它又如一陣風，悄悄進入到各大會議和論壇中，進入人們的視線。過去大數據單指體積龐大，現在以更全面的眼光來看，大數據更加多樣化、速度接近實時，不僅包括非結構化數據，而且還有結構化數據。

在眾多企業用戶眼中，理想的大數據數據管理和分析平臺應該像電燈開關一樣簡單、可靠和直接，能夠快速處理人們幾乎無法想象的工作量。這也是IBM Netezza致力于為用戶提供的。在IBM Netezza亞太區市場營銷總經理Timothy Young看來，大數據為公司帶來的不應該是挑戰，相反應該是機遇，他笑著表示，“我們只怕數據不夠大，數據量越大，就越能從中提取出用戶有價值信息。”不要忘了，IBM通過“沃森”超級問答系統讓我們窺見到大數據分析的未來。沃森也是工作負載優化系統的終極范例，它通過分析非結構化數據能夠在幾秒鐘內找到問題答案。

業界專家曾表示，“一體機”是實現大數據的最優異的方式之一，一體機能將主機、存儲整合在一個標準的工業機柜里，預裝操作系統、數據庫，同時預裝相關的工具軟件。Netezza作為一體機概念的提出者，優勢并非來自最強勁最昂貴的IT組件，而是將合適的組件組裝起來并將性能發揮到極致——這恰恰為眾多具有大數據分析需求的企業提供了嶄新的機遇。甲骨文CEO Larry Ellison曾這樣表示：“Netezza是Exadata的靈感來源之一。”

“對于企業而言，產品的優劣有很多衡量方式。IBM 軟件集團大中華區Netezza 銷售總監肖冰與記者分享了IBM的‘4S’標準，即Speed（速度）、Simple（簡單）、Scalability（可擴充性）和Smart（智能）——設備管理和分析數據的速度是用戶首要需求；讓行業用戶更容易掌握設備的操作，決定產品能否被廣泛應用；優秀的可擴充性，保證了處理數據量增長的需求；架構方式布局靈活，更是產品穩定高效運行的決定性因素——正是這四個標準決定了公司的市場競爭力和領導力。獨特架構直擊“大數據”

在精要的“4S”標準之上，是產品獨特的系統架構設計模式：其大規模并行處理(MPP)流將多核CPU與FPGA加速流技術引擎(FASTTM)結合，能夠提供連那些非常昂貴的系統都無法匹配甚至接近的性能——這些獨特的技術使得Netezza在當前“一體機”市場中處于領先。

IT圈內的人都知道，一個好的系統架構設計，在很大程度上決定了這款產品的成敗，對于處理大數據來說，這個原則顯得尤其重要。因此當對一個大型數據集進行操作時，除非絕對需要，否則不輕易移動數據。Netezza將這一原則發揮至極致，利用現場可編程邏輯門陣列(FPGA)組件盡早的將多余的數據從數據流中過濾掉，以減少其對硬盤空間的占用,并將下游組件如CPU、內存和網絡從多余的數據處理中解放出來，從而使系統性能有了根本性的顯著提高。

最后，肖冰與記者分享了Netezza的架構特點，它結合了SMP(對稱多處理)和MPP(大規模并行處理)的優點，建立了一個能以極快的速度分析PB量級數據的設備。該架構中的每一個組件，包括處理器、FPGA、內存和網絡連接都經過了精心的挑選和優化，在硬盤物理條件許可的情況下，以最低的成本和能耗快速地處理數據。它通過軟件協調這些組件以流水線的方式對數據進行并發操作，從而充分獲取和利用每個MPP的節點上最大吞吐量。除了將性能提高幾個數量級以外，這個平衡的架構還能夠為超過1000的并發處理流提供線性可擴展性，以及非常低的總體擁有成本。

在Timothy Young看來，大數據為公司帶來的不應該是挑戰，相反應該是機遇。

大數據的“專用”數據庫

人們談及“大數據”有兩層含義：一個是數據總量大，普通企業的數據總量也可以進入PB級；而另一個含義是指數據類型復雜，除了傳統的結構化數據之外，更大量的數據類型是郵件、博客、微博等。

對數據庫而言，這些都似乎不是什么好事，因為這意味著對數據庫的處理能力提出了更高的要求。

傳統數據庫“遇阻”

Joydeep Das看來，大數據時代，應該是專項的數據庫，解決專項的問題。

不管是不是在云的環境下，數據庫永遠都要解決兩個問題：一個是怎樣快速地把數據吸收進來，然后把它變成數據庫；另外一個問題是怎樣把數據庫里面的數據分析出來，讀出來，把結果返回庫里。

究其本質，以上二者要解決的是一個問題，即如何快速地將數據在需要的時候進行存取。以Sybase IQ為例，在數據快速入庫這個方面，近年來已有諸多改進。比如增加了多種數據表加載的方式，通過一些復制服務器，能隨時把數據復制到IQ里面來的機制，這些實際縮短了數據從產生到進入數據庫的時間。

除了有從數據庫里面讀取數據的方式以外，還有根據流數去進行分析判斷結果的一個方式，比如CEP。這個方式并不要求數據已經持久化了才可以去做分析，它是隨著數據的流動，可以隨時地做分析。它解決了用戶的問題，縮短了時間。

列式數據庫在數據分析、海量存儲、BI這三個領域有自己獨到的優勢，已經得到了業內專家的認可。傳統行式數據庫在大數據領域“受阻”有目共睹，列式數據庫代表了大數據領域很多新的技術方向。這個新的方向是和傳統的數據庫非常不同，但是用戶卻經常被一些傳統數據庫衡量指標來要求。

舉例來說，比如果農在山上每天采果子，他們的目的是要把這些果子運出來賣掉。傳統的方式是修了路，把果子從山上一點點運下來，然后賣出去。現在他們的果子多了，想更快的賣出去的話，他們想的方法是怎么樣把路拓寬，或者車怎么樣開得快。所以果農的新問題是，“告訴我旋轉的半徑是多少”、“你開的最小的拐彎半徑是多少”。現在給他提供一個方案就是，不需要車，而是用一個索道，把果子從上面直接滑到山下面。所以用戶提供給廠商的指標，很可能是毫無意義的。

具體到技術層面，隨機讀取對OLTP數據庫來說很重要，為什么？是因為這是它查找數據的方式。從行式數據庫數據的擺放方式就可以知道，它的擺放是按行來放的，一行里面只有一個收入數據。用戶如果要對所有人的收入進行分析歸類，就必須在全磁盤查找。

所以Random Seek對行式數據庫來說非常重要。但是對列式數據庫來說，這個詞并不重要。因為所有的收入都放在一起了，是sequential read順序讀。“其實所有硬盤的順序都差不多，只有Random Seek讀才會有差別，7200轉和15000轉可能會差一倍，現在最高速的也就是2萬轉，但誰會用2萬轉的盤呢？沒多少人用，因為它的能耗非常大，而且穩定性非常低。但是Random Seek或者隨機讀這個速度來突破數據倉庫的效率的話，對Sybase來說，這是一個錯誤的路線。我們有更好的方式，把數據合理的擺放，通過順序讀這樣一個非常優秀且低廉就是順序讀的技術，用戶便可以成倍、成十倍的提高這個分析讀”，Sybase公司分析產品管理部總監Joydeep Das說。

為大數據量體裁衣

在Joydeep 看來，大數據時代，應該是專項的數據庫，解決專項的問題。”比如Sybase ASE，用來解決OLTP這樣的一些事務性的數據的應用是非常適合的。我們還有一個小型的數據庫，叫Sybase SQL Anywhere，用來解決一些嵌入式的應用，比如可能嵌入在一些ATM機，可能嵌入在一些導彈里，或者在一些硬件設備里面。它的應用場景其實也非常廣，但是它解決的是一類移動或者是比較小型的應用。最后就是Sybase IQ，就是列式數據庫，它解決的是一些專門的用于分析領域的應用。”

這并不意味著傳統的數據庫是一個過時的技術，只是不同數據庫有不同的專用領域。

傳統的行式數據庫，設計初衷就是為了解決幾行數據的一些實時或并發的操作。而現在的數據倉庫或分析領域，往往遇到的是在集列上，需要觸及很多很多行，是完全不同的應用場景。在這樣的應用場景里面，行式數據庫卻是非常不好用，它沒有辦法像列式數據庫這樣，只在幾列上面非常高效的去把分析完成。這是這兩類技術之間的一個很大的差別。

據介紹，Sybase IQ 15.3,其設計正是為了滿足企業不斷增長的多樣化的分析需求。相比于傳統的“行式存儲”的關系型數據庫，它在進行分析查詢時，傳統的關系型數據庫需要緩慢地讀取整個表的每一行，這種讀取方式通常會阻塞I/O通道、內存和磁盤，而它僅需讀取查詢所需的列，其垂直分區策略不僅能夠支持大量的用戶、大規模數據，還可以提交對商業信息的高速訪問，其速度可達到傳統的關系型數據庫的百倍甚至千倍。

另外，它所采用的Multiplex技術，充分利用了單個服務器（節點）在執行特定功能時可進行磁盤存儲共享并通用的優勢。也就是說，存儲是共享的、壓縮的、列分區存儲的，它們通過一條高速的光纖通道與Multiplex架構中的所有服務器節點互聯。這些服務器節點既可以作為數據讀節點也可以作為寫節點（或者兩者都是）運行，支持所有連接到共享數據源的并發的數據加載和查詢。這一技術使得它可以在大量的使用場景中游刃有余，比如快速的并行分析和報表，同時支持高速的實時數據加載、批量數據集成任務、即席客戶端加載和查詢等等。

容量和效率的“內斗”

對于大數據有很多看法。基于從客戶那里了解的工作負載要求，NetApp的看法是，將大數據分為三大類，即：大分析（Big Analytics），幫助獲得洞見。高帶寬（Big Bandwidth），幫助走得更快。大內容（Big Content），不丟失任何信息。

絕對數據量退居“二線”

目前很多試圖應對大數據挑戰的IT經理們把更多注意力都放在了信息的量上，而忽視了信息管理的其他方面，對此，NetApp大中華區系統技術及專業服務部總監何英華表示，不論在傳統數據中心建設，還是在先進的“云計算”數據中心架構設計中，我國大中型企事業單位用戶和一些領先的集成商，對數據使用、數據存儲和數據管理工作等諸多方面的關注，早已遠遠超出了單純的“存儲容量、存儲介質”甚至“存儲訪問協議”的范疇。

舉例來說，何英華團隊中的咨詢顧問專家多次表示，早在8～9年前，當PATA磁盤剛剛在企業存儲系統市場展露頭角的時候就已經發現，在與那些高水平的用戶進行交流時，他們最為關注的不是PATA，或者隨后出現的SATA本身。換句話說，除了ATA介質所帶來的單盤高密度存儲特性，用戶最為關注的反而是附加在大容量存儲系統上面的一系列存儲優化功能，如：RAID-DP、DeDup、FlexClone等技術上。這個發現恰好對“數據量”和“管理、使用”在關注程度上的差異提供了一個十分明顯的對比。剛才提到的這些技術，也正是“大數據”概念下，實現“數據分析”、“優化數據帶寬”、“理順數據組織方式”的前提和基礎。客觀地講，隨著“大數據”概念的提出，越來越多的IT管理者對“數據分析”、“數據帶寬”、“內容合理組織”等話題的關注，不是“忽如一夜春風來”，而恰恰是由來已久了。他們對絕對數據量的關注，已經逐漸退居到從屬地位了。

先求“最大公約數”，再求“最小公倍數”

何英華:用戶對絕對數據量的關注，已經逐漸退居到從屬地位了。

當提到“大數據”概念的時候，有兩個值得思考的問題：當性能不再是關鍵需求時，存儲容量對公司究竟有多重要？這兩個有分歧的要求能在同一市場、解決方案和設備中共存嗎？何英華的發現是，當今的環境下，尤其是“云計算”、“大數據”等概念層出不窮的特定“語境”下，穩定／可靠性、性能、容量／高密度容量、多手段數據保護仍然是幾乎每一個客戶所關注的。雖然他們各自關注的重點不同，但是把這些要素放到一起，它們之間并不是有分歧的，或者說，它們彼此應該是互為因果、互為支撐的。比如說，沒有長期的歷史數據積累，也就無從談到客觀、準確的數據分析預測；沒有準確、迅速的數據挖掘過程，也就無從談到有效、到位的決策輔助支撐。在日益復雜的應用要求下，將不同的要素加以合理擺放、分別解決，十分重要。

何英華笑著談到了一家中國頂級在線數據服務商的CIO，他曾經這樣對NetApp的銷售和技術人員說——“面對紛繁復雜的業務需求，進而需要翻譯成恰當的技術需求時，不妨用一種簡便又不簡單的方法來處理，那就是，先求‘最大公約數’，再求‘最小公倍數’，給出適當安全余量，明確步驟，加以實現”。

事實上，“云計算”、“大數據”的核心需求發端于在線服務和互聯網行業，它們“開放”、“共享”、“快捷”的行業特性，不僅改寫了技術發展的進程，也定義了很多技術發展的趨勢。當然，在傳統的電信、金融服務領域，對這些用戶而言，毋庸置疑，擺在他們面前的，是大量的數據、大量的設備、大量的管理維護工作量，但是不意味著“性能、穩定／可靠性、多手段數據保護”等要素不重要。用戶應該采用一系列的技術手段、定制一系列的管理規程，來規范各個要素的相互關系，或者說，做到“平衡”，一種有所側重的“平衡”。

在部署中發現、解決問題

“大數據”系統的部署過程確實是一個發現問題、解決問題的過程，對不同的用戶，不同的應用，NetApp都有成型的不同的解決方案集供他們參考。

在大數據部署的過程中，何英華和他的團隊發現常見的問題往往有：

對現有業務條件和未來業務目標定位模糊，熱議但缺乏審視，就好像中國IT行業幾乎一夜之間都在談論“云計算”，都在談論SaaS、軟件即服務一樣。中國有句話，放在這里可能不是特別貼切，不過這句話說“老吾老以及人之老”，“幼吾幼以及人之幼”，說得是尊老愛幼之道，對數據中心建設而言呢？應該也是，先建設好自己的數據中心，再去給別人提供數據中心外包服務。或者說，以良好的基礎，提供適度的服務。否則，“云計算”、“大數據”的建設可能流于形式。

參考國外先進案例時，疏忽于適用性檢查。NetApp的用戶中不乏搜索、線上視頻、線上音樂等行業的領軍企業。這些用戶也很樂意向他們學習、取經，這都是好事。不過有時大家容易關注光鮮亮麗的方面，疏于比較彼此之間的差異。

關注概念本身、技術選項本身大于關注“平衡”的全局等。有這些問題，本身是正常的。因為這個時代決定了用戶的很多動向都是帶有“試驗”性質的。我們的建議是明確定義自己的需求，以開放的心態多與同行、廠商、集成商、行業專家進行探討，共同分析問題、解決問題。

讓大數據在“云端”奔跑

進入“大數據”時代，出現了不少新興的數據挖掘技術，使得對數據財富的儲存、處理和分析變得比以往任何時候都更便宜、更快速了。只要有了超級計算環境，那么大數據技術就能被眾多的企業所用，從而改變很多行業經營業務的的方式。

目前很多試圖應對大數據挑戰的IT經理們把更多注意力都放在了數據的量上，談到大數據，數據量固然是重要且必要，但不是唯一必要的條件，在信息管理及流程管理等方面也是不容忽視的，。未來的數據將呈指數級增長，如果過度地將重心放在數據量問題上了，大數據的權重給得太高，可能導致決策短視，阻礙企業信息架構擴張以滿足不斷變化的業務需要。

對于“大挑戰”，業內專家表示，可以從三個層面來看待，首先從技術方面來說，大數據的存儲和分析是沒有問題的，服務器的性能可以滿足數據裝載、加工、提煉和分析的要求。第二個挑戰，多結構化的數據是需要有人才來了解新類型的數據，而人才的培養和訓練機制對每一個業者及企業都是一個挑戰。一般來說，多結構化數據不可能經過一次提煉就得到結果，可能需要周而復始重復針對數據做出一連串提煉加工，才能分析出來有用的信息，讓企業使用并產生價值，也就是說，分析的工具是要能被重復使用，好像是主程序呼叫子程序，在主程序將不同的參數傳給子程序，就可以得到所所需要的結果。所以合適的工具是加速人才培育的一種方法。最大的挑戰是要分析哪一類的數據？做什么樣的提煉？提煉出的信息如何產生業務的價值，產生業務價值以后怎么樣導入到整個企業的流程管理層面。大數據面臨著大挑戰，不過，如果企業可以解決這些問題，并且從中吸取經驗，那這些大挑戰就是機遇。

云計算和大數據是當前兩個相伴而生的重要趨勢。企業的IT環境越來越龐大，IT系統的管理和維護越來越復雜，企業IT投資的70%以上都用于IT系統本身的管理和維護，只有不到30%的投資用在了企業的業務發展上。云計算技術可以實現I T資源的自動化管理和配置，降低IT管理的復雜性，提高資源利用效率。對IT企業來說，需要按照云計算技術的特點轉變業務模式，以服務的方式提供IT技術。

“云計算和大數據不是對立的，因為云計算是一個使用的模式，為企業提供了一些便利性和使用方面的經濟實惠，因為是按需服務。”Teradata天睿公司大中華區產品技術及業務支持副總經理張錦滄表示，“一個很大的企業，本身就有非常多的數據，他們的數據是建在自己的一個平臺，也是一個云的計算，是沒有被外部人使用的。不一定是大數據就一定要在云計算上面做建制和實施的，是可以有選擇性的。云計算使大量數據集中，對中小企業的使用來講，除了使用個體的公司自己的數據之外，還可以跨產業或者是跨公司進行宏觀的分析。”Teradata天睿公司的另一個專業：企業數據倉庫解決方案，它是集合企業內不同業務部門的數據，來達成單一視圖， 現在企業數據倉庫也可以和大數據分析整合，讓企業的分析視角更廣、更全面。

云計算的大趨勢已毋庸置疑，而正當它被企業逐漸認識和部署的時候，業界領袖們又將目光瞄向了下一個目標——大數據。現在，是IT創新者重新思考的時候了，通過云計算與大數據的碰撞，最終會為企業帶來多少“價值”，從而獲得更多隱藏在大數據中的機會。

張錦滄：對IT企業來說，需要按照云計算技術的特點轉變業務模式，以服務的方式提供IT技術。

“機會”在“集成”

不久前，Facebook宣布其用戶量目前已超過7.5億，每天的分享次數達40億。這是一個非常巨大的數據。

根據IDC的預測，從2009年到2020年，數據總量將增長44倍，達到35ZB。在海量的數據面前，對于以數據為中心的企業而言，數據的質量至關重要。

不久前，世界電信產業界富有權威性的中立咨詢顧問公司Ovum公布了一份題為“優化企業應用：數據連接”的最新研究報告指出：“無論應用平臺的架構有多么精良，或開發團隊的效率有多高，在基礎數據及其管理策略存在缺陷的情況下，所有為改進應用管理和交付所做的努力都將是徒勞無功的。”準確地指明了數據蔓延和劣質數據是導致不良應用程序管理和性能的罪魁禍首，直指低劣的數據與實施或運行應用程序的初衷“背道而馳”。

簡單來說，沒有良好的數據，沒有更加良好的數據管理策略，用于業務應用的投資將隨著應用組合在企業內的增長和擴展而日漸縮水。對于期望在擴大的企業范圍內利用交易數據和和社交媒體數據的企業來說，實施一個大數據集成平臺是當務之急。這意味著各組織機構必須有效地管理數據生命周期的每個階段，運用信息生命周期管理、數據質量、數據服務、主數據管理和其它規則與技術，以便優化性能并提高其業務應用組合的投資回報率。

Informatica公司主席兼首席執行官Sohaib Abbasi指出：云計算、社交計算和移動計算這些特大趨勢目前已相互交匯，在接下來的五年當中，計算機行業將因此而發生改變。而這些趨勢也正在把數據集成提升為最重要的戰略性技術之一。

這些趨勢決定著最重要的業務需要。全球化要求企業現代化以保持競爭力；行業整合要求在合并后能成功地集成；增長需要以客戶為中心和靈活性；運營效率要求優化業務流程，包括外包；治理則需要相應的企業風險和合規項目。

所有這些業務需要都要求IT部門提供關鍵數據。但IT部門卻常常提供不了這些數據，因為數據擱置在多個系統中，包括部署在內部的系統和云系統。毫無疑問，數據是決定這些業務變革是成功還是失敗的關鍵。這就促使很多垂直行業領域和世界各地的企業都渴望成為以數據為中心的企業，而數據集成則比以往都來得更現實、更優先、更緊迫。

在過去40年中，關系型技術架構是為了管理結構化交易數據而優化的。而現在出現了一種新的架構，是用來管理大數據的（包括社交互動數據）。這個新的架構就是Hadoop。對于大社交數據而言，只有Hadoop的并行處理才能提供尚可接受的性能。要全部釋放社交媒體的好處，其挑戰就是要能把關系型交易和社交互動這兩個環境集成起來。

正是清楚認識到數據集成在“大數據”時代的機遇重重，今年6月，Informatica成功地推出了創新的Informatica 9.1 for Big Data，這是專門為大數據而構建的統一數據集成平臺。這個平臺的開發目標非常明確，這就是將海量數據帶來的挑戰轉化為重大機遇。軟件在大數據集成的三個方面提供了創新和全新功能：

與海量交易數據的連接。9.1版本提供的一個全新關系/數據倉庫設備包可將該連接擴展到專為大數據定制的解決方案。不僅如此，它通過與OLTP和在線分析處理（OLAP）數據存儲的本地連接，提供了對高流量的交易數據的訪問，最大可達拍字節。

與海量交互數據的連接。借助于產品所提供的與新型社交媒體的連接器，訪問如 Facebook、Twitter、LinkedIn 和其它媒體等新數據源。將數據收集范圍擴大到企業所在行業的新興價值數據集，包括設備和傳感器、CDR、海量圖像文件。

海量數據處理。Informatica 9.1提供了新連接功能，可讓I T部門將來自任何來源的數據輸入Hadoop，同時從Hadoop中抽取數據發送給任何目標。此外，該連接還允許對Hadoop中的數據應用Informatica數據質量、數量探查和其它技術。對于在Hadoop系統內外合并交易和交互數據的企業來說，這些功能提供了全新的可能性。