重塑傳統，打造第四代數據倉庫

本刊記者/朱琨

常雷帶領著偶數科技著力打造的基于HAWQ的分析型數據倉庫OushuDB應運而生，同時，該數據倉庫融合了機器學習技術，在利用人工智能技術處理海量數據上擁有得天獨厚的優勢。

在數字化時代，個人移動設備快速普及，各企業機構紛紛利用大數據與各終端設備進行相互連接，來幫助企業提高生產效率，制定經營決策，導致整個社會每天都會產生海量數據。據預測，到2020年，一個人每天將產生約1.5GB數據，一個家庭每天將產生約50GB數據，一輛無人駕駛汽車每天將產生5TB數據。而在整個社會體系中，各機構每日將產生上百TB數據。隨著終端設備的不斷接入，使得數據呈指數級增長，最終形成龐大的數據洪流。

盡管數據的增長可以為社會帶來巨大的商業機會，但同時對于數據的處理也帶來了嚴峻的挑戰。對于企業而言，由于項目或業務的多元化發展，導致企業面臨不同的數據源。當數據產生時，企業可以利用My SQL或Post gr eSQL等數據庫對數據進行存儲、查詢和處理。有一種說法認為，傳統數據庫行將就木，而以企業的分析報告和決策支持為目的，對多樣的業務數據進行篩選與整合的數據存儲集合—數據倉庫技術將成燎原之勢不斷滿足數據存儲與分析帶來的苛刻需求。

三代數據倉庫的演進

作為北京偶數科技有限公司（以下簡稱偶數科技）的掌舵人，常雷在2016年創立了偶數科技。在短短兩年時間內，偶數科技依靠自身成熟的數據倉庫技術以及Apache HAWQ、Oushu Dat abase新一代數據倉庫、OushuLit t l eBoy人工智能系統、Oushu Lava人工智能云平臺等產品在市場中迅速站穩腳跟，成為國內領先的AI和大數據軟件企業。與此同時，偶數科技在常雷的帶領下，在通往第四代數據倉庫的快車道上持續邁進，碩果累累。

那么什么是第四代數據倉庫？數據倉庫的發展又是如何演進的？

在1990年，數據倉庫概念由比爾·恩門（Bi l l Inmon）提出，發展至今已有近30年的歷史。在常雷看來，數據倉庫在30年的發展過程中，主要分為三個階段。在上世紀80年代，出現了關系型數據庫，而Or ac l e和DB2成為關系型數據庫的主流產品，被廣泛作用到金融行業的交易系統中。

但是金融行業的理財、貸款等業務的不斷拓展，導致數據量不斷增加。金融行業需要利用數據分析技術來處理數據，所以需要將關系型數據庫中的數據和數據源中的數據以及互聯網中的數據進行整合，并統一進行分析。因此，依靠其自身小型機或一體機專有的硬件平臺，面向傳統BI分析的第一代數據倉庫由此產生，企業需要將關系型數據庫中的數據導入到數據倉庫中進行數據分析。

但是由于第一代數據倉庫采取的是集中式存儲，存儲是系統的瓶頸，很難支持突發的應用或密集復雜的計算需求。所以出現了無共享構架的第二代數據倉庫。第二代數據倉庫是基于專有硬件的Mpp平臺，比如Ter adat a。但是常雷講到，雖然無共享架構是一種技術的突破，但是其價格昂貴，同時在架構方面缺乏彈性，規模很難擴展到上千個機器。

在2000年左右，由于軟件技術發展并不成熟，而第二代數據倉庫采用的是專有的硬件平臺，軟件系統只能進行大量的制定化處理，導致第二代數據倉庫的使用成本較高，而且由于軟件定制化的緣故，使得操作系統的擴展性有限，最終逐漸被歷史所淘汰。

為了解決第二代數據倉庫的使用成本和系統的擴展性問題，在2010年左右，以X86為基礎架構的第三代數據倉庫隨之出現，第三代數據倉庫可根據工作負載彈性伸縮，靈活配置，按需分配資源，可以快速支持突發的應用計算需求。在常雷看來，第三代數據倉庫可以分為兩個部分：基于X86構架的MPP技術和基于X86構架的Hadoop技術。基于X86構架的MPP普遍采用普通硬件，極大地降低了使用成本，而Hadoop可以形成千、萬個節點，解決了擴展性問題，而這兩部分并稱為第三代數據倉庫。

AI+數據庫服務打造基于HAWQ的“第四代數據倉庫”

2015年，大數據已經被廣泛應用到各行各業中，相關技術也日臻成熟，各類新興應用場景和商業模式開始呈爆發式增長，大數據驅動下的人工智能技術也逐漸呈現出遍地開花之勢向各個領域延伸。在常雷看來，以人工智能技術為基礎的應用模式正在使市場需求發生變化，所以偶數科技提出了“重塑”概念，希望通過新興技術來重塑企業的辦公方式和人們的生活方式。而數據積累和深度學習便成為了常雷的“手術刀”，并在市場中叫響了打造第四代數據倉庫的口號。

在常雷看來，傳統的數據倉庫對數據進行在線統計、在線分析、數據挖掘、隨機查詢等工作時具有一定優勢，但是伴隨著整個社會向人工智能的方向邁進，使得各個應用場景中都充斥著人工智能的影子，而在人工智能場景的影響下，面對海量的數據分析需求，第三代數據倉庫就顯現出弊端。無論從反饋時長還是設備性能嚴苛的要求看，第三代數據倉庫已無法滿足人工智能的發展需求，所以對數據倉庫進行迭代迫在眉睫。

而在這一背景下，常雷帶領著偶數科技著力打造的基于HAWQ的分析型數據倉庫OushuDB應運而生，同時，該數據倉庫融合了機器學習技術，在利用人工智能技術處理海量數據上擁有得天獨厚的優勢。在大數據和人工智能時代的背景下，在安防、金融、工業等領域對于數據倉庫的海量數據處理和分析能力提出了更高的要求，而第四代數據倉庫可以通過深度學習、Aut o ML、強化學習、計算機視覺、自然語言處理、知識圖譜等進行深層的認知和推理。

此外，在安防領域，在人員身份識別、人類軌跡分析等方面，可對視頻、圖片、電子車牌等不同種類的數據進行快速分析，并發現潛在的聯系，抽取有價值的信息，并對可疑行為發出預警，對案件進行關聯，協助提高公安部門的案件的偵破效率。

在金融領域，銀行在辦理貸款業務時，需要對審貸企業進行核查，再通過評委會對核查結果進行評估，而整個審核流程全部需要人工的方式完成。但是一旦核查流程涉及公司業務，銀行需要將該企業所有的外部和內部數據按主題進行整合，這就極大地耗費了時間和人工成本，同時也給數據分析帶來巨大困難。而借助“第四代數據倉庫”的技術優勢，偶數科技可以利用數據存儲、管理、分析和人工智能算法建模，幫助用戶構建審核流程模型并進行模型管理，簡化傳統的審核過程，減少人工參與并縮短審核時間。

目前，物聯網技術在工業領域得到長足發展，在工業企業內部可能部署有近百萬甚至千萬的物聯網傳感器，并實時提供傳感器數據，而第四代數據倉庫完全摒棄了繁瑣的存儲方案，依靠時空維度和列存儲的思想，建立了一種以物聯網模式的數據倉庫，并根據物聯網的時空特性，設計了一種支持連續聚集查詢的多時空粒度數據結構和快速更新算法，來解決物聯網的數據管理等問題。

偶數科技所打造的“第四代數據倉庫”是以HAWQ為基礎所構建的，而在HAWQ的研發層面，常雷也可謂是別出心裁。常雷認為，在2004年左右，Hadoop技術出現，在那個時期有兩個系統使用得十分廣泛：分布式軟件存儲HDFS和面向大數據并行處理的計算模型Map Reduce。但是Map Reduce自身的復雜性使得該項技術的使用量逐漸減少，同時Hadoop社區也發現了該項問題。這種情況促進了Hive的出現，Hive可以將SQL語言轉換成MapReduce任務運行。

在常雷加入Gr eenpl um之后，2011年常雷便開始組建中國研發團隊進行HAWQ的產品化工作。常雷介紹到，SQL-on-Hadoop的引擎的運行速度并不理想，而傳統的MPP的運行速度卻非常快，所以常雷帶領團隊將兩項技術進行融合形成了HAWQ。同時，常雷從兼容性、性能和可擴展性等方面對新型的SQL-on-Hadoop引擎與傳統引擎進行比對并發現，以SQL-on-Hadoop新引擎為代表的HAWQ在運行速度方面提升了近400倍。

在2013年HAWQ正式公布1.0版本，時隔一年HAWQ已成為全球眾多大型企業采購的重要產品之一，同時在2015年，HAWQ開源成為Apac he項目。在2016年常雷另立山頭，宣告成立了偶數科技。為了滿足市場需求，常雷基于HAWQ打造新一代數據倉庫Oushu DB，原生支持云計算和人工智能，并在2017年帶領偶數科技發布了OushuDB 3.0企業版。

基于原創性HAWQ技術，Oushu DB已經成為目前全球最快的新一代分析型數據倉庫引擎。作為偶數的核心產品，OushuDB采用了全新執行器，性能比傳統數據倉庫與SQL-on-Hadoop引擎快一個數量級，并支持In-Dat abase AI。目前，Oushu DB已經在金融、電信、制造、醫療和互聯網等行業得到廣泛部署和應用。在今年8月，ApacheHAWQ畢業為頂級項目，彰顯了其在業內的非凡影響力，并得到了包括VMware、阿里巴巴、海爾、中興軟創等數百個全球知名企業的認可。

顛覆傳統，行走在創新的道路上

在2010年，常雷在EMC公司組建中國研發團隊研發HAWQ引擎，并在2016年成立偶數科技，著力于研究與發展數據倉庫技術，雖然偶數科技的發展并不長，卻已在數據倉庫領域極具影響力，而常雷也時常調侃自己真正創業其實是在2010年。此外，隨著人工智能、云計算等新興技術不斷涌入市場，常雷也緊跟時代利用人工智能的深度學習技術，自主研發了基于人工智能技術的OushuLit t l eBoy產品，Lit t l eBoy是偶數科技最新推出的人工智能產品，搭載了全球頂尖的自動機器學習Aut o ML技術，該技術可以自動調優，幫助非工程師建模。

常雷坦言，打造“第四代數據倉庫”主要目的是為了重塑傳統的辦公環境和應用場景，我們的發展愿景就是希望一個沒有技術背景的人員，在培訓半個小時后，可以運用我們“第四代數據倉庫”和人工智能產品獨立地進行建模。“偶數的數據庫可以比傳統數據倉庫快10倍。性能是數據庫的核心，偶數科技的核心產品OushuDB的每個版本迭代都是性能的再一次升級，不斷地為客戶帶來更快、更強的優質產品。”

而對于人工智能如何與新一代數據倉庫技術相結合，常雷認為：“目前，市場中的人工智能技術包括人臉識別、語音識別等都屬于感知層，我們現在所做的是人工智能的認知層。認知層往往是最難的人工智能技術，它可以獨立地思考人們的行為并給出相應的解決方案。”

訪談實錄

Q：中國大數據產業生態聯盟、《軟件和集成電路》雜志社

A：偶數科技創始人兼CEO 常雷

Q：如何定義第四代數據倉庫？

A：之前還沒有人將此進行正式的定義，偶數正在人工智能的背景下定義第四代數據倉庫。隨著時代的不斷變化，人們會發現每隔10～15年，一定會有一個巨大變革。當大數據和人工智能等技術出現時，怎樣才能滿足該項技術的需求，也是現在的人們所津津樂道的事情。如果現在的數據庫不能支持人工智能，那么在人工智能環境的影響下，發展數據分析顯然是不可能的事情，所以這也是驅使著我們開發第四代數據倉庫的主要原因之一。目前，人工智能技術的發展時間并不長，還沒有出現真正成熟的人工智能技術，所以我們希望偶數科技能夠定義這個問題。

Q：打造第四代數據倉庫，偶數科技為何要進行市場培育？

A：若要做好一個產品，進行市場培育工作是必然的，而我們從事HAWQ技術的研發時也進行了大量的市場培育。如果沒有市場培育工作，你永遠會跟著別人的步子走路。我們希望偶數科技所做的事情可以引領世界潮流，而不是等別人把概念變成現實，我們再跟隨別人走過的路。無論從技術上突破，還是從應用領域上等待爆發的時機，成功的創業型公司都會經歷一些本質上的變化。我認為偶數科技正處在這一階段，所以我們希望重新定義第四代數據倉庫。

Q：偶數科技產品的核心競爭力如何體現？

A：目前有9個城市的公安和多個銀行在用我們的產品，在能源領域國家電網和南方電網都是我們的客戶，同時我們的產品在向制造業延伸，比如海爾是我們很早期的用戶。

我們的產品有較好的市場沉淀，而且我們在開發HAWQ時也得到市場的廣泛認可。另外，我們的產品確實解決了用戶的痛點，比如當數據量很大的時候用戶在計算一個報表時，可能需要等待1小時，而這一問題傳統數據庫無法解決，那么如何才能解決這一問題呢？我們的人工智能數據倉庫，使用了新型硬件指令和算法來提升產品的性能，這就使得我們第四代數據倉庫的運行速度比第三代快一個數量級，可以應對龐大的數據分析需求，這也是我們產品的賣點之一，同時也給我們的發展帶來更多的機會。

Q：目前，各行業的痛點存在哪些共性？

A：從需求的角度來說，當前人工智能的需求比較強烈，我們也把數據倉庫中的機器學習部分獨立出來，開發了Lit t l eBoy。那么在業界第一大痛點是什么？其實是人工智能還未形成規模化，比如企業想構建深度學習算法，它需要有統計背景和計算機背景的數據科學家才能進行工作，但是就目前來看，這方面人才十分稀缺。那么如何使普通人員可以使用人工智能技術，就成為了偶數科技的發展愿景。目前，我們的Lit t l eBoy和OushuDB產品，可以使一個沒有技術背景的人員，在經過半個小時的培訓后，獨立做出一個反欺詐模型，這就解決了需求問題。

而第二大痛點就是性能，因為數據量正在不斷增加，如果要面對數據洪流進行數據分析，這就會給性能帶來極大的考驗，只有提升運行速度，才能應對數據的爆發式增長。

圖 Oushu Database 主要功能示意圖

行業應用案例

案例名稱：深圳國稅稅務大數據平臺

核心特點：OushuDB是由Apache HAWQ創始團隊基于HAWQ打造的新一代數據倉庫。該產品采用了存儲與計算分離技術架構，具有彈性，支持混合工作負載和高擴展性等優點。遵循ANSISQL標準，兼容Or acl e，Gr eenpl um Dat abase和Post gr e SQL，提供PB級數據交互式查詢能力，提供對主要BI工具的描述性分析和AI支持。Oushu DB已在金融、電信、制造、醫療和互聯網等行業得到廣泛的部署和應用。

應用解讀：隨著“金稅工程”的不斷深入，稅務數據資源的種類不斷豐富，數據量快速增長，特別是近年來飛速增長的電子票據、視頻、網頁等非結構化數據，已經超出了目前的處理能力。

如何采集、存儲和利用龐大的涉稅數據，從海量數據中挖掘有價值的信息，已然成為稅收信息化面臨的重大課題。對復雜類型的數據管理和分析能力是新型稅務大數據平臺的重點要求。新一代數據倉庫Oushu DB完全具備復雜類型數據的快速處理和分析能力。

應用價值：稅收大數據平臺包括五大板塊：一是數據湖，提供數據的智能采集和集中存儲；二是數據工廠，負責數據的加工清洗和溯源管理；三是應用廣場，實現數據應用各系統的單點登錄集成；四是數據超市，呈現多樣化數據圖標指標和可定制的自助式數據分析服務；五是社區門戶，打造數據需求互助和成果交流分享的社區平臺。