大數據、人工智能和云計算融合的總體構架與實現

何力

（成都市大數據中心 四川省成都市 610000）

伴隨著科學技術的發展，人工智能、大數據、云計算三者都是科學發展的良好結果。人工智能的出現屬于三者中最早，與大數據相比，人工智能有著更大的發展年齡。經過了多次的動蕩之后，原本的計算力與訓練數據量這一瓶頸技術，被大數據成功攻克，進而幫助人工智能得到了迅速的發展。經過與大數據分布式技術結合后，人工智能擁有了極大的發展前景，而這樣的發展方向也讓人工智能與大數據兩者之間的發展方向出現了重合。從此兩大領域進行了有機的結合。大數據的不斷發展，隨著數據在平臺上不斷地匯聚，企業大數據與技術平臺對于分支機構的需求越發迫切，容器技術的出現真正的讓大數據與人工智能得到了融合，而容器技術又屬于云計算的一種，從此大數據、人工智能與云計算得到了真正的融合應用。

1 數據處理的發展階段

伴隨著信息技術的發展，尤其是近些年移動網絡的迅速建立，各大行業對于數據的生產量以及儲存需求量，呈現了幾何級別的增長趨勢。數據處理性能在數據量急速增長的情況下受到了巨大的挑戰，同時數據量的增長也讓數據種類出現了各種各樣的分支，讓數據處理手段產生了新的要求。對于企業的數據應用維護來說，在生產過程中，許多種類稍微偏頗的數據，往往形成了一座座數據孤島，無法進行歸納與整理，同時計算也存在著極大的困難。伴隨著大數據技術的不斷發展，企業對于數據處理技術也在不斷地提升，在圖1 中對于企業數據處理轉型的階段變化進行了表述。

在大數據剛剛發展的階段，數據孤島讓數據無法整合，為了將數據孤島清除，從而建立了一些數據歸集，在數據歸集的基礎上，作為數據歸納的標準化進行數據合并。在此階段中，企業對于數據的處理往往是以進行儲存檢索為主要方向，為結構化的數據處理提供各種API 與少量SQL 支持。但在此階段中主要的阻礙是海量的SQL 業務無法轉移到大平臺中，數據無法轉移讓數據技術的發展出現了瓶頸，影響了大數據的發展。

在第二階段中，企業客戶對于大數據平臺的需求主要展現為能夠將數據進行更好的結構化規范，同時將以往的it 架構遷移到分布式架構中。針對于這點想要將架構進行遷移，就需要將SQL 技術進行重新開發研究，因此各大廠商在SQL 領域進行了競爭，不斷提高SQL 標準的兼容程度。SQL 技術的發展，讓數據分布式事物的難題得到了解決，從而讓SQL技術成功的躍入了企業客戶的眼簾。而SQL 的兼容程度越來越高，讓更多的業務場景能夠將這種技術應用于信息儲存中。同時伴隨著技術的提升，強大的分布式計算能力，讓更多的客戶可以使用SQL 對海量數據進行處理。伴隨著眾多企業用戶數據處理能力的提升，數據分析研究技術的不斷提高帶來了流處理技術的發展。

圖1：企業數據處理轉型階段性變化

在最后階段中，一些企業用戶已經將關系型數據庫作為核心，從而建立了一個數據處理體系。在這樣的數據處理模式中，數據技術能夠成為數據處理的核心技術，將這項技術作為核心后，能夠出現一個全新的處理體系。SQL 體系伴隨著時間的發展，已經無法滿足企業用戶對于數據處理的需求，因此想要使用傳統計算機算法中的分布化架構。但最終受限于結構化數據的學習挖掘，并沒有實際進行。而隨著深度學習技術的不斷推廣與分布式技術的碰撞，新一代計算框架橫空出世，這其中包括tensorflow 等等。在這一項技術得到運行后，各種各樣的新型技術橫空出世，這其中包括人臉識別、車輛識別、智能客服、無人駕駛等等。從此，大數據計算系統、與人工智能、云計算系統得到了完美的結合，各項數據已經逐漸走向了企業的生產生活中。

2 大數據、人工智能與云計算的融合

在未來的發展中，企業的數據資源已經不再封閉，已經能夠讓各大部門都能夠接觸到數據的使用。伴隨著數據處理技術的不斷發展，企業面臨著眾多的問題，這些問題都需要使用大數據人工智能進行良好的處理應用。在大數據發展的最早一段時間內，所做的僅僅是在計算框架內，提供相應的作業調度算法。伴隨著企業的發展與社會的進步，對大數據提出了更多的需求。除了依舊對資源管理較為粗放之外，大數據已經能夠進行計算框架資源的管理。而云計算技術作為一項資源隔離封裝虛擬化以及管理調度的技術，主要的應用方向就是對上述問題進行解決。但是在容器技術被廣泛接受之前，云計算技術往往主要應用于虛擬機封裝資源，而并沒有得到重視。這項任務進行過程中，云計算技術主要負責在其上進行加載操作系統，這就導致資源的利用率極低。在云計算技術發展的早期，有廠商嘗試將大數據平臺建立在虛擬技術的云化平臺上，但是由于資源利用以及大數據平臺的穩定性問題，這方面的嘗試并沒有得到成功。伴隨著容器技術的發展，以及一些其他技術概念的形成，大數據人工智能基礎平臺開始在容器云構建底層資源管理調度平臺。從定義的角度來講，平臺就類似于為大數據和人工智能進行操作系統的分布式平臺，將集群中存在的各類資源進行封裝與管理。也就是說，通過平臺的建立，人工智能、大數據與云計算三項技術真正的實現了融合發展，而主要的發展方向依舊集中在對數據的處理中。通過各項技術的使用，能夠讓原本的數據處理模式得到相應提升與發展，虛擬的運化平臺主要的發展案例是中國郵政大數據平臺，有效的提升與發展能夠更好的讓數據得到提升。

3 技術融合的總體構架與實現

本文所挑選的技術融合對象主要是中國郵政大數據平臺，在中國郵政大數據平臺中，使用了TDH 作為基礎構架系統，同時搭配了TOS。這種基礎構架系統， 產生了新一代的邏輯數據倉庫與數據集市，完全取代了以往的數據構架系統。

在中國郵政大數據平臺中，主要的服務集中于各類系統，同時通過云容器來實現多租戶的數據分析挖掘，從而保證數據的儲存安全性和儲存質量。在中國郵政大數據處理中，智能分析體系從業務層到管理層，最后到決策層，都有著相應的建立。在中國郵政大數據平臺中，還會對相應的風險與收益進行量化和模擬，保證郵政各項業務的收益能夠得到計算。同時通過大數據系統中國郵政還能對全面經營狀況進行掌握，從而實現宏觀決策所必需的數據提供。在中國郵政服務的過程中，大數據平臺建立了5 大基礎服務集群。以5 大數據集群為基礎，達到了4 個維度統一，分別是數據管理，服務管理，運維管理與安全管控。在4 維度達到統一以后，還會對6大應用領域展開應用，這其中包括風險管控，決策支持，服務支撐，流程優化，品牌創新，交叉營銷。數據庫與數據倉庫的構建基礎是TDH。而各類數據語言匯集到一起的方式是esb，這其中包括業務系統數據，實時流數據，合作單位數據，互聯網數據等等。

無論是數據湖還是數據倉庫，建立的基礎理論都是TDH，這也就決定了在中國郵政大數據平臺中，能夠將各方面的數據進行綜合后處理。通過數據資產目錄的方式來對數據進行標號，從而讓數據的檢索更加簡單輕松。而在進行數據錄入的過程中，系統會將數據自動從數據湖中加載分析，再分發到各個租戶的個人空間中，從而讓開發人員的數據使用難度降低。需要注意的是，在數據使用完成后，開發人員還會將數據成果應用在數據湖內，實現對外數據的供應。由此可見，中國郵政的大數據平臺技術已經接近成熟，可以作為行業內的典型案例以供學習。

4 人工智能、大數據與云計算的融合發展研究

伴隨著科學的發展，時代的進步，各項高新技術都有了巨大的飛躍。作為未來發展的主要目標，人工智能、大數據與云計算的運用范圍有了巨大的擴大，三者之間的界限日益模糊。云計算的發展讓人工智能得到了迅速的提升，而大數據和人工智能則促進了云計算的進一步深入發展與大規模運用。也就是說，大數據人工智能以及云計算系統三者相輔相成，不斷幫助對方得到進一步的提升和發展。在當下，我國的科學技術依舊處于發展階段，眾多經濟企業都對人工智能、大數據與云計算的發展提供了支持，這讓人工智能、大數據與云計算的使用越發廣泛。人工智能方面首當其沖，在人們的生活中人工智能已經越來越常見，在生產生活中成為了必不可少的一部分。而人們對于人工智能的硬性需求，也促使了人工智能得到進一步的發揮發展，讓人工智能的分類得到更為精細和豐富化。

而在另一方面，大數據發展的方向是在各領域進行廣泛應用。大數據系統的存在讓人們意識到數據所能帶來的商業化幫助，而想要讓大數據得到進一步的發展，云計算技術需要進行相應的提升。在當下的發展進程中，云計算技術已經得到了充分的發展與進步，而主要的發展方向是儲存方向。而由于網絡的發展和人工智能的逐漸進步，讓云計算所要面對的數據處理量呈現了指數性的增長。而云計算對于數據的處理能力決定了在未來智能生活中云計算的重要地位。在未來的發展中云計算是數據進步的基礎之一，更是在時代發展中不可缺少的一部分。

在未來的發展過程中，人工智能、大數據與云計算三者之間的界限將日益模糊，進而發展成為一體化的高新科技，而三者之間的關系也從以往的互相幫助到如今的互為基石。需要注意的是，這三者之間，無論哪種科技，想要發展都需要得到另外兩種技術的水平突破支持。因此未來的發展中，需要將人工智能、大數據與云計算三種科技視為一體，重要程度不分上下。

5 結束語

無論是云計算、人工智能還是大數據，人們的生活將會通過這三樣技術而受到一定的影響，伴隨著社會的不斷提升，人們對于這三樣技術也將產生更大的需求。因此為了滿足社會中人民群眾的生活需求，三者之間的融合發展已經屬于未來發展的主要趨勢之一，在未來的形勢中需要加強三者的融合推動。主要目的是讓三者能夠更快地進行融合，同時為社會提供更多的便利與幫助。