基于云計算的流數據集成云服務

呂啟文

摘要：日前，在大數據蓬勃發展的時代，對其的處理和管理是云基礎主要應用的方面。而服務是對云計算環境中各類資源的使用模式。在傳統流數據系統因時代的高速發展，數據的多元異構復雜性提升，而在諸多方面出現了瓶頸的情況下，云計算技術因其在數據的可伸縮性、數據并化處理能力、數據的容錯率方面的出色表現，在新時代的流數據處理和管理中脫穎而出，成為其發展的基石。云計算對大數據的集成、處理、服務化等發面有著至關重要的作用。

關鍵詞：流數據；云服務；數據集成

中圖分類號：TP311.13 文獻標識碼：A 文章編號：1007-9416（2017）10-0057-01

近年來，隨著各移動設備、物聯網、泛在計算等不斷發展，大數據時代已經到來。這意味著，在不同領域內，各類數據都呈現日益增長的趨勢。同時因為移動設備對我們日常生活的影響，在未來有可能會有數據爆發的情況出現。其中，流數據，即來自不同類型的設備傳輸，并且具有實時性的數據，是現在在數據體系中越來越重要的一個角色。進行大數據的集成和處理的基礎之一是云基礎設施，筆者在云服務對大數據的集成和處理等方面進行了深入研究。

1 相關概念

1.1 流數據的概念

流數據是指沒有邊界的、隨著時間變化、瞬時決定的數據項排列。所以，流數據一般是遵循一定的時間性，多以時間序列的模型進行排列。對于流數據而言，其集成和處理是由“算子”和“處理單元”集合之間通過數據“流”連接而成的。流程大多是一算子通過數據轉換和處理后輸出數據，數據源接受算子后會將它們發送給下一個算子進行新一輪的數據處理，從而使數據處理的結果傳遞到設備或應用中進行服務。

1.2 云計算環境下的數據集成服務及特點

云計算環境已經發展成為大數據時代下數據進行存儲、處理、及計算等廣發使用的平臺。可以說，數據處理在發展到第三代：流數據處理系統的階段，很大一部分原因是因為云計算技術的推動而形成的。

本文總結歸納云計算環境下的流數據集成與服務有以下特點：支持多個租戶共享和“即取即用”的服務模式；實時性；動態可伸縮性；容錯性。這些特點保證了在云計算的環境下，流數據的操作服務不再是一對一的低效率模式，而是可以讓多位租戶共享流數據處理的結果。同時，處理數據的速度可以達到一秒鐘處理一萬條以上的數據，保證了服務的高效性。在應用和服務中，保證在不同的負載下仍然能夠保持常規的性能，達到資源的更合理的分配。最后，因為對數據的容錯，云計算可以保證容錯的開銷小，以減少因為數據的丟失和延遲而造成的損失。因此，可靠性也是流數據服務的根本要求之一。

2 基于云計算的流數據集成云服務分析

2.1 流數據的集成

流數據通過不斷的發展，其集成的問題有以下幾個方面：多個流數據源的集成、流處理引擎間的集成以及流處理引擎和傳統數據庫的集成。流數據集成的目的是為了方便進行進一步對數據的分析和處理，尤其是涉及到多個數據源的深度分析和規劃。這也證明了多數據源的協同計算也是在大數據時代分析數據的一種有效且高效的數據分析手段。

2.2 基于云計算的流數據查詢操作

流數據的查詢操作是云計算環境下一個應用較為廣泛的方面。流數據的基本操作可以分為選擇、投影、連接、聚集等操作。這其中，相較于選擇和投影的操作，連接和聚集的操作更為繁瑣和耗時。如何提高這兩個方面的操作是從傳統數據操作中一直被廣泛關注的要點。而在流數據的研究中，因為其實時性的特點，會在云計算的環境下帶來新的問題。

3 挑戰與展望

流數據處理的發展也不是一朝一夕，但縱觀其發展歷程，它的內涵和外延都發生了變化。新型技術運用在服務的角度仍比不上一些傳統的數據處理方法，但云計算下的流數據集成處理有很大的發展空間。這其中，可能出現的問題，筆者認為有一下幾點。

3.1 流數據服務模型

因為現在的服務抽象的模型還不具備對大規模數據的實時性、不間斷性、多變性的高效處理能力，這使得在流數據的服務過程中的抽象和建模、服務編程等方面都面臨著一些挑戰。這些可以從流數據服務的自身特點，找出滿足流數據應用特有的要求。

3.2 基于云計算的流數據服務的性能優化問題

現代大數據流行的時代，數據服務成為人們日常生活中的重要方面。而隨著流數據的空前爆發，大規模流數據的處理的高吞吐和延遲是面臨的巨大問題。這些可根據負載情況合并或者分開執行。例如：動態劃分數目、進行算子資源分配等等。

4 結語

近年來，隨著數據大規模地在人們生活中的應用，流數據的發展也超乎想象。不可否認的是，數據時代為我們的日常生活提供了巨大的便利。本文從流數據的概念和云計算環境下對流數據的分析，簡要分析了大數據時代的數據發展方向及應用和發展問題，這也是日后大規模數據的集成和處理所面臨的問題和挑戰。如果可以解決以上問題，其研究成果在日常交流、物流、互聯網等多個領域都有重要的研究價值。

參考文獻

[1]崔星燦，禹曉輝，劉洋，呂朝陽.分布式流處理技術綜述[J].計算機研究與發展，2015，52（2）：318-332.

[2]丁滟，王懷民，史佩昌，吳慶波，戴華東，富弘毅.可信云服務[J].計算機學報，2015，38（1）：133-149.

[3]金澈清，錢衛寧，周敏奇，周傲英.數據管理系統評測基準：從傳統數據庫到新興大數據[J]計算機學報，2014，37（8）：1-18.