大數據環境下的分布式數據流處理關鍵技術

文/朱蕾蕾

在三年前我國就對一段時間以來的網絡使用和開發現狀進行了統計，統計數據主要是針對大環境下我國的網絡技術研究和使用進行了分析。從這次統計中，不難看出來我國的互聯網行業發展相當迅速，從上世紀九十年代時期的剛剛引進，到現在的過半網絡使用率。平均每兩個人中，就有一個使用互聯網的，這樣的使用率配合上中國龐大的人口基數，可以毫不夸張的說，中國的網民數量可以得到全球總人口的十分之一。如此多的使用人數，產生的數據量也是相當大的，在現代生活中，人們經常會通過互聯網查閱資料，這個過程中會產生很多瀏覽記錄，而人們進行網購等活動也會留下很多瀏覽記錄，這些記錄在互聯網上都是以數據的形式保存的，因此有理由相信，當前的時代是大數據時代。大數據時代中數據量過于龐大，導致人們尋找有用消息變得更加艱難，因此需要對這些數據進行適當的處理，分布式數據流處理就可以解決搜尋中的很多問題，接下來要對該處理方式應用到的技術進行分類研究。

1 數據搜集技術

大數據意味著數據量龐大，因此要想針對這樣的環境進行處理，首先要保證數據量足夠的大，否則會形成無米可炊的局面。搜集工作可以從設計一個搜集系統入手，對于設計者來說，可以將總服務器的基址地址傳達到各分服務器上，分服務器上產生的各種數據可以通過一個特定的搜集系統，經由這個鏈接傳遞到總服務器上。實現了這種操作的是國外很流行的一個社交軟件臉書，這是一個成功的代表。拿一些搜索引擎舉例，出來為用戶提供搜索平臺以及數據外，還可以將用戶所上傳的信息進行保存，在進行一定的驗證工作之后，作為新的數據填充到整個系統中。在這些多種多樣的搜集系統中，應用比較多的一種就是日志收集。目前該類方法實現對數據的搜集主要分為幾個步驟，首先是對數據進行分析檢驗并將其交由中間處理器，然后中間處理器對數據進行整合之后將其發送到中央處理器，最后中央處理器將這些數據保存到大數據資源庫中，成為大數據的一份子。盡管很多搜集系統的原理相同，但是其側重點不一樣，因此在設計搜集系統的時候可以根據側重點的不同進行區別設計。

2 數據管理技術

搜集工作到位了，就需要考慮管理工作。在分布式數據流處理中，對數據的管理工作做的不到位，很有可能會導致整個系統的崩潰。本身上數據庫中的數據量就是很大的，而且用戶在使用到該系統的時候也會產生數據。在數據管理中不僅要對原有的數據進行管理，還要對新近產生的數據進行管理。能夠將這兩者區分開來是系統需要具備的能力，這個時候可以采取添設消息陣列系統的方法。該子系統的主要功能在于，數據的出入都要經過這樣一個環節，這樣的系統能夠降低外界數據和數據庫中數據的相互沖突的概率。盡管通過這樣一個中轉站會使數據的整理和處理響應速度減慢，但是卻能最大程度的保護系統數據庫，而且在一定層面上來說還能改善用戶的使用體驗。在數據處理方面效果頗佳的有一類系統，是對該方法的延伸。該系統并不是設立于一個簡單的中間站，因為中間站對數據傳遞的延遲性影響太大，因此該系統舍棄了這樣的做法，而是將來往的數據以不同的形式進行傳遞。信息在數據庫中是以數據的形式存在的，用戶在搜索之后直接觀察到的也是數據的形式，但是在上傳和下載的過程中，會將數據轉換成緩存資源與未涉及到的數據進行區分，這樣也能夠實現和傳統的消息陣列系統一樣的功能，而且與之相比也更快捷。

3 數據存儲技術

在數據搜集和管理中雖然涉及到了數據的存儲，但是那些都是簡單的概括，在實際的系統架構中，該項技術的實現需要被單獨羅列出來進行研究。首先從實用性的角度分析，數據庫中的數據有很大一部分都是長期數據而不是臨時數據。同樣的數據，可能有不同的用戶在不同的時間進行檢索。因此，系統的設計者需要保障數據庫中的相關數據能夠被有效的保存下來，這個時候就需要應用到數據存儲技術。很多優秀的搜索引擎的數據存儲技術都處在行業前端，拿國外應用程度較廣泛的谷歌為例，其應用到的是分布式的系統，因此其存儲系統也是同類型的。谷歌的存儲系統的空間容量極大，因此能夠存儲更多的數據，而且根據該系統的特點，單位時間內數據允許上傳下載量也很大，這樣能夠滿足更多的人在線使用該系統，這對于搜索引擎來說是相當重要的。另外還有一類存儲系統與之類似，但是在這些關鍵性性能上比不上谷歌的存儲系統，但是該系統能夠實現谷歌存儲系統不能做到的方面，可以對巨量的微數據進行長時間的存儲。系統的存儲能力決定的數據庫能夠存放多少數據，如果一個系統不到幾天內存就滿了，需要對之前存儲的內容進行刪減才能正常的運行下去，就會給用戶帶來不好的使用體驗。連最近發生的事情相關數據都沒有，如何能讓用戶滿意，所以，存儲技術也是系統必須加強的問題。

4 結束語

大數據環境下相關技術的革新是一定要進行的，本文中雖然只針對三個方面提出了對系統的技術要求，但是在實際的系統構建中還需要考慮到更多的問題，用戶的使用體驗在很大程度上是由系統的短板決定的，因此要注意全面改進技術。