大數據與Hadoop

朱立(北京信息職業技術學院,北京 100018)

?

大數據與Hadoop

朱立
(北京信息職業技術學院,北京 100018)

【摘 要】大數據技術正在向各行各業滲透。Hadoop作為數據分布式處理系統的典型代表,已經成為該領域事實的標準。但Hadoop并不等于大數據,它只是一個成功的處理離線數據的分布式系統,大數據領域還存在眾多其他類型的處理系統。所以,Hadoop代替不了大數據的全部,但Hadoop是大數據時代的優秀代表。

【關鍵詞】大數據 Hadoop 分布式處理系統

隨著信息化技術的日漸普及、寬帶網絡的快速興起,以及云計算、移動互聯和物聯網等新一代信息技術的廣泛應用,全球數據的增長速度進一步加快。與此同時,一批數據收集、存儲、處理技術和應用快速發展并逐漸匯聚。軟件運用的技術越來越尖端,結合不斷提高的計算能力,從數據中提取有價值信息的能力顯著提高。大體量的數據不再是無序而又沒有價值的,大數據誕生了。

1 認識大數據

所謂大數據,就是從各種類型的數據中,快速獲得有價值信息的能力。大數據是需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產。它是對那些超出正常處理范圍和大小、迫使用戶采用非傳統處理方法的數據集所下的定義。

區別于過去的海量數據,大數據的特點可以概況為4個V: Volume、Variety、Value和Velocity,即大量、多樣、價值密度低、快速。

第一,數據體量大。大數據一般指在10TB(1TB=1024GB)規模以上的數據量,目前正在躍升到PB(1PB=1024TB)級別。不僅存儲量大,計算量也大。

第二,數據類型多。除了數值數據,還有文字、聲音、視頻等,包括網絡日志、視頻、圖片、地理位置信息等多種類型的格式。由于數據來自多種數據源,數據種類和格式日漸豐富,已沖破了以前所限定的結構化數據范疇,囊括了半結構化和非結構化數據。

第三,價值密度低。以視頻為例,不間斷監控視頻中,有價值的數據可能僅有一兩秒。找到有價值的信息有如沙里淘金,其價值卻又彌足珍貴。

第四,處理速度快。在數據量非常龐大的情況下,也能做到數據的實時處理。這一點和傳統的數據挖掘技術有著本質的不同。

大數據技術是指從各種類型的大體量數據中快速獲得有價值信息的技術。這是大數據的核心問題。目前所說的大數據不僅指數據本身的規模,也包括采集數據的工具、平臺和數據分析系統。大數據研發的目的是發展大數據技術并將其應用到相關領域,通過解決大體量數據處理問題促進其突破性發展。因此,大數據時代帶來的挑戰不僅體現在如何處理大體量數據并從中獲取有價值的信息,也體現在如何加強大數據技術研發。大數據所涉及的關鍵技術大致包括6個方面:數據采集與數據管理、分布式存儲和并行計算、大數據應用開發、數據分析與挖掘、大數據前端應用、數據服務和展現。

2 大數據與Hadoop

伴隨大數據技術的普及,Hadoop因其開源的特點和卓越的性能成為一時的新寵,甚至有人認為大數據就是Hadoop,其實這是一個誤區。Hadoop只是處理離線數據的分布式存儲和處理系統。除了Hadoop,還有用于處理流數據的Storm、處理關系型數據的Oracle、處理實時機器數據的Splunk……目前主流的大數據系統很多, Hadoop只是其中的代表。

2.1 Hadoop的核心模塊

Hadoop Common:Hadoop的公用應用模塊,是整個Hadoop項目的核心,為Hadoop各子項目提供各種工具,如配置文件和日志操作等,其他Hadoop子項目都是在此基礎上發展起來的。

Hadoop Distributed File System(HDFS):Hadoop分布式文件系統,提供高吞吐量應用程序數據訪問,并具有高容錯性。對外部客戶機而言,HDFS就像一個傳統的分級文件系統,可以進行增刪改查或重命名等常規文件操作。但實際上HDFS中的文件被分成塊,然后復制到多個計算機中,這與傳統的RAID架構大不相同。HDFS特別適合需要一次寫入、多次讀取的超大規模數據集的應用程序。

Hadoop YARN:一個作業調度和群集資源管理框架。

Hadoop MapReduce:基于YARN的大型數據分布式并行編程模式和程序執行框架,是Google的MapReduce的開源實現。它幫助用戶編寫處理大型數據集的并行運行程序。MapReduce隱藏了分布式并行編程的底層細節,開發人員只需編寫業務邏輯代碼,而無需考慮程序并行執行的細節,從而大大提高了開發效率。

Apache的其他與Hadoop相關的項目還有很多。

2.2 Hadoop的特點

作為分布式計算領域的典型代表,Hadoop比其他分布式框架有更多的優點。

可擴展性:Hadoop可以在不停止集群服務的情況下,在可用的計算機集簇間分配數據并完成計算,這些集簇可以方便地擴展到數千節點中。

簡單性:Hadoop實現了簡單并行編程模式,用戶不需要了解分布式存儲和計算的底層細節即可編寫和運行分布式應用,在集群上處理大規模數據集,所以使用Hadoop的用戶可以輕松搭建自己的分布式平臺。

高效性:Hadoop的分布式文件系統具有高效的數據交互設計,可以通過并行處理加快處理速度。Hadoop還是可伸縮的,能夠在節點間動態地移動數據,并保證各個節點的動態平衡,因此處理速度非常快。

可靠性:Hadoop的分布式文件系統將數據分塊儲存,每個數據塊在集群節點上依據一定的策略冗余儲存,確保能夠針對失敗的節點重新分布處理,從而保證了數據的可靠性。

成本低:依賴于廉價服務器,它的成本比較低,任何人都可以使用。

3 結語

在大數據時代,Hadoop以其優越的性能受到業界的廣泛關注,已經成為大數據處理領域事實上的標準。如今,Hadoop在諸多領域大顯身手。隨著開源社區和國際眾多國際技術廠商對這一開源技術的積極支持與持續的大量投入,相信不久的將來,Hadoop技術會被拓展到更多的應用領域。

參考文獻:

[1]李斌.大數據及其發展趨勢研究.廣西教育,2013.9.

[2]林子雨.大數據技術原理與應用——概念、存儲、處理、分析與應用.人民郵電出版社,2015.8.

[3]張引,陳敏,廖小飛.大數據應用的現狀與展望.計算機研究與發展[J],2013.0(z2).

作者簡介:朱立,女,北京信息職業技術學院,副教授,碩士,軟件技術、高職教育研究方向。