基于MapReduce模型的并行處理優(yōu)化策略

王鵬 劉鵬* 劉佳祎

（1.廣西師范大學(xué)網(wǎng)絡(luò)信息中心 廣西壯族自治區(qū)桂林市 541000）（2.桂林理工大學(xué)現(xiàn)代教育技術(shù)中心 廣西壯族自治區(qū)桂林市 541000）

1 引言

隨著云計算、容器云、物聯(lián)網(wǎng)及人工智能等信息技術(shù)的迅速發(fā)展，以互聯(lián)網(wǎng)數(shù)據(jù)中心（IDC）發(fā)布得預(yù)測為依據(jù)，預(yù)計全球產(chǎn)生的數(shù)據(jù)總量在2022年將達(dá)到54 個ZB，其中我國占18%，近8060個EB[1]。由于數(shù)據(jù)的獲取技術(shù)在不斷的更新突破，我們在獲取越來越多數(shù)據(jù)同時，更加重視對數(shù)據(jù)的管理及治理 。若數(shù)據(jù)產(chǎn)生量在GB 級和TB 級之間，我們可以通過文件的共享方式如Docker 技術(shù)[2]等來進(jìn)行存儲。當(dāng)數(shù)據(jù)的產(chǎn)生量達(dá)到 PB 級別時，可能會有非常多的不可控因素發(fā)生，存儲系統(tǒng)的需求也會非常高。云存儲[3-4]則滿足上述條件不但存儲性能高，而且還可以保障數(shù)據(jù)的安全性，由此利用云存儲系統(tǒng)對數(shù)據(jù)進(jìn)行存儲將成為必然的趨勢。

目前很多IT 公司踴躍加入到研發(fā)云存儲系統(tǒng)的項目中，用以解決自身在公司發(fā)展中產(chǎn)生海量數(shù)據(jù)的存儲問題。部分公司逐漸從銷售軟硬件轉(zhuǎn)向可以為各企業(yè)和租戶提供按需收費(fèi)的各類云存儲服務(wù)。目前相對成熟，已投入商用的云存儲平臺有如：國外的Google文件系統(tǒng)、Amazon 基礎(chǔ)存儲服務(wù)，及國內(nèi)的淘寶訂單系統(tǒng)，圖床的圖片存儲系統(tǒng)等，同時在國內(nèi)，一些大公司也開始逐漸向外界推出自己的云存儲服務(wù)，如華為、百度等[6]。與此同時，以Hadoop的 HDFS[7]和 Open Stack 的 Swift[8]為首的開源云存儲平臺也隨之而來。

云存儲技術(shù)的核心就是文件的傳輸，其在傳輸過程中也是耗時占比相對最重的環(huán)節(jié)，節(jié)省的傳輸時間可以同時降低物理機(jī)和服務(wù)器這兩方面的使用和功能的消耗。……