試論大規(guī)模數(shù)據(jù)的計算機處理技術(shù)

張經(jīng)緯

（中國航發(fā)哈爾濱東安發(fā)動機有限公司信息檔案中心，黑龍江 哈爾濱150066）

在計算機技術(shù)蓬勃發(fā)展的當(dāng)下，各行各業(yè)的發(fā)展都得到了一定程度的促進(jìn)。各個領(lǐng)域?qū)τ嬎銠C信息處理技術(shù)的要求也明顯提升。在計算量應(yīng)用越來越普及的當(dāng)下，網(wǎng)絡(luò)信息及數(shù)據(jù)量的計算及處理成為困擾各個行業(yè)的難題，傳統(tǒng)的運計方式已無法滿足時代的發(fā)展，因此，對大規(guī)模數(shù)據(jù)計算機處理技術(shù)展開探究勢在必行，希望本文的研究會對大規(guī)模數(shù)據(jù)的計算機處理技術(shù)的提高起到一定的促進(jìn)作用。

1 大規(guī)模廉價計算平臺

在虛擬化技術(shù)的支撐下，可以建立大規(guī)模的廉價計算平臺，計算機的存儲、應(yīng)用程序以及網(wǎng)絡(luò)、計算等資源都將成為虛擬化實體。虛擬化技術(shù)可以分別應(yīng)用于計算平臺的各個節(jié)點處，可以實現(xiàn)對閑置計算平臺的應(yīng)用與組合。采用抽象化的方式對閑置的計算資源進(jìn)行整合，建立各自獨立存在的虛擬服務(wù)器，進(jìn)而實現(xiàn)數(shù)據(jù)信息的單獨處理與計算。這種技術(shù)的應(yīng)用，可以使底層硬件呈現(xiàn)虛擬化的應(yīng)用態(tài)勢。

虛擬化創(chuàng)建成功后，可以進(jìn)行存儲及計算等各項資源的發(fā)布，此時可以選用與之相匹配的虛擬化處理方案，針對虛擬計算節(jié)點的資源池展開詳細(xì)部署，進(jìn)而實現(xiàn)具體的數(shù)據(jù)信息應(yīng)用與管理。大規(guī)模計算平臺建立，是基于云計算環(huán)境進(jìn)而大規(guī)模數(shù)據(jù)信息處理的重要環(huán)節(jié)。首先，應(yīng)針對數(shù)據(jù)處理過程中可能應(yīng)用到的各項資源進(jìn)行參數(shù)化配置，在部署與應(yīng)用計算機節(jié)點資源之前，也要進(jìn)行資源的選擇以及參數(shù)配置。在這個過程中，用戶可以根據(jù)自己的需求選擇適合的資源。資源提供者可以利用多種操作模式部置底層計算資源的屬性，進(jìn)而使用戶可以享受到具體的參數(shù)服務(wù)。參數(shù)設(shè)置完成后，應(yīng)在此基礎(chǔ)上進(jìn)行存儲及計算資源的部署，進(jìn)而進(jìn)行大規(guī)模數(shù)據(jù)的處理，同時，還應(yīng)對具體的計算流程進(jìn)行明確，制定合理的數(shù)據(jù)處理方案。應(yīng)在存儲及計算資源的配置文件中寫入相應(yīng)的參數(shù)設(shè)置信息，然后分配具體的計算流程，并在計算機的各個節(jié)點上進(jìn)行相應(yīng)資源的啟動，并在管理及部署等計算節(jié)點處進(jìn)行處理服務(wù)的合理定制。

利用計算機進(jìn)行大規(guī)模數(shù)據(jù)處理時，應(yīng)用的軟件及硬件資源較多，因此，應(yīng)對軟件及硬件資源的使用情況進(jìn)行相應(yīng)的管理與監(jiān)督。基于網(wǎng)而實現(xiàn)部署工具與目標(biāo)計算節(jié)點以及計算流程的有效連接，進(jìn)而保證大規(guī)模數(shù)據(jù)處理方案的有效執(zhí)行與落實。此后，基于既定方案，采用代碼進(jìn)行存儲及計算資源的分配及執(zhí)行。在外部數(shù)據(jù)處理資源管理方案的基礎(chǔ)上，保證所有計算節(jié)點都可以進(jìn)行大規(guī)模數(shù)據(jù)的部署及執(zhí)行。監(jiān)測過程結(jié)束后，應(yīng)及時激活計算及存儲資源的虛擬化分配，并將整個計算流程予以合理的激活與應(yīng)用。啟動所部署的各個計算節(jié)點，在網(wǎng)絡(luò)的支持下，將數(shù)據(jù)處理命令傳送至各個計算節(jié)點，進(jìn)而實現(xiàn)各個計算流程的部署及合理調(diào)配。整個激活過程都完成以后，在各個計算節(jié)點執(zhí)行具體的計算流程。

2 Map Reduce 技術(shù)的支持

基于云計算環(huán)境，可以應(yīng)用大規(guī)模廉價服務(wù)器集群進(jìn)行大規(guī)模數(shù)據(jù)處理，不僅可以采用分布式，還可以采用并行式處理數(shù)據(jù)信息。開發(fā)Map Reduce 技術(shù)時，首先要定義Map 以及Reduce 兩個端口，并讀取大規(guī)模數(shù)據(jù)信息，之后在計算機集群的作用下，運行用戶自行編寫的程序，對大規(guī)模數(shù)據(jù)集合進(jìn)行合理拆分，將之分化成為多個不同的數(shù)據(jù)片段，進(jìn)而獲得相應(yīng)的鍵值對。之后，將數(shù)據(jù)片段分別匹配給各個Map 任務(wù)，進(jìn)而在所獲取的鍵值的基礎(chǔ)上進(jìn)行相應(yīng)的計算，得出健值對集合，并將之傳送至Reduce 當(dāng)中。如果數(shù)據(jù)信息中存在相同的健值，則在相同節(jié)點會誕生全新的二元組合集合。

Reduce 會將其中所包含的各個Reduce 任務(wù)分配給二元集合中的各個鍵值對，將集合片段輸入后，進(jìn)行Reduce 函數(shù)的運行，進(jìn)而實現(xiàn)二元組鍵值對的輸出。該框架會在集群的節(jié)點上進(jìn)行Reduce 任務(wù)的分發(fā)，在Reduce 任務(wù)的分發(fā)過程中進(jìn)行中間結(jié)果數(shù)據(jù)片段的分配及處理。在各個階段運行過程中，除了負(fù)載均衡機制以外，容錯機制也會監(jiān)測數(shù)據(jù)信息的處理與執(zhí)行情況。如果出現(xiàn)錯誤任務(wù)，會及時將之分配至其他計算平臺節(jié)點。一旦數(shù)據(jù)處理任務(wù)未能成功完成，將會自動進(jìn)入重新計算環(huán)節(jié)。大規(guī)模數(shù)據(jù)處理時，Map 處于高度并行操作狀態(tài)，這有利于提高大規(guī)模數(shù)據(jù)處理的高效性。在實際的大規(guī)模數(shù)據(jù)處理過程中，其所呈現(xiàn)出的優(yōu)勢體現(xiàn)于多個層面。

在云計算環(huán)境下，規(guī)模數(shù)據(jù)信息可以達(dá)到TB、GB 等級別，可以實現(xiàn)HDFS 在Hadoop 框架中對大規(guī)模數(shù)據(jù)的有效支持，不僅可以為其提供高數(shù)據(jù)寬帶，還可以實現(xiàn)大規(guī)模廉價計算集群中節(jié)點處的有效擴展。云計算環(huán)境，可以滿足大規(guī)模數(shù)據(jù)處理的要求，進(jìn)而得出良好的處理與計算效果。

3 基于云計算的大規(guī)模數(shù)據(jù)處理框架模型

在大規(guī)模數(shù)據(jù)及計算資源中，應(yīng)引入云計算以及計算機網(wǎng)絡(luò)技術(shù)，在分布管理以及集中管理的廉價計算機集群的基礎(chǔ)上，建立具有較高性能的計算平臺，實現(xiàn)大規(guī)模數(shù)據(jù)處理框架模型的建立，從而使操作更加簡便、性價比更高，同時其還具有可擴展性強、動態(tài)性優(yōu)勢的多重特點。框架模型的結(jié)構(gòu)主要有兩個級別，第一級是虛擬資源體系- 大規(guī)模廉價計算機集群，第二級則是大規(guī)模數(shù)據(jù)處理分析的處理監(jiān)測管理體系- 數(shù)據(jù)處理服務(wù)請求- 基礎(chǔ)架構(gòu)。前者運用限制的計算機資源實現(xiàn)虛擬資源層以及物理設(shè)備的有效構(gòu)建，進(jìn)而實現(xiàn)底層物力資源的形成。此后，屬于同一類型的物力資源會采用虛擬化處理的方式，建立或接近于結(jié)構(gòu)相同的數(shù)據(jù)處理資源池。對于第二級結(jié)構(gòu)來說，軟件體系的作用至關(guān)重要。在第一級建立的虛擬資源體系以及大規(guī)模廉價計算機集群的基礎(chǔ)上，不僅實現(xiàn)了虛擬化回收功能，還具有負(fù)載均衡、容錯處理等功能，同時還實現(xiàn)了配置功能，以此作為大規(guī)模數(shù)據(jù)處理的服務(wù)基礎(chǔ)。在虛擬資源的統(tǒng)一管理及調(diào)度的基礎(chǔ)上，運用Hadoop 技術(shù)編寫數(shù)據(jù)處理接口。這一技術(shù)的應(yīng)用可以為多個學(xué)科及領(lǐng)域提供高效的大規(guī)模數(shù)據(jù)處理服務(wù)，進(jìn)而為用戶提供良好的計算平臺軟件支持，可以在各個虛擬計算節(jié)點中實現(xiàn)分布式并行數(shù)據(jù)的處理與計算任務(wù)，然后，以云服務(wù)的形式將最終的計算結(jié)果發(fā)送給終端用戶。在此框架的設(shè)計與應(yīng)用過程中，應(yīng)用了Hadoop 分布式開源計算機框架，其中的HDFS 分布式文件系統(tǒng)發(fā)揮了相應(yīng)的作用，同時也實現(xiàn)了Map Reduce 的有效應(yīng)用，進(jìn)而可以對大規(guī)模數(shù)據(jù)進(jìn)行相應(yīng)的處理與協(xié)調(diào)。

首先，應(yīng)構(gòu)建大規(guī)模計算機集群運行環(huán)境。使計算節(jié)點映射放置于Map Reduce 中的任務(wù)，并劃分大規(guī)模數(shù)據(jù)，將之分解成多個不同的模塊，進(jìn)而統(tǒng)計數(shù)據(jù)塊的具體數(shù)據(jù)及規(guī)格等參數(shù)信息。在HDFS 功能的支撐下，可以實現(xiàn)數(shù)據(jù)塊副塊在各個計算節(jié)點的智能放置，并且對各個節(jié)點進(jìn)行角色設(shè)計。其次，將大規(guī)模數(shù)據(jù)載入到由Hadoop 提供的分布式文件系統(tǒng)，也就是HDFS當(dāng)中，利用Hadoop 將Map Reduce 中的數(shù)據(jù)處理任務(wù)轉(zhuǎn)移至各個計算節(jié)點。大規(guī)模數(shù)據(jù)處理時，應(yīng)用了Reduce 以及Map 函數(shù)，同時在分布化處理時還應(yīng)用了與之存在一定關(guān)聯(lián)的程序。應(yīng)用Hadoop 時，采用API 為Map Reduce 的有效運行提供了一定的支持。最后，還要將大規(guī)模數(shù)據(jù)處理的結(jié)果反饋給用戶，通過相應(yīng)的用戶驗證接口以及云服務(wù)平臺將大規(guī)模數(shù)據(jù)處理結(jié)果傳送至終端用戶，以滿足用戶的需求。

信息化時代的來臨，網(wǎng)絡(luò)數(shù)據(jù)及信息量種類及數(shù)量不斷提升，傳統(tǒng)的數(shù)據(jù)處理方式難以取得良好的數(shù)據(jù)任務(wù)處理效果。因此，基于云計算環(huán)境，進(jìn)行大規(guī)模數(shù)據(jù)的計算機處理處理技術(shù)的開發(fā)與應(yīng)用，可以滿足各個領(lǐng)域?qū)Υ笠?guī)模數(shù)據(jù)處理的需求，進(jìn)而提高工作效率，改善工作效果。