使用VMware Esxi和Hadoop進行大數據平臺的搭建研究

馮文健 柳州鐵道職業技術學院 蒙煥念 廣西科技師范學院

1. VMware Esxi和Hadoop的具體分析

VMware Esxi在某種程度上是建立在具體服務器硬件上的虛擬機系統，在一定程度上其穩定性能相對較好，在服務器硬件上也不會消耗過多的設備性能。在VMware Esxi上是可以進行多個服務器硬件虛擬機的創建的，在對于每一個虛擬機的獨立應用程序以及操作系統當中是可以去實現多個虛擬機的創建的。在一定程度上去安裝好Exsi系統之后，能夠去通過Vsohere Client登錄到Esxi系統上面去進行實際的管理，列如在次系統上去構建快照以及虛擬機等方面。在Haoop中其開源分布式的系統構建主要是為了給具體的程序提供較為穩定，可靠的數據服務以及接口，其數據服務和接口主要包含了兩個方面第一是Haoop MapReduce與Hadoop Distributed HDFS。其中HDFS是hadoop的分布式文件系統，其主要運用的是從構建中去構建一個控制節點以及多個數據控制節點所構成的。其中namenode管理文件在系統命名當中其被命名為空間，在一定程度上是記錄著文件當中的各環節數據節點中的所有信息。在某種程度上datanode存放著相關的具體數據，然后在根據其所需要的實際數據模塊進行系統的構建。在Hadoop中的mapredue的分布式計算系統引擎是可以去實現對于大數據的實際進行具體的處理，在某種程度上其思想是必須要分為reduc和map階段中對與系統所輸入的并行地割所分成的多個任務，然后要讓reduce去負責對于map環節中的全部結果進行匯總的反饋。

2. 具體系統平臺的搭建

2.1 具體創建虛擬機和安裝Linux系統

在大數據平臺中使用Linux系統的版本是最新的版本，在實際安裝過程中所要注意的是，不能夠去忽視了對于該系統的靜態ip以及主機名稱和啟動時間等相關問題。在某種程度哈桑要在IBM的服務器上去構建一個獨立的虛擬機，這樣能夠讓其在剩余的服務器上去選擇所需求的虛擬機，在相信對構建的虛擬機中較為熟練的系統中，去創建完成本地的鏡像文件在安裝Linux，然而在系統鏡像文件當中能夠去支持多個虛擬機上的系統文件，這也就是說明了可以同時在一個服務器上去安裝多個虛擬機，這樣能夠在很大程度上去提高安裝的效率，這樣也能夠在一定程度節省安裝時間。

2.2 服務器硬件和其他方面的準備工作

在一定程度上對于VMware Esxi和Hadoop大數據平臺的搭建中所需要的服務器硬件條件是需要在服務器中安裝若干個IBM的服務器，然而根據具體的需求對IBM的服務器的實際性能進行檢測，這樣能夠讓其作為主節點，對于其他方面的聯想服務器都是需要進行獨立的創建出新的節點的，這樣能夠讓系統平臺正常穩定的運行。在某種程度上對于多種服務器的管理必須要進行統一化的管理，要想進行統一管理就必須要在服務器上安裝VMware Esxi系統，這樣能夠讓計算機主機上的靜態IP，用戶名密碼等環節做好提前的設置，做好這些，最后用戶就可以進行遠程的客戶端實際操作了。在VMware Esxi和Hadoop大數據平臺搭建研究中可以在計算機中安裝光盤，在安裝過程中所需要注意的就是要針對系統進行安裝成功之后對于服務器進行重新其中的操作，若是在一定程度上沒有成功的啟動光盤或者是沒有啟動計算機設備，那么這種情況就必須要對系統進行重新的安裝，在對于系統安裝成果之后還需要就行用戶的相關設置，對于主機的名稱和用戶的相關登錄密碼和IP賬號等進行參數匹配的設置，這樣能夠讓用戶在遠程進行客戶端的實際操作，此外還可以在客戶端上安裝client，這樣能夠讓計算機管理員的實際操作工作變得更為簡單化。

2.3 Hadoop的實際安裝程序

在之前的Linux系統當中進行配置期間已經對于靜態IP，主機名和NTP進行了具體的配置，所以在某種程度上對于Hadoop配置過程中只需要配置相應的文件就可以了，這個時候就需要在配置完成之后安裝爪洼程序和相應的設置來對SSH進行客戶端的登錄操作，在一定程度上讓該平臺中安裝時候可以充分運用命令安裝，在實際安裝成功之后還必須要在etc這個配置文件當中進行環境的具體變量。在實際安裝好JDK之后還必須要對ssh的密碼登錄進行相應的設置，在ssh無線密碼設置環節中要在主節點上面去生成一個密鑰對，然后在將其分為私鑰以及公鑰這兩種，從而在一定程度上將公鑰復制到slawe中，這樣能夠在某種程度上去要求集群中創建一個較好的ssh文件，與此同時還能夠將相關的權限修改成為相應的具體數據信號，此后就能夠簡單快捷的去生成無線密碼的密鑰對，從而將公鑰追加到授權的key程序當中，這樣能夠讓其不間斷的讓數據傳送到其他環節節點當中，在啟用對公鑰私鑰進行配對人活在那個過程中，要將命令改為pubkey Authentication yes，這樣能夠在一定程度上讓VMware Esxi和Hadoop大數據平臺的搭建變得更為便利。

在后續安裝程序當中需要配置Hadoop當中的文件，要對文件進行相應的配置前去下載好Hadoop的源碼，然后將其編譯成為六十四位的Hadoop，同時還需要在這個程序當中去創建多個文件，其主要創建的文件名稱是tmp，dfs/data以及name等。上述程序完成之后就需要對Hadoop的配置文件進行具體的配置了，在配置文件中有7個，還有些是默認沒有的文件，將這些文件通過復制的template來獲取受到相應的程序。在最后就是需要修改好Hadoop的配置文件來將集群上的節點進行復制。在這個時候會出現文件開發的相關問題，伴隨著數據業務的流量不斷擴大，有很多的程序文件是需要在某種程度上去進行具體的修改之后的使用的，這樣會讓所有節點當中的文件都會被修改，這種情況的出現會加大工作人員的工作量，為了能夠在一定程度上降低這種低效率的工作方法，在基于VMware Esxi和Hadoop大數據平臺的構建中可以充分將crontab進行相應的結合，這樣能夠在某種程度上去實現hadoop的文件同步，這樣能夠在進行首次文件同步是去實現文件的復制而將所傳輸的文件內容進行改動，從而在對文件內容傳輸改動過程中能夠同時對文件進行壓縮的方式，這樣能夠讓實際工作效率有送提升，從而提升其經濟效益的變化。

結語：總而言之，在VMware Esxi和Hadoop進行大數據平臺的搭建研究過程中，充分考慮到具體成本和對集群監控的方式運用，在對機械設備的性能進行最大化的利用，這樣能夠讓大數據平臺的搭建展現出更為完美的一面，對于Linux進行選擇中不能忘記相關的參數配置，這樣能夠在一定程度上讓其更好的去發揮Hadoop的實際作用，從而讓系統平臺得到更好的管理。