基于大數據技術的實驗室建設與管理探討

張君君

摘 要：在大數據時代，數據應用的價值逐漸受到了人們的重視，通過大數據技術的發展，在高校教學資源中應發揮了重要的作用。建設大數據技術實驗室可以實現更多的功能，使教學需求得到滿足，同時提升了實驗室的水平。

關鍵詞：大數據技術;實驗室;建設;管理

引言

隨著科技的快速發展，數據量也大幅度增長，在這種趨勢下，大數據技術得到了進一步發展，各個高校在開展教學的同時，也對大數據技術人才培養采取了有效的措施，通過大數據技術的有效應用，可以為教學提供更多的資源。但是由于高校中缺少完善的實驗基地，難以滿足實際的需求，應通過大數據技術對實驗室進行改善，提升實驗室的建設水平，使實驗室能夠在高校中發揮出更好的作用。

1大數據技術概述

1.1 大數據技術的基本含義

大數據作為一種信息化特點的資源，具有較多的應用價值，數據的獲得有著真實性特點，難以通過其他的方式模擬出來，需要使用設備來獲取。大數據技術能夠對數據進行收集和處理，使數據得到全面的分析，并且能夠進行大量的數據處理。大數據本身具有復雜性的特點，在處理的過程中對技術有著較高的要求。大數據技術的內涵是通過對數據中包含的特點進行分析來建立相應的模型，并且通過模型的分析和預測來實現數據的應用。在這個階段之中，對不同行業進行預測評價，結合情況提出建議，使行業能夠順利的發展。目前的大數據技術在發展中包括計算分析以及數據存儲兩方面內容，同時在應用中也體現了良好的效果。

1.2高校大數據技術實驗室建設的重要性

大數據技術在現代社會中屬于一種的新技術，高校發展過程中對這項技術非常重視，在技術應用中通過建立實驗室來創造更好的科研發展平臺，使高校的資源更加的完善，進一步的提升了高校的技術設施水平。建立實驗室可以為教師和學生帶來更多的資源，幫助他們完成教學和學習任務，并且提升實踐能力，使大數據技術的發展中有更加完整的基礎條件，同時促進了我國高校的人才培養發展，為大數據技術的改善帶來有效的幫助，對技術的整體發展有著重要的作用。

2大數據技術實驗室建設和管理

2.1大數據技術實驗室硬件設施和軟件設施的建設

大數據技術實驗室的建設應符合實際的需要，在建設中按照相關的規定進行，結合大數據技術的支持，采油有效的方式對大數據實驗室進行完善，使其能夠在應用中發揮出有效的作用。在當前的發展趨勢下，大數據技術實驗室中的設施中有存儲和數據計算中心、終端、可視化模塊。大數據技術的數據處理計算功能作為重要的內容，其中包括了計算資源、虛擬技術和存儲等功能，一般使用的設施包括IBM和HP等。在大數據技術應用中需要通過軟件部署的支持，其中的軟件設施有存儲模型管理系統，在建設實驗室的時候，應結合其他國家的大數據技術實驗室建設內容進行參考，使實驗室的建設能夠更加的有效，同時也能夠發揮出大數據技術的有效作用，為高校的資源帶來更加豐富的內容，這樣可以全面的提升高校的發展水平和技術設施質量。

2.2大數據技術實驗室的框架建設

大數據實驗室需要配套設施包括：HADOOP 平臺、數據庫 MENDB、分布式數據倉庫 MPP、分布式文件系統 HDFS、分布式計算引擎 MAPREDUCE、LINUX 集群、分布式數據庫HBASE。具體目標是建設基于云計算、分布式計算、融合計算，配備高性能計算設備、高速網絡、大容量存儲設備、滿足大數據應用軟件性能的需求大數據技術實驗室由硬件與軟件設施整合而成的，其中包括應用層、云平臺和虛擬資源層、基礎設施層。在應用層中為教學實驗的實訓管理，云平臺中為提供服務和維護管理的內容，虛擬資源層中為計算資源管理，針對使用者進行管理，有使用者的申請以及生產環境等方面的管理，還可以為使用者帶來相應的系統鏡像服務，將計算資源進行有效的分配。基礎設施層為服務器和其他設備內容，能夠為用戶的VM管理提供相應的條件，在基礎設施中對服務器進行維護處理，使整體能夠協調的運行，滿足使用者的實際需求，達到相應的水平。

2.3大數據技術實驗室管理結構的建設

大數據技術實驗室的建設平臺中應具備知識資源庫平臺以及協同開發服務平臺、協同開發桌面云平臺。應建立知識資源庫平臺，將源碼庫完善好，使平臺具有相應的構件，能夠發揮出有效的作用，還需要建設開發計劃和素材等，使平臺的結構更加完善，同時保證了項目的效率。此外，在高校中，為了實現更好的教學目標，應建設所需要的知識資源案例，使項目的案例內容更加的詳細，還包括文檔撰寫的示范等內容的案例。在協同開發服務平臺中，應將項目的設計以及軟件說明內容等都導入到平臺，使平臺能夠具有相應的數據信息，在其中說明內容應以注冊初始化的文檔形式進行導入，保證說明書的有效信號。開發桌面平臺建設中需要將桌面計算機中的CPU和硬盤、計算資源等進行部署，再將物理資源信息進行虛擬轉化處理，結合使用者的要求，對使用者提供相應的虛擬桌面服務，使用者能夠在實際的應用中得到更加全面高效的服務。

2.4 Spark技術大數據實驗室的建設

Spark大數據實驗室的建設作為其中一種內容，這種實驗室在實際的產生中將Open Stack平臺作為基礎，這種技術能夠起到虛擬機管理的功能，在應用中可以建立虛擬機，將其掛起或者重啟等，通過對虛擬機的控制發揮作用。在這種實驗室中，一般為集群平臺，包括至少六臺的虛擬機，其中工作節點中包括4臺虛擬機裝置，其與還有一臺為主節點、一臺為主備份節點，這些虛擬機裝置在其中形成了服務器集群，使實驗室的服務器集群能夠達到要求。可以適當的添加hadoop2.X配置，使部署的結構和Spark中的結構達到相同的要求，同時作為Spark on yarn模式環境，使集群能夠在運行中提供不同的模式，發揮了有效的作用，提供了相應的功能。在這種基礎上，Spark大數據實驗室中包含了輕配置的特點同時易于進行擴展，還可以實現資源需求，使實驗室整體能夠符合高校教學的要求，在實際使用中帶來良好的條件，并且使教學中的實踐活動順利的實現。

2.5大數據教學資源平臺建設

在大數據實驗室中，為了使實驗人員能夠更好的掌握運用大數據專業技術，具有相應的時間能力，對大數據分析和應用有更加全面的了解，使人員對數據的分析以及收集、使用等相關原理進一步明確，并且能夠對系統進行研究開發。需要具有相應的知識基礎，包括數據分析。挖掘、編程、機器學習等內容，將自身的能力提升，對大數據技術有更多的認識，并且在實驗室的模擬環境中，對實際的問題進行解決，采用自己所掌握的知識將技術完善，提升技術市場的競爭力水平。

結語

大數據技術作為社會發展的重要內容，在社會各個行業發展中具有重要的意義，通過大數據技術的應用，可以為行業帶來更好的技術條件。在高校的教學中，使用大數據技術建立實驗室，使教學中的資源更加的豐富，并且滿足當前教學的發展要求。在大數據實驗室建設管理中，應合理的完善技術內容，使實驗室的建設能夠發揮良好的作用。

參考文獻：

[1]都娟，李納.基于應用型高校的大數據實驗室建設探究[J].時代農機，2018，（10）：158.

[2]哈里白.淺談大數據技術在高職實驗室的應用[J].科教導刊-電子版（下旬），2018，（9）：134.

[3]秦樂樂，黃濤，劉暢.基于物聯網技術的高校智慧實驗室架構[J].河北工業科技，2018，35（6）：400-405.

[4]蔡宇.基于應用型高校的大數據實驗室建設研究[J].電腦知識與技術，2018，14（17）：1-2.