大數據環境下的Hadoop專創融合課程探索研究

李明東 姜飛 李小燕 孫雪

摘 要：開設人工智能課程的學習目標是讓學生學習人工智能應用基礎，了解人工智能對現代生活的改變和影響，培養人工智能的應用能力。所以在知識體系的選取上要降低一定的難度和范圍，大量呈現人工智能的應用場景案例，對知識體系與案例體系的進行合理的設計。

關鍵詞：專創融合;人工智能;hadoop

1、人工智能知識體系的選定

工智能是戰略性新興產業。人工智能作為教學目標和教學內容走進課堂，國內許多院校開設了人工智能學院、人工智能相關專業。目前，本科和研究生學習的《人工智能及其應用》[1]教材偏重于理論知識和算法的研究學習。

開設人工智能課程的學習目標是讓學生學習人工智能應用基礎，了解人工智能產業的發展現狀與市場需求，開拓學生的科技視野。以人工智能的應用領域為線索介紹學習領域。

2、HDFS體系架構的設計

2.1 存儲塊

塊（Block）：操作系統中的文件塊。文件是以塊的形式存儲在磁盤中，塊的大小代表系統讀、寫可操作的最小文件大小。也就是說，文件系統每次只能操作磁盤塊大小的整數倍數據。通常來說，一個文件系統塊大小為幾千字節，而磁盤塊大小為512字節。

HDFS中的塊是一個抽象的概念，比操作系統中的塊要大得多。在配置hadoop系統時會看到，它的默認大小是128MB。HDFS使用抽象的塊的好處：可以存儲任意大的文件而又不會受到網絡中任一單個節點磁盤大小的限制;

使用抽象塊作為操作的單元可以簡化存儲子系統。

2.2模塊任務

2.2.1 Name node功能：

1）承擔master 管理集群中的執行調度;

2）管理文件系統的命名空間，維護整個文件系統目錄樹以及這些文件的索引目錄;

3）不永久保存文件快信息，在系統啟動時重加塊信息;

4）命名空間鏡像（namespace）和編輯日志（Edit log）

2.2.2 集群管理

HDFS采用Master/Slave架構對文件系統進行管理。一個HDFS集群是由一個Name Node和一定數目的Data Node組成的。Name Node是一個中心服務器，負責管理文件系統的命名空間（Namespace）以及客戶端對文件的訪問。集群的Date Node一般是由一個節點運行一個Data Node進程，負責管理它所在節點上的存儲。

從內部看，一個文件其實被分成了一個或多個數據塊，這些塊存儲在一組Data Node上。Name Node執行文件系統的名字空間操作，比如打開，關閉，重命名文件或目錄。它負責確定數據塊到具體Data Node節點的映射。Data Node 負責處理文件系統客戶端的讀/寫請求。在Name Node的統一調度下進行數據塊的創建，刪除和復制。

2.2.3讀取策略

1）副本存放和讀取策略

副本的存放是HDFS可靠性和性能的關鍵，優化的副本存放策略也正是HDFS區分于其他大部分分布式文件系統的重要特征。HDFS采用一種稱為機架感知（rack-aware）的策略來改進數據的可靠性，可用性和網絡帶寬的利用率上。在讀取數據時，為了減少整體帶寬消耗和降低整體的帶寬延時，HDFS會盡量讓讀取程序讀取離客戶端最近的副本。

2）安全模式

Name Node啟動后會進入一個稱為安全模式的狀態。處于安全模式的Name Node不會進行數據塊的復制。Name Node從所有的Data Node接收心跳信號和塊狀態報告。

3）文件安全

Hadoop采用了兩種方法來確保文件安全。第一種方法：將Name Node中的元數據轉儲到遠程的NFS文件系統上;第二種方法：系統中同步運行一個Secondary Name Node。

3、普通本科院校的課程案例體系的設計

在確定了人工智能課程的知識體系后，要收集整理人工智能各研究領域的應用案例、成果案例、生活應用案例，作為主要的教學內容引導學生學習和了解，進而幫助學生了解人工智能的技術知識和應用，熟悉人工智能產業的發展現狀與市場需求，培養人工智能的應用能力。

知識標識和知識圖譜，包括知識標識和知識圖譜的概念，產生方法，框架表示法;機器學習包括：機器學習的概述、范圍、學習方法和機器學習的挑戰。自然語言的理解包括：語言的理解、發展、研究、理解過程的層次任務、應用、未來與展望。專家系統包括：定義的特點和優勢、類型與應用、結構與工作原理、設計與實現等。

4、總結

開設人工智能課程的學習目標是讓學生學習人工智能應用基礎，了解人工智能對現代生活的改變和影響，培養人工智能的應用能力。所以在知識體系的選取上要降低一定的難度和范圍，大量呈現人工智能的應用場景案例，對知識體系與案例體系的進行合理的設計。

參考文獻：

[1] 陳燕.新工科研究進展與前瞻[J].天津大學學報（社會科學版），2020，22（3）：214-222.

[2] 王雪，何海燕，栗蘋，等.人工智能人才培養研究：回顧、比較與展望[J].高等工程教育研究，2020（01）：42-51.

[3] 肖卓宇，徐運標，陳果，等.“人工智能+教育”融合的實施路徑研究[J].計算機時代，2020（11）：103-105;109.