PyTorch與開源數據挖掘工具在人工智能教學中的應用

王婧文，張思萌，祁薇

（海軍大連艦艇學院，遼寧大連 116018)

0 引言

隨著當今社會上各個領域對智能機器建設需求的持續增加，各高校也陸續開設了人工智能基礎類課程，此類課程成為計算機科學與技術專業的專業基礎課程之一。課程內容涵蓋復雜算法知識、統計學知識、概率論知識和近似理論，是一門多學科交叉的課程[1]。該課程的側重點為各種理論算法，包括邏輯回歸、隨機森林、神經網絡、支持向量機(Support Vector Machine)、BP算法等。高校開設此類課程的目的其一是要學生通過學習和實驗掌握基礎的機器學習和深度學習算法原理，并通過技術解決實際問題；其二是在熟練掌握各類算法的基礎上進行算法的改進，為人工智能領域發展新的技術。

目前，高校中進行人工智能基礎課程教學主要是通過理論授課與實驗相結合的方式進行，在前期的基礎實驗過程中多是依靠Matlab 平臺對多維數據進行分析，該方式完全依靠程序代碼，且要學習Matlab 語法，與前期課程所學編程語言銜接程度不深，而數據也是由學校直接提供，不僅難以激發學生的學習興趣，且與企業的需求有一定程度的脫節。在此值得注意的是，許多知名企業都先后推出了人工智能深度學習框架以及數據處理的可視化工具，若能充分利用此類工具和平臺，以與時俱進的方式進行教學，讓學生盡早接觸先進的深度學習平臺，對培養學生的學習興趣以及知識的廣度與深度都非常有益。而不同的深度學習框架的特點不盡相同，提供的學習資源和側重的方向亦有所差異，與先前所學知識的銜接程度也有不同。因此，若能夠根據課程的難易程度與時間安排，選擇合適的平臺設計互補合理的實驗內容，將引導與探索式教學相結合，可以在一定程度上提升學生的學習的效率以及積極性。

為此，本文提出Facebook所開發的人工智能框架——PyTorch與開源可視化數據挖掘工具WEKA在教學中的綜合應用，其互補教學方式以及優勢將在本文中做詳細介紹。

1 開源工具WEKA的引入

WEKA(Waikato Environment for Knowledge Analysis)是一款開源免費的機器學習以及數據挖掘軟件，該平臺是可視化平臺，集合了大量基礎和經典的機器學習算法，包括對數據進行預處理、分類、聚類、回歸等功能都可以通過平臺的操作實現[2]。因WEKA已經是一個較為成熟的開源軟件，具備完備的學習資料以及文獻文檔，綜合其屬于操作應用級平臺、無需編程、可視化界面操作的特征，較容易學習和掌握使用方法。

因當前課程學科交叉性強，需要在學習中拓寬思維方式、追求深度和廣度的特點，在教學過程中，若僅從理論上闡述，學生的實際操作能力無法得到鍛煉，不易于真正理解；若立刻以編程的方式開展實驗，學生會因前期的數據分析處理過程冗長，而自己在技術上能力有限，從而產生畏難情緒。因此，在課程前期，講述機器學習的訓練步驟、訓練方法時，可借助WEKA平臺的可視化操作界面為學生做具體演示，該方式更容易為初學者搭建思路框架，令所學的算法理論有的放矢。而在操作過程中引入對不同訓練方式（如變換訓練集數量、訓練算法以及增加噪聲數據等）所構建出模型正確率的思考，更能激發學生學習的興趣，加深學生對算法和源數據處理的認識。例如，分類(Classify)類選項卡中提供了各種用于創建訓練模型的可選訓練方式，包括比例分割(percentage split)、交叉驗證(cross-validation)、使用訓練集(use training set)等[3]，且當前選項卡中的分類器輸出欄可以顯示結果的測試指標，通過點擊右鍵可以得到圖形化的結果界面，學生在實驗中通過觀察選取不同的訓練方式進行訓練和建模所導致的不同結果，可以了解到不同訓練形式的適用范圍以及其優缺點。而選擇屬性(select attributes)選項卡則利用可視化界面集成了多種用于選擇樣本特征的方法，例如信息增益、信息增益比或選擇部分指定的特征來進行分析等方式，通過多種特征選擇下的分析結果進行可視化對比，可以為學生展示特征的選取對訓練模型構建的重要性。

WEKA作為一個將算法、特征選擇及數據預處理功能集成到可視化界面的開源工具，在實驗中令學生更容易看到更多不同的結果，在控制變量的實驗方式下易激發學生的好奇心和興趣，以此種方式可以培養學生的實際動手能力，使學生熟悉數據挖掘和處理的流程，為更困難的算法學習打下基礎。在一些入門級的算法實踐上，可以考慮用WEKA 平臺作為實驗環境。

2 人工智能框架PyTorch的引入

PyTorch 是2017 年Facebook 人工智能研究院(FAIR)團隊在GitHub 上開源的深度學習框架[4]，其充分考慮到了Python語言的諸多優勢，為使用者提供了Python 語言的接口，并且對Tensor 之上的所有模塊進行了重構，同時新增了最先進的自動求導系統，是當下流行的動態圖框架。

PyTorch 與其他的深度學習框架相比有諸多優點，其一是它支持Python 語言，支持Python 中的各種功能函數，可以直接使用Python 的類庫，令數據處理的過程更為簡單，同時，Python 語言在前置課程的學習中已被學生所熟悉，不需要為本門課程的實驗重新學習一門語言，學生更易上手。其二是PyTorch 采用了追求最少的封裝的設計方式，簡潔的設計帶來的另外一個好處就是代碼易于理解，更少的抽象、更直觀的設計使得PyTorch 的源碼更加易于分析、閱讀以及學習[5]。其三，支持動態圖的創建也是PyTorch的一大優勢，當前的深度學習平臺絕大多數都是采用靜態圖模型方式，包括TensorFlow、Caffe、Theano 以及Keras等，靜態圖定義的缺陷是在處理數據前必須定義好完整的一套模型，能夠處理所有的邊際情況，而動態圖模型允許用戶先定義好一套基本的框架再根據數據來實時修正模型，在訓練模型時具備極強的靈活性，除了進行實驗，深入理解深度學習算法的思想之外，一定程度上也方便學生未來在深度學習領域提高研究的深度和廣度。另外，PyTorch 的環境配置和搭建較TensorFlow 而言也更加簡單，對于初學者而言更加友好。

3 教學實踐計劃

在教學實施之中，考慮將兩個平臺結合起來，發揮各自的優勢和特色進行互補式教學。在課程的第一階段，學習的內容是一些基礎的算法，對于基礎的算法，如決策樹、線性回歸、支持向量機(SOM)以及梯度下降損失函數可以采用WEKA平臺進行課上演示，并布置實驗作業，給出實驗數據集。由于在此平臺上，學生只需要載入數據集，在可視化界面上設置適合的參數即可得到實驗結果，相對較容易實現，因此在每次實驗中可以布置多個思考題，要求學生通過可視化分析得出結論，并總結各個訓練方式的結果產生差距的原因，思考是什么原因造成了過擬合現象等。同時，在實驗中要求學生以不同的特征數據作為訓練集，觀察其模型表現上的優劣，培養學生對于特征(feature)以及特征選取(feature selection)的敏感程度，在此基礎上適當給出一些降維算法（如經典PCA 算法）以及文本挖掘領域的典型特征作為自學內容，培養學生觸類旁通的能力，對于部分對文本挖掘領域有興趣的同學，也可以做一個淺層的了解，為后續課程鋪墊，提升知識的廣度。在整個實驗過程中學生通過對實驗數據的清洗，對特征的重新處理，以及對算法和驗證方式的選擇，了解機器學習算法從數據準備到構建模型全步驟的處理流程，通過基礎的簡單的操作，在實踐中構建出宏觀的機器學習思維。

在第二個階段，可以引入PyTorch框架進行實驗，在此階段的學習之前，學生需要對Python語言具備一定的基礎。該部分實驗可以開展在正式學習卷積神經網絡之前，以最簡單的神經元的方式去描述線性回歸問題，提前提出正向傳播(forward)和反向傳播(backward)的概念（如圖1)。通過簡單的神經網絡，可以直觀又不復雜地理解到神經網絡工作的流程，避免在最初接觸神經網絡就與復雜的矩陣運算相關聯，使學生產生畏難情緒。

圖1 神經網絡實現線性模型訓練流程

該部分實驗使學生在了解神經網絡原理的同時也熟悉PyTorch平臺的使用，了解Tensor的含義，熟悉平臺的基本語法，為后續的深度學習打下基礎。在實踐過簡單的神經網絡后，可要求學生完成卷積神經網絡和循環神經網絡等實驗。需要注意的是，在Py-Torch 平臺的實驗需要編程和調試程序，難度系數增大，需要根據實際情況給出一些代碼的提示，以填空的模式或者給出一些簡單場景的實現代碼。實驗總共安排9次（如表1)。

表1 基于多平臺融合的人工智能課程實驗設計

在實驗過程中，所有的實驗數據集將全部從Kaggle平臺獲取。Kaggle是主要為開發商和數據科學家提供舉辦機器學習競賽、托管數據庫、編寫和分享代碼的平臺[6]，其數據都是從真正的運營網站中獲取，具備真實、全面、準確的特征，有許多能應用于多種場合的數據集，或簡單如藥品銷售、食品銷量及評價，或龐雜重要如空氣污染數據。這些數據取自現實世界，存在真實的噪聲和冗余，使學生在真實的數據下進行實驗，更具實際意義。

4 教學實施注意事項

在教學實踐中，應該著重完善以下環節：

1)重視對學生的實驗輔導，每次實驗除了布置實驗內容之外，更要有足夠的資料、文獻或案例提前下發到學生手中，讓學生提早預習實驗內容，或對理論課講授的知識點做適當的補充，完善整個知識體系中細節的部分，使學生在實驗的過程中做到有的放矢。實驗任務書中提供的案例要嚴謹，最好是學生按照步驟一步一步操作即可完成的內容，難度上要比實驗內容簡單，在課前讓學生熟悉整個流程，也增強學生實驗的信心和滿足感。

2)在課程簡介中要標注好在選修本門課程之前應當具備一定的Python基礎，避免選修課程的學生沒有編程的基礎，不具備計算思維，花費過多時間在編程語言的語法和調試上，忽視課程的主題內容。另外，在理論課堂上要抽出一學時來介紹PyTorch平臺，內容包括平臺的下載安裝、環境配置以及一些基本的功能和操作，這部分內容可以安排在神經網絡的理論課之前。

3)對于基礎的，在WEKA可視化平臺上就能完成的實驗，多設置思考題對訓練過程的細節知識點進行深度挖掘，如讓學生實踐多種交叉驗證方法(HoldOut、K-Fold、分層K-Fold 等），比較其結果差異，自行總結各種驗證方法適合的場景，或比較不同數據量、不同的特征訓練出的模型表現的優劣，讓學生總結原因等，使每次實驗的效能達到最大。

4) 對于難度較大的編程實驗，如卷積神經網絡等，按需要在實驗指導書上提供程序的部分源代碼，在難點處可采用程序填空的方式，必要時加以注釋，讓學生的重點放在理解算法核心思想上，而非程序的調試。

5)課程的分數構成設置為100分滿分，50分實驗分數，50 分筆試分數的模式。在期末考試試卷內，設置實驗結果分析的題目，促使學生思考結果產生的原因以及改進措施，注重對學生動手能力的培養和考察。

5 結束語

在人工智能的課程中引入WEKA 數據挖掘工作平臺和PyTorch 深度學習框架，采取雙平臺融合教學的方式進行實驗設計。通過實時檢測學生對人工智能經典算法以及訓練方式的掌握程度，發現大部分學生不僅能在規定的時間內完成實驗，且觀察、分析和解決問題的能力均有所提升，與此同時，部分學生有意愿在實驗的基礎上做一些更具深度和廣度的拓展研究，較以往具有更強的學習積極性和探索能力。另外，學生在課程實驗中接觸到的PyTorch 深度學習平臺在各大互聯網企業中運用廣泛，是當前一項熱門的技術，與市場需求緊密貼合，有利于就業或深造。下一個階段，在完善教學模式的基礎上，不斷融入更具社會討論度、更有趣的案例，探索開展更有效的教學，進一步提升學生的滿意度。