以深度學習為技術手段培養研究生的知識運用能力

劉雨平 黨凡陽 孫偉民

哈爾濱工程大學物理與光電工程學院 黑龍江哈爾濱 150001

1 概述

發展新興交叉學科，是經濟社會發展的現實需求、“雙一流”建設的內在要求、學科進化的必然趨勢[1]。在新興交叉學科背景下，以及社會對復合型人才需求的驅動下，要求研究生需要掌握多領域的專業知識。知識是研究生開展科研工作的基礎，加強研究生對知識的掌握是研究生培養的重要內容之一，而掌握知識的關鍵之一是運用，現今研究生課堂通常會布置大作業，以鍛煉研究生的獨立思考和動手能力，但是大作業的完成方式和質量與學生個體有關，為了標準化地使學生充分運用所學知識，有必要讓大作業布置標準化。

此外，碩士研究生的擴招規模不斷加大，2020年3月，教育部印發教學〔2020〕2號的通知，提出要擴大2021年研究生招生規模[2]，但是研究生的招生規模對高等教育的承載能力提出了嚴峻考驗，并對高質量研究生的培養提出了新挑戰[3]。同時相關因素影響，部分高校無法完全實現線下教學，因此，研究生教育又面臨著新的困難。

在此背景下，改進教學手段，提升研究生教學質量，對研究生培養至關重要。因此，對于培養研究生的知識運用能力而言，運用高效、便捷的訓練方法十分必要。

人工智能的一個重要領域是機器學習，機器學習已經在許多領域得到應用，例如，金融[4]、軍事[5]、工程[6]以及教育[7]等領域，但是目前機器學習主要用于解決技術問題。機器學習的一個重要分支領域是深度學習，深度學習算法實現基礎是人工神經網絡，是決定深度學習模型性能的核心[8]。基于神經網絡的深度學習其實現借鑒了人類思考的方式，因而通過對深度學習模型的訓練，既可以使學生總結并歸納解決問題所需的知識，同時也可以通過深度學習模型性能實時觀測相關知識點相關問題的影響情況。基于此，該方法在鍛煉研究生知識運用方面具備應用的潛力，并且可以有效監督學生的完成情況。

正是基于以上原因，本文提出了一種以人工智能—深度學習算法為技術手段的研究生知識運用能力培養方法。通過該方法，可以有效提升研究生課堂大作業的完成質量，同時可以將大作業標準化，避免學生遺漏課堂關鍵知識，督促學生對重要知識進行有效運用。

2 深度學習簡介

深度學習分為監督式深度學習和非監督式深度學習，但是根據本文的研究目的，采用監督式深度學習，因此下面重點對監督式深度學習進行簡介。[9]

監督式深度學習是深度學習最常見的一種形式。如果我們想要構建一個圖像分類系統，那么首先需要獲得大量相關的數據集，其中數據集帶有其類別的標簽，例如，分類房子、汽車和寵物。帶有“標簽”的數據集是監督式深度學習的特征之一。在訓練過程中，深度學習模型會顯示一幅圖像，并以得分向量的形式產生一個輸出，每個類別一個。我們希望目標類別獲得最高的得分，但是深度學習模型在訓練之前是無法實現的。通過利用目標函數計算深度學習模型輸出與目標圖像的偏差，然后深度學習模型會修改內部可調整的參數以減小偏差量。這些可調參數(通常稱為權重)是實數，可以被視為定義機器輸入輸出功能的“旋鈕”。在典型的深度學習系統中，可能具有大量的可調權重參數，同時利用大量的帶標簽的示例對深度模型進行訓練。

為了正確地調整權重向量，學習算法計算一個梯度向量，對于每個權重，該梯度向量指示如果權重增加很小的量，誤差將增加或減少多少。然后在與梯度向量相反的方向上調整權重向量。目標函數需要在所有訓練示例中進行平均，并且目標函數可以被視為權重值高維空間中的一種丘陵景觀。負梯度矢量表示該景觀中最陡下降的方向，使其接近最小值，在此處輸出平均誤差較低。

在實踐中，通常使用稱為隨機梯度下降(SGD)的程序。這包括顯示幾個示例的輸入向量，計算輸出和誤差，計算這些示例的平均梯度，并相應地調整權重。對訓練集中的許多小樣本集重復該過程，直到目標函數的平均值停止下降。它被稱為隨機的，因為每一小組示例都給出了所有示例的平均梯度的噪聲估計。與更復雜的優化技術相比，這個簡單的過程通常能很快找到一組好的權重。訓練后，系統的性能將在一組稱為測試集的不同示例上進行測量。這有助于測試機器的泛化能力，即在訓練過程中從未見過的新輸入上產生合理答案的能力。

深度學習架構是一個簡單模塊的多層堆棧，所有(或大部分)模塊都要接受學習，其中許多模塊計算非線性輸入輸出映射。堆棧中的每個模塊都變換其輸入，以提高表示的選擇性和不變性。通過多個非線性層(通過神經網絡實現，例如，全連接網絡、卷積神經網絡等)，比如深度為5到20的系統可以實現其輸入的極其復雜的功能，這些功能同時對微小細節敏感(區分薩摩耶犬和白狼之間的差異)，并且對背景、姿勢、照明和周圍物體等大的無關變化不敏感。

3 設計思路

本文所提出方法的基本思想如圖1所示。通常在研究生學習過程中，研究生在老師的指導下完成一定專業知識的學習，并完成涉及一定知識范圍的大作業，最終教師通過成績評定，觀察學生知識學習和大作業完成的質量，這一學習過程實際是一種監督式學習，這種學習方式對于學生學習初期十分重要。借鑒翻轉課堂的概念[10]，綜合教師和研究生在學習過程的相互關系，提出了一種研究生自主學習的方法。在該方法中，研究生充當教師的身份，而深度學習模型作為學生身份，然后通過觀察深度學習模型的最終性能，判定研究生訓練深度學習模型的優劣，進而衡量研究生對知識運用的效果。在訓練深度學習模型過程中，研究生需要準備各種相關知識，并能夠掌握各個知識點對模型學習效果的作用，例如，學習效率和學習內容等。因此，通過深度學習模型的訓練，就可以鍛煉研究生的知識綜合運用能力。

圖1 以深度學習為手段培養研究生知識運用能力的基本思想

為實現圖1中的基本思想，需自開發相關軟件，該軟件實現方式如圖2所示，包含三個基本過程。首先，為了實現規劃的基本功能，需要根據具體課程進行相關算法設計，因而需要根據具體課程進行專業問題收集；其次，對以上專業問題進行人工解答，以便將專業問題分解為相關知識點，然后將知識點(也即深度學習模型學習的特征)以數據形式表達，從而轉化為數據集，其中可以通過數據增強擴充數據集數量；最后，通過人工調整(也即訓練研究生運用不同知識的過程)，利用攜帶有一定特征(知識點)的數據集對深度學習模型進行訓練，并計算評價訓練效果的相關指標。為了實施方便，擬選取作者研究領域相關知識作為示例進行程序開發，并進行相關具體說明。程序實現基于Python語言和PyTorch架構。

圖2 以深度學習為手段培養研究生知識運用能力的實現方式

以拉曼光譜的信息獲取與識別為例說明知識運用訓練軟件的實現，如圖3所示。基于拉曼光譜的物質識別就是要解決的專業問題。拉曼光譜的特征信息蘊含于拉曼光譜譜帶中，因而基于拉曼光譜較好地完成物質識別這一任務，拉曼光譜需要選擇適當數量的拉曼譜帶。拉曼譜帶中包含線寬、峰位等特征信息，不同物質這些特征不同，通過改變這些特征可以進行數據增強，產生數量足夠的數據集，而且通過不同的數據集可以影響深度學習模型的學習效果(物質識別準確度)。此外，實際的拉曼光譜還包含熒光(基線)、噪聲等干擾信息。因而識別物質實際就是在基線和噪聲存在下，識別拉曼譜帶中線寬、峰位等特征信息的過程，而這些特征信息也是研究生需要學習并運用的知識點。那么根據一定理論規律，選擇并表達這些特征就是研究生在知識運用過程的主要工作，例如，選擇其中一個或多個組合特征作為深度學習模型學習的知識，不同的選擇會產生不同的學習效果，如果特征選擇不當，學習效率會明顯變差，進而無法獲得目標性能。因而，這就需要研究生掌握各個知識點(特征)在物質識別過程中的作用，最終才能獲得最有效的數據集(知識組合)，因而訓練深度學習模型的過程就是運用知識的過程，最終識別準確度可以用于評價模型訓練的優劣。

圖3 訓練拉曼光譜知識運用的示例

結語

本文提出了一種基于深度學習的研究生知識運用訓練方法，在該方法中，將研究生作為教授知識的個體，將深度學習模型作為學習知識的個體，而研究生需要運用相關知識，以便可以產生一定知識關系的數據集，使得深度學習模型可以準確學習相關知識關系，并根據訓練效果觀察各個知識點之間的相互影響。該方法的提出為研究生的培養提供了一種有效、方便的方法。