人工智能時代下的工程優化教學改革研究

常甜甜，張建科，李小平，馮 晶

(西安郵電大學 理學院,陜西 西安 710121)

最優化理論是人工智能領域的有力技術方法之一。“工程設計中的最優化數學方法”(簡稱為“工程優化”)是研究生的公共課程，其在機器視覺領域、數據挖掘領域、人工智能領域發揮著愈來愈重要的作用。傳統的數學教學手段是課件結合粉筆加黑板，教師以書本內容為主，枯燥地講授數學的理論知識。“工程優化”是一門實用性極強的學科，這門課程的教學方法仍然停留在“概念-理論-計算”的傳統教學模式，學生在學習的過程當中不知道如何將理論與實際結合起來，不知道學習的優化算法到底可以用來做什么？影響了學生的學習熱情和創造性思維的培養。目前高校在教育教學過程中，不斷的與時俱進，調整教學方法和大綱，以適應時代變化[1-13]。筆者所在最優化教學團隊在教學內容和方法上進行改革，提出案例教學法，即“工程案例-建模-理論分析-問題求解”的教學模式。具體地首先給出一個淺顯易懂的工程案例問題，且是該領域的研究熱點問題，根據問題建立最優化模型，引導學生將最優化原理與各自專業中的研究對象相結合，最后采用最優化計算方法來求解問題，完成一個“問題-建模-理論-計算-應用”的完整流程，提高學生用最優化方法解決工程實際問題的能力。所選案例要緊扣教學內容，案例分析的目的是使學生加深對所學理論知識的理解和運用理論知識解決實際問題的能力，因此，所選案例必須是針對課程內容的。即案例內容具有一定的代表性和普遍性，具有舉一反三、觸類旁通的作用，而不是實踐中根本不會發生的案例，且典型的案例往往涉及的關系比較全面，涵蓋的法律知識較多，有助于學生從各個方面對所學理論加以驗證，從中得出正確結論。因此，案例的選擇應該具備真實可信、客觀生動、案例多樣化、相關性以及典型性。

1 實施方案

案例教學法，即“工程案例-建模-理論分析-問題求解”的四步教學模式。工程案例的引入可以采用具體模型(如最小二乘模型)，也可以采用實際應用問題(如圖像重建)。以文獻[13]為例，具體的工程案例設計舉例如表1所示，從表1中的涉及教材內容方面可以發現，這幾個工程案例涵蓋了教材的全部內容，而且這幾個工程案例是目前學科研究方向的熱點研究內容。當將這些案例吃透后，理論問題自然而然產生，比如為什么初始點的選取會引起解不穩定？優化模型的光滑化問題？為什么單純形法在可行域頂點達到最優解？優化模型問題的分類問題？帶著這些理論問題引導學生進行進一步的定理證明及推導。

表1 教案設計涉及內容

2 教學方法舉例

以醫學圖像重建[14]和模式分類[15-18]案例為例對案例教學法具體進行說明。

2.1 醫學圖像重建

2.1.1 醫學圖像重建背景

電阻抗圖像重建問題遵循電磁場基本規律滿足MAXWELL方程，其可以簡化為準靜態電磁場問題，滿足Laplace方程[14]：

(1)

Laplace方程給出了模型參數(電導率)和測量參數(邊界電壓)之間的關系，已知電導率σ求電勢φ稱為正問題，已知電勢φ求電導率σ稱為反問題。有限元法(FEM)是求解電磁場問題的常用數值解法。FEM法需要將場域離散化，即將場域進行剖分，剖分后圖像重建問題可以看作是以下線性方程組：

Jσ=φ

(2)

式中：J為Jacobian矩陣，σ為電導率分布，φ為邊界測量電壓值。

2.1.2 最優化模型建立

問題(2)是一個典型的欠定問題(ill-posed problem)， 可采用最小二乘法思想逼近其近似解， 即求解：

(3)

式中：Γ稱為正則化矩陣(在很多情況下，取單位矩陣I)。 第一項為擬合度量， 第二項為正則項。p取不同值:0、1、2， 即得不同類正則化算法。L2范數的優點是目標函數光滑，求導計算方便， L2范數正則化的典型代表是Tikhonov正則化方法:

以下就問題(5)的求解問題進行討論。

2.1.3 最優化算法理論分析

無約束優化問題的一般迭代格式[2]是:

σk+1=σk+λkdk

(6)

式中：λk是最優步長，dk是當前搜索方向，σ定義同上。牛頓法的步長是定長的，即λk=1， 搜索方向是:

(7)

圖1 牛頓法算法迭代點序列圖示

式(7)是牛頓法算法的搜索方向， 點列迭代如圖1所示. 因此只有Hessian矩陣正定時，牛頓方向才是下降方向。給定初始值點x0， 過點做切線與x軸相交， 以交點做垂線與曲線相交于點x1，以此類推即可得到牛頓法算法的迭代點列，直至達到收斂要求。但是，但目標函數曲線變化較大，或者初始值選取不當時，牛頓法算法可能不收斂。

圖2 牛頓法算法初始點選取不當情況下迭代點列圖示

假設圖2目標函數f(x)的可行域為[a，b]， 圖2(a)為目標函數曲度變化較大時， 取b點為初始點x0，經過幾步迭代到x2，在x2點做曲線的切線可以發現x3點落到了可行域[a，b]外，因此這種情況下牛頓法算法不收斂; 圖2(b)中如果初始點選取為a，則在下一步迭代時，點直接落在了可行域外，算法不收斂;但在圖2(c)中，初始點選為b點，則x1落在了可行域內，算法收斂。由此，可以發現牛頓法算法對初始點的選取直接關系到算法的穩定性和收斂性。

在牛頓法算法中，每次迭代都涉及到目標函數的梯度dk和Hessian矩陣?2f-1(σk)， 具體計算如下:

梯度函數為：?f(σ)=2JT(Jσ-φ)+2ασ

Hessian矩陣為：?2f(σ)=2JTJ+2α

牛頓法步驟描述如下:

輸入:已知選定初始分布σ0，ε>0，k=0。

轉向b)

b)計算σk+1=σk+dk，k=0， 轉向a)

輸出：σ*=σk+1。

2.1.4 最優化問題求解及應用實例

圖像重建問題的正向問題計算借助EIDORS3.10軟件[22]計算。具體的實驗參數設置：目標選取三種情況， 成像目標在中心點位置， 成像目標在1/2半徑處，以及成像目標在邊界位置。電極總數為16個，接觸阻抗值為0.005 Ω，電流強度為1 mA，背景電導率為0.0025 s/m，目標電導率為0.005 s/m，采用對向激勵模式，仿真數據剖分單元格總數1968個，節點數1049個。

表2 牛頓法成像結果

提出問題：在實驗中發現，如果初始點值為0.0015，牛頓法失效，代碼出現報錯，提示：Hessian矩陣必須為正定矩陣。從而引起學生對于下降類算法的證明以及為什么教材中要求Hessian矩陣為正的問題的思考。并引導學生對該問題的解決方法。

2.2 模式分類

2.2.1 模式分類背景

支持向量機(support vector machine, SVM)是一種數據挖掘新方法[17]，可以解決小樣本問題、非線性問題以及高維數據等問題，且推廣能力較強以及具有全局最優解。被廣泛應用于綜合評價、預測問題、數據擬合以及模式識別等問題。SVM模型基于極大間隔分類器的準則可推導獲得，是一個凸二次規劃問題，引導學生思考，如何求解該凸二次規劃問題？

2.2.2 最優化模型建立

以線性可分情況下的支持向量建模為例，SVM的算法思想是在多個分類超平面中，基于極大間隔原則，找出其中的最優決策超平面，見圖3。

圖3 極大分類超平面圖示

引導學生并提問：在一個線性可分問題中可以存在多個分類面，如何使得該分類面確定且唯一？一個直觀的方法就是采用極大間隔準則，如圖3所示，找一個方向向量w，在方向向量的切向量方向取一條線，沿切向量方向移動該線，當該線觸碰到正類樣本則停止，繼續向下平移碰觸到負類樣本后停止. 取這兩個線中間線即為要找的唯一的分類線。該法則滿足兩類樣本點間間隔最大原則。可以得到線性可分支持向量分類機原始問題為：

(8)

式中：xi為樣本點，yi為樣本對應標記，l為樣本數，w和b為超平面方程參數。為使得分類問題可以引入核函數來處理非線性問題，將原始問題轉化為對偶問題進行研究，此處就引入了對偶問題的理論。

2.2.3 最優化算法理論分析

此處可引入并講解KKT條件和Wolf對偶理論，式(8)的拉格朗日函數為：

(9)

式中：α為拉格朗日乘子。由wolf對偶原理，求拉格朗日函數關于w，b的偏導數。可以得到：

(10)

代入(9)可得對偶問題為：

αi≥0，i=1， …，l

(11)

在最優化問題(11)的求解過程中涉及到工作集(working set selection)的選取問題，需要引入KKT條件，因此可以在這部分給學生仔細解釋KKT條件的理論知識，本文不再贅述。設α*是對偶問題的任意解，則可按下式計算出原始問題的解：

(12)

2.2.4 最優化問題求解及應用實例[18]

為了讓學生有更直觀的理解，并測試所提出算法的有效性，實驗數據來源于網絡或者實際應用問題，例如：UCI數據庫[23]，所選測試數據信息見表3。表4為SVM分類結果，評估準測為精度，即：

(13)

表3 實驗數據描述

表4 SVM分類結果

在樣例建模和求解過程中，引導學生思考在整個樣例過程中需要進行哪些條件的判定？模式分類還有哪些應用？最優化模型的分類？停機準確的選取問題等等。

3 結論

“工程優化”是人工智能、數據挖掘、機器學習等熱門研究領域的數學基礎課程，但在實際教學中發現，按部就班的采用傳統的教學方式時，學生并不能理解教材與實際應用問題之間的關系，以至于遇到實際工程問題后仍然不能解決問題。本教學改革方式采用案例教學法，通過引入各個學科的熱點研究問題，針對熱點問題進行建模、分析、求解，幫助學生搭建理論與實際之間的聯系，提高學生解決實際問題的能力。