有監督機器學習算法

劉文博

摘要：機器學習作為人工智能技術的一個新發展，近年來受到工業界和學術界的極大關注，并廣泛應用于計算機視覺，數據挖掘，語音識別等各個領域，其中作為它的最主要部分，有監督機器學習算法也是被廣泛應用。本文就有監督機器學習介紹其回歸算法與分類算法，闡述了其原理，并闡述其組合應用設計。最后給出對機器學習發展前景的主觀預測和總結。

關鍵詞：人工智能；機器學習；有監督學習；回歸算法；分類算法

引言

機器學習的研究是根據生理學、認知科學等對人類學習機理的了解，建立人類學習過程的計算模型和認識模型，發展各種學習理論和學習方法，研究通用的學習算法并進行理論上的分析，建立面向任務的具有特定應用的學習系統。這些研究目標相互影響，相互促進。

第一個機器學習的定義來自于Arthur Samuel。他將機器學習定義為在進行特定編程環境中進行計算機學習的領域。

機器學習強調“學習”，而不是程序本身。它使用復雜的算法來分析大量的數據，識別數據中的模式，并作出預測——不需要特定的代碼。在樣本的數量不斷增加的同時，自我糾正完善“學習目的”，可以從自身的錯誤中學習，提高識別能力。

在機器學習中，主要有三類；有監督學習，半監督學習和無監督學習。本文主要從有監督學習算法，應用等方面進行概述。

1 有監督學習算法概述

1.1 回歸算法

回歸算法主要是根據一系列的數據集，假設一系列方程來擬合數據集，選擇一種曲線擬合較好的方程作為假設函數，然后通過優化算法選取合適的參數，更好的擬合數據集，完成機器學習過程。

系統回歸算法的主要步驟包括：

（1）構建M個初始樣本，x代表特征/輸入變量，y代表目標變量/輸出變量，（x，y）代表訓練集中的實例。

（2）將訓練樣本喂養給我們的學習算法。

（3）輸出一個函數，通常用小寫h表示，h代表hypothesis，h表示一個函數。

（4）輸入將要預測的x喂給h，預測出結果作為輸出變量y。

（5）接下來要做的就是判斷假設函hypothesis的擬合程度，選擇出可以使得建模誤差的平方和能夠最小的模型參數，即使得代價函數J（θ0，θ1）最小。

（6）采用梯度下降算法來求出代價函數J（θ0，θ1）的最小值。

1.2 分類算法

分類算法即給不同類型的樣本點貼上不同的標簽，目的是為了確定一個點的類別，而具體有哪些類別是已知的。分類算法經常被用于判斷郵件是否為垃圾郵件、判斷在線交易是否存在潛在風險、判斷腫瘤為良性或者惡性等等。由此可見：

邏輯回歸算法是一種分類分析，它有正向類和負向類，即：y ∈ {0，1}，其中0代表負向類，1代表正向類。對一個分類問題：y=0或y=1，可能出現的結果是：hθ（x）>1或<0，就無法進行結果的歸納。此時就需要采用邏輯回歸，得到的結果可以滿足0≤hθ（x）≤1，邏輯回歸是一種特殊的分類算法，同理，更普遍的分類算法中可能有更多的類別，即：y ∈ {0，1，2，3 ...}。

決策樹算法也是一種典型分類算法將變量通過不同屬性分為不同組別，基于決策得出結論，獲得希望得到的判定結果。決策樹包含一個根節點，多個內部節點和多個葉節點，其中葉節點對應于結果，其他節點對應于屬性測試。根據屬性測試的結果，將樣本劃分為不同的子節點，最終到達葉節點。決策樹使用信息熵的方法來分離節點。信息熵通過 計算，信息熵作為概率的單調函數通過計算反映不確定性。信息增益利用信息熵度量特征分類給系統帶來的信息量，然后判斷特征劃分的依據，進行特征選擇劃分。

2 有監督學習算法組合設計

2.1 回歸算法組合設計

（1）單變量線性回歸算法：

以房屋交易問題為例，假設回歸問題的訓練集

如下表所示：

因為只有一個特征/輸入變量，所以這種問題稱為單變量線性回歸問題。

接著要做的便是為模型選擇合適的參數θ0 和θ1在這個例子中便是選取合適的斜率和截距。所選參數決定了得到的直線相對于訓練集的準確程度，以及模型的預測值與訓練集的實際值之間的差異（下圖豎直方向的黑線所指）就是建模誤差。

接下來就是用梯度下降算法來求解使得代價函最小的θ0和θ1

（2）梯度下降算法：

梯度下降算法是求解函數最小值的一種算法，用于求解代價函數J（θ0，θ1）的最小值（θ，θ1）。梯度下降算法的公式如下：

在梯度下降算法中，所有參數都被學習率減去，同時乘以代價函數的導數。

梯度下降算法的直觀理解就是對θ賦值，使J（θ）沿著梯度下降最快的方向進行，并一直迭代得到局部最小值，其中α是學習率，它決定了沿著使代價函數最大程度下降的方向邁出的步子有多大。當然，α不能太大或太小。

如果α太小了，即學習速率太小，結果就是只能一點一點的挪動，去努力接近最低點，這樣就需要很多步才能接近最低點，所以α太小的話，可能會很慢，因為它需要一點點的挪動，他會需要很多步才能達到全局最有點。

如果α太大了，那么梯度下降法可能會越過最低點，甚至可能無法收斂，下一次迭代又移動了一大步，越過一次，又越過一次，一次次的越過最低點，直到離最低點越來越遠，所以，如果α它會導致無法收斂，甚至發散。

在梯度下降算法中，當接近局部最優點時，梯度下降法會自動采取更小的幅度，這是因為當接近局部極小值時，很明顯導數在局部極小值處等于0，所以當接近局部最極小值時，導數值會自動變得越來越小，因此梯度下降將自動采取較小的幅度，因此沒有必要在另外減小α。

梯度下降算法可以用來最小化任意代價函數J，不只是線性回歸中的代價函數J。

（3）線性回歸與梯度下降結合：

接下來，我們需要將梯度下降算法與線性回歸相結合，并將其應用于具體的擬合直線的線性回歸算法里。

梯度下降算法與線性回歸算法比較如圖：

這種梯度下降我們也稱為批量梯度下降，“批量梯度下降”是指在梯度下降的每個步驟中都使用到了所有的訓練樣本，在梯度下降中，在計算微分導數項時，需要進行求和計算。因此，在每一個梯度下降中，我們最終都需要計算這樣一個東西，每個項需要對所有m個訓練樣本求和。因此，批量梯度下降法這個名字說明了計算最終需要考慮的是所有這一批訓練樣本，而事實上，有時也有其他類型的梯度下降法，不是這種批量型的，不考慮整個的訓練集，而是每次只關注訓練集中的一些小的子集。

2.2 分類算法組合設計

（1）邏輯回歸：

邏輯回歸的算法是目前最流行使用最廣泛的一種學習算法，這個算法的性質是：它的輸出值永遠在0-1之間。

邏輯回歸雖然名字里面帶“回歸”，但它實際上是一種分類問題，它的模型假設是hθ（x）=g（θTX）

其中：X代表特征向量，g代表邏輯函數（或稱為Sigm

oid函數），公式為g（z）= ，該函數的圖像為：

求導后得到：

所以如果有n個特征，也就是：θ=[θ0，θ1，θ2，θ3，···，θn]，參數向量θ包括θ0θ1θ2一直到θn那么就可以用以上式子同時更新所有的θ。

2.3 正則化

（1）解決過擬合問題

回歸算法和分類算法它們能有效地解決很多問題但當把他們應用到某種特定的機器學習應用時，會遇到過擬合的問題，可能導致他們的效果很差。因此需要采用正則化技術來改善或減少過擬合的問題。

如果我們有非常多的特征，通過學習得到的假設可能能夠非常好地適應訓練集（代價函數可能幾乎為0），但是可能會不能推廣到新的數據。

解決過擬合主要有兩種方法

（1）減少變量的個數，舍棄一些變量，保留更為重要的變量。但是如果每個特征變量都對預測產生影響。當舍棄一部分變量時，也就舍棄了一些信息。所以希望保留所有的變量。

（2）正則化：保留所有的變量，將一些不重要的特征權值置為0或權值變小使得特征的參數矩陣變得稀疏，使每一個變量都對預測產生一點影響。

（3）正則化的思路：

如果參數對應一個較小的值，那么會得到更加簡單的假設。懲罰高階參數，使他們趨于0，這樣就會得到較為簡單的假設，也就是得到簡單的函數，這樣就不易發生過擬合。但是在實際問題中，并不知道哪些是高階多項式的項，所以在代價函數中增加一個懲罰項/正則化項，將代價函數中所有參數值（約定一般不懲罰j=0，懲罰從j=1開始到j=n）都最小化，收縮每一個參數。

這樣便得到了一個較為簡單的能防止過擬合問題的假設：

其中λ稱為正則化參數，如果選擇的正則化參數λ過大，則會把所有的參數都最小化導致模型變成hθ（x）=θ0，也就是一條直線，因此又會造成欠擬合，所以對于正則化，要取一個合理的λ值，這樣才能更好的應用正則化。

3 機器學習技術的發展趨勢

從目前的研究趨勢來看，未來機器學習的主要研究方向如下：1）人類學習機制的研究。2）開發和改進現有的學習方法，開發新的學習算法。3）建立實用的學習系統，尤其是多種學習算法協同工作的集成系統。4）機器學習理論與應用研究。

機器學習是繼專家系統之后人工智能應用的又一重要研究領域，也是人工智能和神經計算的核心研究課題之一?，F有的計算機系統和人工智能系統學習能力很小，至多也只有非常有限的學習能力，不能滿足科學技術和生產的新要求。機器學習的探討和機器學習研究的進展，必將推動人工智能和整個科學技術進一步發展。

4 結論

機器學習是關于理解和研究學習的內在機制建立能夠通過學習自動提高自身水平的計算機程序的理論方法的學科。近年來機器學習理論在諸多應用領域得到成功的應用與發展，已成為計算機科學的基礎與熱點之一。而且機器學習在人工智能中占有很大的地位，人工智能目前的應用已經證明了人工智能可以改變人類，改變世界，未來在各方面的支持下，人工智能一定會取得長足的發展，對世界產生巨大的影響，隨著人工智能的發展，機器學習的進化，對人類的生活帶來了極大的便利，智能的發展提高了資源的利用率與生產率，將原始手工的生產方式轉化為機器生產，省去了人工勞力。所以機器學習技術的發展將是未來高新技術的前沿，也應是人們努力的方向。

參考文獻

[1] 陳勇濤，郭曉穎，陶慧杰. 淺談機器學習研究現狀與發展趨勢[J]. 中國新通信，2018.

[2] 劉斌，何進榮，耿耀君，等.并行機器學習算法基礎體系前沿進展綜述[J]. 計算機工程與應用，2017.

[3] RAIF B A，BEKIR T L. Influence of fly ash on corrosion resistance and chloride ion permeability of concrete[J]. Construction and building materials，2012，31：258-264.

[4] 段明赫.人工智能的發展現狀及應用[J]. 通訊世界，2018.

[5] 劉叢，彭敦陸，鄔春學. 基于案例的《機器學習》課程教學方法研討[J].軟件導刊，2018.

[6] 魏燁敏，蔣子元. 機器學習聚類組合算法及其應用[J]. 電子世界，2018.

[7] 孫暉. 深度學習優缺點的剖析[J]. 電子制作，2018.

[8] 詹騏源. 機器學習的發展史及應用前景[J]. 科技傳播，2018.

[9] 史加榮，馬媛媛. 深度學習的研究進程與發展[J]. 計算機工程與應用，2018.

（作者單位：鄭州大學軟件與應用科技學院）