機器學習及其相關算法簡介

周昀鍇

摘 要 機器學習的內容涉及很多領域，如人工智能研究、統計與概率計算、哲學邏輯以及神經生物學等。文章介紹了機器學習的概念、發展簡史、分類以及八種常見算法，最后探討了機器學習的應用與影響。

關鍵詞 機械學系；機械學習分類；經典算法

中圖分類號 TP3 文獻標識碼 A 文章編號 1674-6708（2019）231-0153-02

計算機科學在最近半個世紀一直在大力發展模擬并實現人類的行為，這就是機器學習的核心內容。其主要途徑是重組知識結構來掌握新的知識技能，改善各種工具的性能。機器學習的辯證邏輯方法是歸納、綜合，而不采用演繹[1]。

目前，機器學習歷經70年的曲折發展，以深度學習為代表借鑒人腦的多分層結構、神經元的連接交互信息的逐層分析處理機制，自適應、自學習的強大并行信息處理能力，在很多方面收獲了突破性進展，其中最有代表性的是圖像識別領域[2]。本文就機器學習介紹及其相關算法簡介做一介紹。

1 機器學習的歷史

機器學習的發展大體可分為4個階段。

第一階段在1950年至1960年，人們在這個初始階段對自適應系統進行大反復試驗，雖然整體提高了系統的效率和執行能力，但并不能滿足社會的？期望[3]。第二階段在1960年至1970年，是機器學習發展的冷靜時期。試圖采用圖結構或邏輯結構模擬人類的概念學習過程。代表性工作是Winston的結構學習系統。但結構單一、缺乏實用性。第三階段在1970年至1980年，是機器學習發展的復興時期。較多的學習概念理論進入成形階段，很多人將學習系統與各種其它應用結合研究新型問題從而取得各領域成功。示例歸約學習和自動知識獲取成為了機器學習研究的主流。第四階段從1986年開始，是機器學習發展的高潮時期。各種研究方法大量涌現，如人工神經網絡學習、符號學習、集成學習，其中集成學習有效地提高模型的推廣能力，如：Bagging算法、Boosting算法等。

2 機器學習的分類

2.1 基于學習方式的分類

1）監督學習。監督學習是指在機器學習過程中給出對錯指示，通過已有的訓練數據集進行數據挖掘，獲得最優模型，借助模型把輸入的所有數據向輸出完全映射，再較為簡單地判斷輸出，以此實現對數據進行分類的目的，也就是獲得了對未知數據進行分類的能力。訓練集包含輸入、輸出，并需要人為標注目標特征。監督學習大體包括兩種：一種出自回歸問題、另一種出自分類問題，它們主要被用作分類和預測問題的重點學習方式。最常用的監督學習算法有兩種，包括支持向量機算法和鄰近算法。

2）無監督學習。它的另一個名字是歸納性學習，其思想核心是根據K學習方式來搭建中心，再利用反復遞減運算來縮減誤差[4]。無監督學習和前面提及的學習方法相比，它在之前無訓練樣本，需要將非已知的數據建模處理。其中最常見的是聚類算法。

3）強化學習。又叫增強學習，基于統計和動態規劃技術方法，輸入通過反饋過程中計算得到的數據信息，與之相關有Q-learning等[5]。

2.2 基本模型

在機器學習過程中，一是對于外部信息源提供給系統的知識，這其實是一種學習過程，即從外界環境獲取信息，然后將獲得的信息加工成知識，并將知識放入知識庫[6]。環境向學習系統提供的信息質量優劣，直接影響學習部分實現的難易。二是知識庫。因為知識庫中存放了指導執行動作的原則，需要注意的是對于不同的知識庫其有不同的表示特征。備選的表示方式的基本要求是要具備好的表示效果、也要有很好的邏輯性，并易于完善[7]。機器學習模型中的執行環節是使用庫知識完成特定任務的過程，并把信息反饋給學習環節。

3 機器學習八種常見算法

3.1 決策樹算法

決策樹及其變種是一類將輸入空間分成不同的區域，每個區域有獨立參數的算法。決策樹算法充分利用了樹形模型，根節點到一個葉子節點是一條分類的路徑規則，每個葉子節點象征一個判斷類別。先將樣本分成不同的子集，再進行分割遞推，直至每個子集得到同類型的樣本，從根節點開始測試，到子樹再到葉子節點，即可得出預測類別。此方法的特點是結構簡單、處理數據效率較高。

3.2 樸素貝葉斯算法

樸素貝葉斯算法是一種分類算法。它不是單一算法，而是一系列算法，它們都有一個共同的原則，即被分類的每個特征都與任何其他特征的值無關。樸素貝葉斯分類器認為這些“特征”中的每一個都獨立地貢獻概率，而不管特征之間的任何相關性。然而，特征并不總是獨立的，這通常被視為樸素貝葉斯算法的缺點。簡而言之，樸素貝葉斯算法允許我們使用概率給出一組特征來預測一個類。與其他常見的分類方法相比，樸素貝葉斯算法需要的訓練很少。在進行預測之前必須完成的唯一工作是找到特征的個體概率分布的參數，這通常可以快速且確定地完成。這意味著即使對于高維數據點或大量數據點，樸素貝葉斯分類器也可以表現良好。

3.3 支持向量機算法

基本思想可概括如下：首先，要利用一種變換將空間高維化，當然這種變換是非線性的，然后，在新的復雜空間取最優線性分類表面[8]。由此種方式獲得的分類函數在形式上類似于神經網絡算法[9]。支持向量機是統計學習領域中一個代表性算法，但它與傳統方式的思維方法很不同，輸入空間、提高維度從而將問題簡短化，使問題歸結為線性可分的經典解問題。支持向量機應用于垃圾郵件識別，人臉識別等多種分類問題。

3.4 隨機森林算法

控制數據樹生成的方式有多種，根據前人的經驗，大多數時候更傾向選擇分裂屬性和剪枝，但這并不能解決所有問題，偶爾會遇到噪聲或分裂屬性過多的問題[10]。基于這種情況，總結每次的結果可以得到袋外數據的估計誤差，將它和測試樣本的估計誤差相結合可以評估組合樹學習器的擬合及預測精度[11]。此方法的優點有很多，可以產生高精度的分類器，并能夠處理大量的變數，也可以平衡分類資料集之間的誤差。

3.5 人工神經網絡算法

人工神經網絡與神經元組成的異常復雜的網絡此大體相似，是個體單元互相連接而成，每個單元有數值量的輸入和輸出，形式可以為實數或線性組合函數。它先要以一種學習準則去學習，然后才能進行工作。當網絡判斷錯誤時，通過學習使其減少犯同樣錯誤的可能性。此方法有很強的泛化能力和非線性映射能力，可以對信息量少的系統進行模型處理。從功能模擬角度看具有并行性，且傳遞信息速度極快。

3.6 Boosting與Bagging算法

Boosting是種通用的增強基礎算法性能的回歸分析算法。不需構造一個高精度的回歸分析，只需一個粗糙的基礎算法即可，再反復調整基礎算法就可以得到較好的組合回歸模型。它可以將弱學習算法提高為強學習算法，可以應用到其它基礎回歸算法，如線性回歸、神經網絡等，來提高精度。Bagging和前一種算法大體相似但又略有差別，主要想法是給出已知的弱學習算法[12]和訓練集，它需要經過多輪的計算，才可以得到預測函數列，最后采用投票方式對示例進行判別。

3.7 關聯規則算法

關聯規則是用規則去描述兩個變量或多個變量之間的關系，是客觀反映數據本身性質的方法。它是機器學習的一大類任務，可分為兩個階段，先從資料集中找到高頻項目組，再去研究它們的關聯規則。其得到的分析結果即是對變量間規律的總結。

3.8 EM算法

在進行機器學習的過程中需要用到極大似然估計等參數估計方法，在有潛在變量的情況下，通常選擇EM算法，不是直接對函數對象進行極大估計，而是添加一些數據進行簡化計算，再進行極大化模擬。它是對本身受限制或比較難直接處理的數據的極大似然估計算法。

4 機器學習的應用與影響

4.1 應用

1）虛擬助手。Siri，Alexa，Google？Now都是虛擬助手。顧名思義，當使用語音發出指令后，它們會協助查找信息。對于回答，虛擬助手會查找信息，回憶我們的相關查詢，或向其他資源（如電話應用程序）發送命令以收集信息。我們甚至可以指導助手執行某些任務，例如“設置7點的鬧鐘”等。

2）交通預測。生活中我們經常使用GPS導航服務。當我們這樣做時，我們當前的位置和速度被保存在中央服務器上來進行流量管理。之后使用這些數據用于構建當前流量的映射。通過機器學習可以解決配備GPS的汽車數量較少的問題，在這種情況下的機器學習有助于根據估計找到擁擠的區域。

3）過濾垃圾郵件和惡意軟件。電子郵件客戶端使用了許多垃圾郵件過濾方法。為了確保這些垃圾郵件過濾器能夠不斷更新，它們使用了機器學習技術。多層感知器和決策樹歸納等是由機器學習提供支持的一些垃圾郵件過濾技術。每天檢測到超過325？000個惡意軟件，每個代碼與之前版本的90%～98%相似。由機器學習驅動的系統安全程序理解編碼模式。因此，他們可以輕松檢測到2%～10%變異的新惡意軟件，并提供針對它們的保護。

4.2 影響

1）積極影響。機器學習會在未來的發展時間進一步提高智能性，會提升學習認知與理解思考的能力，體現出更好的優化結構與高效性。它將在今后醫療、教育及金融等領域為社會提供智能的個性化服務。作為統計方法的延伸，機器學習將進一步提高計算能力，嘗試采用新的更優化算法。

到現在集成學習已是機器學習最熱門的分？支[13]，此領域研究人數多且成果豐厚，現已有很多集成學習算法，如Bagging、Boosting、Arcing等。

2）消極影響。大多數集成算法包括Bagging算法都是為指導學習而設計，一旦集成學習算法要是用于無指導學習，它和那些用于有指導學習的算法設計相比，就會特別艱難。

5 結論

本文依次介紹了機器學習相關的概念、發展歷史、分類與機器學習的經典算法，并提及了機器學習的進展成果和應用。根據目前的情況來看，機器學習目前還沒有走出弱人工智能階段，其依賴的人腦知識研究需要新的進展與突破，計算機科學技術以及相關領域也有待于進一步加強。對機器學習的研究可以借鑒新的學習算法來提高機器學習的效率，從而推動人類社會的文明進步。

參考文獻

[1]林全智.基于多目標優化的人工神經網絡自適應設計[D].廈門：廈門大學，2013.

[2]張潤，王永濱.機器學習及其算法和發展研究[J].中國傳媒大學學報（自然科學版），2016，23（2）：10-18.

[3]張澤.機器學習算法及其工程應用研究[D].天津：天津大學，2012.

[4]岑瑤.基于梯度方向直方圖特征的掌紋識別關鍵技術的研究[D].呼和浩特：內蒙古農業大學，2017.

[5]張肅.基于機器學習的高速光信號光性能監測[D].北京：北京交通大學，2018.

[6]安增波，張彥.機器學習方法的應用研究[J].長治學院學報，2007，24（2）：21-24.

[7]安增波，張彥.機器學習方法的應用研究[J].長治學院學報，2007，24（2）：21-24.

[8]曾瑩，劉波.一種基于關節角度的步態識別新方法[J].現代電子技術，2010，33（10）：86-89.

[9]謝清新.基于小波分解和Teager能量算子的P300特征提取及分類算法研究[D].廣州：廣東工業大學，2016.

[10]沈晨.基于特征子空間的高精度圖像分類器實現[D].吉林：吉林大學，2009.

[11]陳凱，朱鈺.機器學習及其相關算法綜述[J].統計與信息論壇，2007，22（5）：105-112.

[12]肖靜.數據挖掘技術在保險公司客戶關系管理中的應用研究[D].長沙：湖南大學，2013.

[13]趙楠.基于機器學習的供應鏈績效智能分析方法研究[D].天津：天津大學，2010.