人工智能算法梳理及解析

王蘊韜

中國信息通信研究院北京100037

當前，伴隨網絡及計算機技術的長足發展，人工智能隨著深度學習技術應用的突破取得極大進展，各種落地應用及概念產品層出不窮，人們對其在生產生活中的革命性創新充滿期待。捋順人工智能算法脈絡，解析基本算法應用場景，可使我們對人工智能技術有一個更為理性深入和全面的理解及思考。

1 人工智能技術理解

縱觀人工智能技術發展歷史，人工智能在實現上可歸類為六種途徑，即符號主義、連接主義、學習主義、行為主義、進化主義和群體主義[1]。六種途徑并非涇渭分明，它們只是從不同的角度提出了解決方案，如學習主義就用到了人工神經網絡來實現。目前流行的機器學習以及深度學習算法實際上是符號主義、連接主義以及行為主義理論的進一步拓展。

對于機器學習的理解，筆者認為可以從三個問題入手，即學什么、怎么學、做什么。首先，機器學習需要學習的內容是能夠表征此項任務的函數，即能夠實現人們需要的輸入和輸出的映射關系，從信息論的角度來看，其學習的目標是確定兩個狀態空間內所有可能取值之間的關系，使得熵盡可能最低[2]。其次，機器怎么學。要實現學習目標，就要教給機器一套評判的方法，而不同于告訴機器每個具體步驟如何操作的傳統方法，這需要對機器描述過程演進為對機器描述結果。從數學角度來看，就是為機器定義一個合適的損失函數，能夠合理量化真實結果和訓練結果的誤差，并將之反饋給機器繼續作迭代訓練。最后，機器學習究竟要做什么，其實主要做三件事，即分類(Classification)、回歸(Regression)和聚類(Clustering)，其中分類和回歸屬于監督學習的范疇，而聚類則屬于非監督學習的范疇。目前多數人工智能落地應用的背后，都是通過對現實問題抽象成相應的數學模型，分解為這三類基本任務的有機組合，并對其進行建模求解的過程。

2 機器學習算法分類

這里，我們首先討論當前的三大最常見的機器學習任務及其常用算法[3]。

首先是回歸。回歸是一種用于連續型數值變量預測和建模的監督學習算法；回歸任務的特征是具有數值型目標變量的標注數據集。回歸算法有很多種，其中最為常用的算法主要有四種：第一是(正則化)線性回歸，它最簡的形式是用一個連續的超平面來擬合數據集；第二是回歸樹(集成方法)，該方法又稱為決策樹，通過將數據集重復分割成不同的分支來最大化每次分離的信息增益，從而讓回歸樹很自然地學到非線性關系，集成方法包括隨機森林(RF)或梯度提升樹(GBM)；除此之外，還有最鄰近算法和深度學習。

第二是分類。分類算法用于分類變量建模及預測的監督學習算法，許多回歸算法都有其對應的分類形式，分類算法往往適用于類別(或其可能性)的預測，而非數值。其中最為常用的算法主要有五種。1)(正則化)邏輯回歸。邏輯回歸通過邏輯函數將預測映射到0到1的區間，因此預測值可被視為某一類別的概率。2)分類樹(集成方法)。對應于回歸樹的分類算法是分類樹。通常，它們都是指決策樹，更為嚴謹的說法是“分類回歸樹”，也就是非常有名的CART算法。3)支持向量機。支持向量機使用一個名為核函數的技巧，來將非線性問題變換為線性問題，其本質是計算兩個觀測數據的距離。支持向量機算法所尋找的是能夠最大化樣本間隔的決策邊界，因此又被稱為大間距分類器。4)樸素貝葉斯。基于條件概率和計數的簡單算法，其本質是一個概率表，通過訓練數據來更新其中的概率。它預測新觀察值的過程，就是根據樣本的特征值在概率表中來尋找最為可能的類別。被稱為“樸素”的原因是其核心的特征條件獨立性假設(例如，每一項輸入特征都相互獨立)在現實中幾乎是不成立的。5)深度學習方法。

第三是聚類[4]。聚類算法基于數據內部結構來尋找樣本自然族群(集群)的無監督學習任務，使用案例包括用戶畫像、電商物品聚類、社交網絡分析等。其中最為常用的算法主要有五種。1)K均值。基于樣本點間的幾何距離來度量聚類的通用目的算法。由于集群圍繞在聚類中心，結果會接近于球狀并具有相似的大小。2)仿射傳播。基于兩個樣本點之間的圖形距離來確定集群，其結果傾向于更小且大小不等的集群。3)分層/層次。主要完成層次聚類的目標。4)DBSCAN。基于密度的聚類算法，它將樣本點的密集區域組成集群；其最新進展是HDBSCAN，它允許集群的密度可變。

在機器學習領域內，兩個最為重要的概念是維度及特征選取。其中“維度(Dimensionality)”通常指數據集中的特征數量(即輸入變量的個數)。而特征選取是從你的數據集中過濾掉不相關或冗余的特征。

特征選取(Feature Selection)[5]主要包括四種方法。1)方差閾值。摒棄掉觀測樣本那些觀測值改變較小的特征(即，它們的方差小于某個設定的閾值)。這樣的特征價值極小。2)相關性閾值。去掉那些高度相關的特征(這些特征的特征值變化與其他特征非常相似)，它們提供的是冗余信息。3)遺傳算法。可用于不同任務的一大類算法的統稱。它們受進化生物學與自然選擇的啟發，結合變異與交叉，在解空間內進行高效的遍歷搜索。4)逐步搜索。逐步搜索是一個基于序列式搜索的監督式特征選取算法。它有兩種形式：前向搜索和反向搜索。

值得注意的是，特征選取與特征提取不同，其關鍵區別在于：特征選取是從原特征集中選取一個子特征集，而特征提取則是在原特征集的基礎上重新構造出一些(一個或多個)全新的特征。

特征提取(Feature Extraction)主要用來創造一個新的、較小的特征集，但仍能保留絕大部分有用的信息，主要包括三種方法。1)主成分分析。非監督式算法，它用來創造原始特征的線性組合。新創造出來的特征他們之間都是正交的，也就是沒有關聯性。具體來說，這些新特征是按它們本身變化程度的大小來進行排列的。第一個主成分代表了你的數據集中變化最為劇烈的特征，第二個主成分代表了變化程度排在第二位的特征，以此類推。 2)線性判別分析。監督式學習方式，它必須使用有標記的數據集。3)自編碼機。人工神經網絡，它是用來重新構建原始輸入的。關鍵是在隱含層搭建比輸入層和輸出層更少數量的神經元。這樣，隱含層就會不斷學習如何用更少的特征來表征原始圖像。

機器學習還包括密度估計(Density Estimation)和異常檢測(Abnormal Detection)的任務，在此略過。總的來說歸類機器學習算法一向都非常棘手，由于其背后實現原理、數學原理等存在差異，其分類標準存在多個維度，而常見的分類標準主要包括：生成/判別、參數/非參數、監督/非監督等。

3 深度學習產生動因淺析

筆者認為，深度學習在機器學習算法中獨樹一幟取得長足發展的原因主要有三點。

第一，深度學習算法能夠在可實現算力內完成相關計算任務。傳統機器學習算法在語音識別、物體識別方面無法有效展開應用，其重要原因之一就是這類算法無法使用語音及圖像的高維度數據(Highdimensional Data)在高維空間學習復雜的函數，這類高維空間通常也意味著對算力的極大消耗，即使算力極為豐富的現階段也無法有效滿足其算力需求；因此，深度學習方法應運而生。傳統機器學習算法所面臨的問題被稱作維度詛咒(Curse of Dimensionality)，高維度數據的參數設置需求隨著變量的增加呈指數型增長，對計算能力提出了極大挑戰，近乎無法完成。而深度學習采用多層調參，層層收斂的方式，將參數數量始終控制在一個較為合理的水平，使得原本不可計算的模型可運算了，其理解如圖1所示。

第二，深度神經網絡具有完備性。從理論上來說，深度神經網絡可以表征任何函數[6]，因此深度神經網絡可以通過不同的參數及網絡結構對任意函數進行擬合，排除了其無法學習到復雜函數的可能性。

第三，深度學習的特征選取完備。深度學習具有自動學習特征的能力，這也是深度學習又叫無監督特征學習(Unsupervised Feature Learning)的原因。從深度學習模型中選擇某一神經層的特征后就可以用來進行最終目標模型的訓練，而不需要人為參與特征選取。

4 深度學習算法及其應用

4.1 算法

人工智能算法從專家系統至特征工程到深度學習這個過程中，人工參與在逐漸減少，而機器工作在逐漸增加，深度學習算法由于其優異表現得到了主流認可，在多方應用中得到長足發展。而其背后的算法主要包括兩個方面[7]。

圖1 深度學習網絡層層收斂可計算

一是卷積神經網絡(Convolutional Neural Network，CNN)。卷積神經網絡是近年發展起來，并引起廣泛重視的一種高效識別方法。現在，CNN已經成為眾多科學領域的研究熱點之一，K.Fukushima在1980年提出的新識別機是卷積神經網絡的第一個實現網絡。隨后，更多的科研工作者對該網絡進行了改進。其中，具有代表性的研究成果是Alexander和Taylor提出的“改進認知機”，該方法綜合了各種改進方法的優點并避免了耗時的誤差反向傳播。

一般地，CNN的基本結構包括兩層。1)特征提取層。每個神經元的輸入與前一層的局部接受域相連，并提取該局部的特征。一旦該局部特征被提取后，它與其它特征間的位置關系也隨之確定下來。2)特征映射層。網絡的每個計算層由多個特征映射組成，每個特征映射是一個平面，平面上所有神經元的權值相等。特征映射結構采用sigmoid函數作為卷積網絡的激活函數，使得特征映射具有位移不變性。此外，由于一個映射面上的神經元共享權值，因而減少了網絡自由參數的個數。卷積神經網絡中的每一個卷積層都緊跟著一個用來求局部平均與二次提取的計算層，這種特有的兩次特征提取結構減小了特征分辨率。

CNN主要用來識別位移、縮放及其他形式扭曲不變性的二維圖形。由于CNN的特征檢測層通過訓練數據進行學習，所以在使用CNN時，避免了顯示的特征抽取，而隱式地從訓練數據中進行學習；再者由于同一特征映射面上的神經元權值相同，所以網絡可以并行學習，這也是卷積網絡相對于神經元彼此相連網絡的一大優勢。卷積神經網絡以其局部權值共享的特殊結構在語音識別和圖像處理方面有著獨特的優越性，其布局更接近于實際的生物神經網絡，權值共享降低了網絡的復雜性，特別是多維輸入向量的圖像可以直接輸入網絡這一特點避免了特征提取和分類過程中數據重建的復雜度。

第二是遞歸神經網絡(Recurrent Neural Network,RNN)。在實際應用中，我們會遇到很多的多序列形數據，如自然語言處理問題中的單詞、語音處理中每幀的聲音信號、每天股票價格的時間序列數據等。為了建模序列問題，RNN引入了隱狀態h(hidden state)的概念。一個RNN網絡中可以存在一個或多個隱狀態，計算時每一步使用的參數都是一樣的，即每個步驟的參數都是共享的，這是RNN的重要特點之一。同時需要注意的是，RNN網絡的輸入和輸出序列必須是等長的。由于這個限制的存在，經典RNN的試用范圍比較小，但也有一些問題適合經典的RNN結構建模，如計算視頻中每一幀的分類標簽。因為要對每一幀進行機選，一次輸入和輸出序列等長；又如輸入為字符，輸出為下一個字符的概率，著名的用于生成文章、詩歌甚至是代碼的Char RNN(The Unreasonable Effectiveness of Recurrent Neural Networks)就是一個很好的例子。

當我們要處理的問題輸入是一個序列，輸出是一個單獨的值而不是序列的時候，需要對RNN網絡中最后一個h進行輸出變化即可完成。這種結構通常用來處理序列分類問題。如輸入一段文字判別它所屬的類別，輸入一個句子判斷其情感傾向，輸入一段視頻并判斷它的類別等等。對于輸入不是序列而輸出為序列的情況，只需要在序列開始時進行輸入計算或把輸入信息作為每個階段的輸入即可。這種網絡結構可以處理的問題包括兩方面，一是從圖像生成文字，此時輸入的是圖像的特征，而輸出的序列是一段句子，二是從類別生成語音或音樂等。

RNN最重要的一個變種是N輸入M輸出，這種結構又叫做Encoder-Decoder模型，也可稱之為Seq2Seq模型。實際生產生活中我們遇到的大部分問題序列都是不等長的，如機器翻譯中源語言和目標語言中的句子往往沒有相同的長度。為此Encoder-Decoder結構會先將輸入數據編碼成一個上下文向量C，得到C的方式有多種，最簡單的方法就是把Encoder的最后一個隱狀態賦值給C，還可以對最后的隱狀態做一個變換得到C，也可以對所有的隱狀態做變換。在得到C后，就用另一個RNN網絡對其解碼，這部分RNN網絡被稱為Decoder。具體做法就是將C當做之前的初始狀態輸入到Decoder網絡中。

由于這種Encoder-Decoder結構不限制輸入和輸出的序列長度，因此應用范圍廣泛，常見應用包括：1)機器翻譯，Encoder-Decoder的最經典應用是在機器翻譯領域最先提出的；2)文本摘要，輸入是一段文本序列，輸出是這段文本序列的摘要序列；3)閱讀理解，將輸入的文章和問題分別編碼，再對其進行解碼得到問題的答案；4)語音識別，輸入是語音信號序列，輸出是文字序列。

在Encoder-Decoder結構中，Encoder把所有的輸入序列都編碼成一個統一的語義特征C再解碼，因此，C中必須包含原始序列中的所有信息，它的長度就成了限制模型性能的瓶頸。如機器翻譯問題，當需要翻譯的句子較長時，一個C可能存不下那么多信息，就會造成翻譯精度的下降。而Attention機制通過在每個時間輸入不同的C來解決這個問題，每一個C會自動去選取與當前所要輸出的結果最合適的上下文信息。

4.2 不足

以上簡要介紹了深度學習CNN及RNN兩類網絡的基本原理及應用場景，雖然其在多種識別、感知任務中表現優異，但筆者認為也存在著以下三方面的不足[8]。

1)數據基礎問題。我們在實際生產生活中所收集到的數據往往都是小數據，而不是大數據。比如說，我們手機上的個人數據，在教育、醫療、基因的檢測與實驗、學生測驗、客服問答上的數據，都是小數據。所以只有實現從大數據向小數據遷移的通用模型，才能真正幫助更多的領域用上人工智能，這是人工智能的普及性問題，但基于大數據迭代的深度學習模型無法勝任小數據場景業務。

2)模型可靠性問題。深度學習模型非常脆弱，稍加移動、離開現有的場景數據，它的效果就會降低；因此深度學習模型的可靠性是一個重要問題。對機器學習來說，由于訓練數據和實際應用數據存在區別，訓練出來的模型被用于處理它沒有見過的數據時，效果就會大打折扣。而緩解這一問題的辦法，正是遷移學習，它能把可靠性提升一個臺階。

3)應用上的問題，特別是機器學習模型在應用個性化方面的問題。比如在手機上，在推薦信息、服務的時候，它要適用于個人的行為。因為任何個人的數據都是小數據，個性化的問題就是如何把云端的通用模型適配到終端的小數據上，讓它也能工作。這就是遷移學習比較適合的事情，幫助機器學習從云端往移動端遷移。

5 人工智能技術發展趨勢展望

結合第四部分分析可以看出，人工智能技術未來重要發展方向之一就是遷移學習，而深度學習雖然在當前已經大放異彩，但未來仍存在很大的提升空間。

遷移學習存在天然優勢[9]。深度學習的特點是用非線性的方法把原始特征從低層轉化成高層，這個過程很復雜，它的好處有目共睹，但副產品是特征分層。這對于遷移學習卻是具有優勢的，優勢之一就是能夠對遷移學習的效果進行量化。也就是在不同的遷移目標下，知識從一個領域到另一個領域，不同的層次能遷移多少是可以定量描述的。當然，這里并非所有的參數都能遷移，有一部分知識可以遷移，一部分參數和特征是可以共享的。在深度學習模型中，有些參數負責描述一個領域的內容，有些參數負責描述一個領域的結構；結構的概念比較抽象，內容的概念比較具體，那么描述結構這部分的參數就特別適合遷移。所以人們現在還在尋找一種能把結構和內容區分開的模型，一種類似于深度學習的模型，從而把可遷移部分和不可遷移部分定量地分開。

多任務學習取得相當進展。當幾個不同的任務一起來學習的時候，往往會取得很多優異結果，這就是多任務學習。多任務學習會發現不同領域所共有的知識，因此也更容易抽象出高層的知識，從而使得表達不同領域之間的共性更為容易。所以，多任務學習和遷移學習的目標是一致的，都是要實現比較穩定的知識表達，殊途而同歸。

綜上，關于人工智能技術發展需求及方向，筆者認為主要包括兩方面。第一是快，深度學習的訓練現在還存在效率低效果差等問題，而解決這些問題除了使用新的算法，還需要在系統架構上實現突破。如參數服務器、底層服務器架構等方向目前均在快速發展。在計算速度、訓練速度上如何加快將是非常重要的一個問題。第二是可靠性，如本文第四部分闡述的觀點，遷移學習對于人工智能技術能否合理地推廣應用到小數據領域十分重要；多任務學習雖然發展潛力巨大，但由于各個領域基本要素不同，如圖像領域的基本結構是像素，語音領域的基本結構就是聲波頻率，自然語言領域則很難界定其基本要素[10]，因此一個通用的人工智能系統現階段還是不具有實際意義的，人工智能的落地一定是場景強相關的，場景對一個垂直型的機器學習非常重要。

6 結語

人工智能技術經過六十余年發展，相關知識沉淀浩如煙海，本文僅針對人工智能技術中機器學習、深度學習常用算法進行了簡要的梳理解析，希望能更為客觀謹慎地看待人工智能技術發展。當前深度學習算法及網絡發展日新月異，相關觀點及技術新舊更替極快，本文談及的算法及觀點難免存在疏漏和偏差，懇望同仁指正。

[1]劉峽壁.人工智能導論:方法與系統[M].北京:國防工業出版社,2008

[2]深層學習為何要“Deep”[EB/OL].[2018-02-05].https://zhuanlan.zhihu.com/p/24245040

[3]Christopher M Bishop.Pattern Recognition and machine learning[M].Singapore:Springer,2006

[4]孫吉貴,劉杰,趙連宇.聚類算法研究[J].Journal of Software,2008,19(1):48-61

[5]Khalid S,Khalil T,Nasreen S.A survey of feature selection and feature extraction techniques in machine learning[C]//2014 Science and Information Conference,London,2014:372-378

[6]Michael Nielsen.Neural Network and deep learning[EB/OL].[2017-12-28].http://neuralnetworksanddeeplearning.com/

[7]Ian Goodfellow,Yoshua Bengio,Aaron Courville.Deep Learning[M].MIT Press,2016

[8]楊強.深度學習的遷移模型[C]//中國人工智能大會,杭州,2017

[9]Pan S J,Yang Q.A Survey on Transfer Learning[J].IEEE Transactions on Knowledge & Data Engineering.2010,22(10):1345-1359

[10]宗成慶.統計自然語言處理(第2版)[M].北京:清華大學出版社,2008