機(jī)器學(xué)習(xí)方法進(jìn)展研究

王永慶 劉華

摘 要：近年來(lái)機(jī)器學(xué)習(xí)方法在諸多領(lǐng)域得到成功的應(yīng)用與發(fā)展，已成為計(jì)算機(jī)科學(xué)的研究熱點(diǎn)之一。本文介紹了機(jī)器學(xué)習(xí)的定義、發(fā)展歷史與學(xué)習(xí)策略分類(lèi)，并對(duì)目前存在的問(wèn)題與挑戰(zhàn)進(jìn)行了分析與展望。

關(guān)鍵詞：機(jī)器學(xué)習(xí)；計(jì)算機(jī)科學(xué)；學(xué)習(xí)機(jī)理；策略研究

隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，人們嘗試著使計(jì)算機(jī)具有和我們一樣或類(lèi)似的學(xué)習(xí)能力，從而產(chǎn)生了一個(gè)新的研究學(xué)科-機(jī)器學(xué)習(xí)。總體而言，機(jī)器學(xué)習(xí)是指令計(jì)算機(jī)通過(guò)對(duì)目標(biāo)的識(shí)別，利用人類(lèi)提供的現(xiàn)有知識(shí)來(lái)獲取新知識(shí)和新技能，不斷改善性能，實(shí)現(xiàn)自我完善。

1 機(jī)器學(xué)習(xí)發(fā)展史

統(tǒng)計(jì)學(xué)習(xí)理論創(chuàng)始人之一的Vapnik將機(jī)器學(xué)習(xí)歸結(jié)為如下四個(gè)階段。

1.1 學(xué)習(xí)機(jī)器的產(chǎn)生

第一個(gè)學(xué)習(xí)機(jī)器的模型是F.Rosenblatt在1962年提出的感知器。它借鑒了神經(jīng)生理學(xué)領(lǐng)域中感知器的思想，將其模型表示為一個(gè)計(jì)算程序，并通過(guò)簡(jiǎn)單的實(shí)驗(yàn)說(shuō)明了這個(gè)模型的結(jié)果可以進(jìn)行推廣和泛化。感知器通過(guò)給定的樣本構(gòu)造一條判斷準(zhǔn)則來(lái)區(qū)分不同類(lèi)別的數(shù)據(jù)，因此可以用來(lái)解決模式識(shí)別問(wèn)題。

1.2 學(xué)習(xí)理論基礎(chǔ)的創(chuàng)立

1968年，Vapnik和Chervonenkis提出VC維和VC熵來(lái)解決模式識(shí)別問(wèn)題。利用這些概念學(xué)者發(fā)現(xiàn)了大數(shù)定律和關(guān)于收斂速率的非漸近界。1989年，Vapnik和Chervonenkis提出的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則、正則化理論、解決密度估計(jì)問(wèn)題的非參數(shù)方法，以及算法復(fù)雜度思想，都對(duì)學(xué)習(xí)理論的發(fā)展產(chǎn)生了深遠(yuǎn)的影響。

1.3 神經(jīng)網(wǎng)絡(luò)的產(chǎn)生

1986年，LeCun和Rumelhart各自獨(dú)立地提出了后向傳播方法。該方法采用連續(xù)的Sigmoid逼近函數(shù)代替了感知器神經(jīng)元中的不連續(xù)符號(hào)函數(shù)，使人們可用任何基于梯度的方法來(lái)逼近預(yù)期函數(shù)。它的出現(xiàn)標(biāo)志著學(xué)習(xí)機(jī)器歷史進(jìn)入了一個(gè)新紀(jì)元。

1.4 統(tǒng)計(jì)學(xué)習(xí)理論的創(chuàng)立

為了根本解決傳統(tǒng)統(tǒng)計(jì)學(xué)理論中過(guò)學(xué)習(xí)等弊端，Vapnik于20世紀(jì)60-70年代創(chuàng)立了統(tǒng)計(jì)學(xué)習(xí)理論。與傳統(tǒng)統(tǒng)計(jì)學(xué)相比，它是一種專(zhuān)門(mén)研究有限樣本下機(jī)器學(xué)習(xí)規(guī)律的理論，不僅考慮了對(duì)漸近性能的要求，并且追求在有限信息下獲得最優(yōu)結(jié)果，在理論研究和實(shí)際應(yīng)用中都取得了良好效果。

2 機(jī)器學(xué)習(xí)策略分類(lèi)

在眾多機(jī)器學(xué)習(xí)策略中，可從不同角度，根據(jù)不同原則對(duì)其進(jìn)行分類(lèi)。本文按照分類(lèi)原則提出的先后順序以及所用推理策略的繁簡(jiǎn)程度將其分為以下兩大類(lèi)。

2.1 傳統(tǒng)策略

⑴機(jī)械式學(xué)習(xí)。該方法是一種最簡(jiǎn)單、原始，也最基本的學(xué)習(xí)策略。它通過(guò)記憶和評(píng)價(jià)外部環(huán)境所提供的信息達(dá)到學(xué)習(xí)的目的。學(xué)習(xí)系統(tǒng)要做的工作就是把經(jīng)過(guò)評(píng)價(jià)所獲取的知識(shí)存儲(chǔ)到知識(shí)庫(kù)中，求解問(wèn)題時(shí)就從知識(shí)庫(kù)中檢索出相應(yīng)的知識(shí)直接用來(lái)求解問(wèn)題。

⑵指導(dǎo)式學(xué)習(xí)。該方法通過(guò)由外部環(huán)境向系統(tǒng)提供一般性的指示或建議，把它們具體地轉(zhuǎn)換為細(xì)節(jié)知識(shí)并送入知識(shí)庫(kù)。在學(xué)習(xí)過(guò)程中要反復(fù)對(duì)形成的知識(shí)進(jìn)行評(píng)價(jià)，使系統(tǒng)的知識(shí)庫(kù)不斷完善。

⑶歸納學(xué)習(xí)。該方法應(yīng)用歸納推理進(jìn)行學(xué)習(xí)。歸納推理指從足夠多的事例中歸納出一般性的知識(shí)，是一種從個(gè)別到一般的推理。常用的方法有枚舉歸納、聯(lián)想歸納、類(lèi)比歸納、逆推理歸納和消除歸納等。

⑷類(lèi)比學(xué)習(xí)。類(lèi)比是人類(lèi)認(rèn)識(shí)世界的一種重要方法，也是誘導(dǎo)人們學(xué)習(xí)新事物、進(jìn)行創(chuàng)造性思維的重要手段。類(lèi)比學(xué)習(xí)就是通過(guò)對(duì)相似事物進(jìn)行比較所進(jìn)行的一種學(xué)習(xí)。

⑸基于解釋的學(xué)習(xí)。該方法通過(guò)運(yùn)用相關(guān)領(lǐng)域知識(shí)，對(duì)當(dāng)前提供的實(shí)例進(jìn)行分析，從而構(gòu)造解釋并產(chǎn)生相應(yīng)知識(shí)。

2.2 現(xiàn)代策略

⑴基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)由神經(jīng)元單元及其間帶權(quán)重的連接組成，每個(gè)單元的狀態(tài)由與其相連接其他單元的輸入共同決定。該方法使用樣本來(lái)訓(xùn)練網(wǎng)絡(luò)，產(chǎn)生網(wǎng)絡(luò)的內(nèi)部表示，并用來(lái)識(shí)別新樣本。

⑵基于統(tǒng)計(jì)學(xué)習(xí)理論的學(xué)習(xí)。Vapnik創(chuàng)立的統(tǒng)計(jì)學(xué)習(xí)理論針對(duì)有限樣本統(tǒng)計(jì)問(wèn)題建立了一套新的理論體系，不僅考慮了對(duì)漸近性能的要求，并且追求在有限的信息條件下獲得最優(yōu)的結(jié)果。其典型代表SVM，具有許多傳統(tǒng)統(tǒng)計(jì)學(xué)方法不具備的優(yōu)點(diǎn)。

⑶強(qiáng)化學(xué)習(xí)。該理論是在上世紀(jì)80年代，基于試錯(cuò)方法、動(dòng)態(tài)規(guī)劃和瞬時(shí)誤差方法形成的。

⑷集成學(xué)習(xí)。該方法集成若干單分類(lèi)器的分類(lèi)結(jié)果來(lái)綜合決定最終分類(lèi)，可取得比單分類(lèi)器更好的性能。其主要方法有Bagging、Boosting、Stacking、樸素貝葉斯集成、決策樹(shù)集成、人工神經(jīng)網(wǎng)絡(luò)集成、K-近鄰集成、在線(xiàn)集成等等。

⑸主動(dòng)學(xué)習(xí)。該方法模擬人的學(xué)習(xí)過(guò)程，選擇標(biāo)記部分樣例加入訓(xùn)練集，迭代提高分類(lèi)器的泛化性能。

[參考文獻(xiàn)]

[1]閆友彪，陳元琰.機(jī)器學(xué)習(xí)的主要策略綜述[J].計(jì)算機(jī)應(yīng)用研究，21（7）：4-13，2004.

[2]王文.淺析機(jī)器學(xué)習(xí)的研究與應(yīng)用[J].計(jì)算機(jī)與信息技術(shù)，Z2：7-9，2010.