深度學習發展來源研究

周勇 吳瑕 周為 狄宏林

東莞市廣播電視大學

?

深度學習發展來源研究

周勇 吳瑕 周為 狄宏林

東莞市廣播電視大學

深度學習帶來了機器學習的一個新浪潮，受到從學術屆到工業界的廣泛重視，也導致了“大數據+深度模型”時代的來臨，深度學習在各個領域都得到了廣泛的應用并取得了發展優勢，本文論述了深度學習的起源，對深度學習的三個起源機械學習、神經網絡、深度學習作了詳細介紹。

機器學習 深度學習 神經網絡 大數據

深度學習是機械學習研究的一個新領域，尤其是大數據時代的爆炸式到來，大數據技術已在很多技術和行業廣泛應用，由于大數據存在復雜、高維、多變等特性，如何從復雜的大數據中挖掘出人類感興趣的知識，迫切需要更深刻的機器學習理論進行指導。了解深度學習發展的來源，可以讓我們更有效的提出深度學習的模型及改進算法。

1　萌芽階段：機器學習

機器學習在人工智能領域具有舉足輕重的地位，如果一個智能系統不具有學習能力，那它就不能稱為一個真正的智能系統。機器學習通過算法，讓機器可以從外界輸入的大量的數據中學習到規律，從而進行識別判斷。傳統機器學習的問題主要包括如下4個方面：理解并且模擬用戶的學習過程；針對計算機和用戶之間的自然語言接口的研究；針對不完整的信息進行推理和推算的能力，即自動規劃和解決問題；創造可發現新的程序。

傳統機器學習面臨的一個新挑戰是如何處理大數據。目前，包含大規模數據的機器學習問題是普遍存在的，但是，由于現有的許多機器學習算法是基于內存的，大數據卻無法裝載進計算機內存，故現有的諸多算法不能處理大數據。

2　草創階段：神經網絡

神經網絡是智能學科的重要部分，為解決復雜問題和智能控制提供了有效的途徑。神經網絡曾一度成為機器學習領域備受關注的方向。

1943年，美國芝加哥大學心理學家和數理邏輯學家最先建立神經網絡和數學模型，即神經元模型，這是人工神經網絡研究的開端。人工神經網絡研究的內容相當的廣泛，包括生物原型、建立模型、算法、應用等。在這些理論模型基礎上構建的神經網絡（計算機模擬），相比傳統的方法，具有并行、容錯、可以硬件實現和自我學習等優點。神經網絡為解決一些復雜度較高的問題提供了一種相對有效的簡單方法。一般情況下，我們把神經網絡劃分為輸入層、輸出層和隱層：輸入層的每個節點對應一個預測變量；輸出層的節點對應目標變量（可有多個）；在輸入層和輸出層之間的是隱層，目前為止，隱層層數和節點數的選取仍然沒有相關的理論支持，只是靠經驗來選取。

人工神經網絡的學習也稱為訓練，通過輸入參數的刺激來調整網絡參數。一般有兩種學習方法：無監督學習和有監督學習。有監督的學習，就是利用提供的訓練集進行模仿或分類；無監督的學習，只規定學習的方式和規則，具體的學習內容會隨訓練庫的不同而不同，系統可以根據學習來發現特征。在人工神經網絡的設計與使用過程中，從互聯結構來看，包括前饋網絡，反饋型局部互聯網絡，有反饋的前饋網絡，全反饋型網絡（如網絡和玻爾茲曼機），以及自組織網絡等等。

深度學習可以理解為神經網絡的發展，神經網絡是對人腦或生物神經網絡基本特征進行抽象和建模，可以從外界環境中學習，并以與生物類似的交互方式適應環境。

3　形成階段：深度學習

在大數據條件下，簡單的機器學習模型會比復雜模型更加有效。比如說，在很多的大數據應用中，最簡單的線性模型得到大量使用。而最近深度學習的驚人進展促使我們也許到了要重新思考這個觀點的時候。簡而言之，在大數據情況下，也許只有比較復雜的模型，或者說表達能力強的模型，才能夠充分發掘海量數據中蘊藏的豐富信息。現在我們到了需要重新思考“大數據+簡單模型”的時候。運用更強大的深度模型，也許我們能從大數據中發掘出更多的有價值的信息和知識。淺層模型有一個重要特點，就是假設靠人工經驗來抽取樣本的特征，而強調模型主要是負責分類或預測。在模型的運用不出差錯的前提下（比如，假設互聯網公司聘請的是機器學習的專家），特征的好壞就成為整個系統性能的瓶頸。因此，通常一個開發團隊中更多的人力是投入到發掘更好的特征上去的。發現一個好的特征，要求開發人員對待解決的問題要有很深入的理解。而達到這個程度，往往需要反復的摸索，甚至是數年磨一劍。因此，人工設計樣本特征，不是一個可擴展的途徑。

深度學習的實質，是通過構建具有很多隱層的機器學習模型和海量的訓練數據，來學習更有用的特征，從而最終提升分類或預測的準確性。所以，“深度模型”是手段，“特征學習”是目的。區別于傳統的淺層學習，深度學習的不同在于：強調了模型結構的深度，通常有 5層、6層，甚至10多層的隱層節點；明確突出了特征學習的重要性，也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而分類或預測更加容易。

［1］丁世飛.人工智能［M］.北京：清華大學出版社，2011

［2］史忠值.神經網絡［M］.北京：高等教育出版社，2009

個人簡介

周勇，男，1980-，山東人，漢，學士學位，職稱：講師，研究方向：數據挖掘與處理。