基于深度學習的自然語言處理

竺寶寶+張娜

摘 要：深度學習是機器學習中接近AI的領域之一，通過模擬人腦學習神經進行分析。深度學習源于人工神經網絡的研究，其對比簡單學習來講，多數分類、回歸等學習算法歸于簡單機器學習，復雜函數運算的表示能力和局限性與有限樣本和計算單元對有關，泛化能力也受到復雜分類的一定限制。

關鍵詞：深度學習；自然語言；非線性網絡結構

1 深度學習

1.1 深度學習的基本概念

深度學習是學習深層非線性網絡的一種結構，通過展現復雜函數逼近，用輸入數據分布式來表示，最終將數據樣本集中學習數據集本質特點的能力展現出來。通過含多隱層的多層感知器來進行深度學習。深度學習可以更多地模擬神經層神經活動，使用組合低層特征來合成更加抽象的高層屬性特征類別，來更好地展現數據分布式特性。深度學習的理論由Hinton等于2006年提出，通過非監督貪心逐層訓練深信度網（Deep Belief Network， DBN）的算法，為解決深層結構相關的優化難題帶來更好的指導方向。Lecun等提出的是最早的真正多層結構學習算法之一—卷積神經網絡，通過空間關系的參數相對數量減少以減少訓練誤差。

1.2 深度學習結構模型

深度學習按照模型和技術的應用把模型歸為3類。

1.2.1 生成性深度模式

該模式通過講述觀測數據和相應類別的聯合概率分布，來展現數據的高階相關特點，同時，區別于傳統型神經分區網絡，通過聯合概率分布獲取觀測數據標簽的，來更好地進行先驗概率和后驗概率的預測，而區分型模型卻不能對其進行推測。DBN恰恰解決了傳統多層網絡神經算法訓練BP的難點：大量含標簽訓練樣本集，收斂速度比較慢，由不適宜的訓練數據選擇陷入局部最佳。

DBN是由一組系列的受限波爾茲曼機（Restricted Boltzmann Machine，RBM）單元組合成的，RBM通過非常典型的網絡神經，來使網絡可視層和隱層單元相互連接，通過獲取輸入為可視單元高階隱單元。RBM權值相對會比較比較輕松，與傳統網絡sigmoid的信度不同。通過預訓練獲取的生成性權值，采用無監督貪心的模式逐層不停完成。在訓練過程中，簡單來說，將可視向量的值映射給隱單元，隱層單元的重建由可視單元來完成；最后次映射給隱單元就由新可視單元來實現，最終來完成隱單元的更新。一個DBN由自下向上的多個不同的RBM構建組合。將可用的隱單元通過高斯—伯努利RBM，伯努利—伯努利RBM結構，輸出作為訓練上層伯努利—伯努利RBM的導入和下層伯努利和伯努利的導出，以此類推等等。

1.2.2 區分性深度模式

為提供對模式分類區分訓練的能力，描述數據后驗實現的分布。卷積神經網絡（Convolutional Neural Network， CNN）屬于區分性訓練，一個真正實踐訓練多層成真的網絡結構算法，DBNs算法和它相反。通過具有相同參數神經元作用于視覺系統結構啟發，在上一層的不同位置生成一種不變性的特征。于是LeCun等沿著這種指導，為了CNN深度學習框架是為了滿足最小化預處理數據的實踐，要求BP算法設計來生成CNN。由早期時間延遲神經網絡的指導影響，CNN由早期時間延遲神經網絡的方法通過共享時域權值的大小來實現。CNN是一種一般前向的BP訓練常用拓撲模型，利用空間相對的關系減少參數的數量來提高的，而且在多個實驗中取得不錯的效果。通常用作局部感受區域圖像小部分最底層的基本輸入，不同信息網絡的逐層層次傳遞，從而能夠實現在每一層數據顯著特征，來獲得對平移、縮放、旋轉不變的觀測。

1.2.3 混合型模型

混合型模型是區分更佳性的目標，通常利用生成型結構輸出。混合型結構模型學習—生成性部分與區分性部分。區分性任務經常用來現有典型生成性的單元，應用于分類任務，預訓練通過當有生成性模型結合其他典型的區分性學習算法來對優化進行所有權值。一個頂層變量通過附加來為訓練集提供的期望輸出區分性尋優。優化DBN的權值用BP算法來實現，通過RBM和DBN初始權值預訓練，這樣一來網絡性能就會更加優越，相對于那些只通過BP算法單獨訓練的網絡，BP對DBNs訓練不但擁有完成局部參數空間搜索的優勢，而且和前饋型神經網絡相比，加快了訓練效果和收斂回饋時間的速度。

2 訓練過程

神經網絡模式有指導學習和無指導學習，有指導學習是主流的，無指導學習用來聚集分析。有指導的模式識別，同類樣本通過一種適當的空間劃分方法或邊界在空間的分布以及和不同類樣本之間的分離程度找，使不同的樣本分別對應各自的區域，一個很長時間和復雜的學習過程是必須的。空間分類邊界不斷調整樣本，使其更符合樣本原本的屬性。總的來說，卷積網絡通過大量的輸入和輸出之間的關系映射，本質上是一種輸入到輸出的映射關系，用已知的模式對卷積網絡加以訓練，使其具備映射能力，通過對有指導的訓練，樣本集由空間向量對構成，來模擬系統實際的運行結果。訓練前為了保證系統網絡不會因權值過大而進入飽和狀態所有的權通過不同的小隨機數進行初始化，確保不出現異常，不同的數據使網絡系統更好地正常學習模擬真實的環境，使其更加具備兼容性和完整性。

3 結語

CNN這種層間關系和空域信息的緊密關系，更加適用于圖片處理和理解。尤其是在提取圖像顯著特征方面展現出優勢。GABOR濾波器經常被用來模擬人類視覺系統對視覺刺激的響應初始化欲處理的步驟中。人們在未來的工作中，將用到更多的深度學習內容，包括人臉識別、文檔分析和語言檢測等方面。目前CNN通過一個時間相干性去訓練，但不是它特有的。

用最近比較火的Python做一個人臉識別的小程序，幫助大家更好地學習了解深度學習，做人臉識別要用到SIFT特征，經常會遇到配置好opencv之后，卻找不到人臉識別的頭文件的問題，找不到SIFT在哪。這是因為使用OpenCV3.0之后，把一些還在更新的、不是很穩定的，在測試階段的東西放在了contrib模塊里面。而且官方默認不帶contrib模塊。然而人們最想用的人臉識別和SIFT特征都在contrib里面。如果需要用的話，就需要自己編譯，Python用起來比較方便。

官網下載并安裝OpenCV之后，在目錄＼opencv＼build＼python＼2.7＼x64之下有一個cv2.pyd文件，把它拷貝到python安裝目錄下的＼Lib＼site-packages文件夾下面即可。需要注意的是版本要對應。如圖1所示，以貓臉檢測為例，說明基于OpenCV的貓臉檢測十分簡單。用Python的話只有區區20行代碼。其中20行代碼中發揮主要作用的只有一個函數：detectMultiScale（）。

此函數的作用是，在輸入圖像中檢測不同尺寸的對象，返回包含對象的矩形框。它接收的參數：（1）image—輸入圖像；（2）scaleFactor—每輪檢測圖像齒輪減少的比例；（3）minNeighbors—對象要至少被檢測到幾次才能判定對象確實存在；（4）minSize—檢測對象的最小尺寸；（5）maxSize—檢測對象的最大尺寸。

本文以貓臉檢測為例，說明在OpenCV下，人臉檢測、行人檢測、人眼檢測等都是同樣的道理，同樣的流程。只需要把最開始相應的檢測器換掉，然后按照實際情況調節detectMultiScale（）的參數。

[參考文獻]

[1]翟劍鋒.深度學習在自然語言處理中的應用[J].電腦編程技巧與維護，2013（18）：74-76.

[2]王臻，常寶寶，穗志方.基于分層輸出神經網絡的漢語語義角色標注[J].中文信息學報，2014（6）：56-61.

[3]聶振海，賈丹.深度學習研究概述[J].科技創新導報，2015（30）：224.