基于稀疏自學習卷積神經網絡的句子分類模型

高云龍 左萬利 王 英 王 鑫

1(吉林大學計算機科學與技術學院 長春 130012)

2(符號計算與知識工程教育部重點實驗室(吉林大學) 長春 130012)

3(長春工程學院計算機技術與工程學院 長春 130012)

(1458299660@qq.com)

句子是傳遞人類意見、情感等語義的一種基本的語言表示形式.在自然語言處理中，句子模型[1]是句子語義、情感分析以及句子分類的有效工具.傳統句子模型的構建往往基于語言的文法(產生句子的規則)，即句法驅動的句子模型構建：根據文法，構建句子對應的分析樹，從而理解句子的層次化結構.由于不同語言的句法通常并不一致，且一個句子的語義并非是句子各個部分語義的簡單組合[2]，因此句法驅動的句子模型的構建往往有很大的局限性.基于深度學習網絡構建的句子模型，不依賴于特定語言的句法，其輸入往往為句子中每個詞的詞向量，神經網絡根據其學習的特征函數從詞向量中提取特征，所提取的特征作為原始句子的高層次的抽象，可以用于句子語義分析或者句子分類.

深度學習網絡在計算機視覺、語音識別等領域中已經取得了巨大的成功[3]；在自然語言處理領域，深度學習網絡雖然沒有取得系統性的突破，但也得到很多研究人員的廣泛關注[4].目前，在句子分類領域的大多數卷積神經網絡模型(convolutional neural networks, CNNs)中，卷積層的輸入特征map是通過人工選擇的，雖然取得了較好的效果，但往往偏離最優值.基于以上研究，本文提出一個基于稀疏自學習卷積神經網絡(sparse and self-taught CNN, SCNN)的句子分類模型，實現了卷積層自動學習輸入組合的功能，并首次應用于句子分類問題中.主要貢獻包括2個方面：

1) 在模型訓練過程中，通過自學習策略，讓卷積層自己學習特征map的輸入組合，在一定程度上排除了人為因素的干擾；

2) 在卷積層，利用L1范數為模型增加稀疏性約束，使得神經元節點在大部分的時間內都是處于被抑制的狀態，進而使得模型在復雜度和泛化誤差之間達到平衡.

通過與4種基本的句子分類模型進行對比，實驗結果表明:在所使用的4組英文數據集中，SCNN模型可以有效地用于提取數據特征，在句子分類方面均取得較優的效果.

1 相關工作

通常來講，句子模型是人類理解自然語言的重要基礎，是計算機處理句子語義和情感分析以及句子分類等自然語言處理工作的有效工具.句子分類模型的構建本質上是學習語句數據所包含的特征[5]，按照所提取特征的不同，本文將句子分類模型分為2種：基于語言學特征的句子分類模型和基于神經網絡的句子分類模型.

基于語言學特征的句子分類模型往往提取與語言相關的特征.大量的相關研究證明模型所學習的語言學特征對于自然語言處理能夠提供十分重要的價值[6].多年來，研究學者提出了許多類型的語言學特征. Pang等人[7]提出使用N-grams特征可以有效地識別影評的極性，其中，Unigram特征的效果最佳；Turney[8]提出5種無監督的基于句法的句子模型，可以有效地用于提取句子的情感信息，進而處理句子情感分類問題；Yang等人[9]提出基于語句上下文語境的模型CRF-PR，可以有效地整合局部以及全局的語句上下文信息，并利用帶有語言學特征的正則化因子訓練CRF模型，在情感分類問題上取得較好的效果；Wang等人[10]利用詞語bigram特征訓練NB和SVM模型，在句子或文本主題分類問題中取得一致的較好的效果；Silva等人[11]使用多組基于語言學的特征(uni-bi-trigram, wh word, head word, POS, parse, hypernyms)訓練SVM模型，可以有效地用于問題分類.基于語言學特征的句子分類模型也存在著許多不足[12]：1)提取特征是十分費時的，其消耗往往隨著數據集規模的變大而呈現指數型增加；2)模型所提取的語言學特征具有局限性，缺乏實質性的實驗數據表明它們對于不同類型的數據集均顯示出良好的有效性.

近年來，一些基于數據驅動的模型相繼被提出.其中，基于神經網絡的句子分類模型將神經網絡模型與分類模型進行有效的組合，在句子分類問題上往往較傳統的機器學習算法或者基于語言學的句子分類模型都表現出良好的效果.Kim[13]首次將卷積神經網絡CNN應用到句子模型的構建中，并提出了幾種變形；Kalchbrenner等人[14]提出一種動態卷積神經網絡(dynamic convolutional neural network, DCNN)的網絡模型，由一維的卷積層以及動態的K-Max池化層構成，卷積層采用的是廣義卷積，可以處理變長的句子；Hu等人[15]利用CNN網絡研究句子匹配的問題，提出多個卷積層實現的是提取句子中不同組合的語義信息，而池化層則過濾掉置信度較低的特征；He等人[16]采用多種不同類型的卷積和池化來實現對句子的特征表示，并利用所學習到的特征表示構建句子相似度模型.基于神經網絡的句子分類模型由于使用詞向量數據，并且不依賴于特定語言的句法，因此在不同類型的數據集或者不同的語言中都顯示出良好的擴展性和有效性.

2 句子分類模型SCNN框架

Fig. 1 Structure of the SCNN model圖1 SCNN模型結構圖

本文提出的基于稀疏自學習卷積神經網絡句子分類模型SCNN共有5層(不含輸入層)，如圖1所示.利用Word2vec工具，將語料庫中的句子轉換為詞向量矩陣，并作為模型SCNN的輸入，卷積層在詞向量矩陣的每一行上進行一維卷積，并采用廣義卷積，池化層采用K-Max Pooling，選擇每一行中較大的K個特征，并同時維護特征相對位置不變；第3層(卷積層)自學習前一層特征map的輸入組合，排除人為因素，同時在訓練過程中增加稀疏性約束；第4層(池化層)輸出全連接到softmax層，利用提取的特征訓練分類器.

與現有處理句子分類的卷積神經網絡模型相比，SCNN模型的第3層(卷積層)充分基于自學習和稀疏性思想，即不人為約定卷積層節點的輸入，通過訓練使得節點可以動態學習前一層輸入的有效組合，從而可以動態捕獲句子范圍內各個特征的關聯.如圖1所示的SCNN模型中，訓練結果顯示第2層的第1個特征矩陣對于第3層的2個特征map均產生作用，而第2個特征矩陣只對第3層的第2個特征map產生作用，從而使得卷積層學習到不同的特征表示.

在圖1所示的模型中，輸入句子長度s=7，其對應的詞向量矩陣維度為4×7；第1層廣義卷積操作(卷積核維度m=2)得到該層的feature map，維度為4×8；池化層選取對應卷積層feature map每一維的最大的K個特征，得到池化層的特征矩陣，維度為4×5；第3層(卷積層)采用稀疏自學習前一層特征矩陣的輸入組合，特征矩陣的維度為4×6；第4層(池化層)同樣選取前一層每一維度最大的K個特征，得到的特征矩陣將作為一個輸入向量輸入到softmax分類器中，從而實現對句子分類.

3 構建句子分類模型SCNN

3.1 廣義卷積

卷積是卷積神經網絡CNN重要的特征之一.卷積層以特征map為組織結構，其中的每一個單元與前一層的局部感受野相連，利用共享的卷積核與局部感受野作卷積運算，再經過非線性函數(如Sigmoid，ReLU)作用，得到特征值[17]. 通常來說，卷積指的是狹義上的卷積，即對于某一句子輸入c∈s，一維卷積核k∈m，且滿足s≥m，我們得到式(1)，卷積結果c′∈s-m+1:

cj′=kTcj:j+m, 0≤j≤s-m+1.

(1)

為了使得卷積核可以作用到整個輸入句子向量上，包括句子邊緣上的詞，Kalchbrenner等人[14]提出一種廣義卷積運算，也稱寬卷積.廣義卷積不要求s與m的大小關系，同時保證卷積輸出c′不為空向量.如表達式(2)所示，c′∈s+m-1，當j<0或者j>s時，cj=0:

cj′=kTcj:j+m, -m+1≤j≤s.

(2)

由式(1)(2)可知，狹義卷積結果為廣義卷積結果的一個子集，廣義卷積是狹義卷積的一種擴展，它充分考慮了各種可能存在的特征，從而最大程度上保證所提取特征的多樣性.

一個長度為s的句子對應一個詞向量矩陣Xn ×s，其中n為句子中每個詞的詞向量長度.詞向量是通過語料庫訓練Word2vec模型得到的，設置維度n=200，對于未出現在語料中的詞，其詞向量采用隨機取值進行初始化.將詞向量矩陣輸入SCNN，廣義卷積后卷積層的每一個節點都可以生成一個大小為n×(s+m-1)的特征map.

3.2 稀疏自學習模型

3.2.1 自學習特征組合

一般而言，卷積層l的每一個節點與l-1層的若干節點相關聯，通過卷積核與相關聯的節點的輸出特征map相卷積，再對卷積結果求和，得到其特征map，相關聯的節點通常是人為約定的.這樣，l層第j個輸出特征map可以表示為

(3)

為了排除人為因素對于最優結果產生的偏移，我們嘗試讓模型在訓練過程中自己學習最佳的輸入特征組合.參數αi j表示在得到第j個節點的輸出map時l-1層的第i個節點的貢獻值，得到：

(4)

進一步地，我們可以將αi j表示為一組無約束的隱含參數βi j，通過使用軟最大函數，我們得到：

(5)

在迭代優化模型參數時，需要計算參數變量的梯度.SCNN模型總誤差E對于參數αi j的導數為

(6)

其中,θl為第l層的靈敏度矩陣.

基于鏈式規則，我們進一步可以得到誤差對于隱含參數變量βi j的導數為

3.2.2 稀疏性約束

由式(4)可知，對于l-1層的所有輸入特征map，都會在l層節點的輸出map中產生一定的貢獻值.為了限定只有某幾個輸入特征map是有效的，我們可以通過使用L1范數增加稀疏性限制，使得對于大部分i,有αi j=0.

重寫誤差函數為

(8)

(9)

進一步對于βi j的導數為

(10)

所以，最終誤差函數對于βi j的梯度計算為

(11)

3.2.3 稀疏自學習算法描述

基于以上分析，本文給出SCNN模型稀疏自學習算法的抽象描述：

算法1. 稀疏自學習算法.

輸入:特征矩陣X;

輸出:卷積層參數,包括卷積核K、偏置b、標識矩陣β;

初始化:隨機設置矩陣K,b,β和theta的值.

步驟1. 設置迭代次數iter=0;

步驟2. 將矩陣K,b,β和theta分別轉換成一維向量,并將其連接成一個長向量W;

步驟3. 根據函數1計算卷積層誤差E′和梯度向量grad;

步驟4. 使用擬牛頓法優化向量W;

步驟5.iter=iter+1;

步驟6. 如果iter<1 000,轉到步驟3;

步驟7. 由向量W構造矩陣K,b,β,得到該卷積層參數.

進一步地，本文給出函數calculate_cost_grad形式化描述：

函數1.calculate_cost_grad.

輸入:一維向量W;

輸出:模型誤差E′和梯度向量grad.

步驟1. 根據式(5)計算αi j;

步驟2. 根據式(4)計算卷積層特征矩陣Xc;

步驟3. 計算池化層特征矩陣Xp;

步驟4.Xout=thetaT·Xp;

步驟6. 根據式(8)計算誤差E′;

步驟8. 根據神經網絡模型反向傳播算法計算誤差E′對于K,b,theta的導數，并將其連接成一個長梯度向量grad;

步驟9. 返回模型誤差E′和梯度向量grad.

4 實驗分析

4.1 數據集

為了驗證模型的有效性，本文采用如下4種標準的數據集進行實驗，語料庫均可通過開源網站獲得：

1) MRD(movie review data*http://www.cs.cornell.edu/people/pabo/movie-review-data).電影評論語料庫，每個句子作為1條影評，共有正面、反面2種類別標簽.

2) SST(stanford sentiment treebank*http://nlp.stanford.edu/sentiment/).情感分類語料庫是MRD語料庫的擴展，共有5種類別標簽，分別為：very positive, positive, neutral, negative, very negative.

3) TREC(trec question dataset*http://cogcomp.cs.illinois.edu/Data/QA/QC/).問題分類語料庫，問題標簽共有6種(about person, location, numeric information, etc),用于將問題指定某一具體的類型.

4) CR(customer reviews*http://www.cs.uic.edu/～liub/FBS/sentiment-analysis.html).顧客評論語料庫，關于產品的正面和反面的二元分類語料庫.

語料庫相關說明和具體參數如表1所示.

Word2vec是一款高效的用于將詞表示為詞向量的工具[18]，實驗通過使用Python爬蟲程序抓取的包含有10億數量級的英文詞語的語料庫訓練Word2vec模型，得到詞匯的數量特征表示；卷積層非線性函數為Sigmoid；池化層K值通過10-fold交叉驗證實驗，在按照經驗給出的范圍內選擇使得泛化誤差最低的取值；優化算法選擇擬牛頓法.

Table 1 Specific Parameters of the Corpus表1 語料庫具體參數

Notes:Cis number of target classes;Lis average sentence length;Nis dataset size; |V| is vocabulary size;Testis test set size (CV means there was no standard train/test split and thus 10-fold CV was used).

4.2 實驗結果分析

4.2.1 池化層K值選取對模型的影響

K-Max Pooling是Max Pooling的擴展，用于選取特征map上最大的K個數值特征.K值選取的合適與否在一定程度上影響著實驗的效果，通過10-fold交叉驗證試驗我們得到如圖2所示的實驗結果.

通過圖2可知，對于不同的數據集，K值對于實驗的泛化誤差的影響并不一致：對于平均句子長度為10的數據集TREC，K=8時交叉驗證實驗得到的泛化誤差最低；而對于平均句子長度分別為18,19,20的數據集SST,CR,MRD，K=13時泛化誤差分別達到最低值.實驗結果表明：模型所提取的特征的個數往往要受限于數據集中句子的平均長度，特征個數設置過低，模型容易欠擬合，導致模型不能準確學習數據集合中的真實規律；特征個數設置過高，則模型容易過擬合，從而造成模型的泛化能力過低.

4.2.2 稀疏自學習與非稀疏策略對模型的影響

本文提出的基于稀疏自學習卷積神經網絡的句子模型SCNN，旨在卷積層可以在訓練時自己學習最佳的輸入特征map的組合，代替將前一層全部的特征map作為下一層的輸入，采用“軟”概率參數αi j作為輸入的貢獻值,并使用L1范數增加稀疏性限制，從而降低模型的復雜度.

Fig. 2 Influence of K on generation error圖2 K值對于泛化誤差的影響

模型選擇的典型方法是正則化.正則化是結構風險最小化策略的實現，是在經驗風險上加一個正則化項或者罰項.SCNN模型通過使用L1范數調節模型的復雜度.其中正則化參數q可以用于選擇經驗風險與模型復雜度同時較小的模型.圖3顯示了q值選取的不同對于SCNN模型泛化誤差的影響.通過實驗結果可知：當q值較小時，表現為SCNN模型的復雜度較低，此時SCNN模型呈現出欠擬合狀態，所學習到的特征無法作為模型輸入的抽象表示；當q值較大時，通常表現為SCNN模型的復雜度較高，此時SCNN模型呈現出過擬合的狀態，泛化能力較低，從而導致泛化誤差較高.

將SCNN模型與非稀疏模型卷積網絡句子模型進行對比，我們得到如圖4所示的實驗結果:

Fig. 4 Accuracy comparison between the models圖4 SCNN與非稀疏模型準確率對比

Fig. 5 Experimental results comparison on sentence classification of the models圖5 SCNN模型與其他句子分類模型實驗對比

好的特征具有不變性和可區分性[19]，而人工約定卷積層輸入組合往往并不能讓模型學習到好的特征，從而偏離最優值；SCNN在訓練模型時(池化層K值對應4.2.1節最優值，正則化參數q=0.005)自學習較好的輸入特征map組合，從而更加接近最優值，因此能在測試集上顯示出更好的泛化能力；此外，和人腦神經網絡類似，稀疏性的表達往往比其他表達方式更為有效[20]，SCNN通過加入稀疏性約束，可以使得在同一時刻網絡中大部分神經元都處于被抑制的狀態，而只有少數幾個神經元處于被激活的狀態.由圖4可知，在4組語料庫中，SCNN模型在準確率方面均優于非稀疏模型.

在時間使用方面，實驗結果顯示：由于非稀疏模型訓練較少的參數，時間消耗普遍低于SCNN模型，具體時間消耗情況如表2所示：

Table 2 Time Comparison Between the Models表2 模型時間使用對比 min

4.2.3 SCNN與其他模型比較

本文最后將SCNN模型與其他句子分類模型進行對比，實驗對比折線圖如圖5所示.由實驗結果可知，SCNN模型具有較好的泛化能力，實驗結果優于大部分模型.CNN-non-static[13]在模型訓練過程中把輸入句子的詞向量矩陣作為可調參數；CNN-multi-channel[13]將不可調參的輸入句子詞向量矩陣與可動態調參的輸入句子詞向量矩陣共同作為模型的2個輸入；DCNN[14]在池化層引入動態的K-Max pooling策略選擇K個最大的特征值.但以上3個基于神經網絡的句子分類模型均是人為設置卷積層的輸入組合，SCNN模型通過稀疏自學習輸入特征map的有效組合，可以改善卷積層所提取的數值特征，從而提高了分類器的準確率.SVMs[11]通過使用 uni-bi-trigrams, wh word, POS, parser 等基于語言學的特征，利用SVM模型在TREC數據集上取得較基于神經網絡的句子分類模型更好的分類效果.

5 結論和未來工作

本文基于卷積神經網絡模型之上，提出稀疏自學習卷積神經網絡的句子分類模型SCNN，可以有效地在訓練過程中學習輸入特征map的組合，排除人為約定因素，更好地提取數據特征，提高分類精準度；此外，利用L1范數可以有效地限制模型的復雜度，從而避免欠擬合問題所帶來的負面影響.通過與其他模型進行實驗對比，在多組數據集上取得了較好的分類效果，驗證了SCNN模型的有效性.

將來，我們將進一步考慮把從語料庫中提取的語言學特征作為先驗知識加入到本文所提出的模型中，以充分利用兩者的優點達到增強分類效果的目的.總的來說，本文的工作為句子分類問題提供了一個可行的解決方案，為今后的自然語言處理研究提供了新的思想和方向.

[1] Zhang Rui, Lee H, Radev D. Dependency sensitive convolutional neural networks for modeling sentences and documents[C] //Proc of the 15th Conf of the North American Chapter of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2016: 1512-1521

[2] Galitsky B A, De La Rosa J L, Dobrocsi G. Inferring the semantic properties of sentences by mining syntactic parse trees[J]. Data and Knowledge Engineering, 2012, 81: 21-45

[3] Guo Yanming, Liu Yu, Oerlemans A, et al. Deep learning for visual understanding: A review[J]. Neurocomputing, 2016, 187: 27-48

[4] Chen Xinchi, Qiu Xipeng, Zhu Chenxi, et al. Sentence modeling with gated recursive neural network[C] //Proc of Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2015: 793-798

[5] Zhao Jingling, Zhang Huiyun, Cui Baojiang. Sentence similarity based on semantic vector model[C] //Proc of the 9th Int Conf on P2P, Parallel, Grid, Cloud and Internet Computing (3PGCIC). Piscataway, NJ: IEEE, 2014: 499-503

[6] Chenlo J M, Losada D E. An empirical study of sentence features for subjectivity and polarity classification[J]. Information Sciences, 2014, 280: 275-288

[7] Pang B, Lee L, Vaithyanathan S. Thumbs up?: Sentiment classification using machine learning techniques[C] //Proc of the 2nd Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2002: 79-86

[8] Turney P D. Thumbs up or thumbs down?: Semantic orientation applied to unsupervised classification of reviews[C] //Proc of the 40th Annual Meeting on Association for Computational Linguistics. Stroudsburg, PA: ACL, 2002: 417-424

[9] Yang Bishan, Cardie C. Context-aware learning for sentence-level sentiment analysis with posterior regularization[C] //Proc of the 52nd Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2014: 325-335

[10] Wang Sida, Manning C D. Baselines and bigrams: Simple, good sentiment and topic classification[C] //Proc of the 50th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2012: 90-94

[11] Silva J, Coheur L, Mendes A C, et al. From symbolic to sub-symbolic information in question classification[J]. Artificial Intelligence Review, 2011, 35(2): 137-154

[12] Qin Pengda, Xu Weiran, Guo Jun. An empirical convolutional neural network approach for semantic relation classification[J]. Neurocomputing, 2016, 190: 1-9

[13] Kim Y. Convolutional neural networks for sentence classification[C] //Proc of Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2014: 1746-1751

[14] Kalchbrenner N, Grefenstette E, Blunsom P. A convolutional neural network for modelling sentences[C] //Proc of the 52nd Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2014: 655-665

[15] Hu Baotian, Lu Zhengdong, Li Hang, et al. Convolutional neural network architectures for matching natural language sentences[C/OL] //Proc of Annual Conf on Neural Infor-mation Processing Systems. 2014 [2016-09-20]. http://papers.nips.cc/paper/5550-convolutional-neural-network-architectures-for-matching-natural-language-sentences.pdf

[16] He Hua, Gimpel K, Lin J. Multi-perspective sentence similarity modeling with convolutional neural networks[C] //Proc of Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2015: 1576-1586

[17] Zhou Kailong, Zhuo Li, Geng Zhen, et al. Convolutional neural networks based pornographic image classification[C] //Proc of the 2nd IEEE Int Conf on Multimedia Big Data. Piscataway, NJ: IEEE, 2016: 206-209

[18] Ma Long, Zhang Yanqing. Using word2vec to process big text data[C] //Proc of IEEE Int Conf on Big Data. Piscataway, NJ: IEEE, 2015: 2895-2897

[19] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 512(7553): 436-444

[20] Liu Baoyuan, Wang Min, Foroosh H, et al. Sparse convolutional neural networks[C] //Proc of IEEE Conf on Computer Vision and Pattern Recognition (CVPR). Piscataway, NJ: IEEE, 2015: 806-814