CNN算法改進及在輿情分析中的應用

左芳玲 郭迎筱

摘 ?要：作為深度學習圖像識別的開創性復雜算法，卷積神經網絡（CNN）在圖像處理中有著其他機器學習算法所不具備的高精度的優點，同時小波神經網絡（WNN）在訓練中有著跳出局部極小值的特點，因此可達到的最小誤差精度是大部分網絡難以達到的。結合CNN與WNN各自的優點，本文提出了CNN與WNN相結合的兩種網絡：小波卷積小波神經網絡（wCwNN）和小波卷積神經網絡（wCNN）。基于wCwNN網絡以及wCNN網絡對文本分析問題進行探索，嘗試用兩種網絡處理經由詞向量模型（word2vec）處理后的文本信息，發現相比于傳統的卷積神經網絡，針對經word2vec處理后的文本，改進后的網絡仍然具有一定的優勢。本文最后針對經典的神經網絡對處理文本類數據問題提出研究方向，并對神經網絡未來發展提出想法。

關鍵詞：wCwNN;WNN;CNN;word2vec;文本分析

中圖分類號：TP391.3 ? ? 文獻標識碼：A 文章編號：2096-4706（2019）13-0023-02

Improvement of CNN Algorithm and Its Application in Public Opinion Analysis

ZUO Fangling，GUO Yingxiao

（School of Information，Capital University of Economics and Business，Beijing ?100070，China）

Abstract：As deep learning seminal complex algorithm of image recognition，convolution neural network （CNN） with other machine learning algorithms in image processing does not have the advantages of high precision，at the same time，the wavelet neural network （WNN） in training has the characteristics of the local minimum value，therefore can achieve the minimum error of accuracy is hard to achieve most of the network. Combining the advantages of CNN and WNN，this paper proposes two kinds of networks：wavelet convolution wavelet neural network （wCwNN） and wavelet convolution neural network （wCNN）. Based on wCwNN network and wCNN network，this paper explores the problem of text analysis. Two kinds of networks are used to process text information processed by word vector model （word2vec）. It is found that compared with traditional convolutional neural network，the improved network still has certain advantages for text processed by word2vec. In the end，this paper puts forward the research direction of classical neural network in dealing with text data，and puts forward some ideas for the future development of neural network.

Keywords：wCwNN;WNN;CNN;word2vec;text analysis

0 ?引 ?言

隨著互聯網的發展，解讀社交網絡信息成為了輿情處理的重要方向，但是面對各種復雜的數據形式，傳統的數據分析算法已經無法從數據中提煉較為準確的信息。

我國對輿情監控較為重視，但是定量分析還未成熟。因此，本文希望更好地對網絡輿情進行即時處理、即時反饋，利用傳統神經網絡獨特的特征提取優勢，再加以改進，進一步提升輿情處理的即時性。

1 ?研究主要內容

本文針對現階段的微博情感分析，更改CNN結構：模仿CNN的結構分析WNN，利用BP反向傳播的基本機制推導WNN公式，利用WNN替換CNN的全連接層與卷積池化層，改進CNN極易陷入局部最優的特性。提出小波卷積小波神經網絡（下文簡稱wCwNN）和小波卷積神經網絡（下文簡稱wCNN）。

2 ?研究方法實踐

2.1 ?各神經網絡算法對比分析

2.1.1 ?卷積神經網絡

標準的卷積神經網絡訓練過程由前饋計算（Forward-Feedback）和反向傳播（Back-Propagation）組成，調整參數則采用了經典的梯度下降法（Gradient Descent）進行計算。以LeNet-5為模板，標準的網絡拓撲結構有以下幾個部分：輸入層（Input layer）、卷積層（Convolution layer）、池化層（Pooling layer）、全連接層（Fully-connected layer），輸出層（Output layer）。

2.1.2 ?小波卷積神經網絡

小波神經網絡（WNN）是由多組小波變換充當隱含層神經元并與傳統的輸入層神經元與輸出層神經元所構成，通過遺傳算法確定隱含層的神經元個數。

2.1.3 ?小波卷積小波神經網絡

小波卷積小波神經網絡（wCwNN網絡）分為前段網絡和后段網絡，前段網絡為卷積池化網絡，其中卷積層的激活函數為小波尺度變換函數，后段網絡為小波神經網絡。

2.1.4 ?實驗設計

實驗對象為CNN、wCwNN、wCNN，實驗分為兩部分：一部分為對于每一種網絡，不設置訓練次數上限，不設置訓練誤差下限，觀察每一種網絡能達到的最小誤差;另一部分為對于每一種網絡，不設置訓練次數上限，設置所有網絡都能達到的訓練誤差下限，觀察各網絡能達到誤差下限時所用的時間。用同一組數據作為輸入計算各神經網絡的運行時間的平均值、最小值和最大值，最小均方誤差的平均值、最小值和最大值。可得如下結論：

（1）改進后的wCwNN與wCNN網絡較原始CNN網絡性能有所提高。

（2）wCwNN網絡具有較快的收斂速度與達到極小誤差精度的能力。

（3）wCNN網絡具有極快的收斂速度與達到較小誤差精度的能力。

（4）相比于wCNN網絡，wCwNN網絡訓練過程中誤差波動較大，也就是說該網絡具備跳出局部極小值的能力，因此在一定實驗次數下，wCwNN網絡能達到的最小誤差比wCNN網絡要小。該種類型的網絡適用于對最小精度有要求的實際場景中。

（5）相比于wCwNN網絡，wCNN網絡在每一次仿真中都保持較為穩定的誤差下降過程，因此15次仿真的最小誤差值與最大誤差值相差不大（實驗一可達性實驗）。同時，當控制各網絡目標誤差相等時（實驗二訓練時間對比實驗），wCNN網絡具備誤差快速收斂的能力。該種類型的網絡適用于對訓練時間有要求的實際場景中。

2.2 ?基于wCwNN與wCNN的文本分析

2.2.1 ?數據獲取

將數據源分為兩類：一類為公開數據集中現有的微博評論數據，作為訓練和驗證數據;一類是從網頁版微博中實時爬取的微博數據，作為測試數據。其中現有的微博評論數據量為120000，實時爬取的微博數據量為124，兩份數據均以CSV格式存放在Excel表中。

2.2.2 ?數據預處理

數據預處理階段分為數據清洗與文本詞向量化：數據清洗指對原始數據進行基本的處理以滿足數據分析的要求，本例中的數據清洗包括刪除重復數據、去除評論信息為空的數據、去除爬蟲留下的html代碼、去除評論信息中出現的表情符號和顏文字等等，對評論信息進行分詞和去停用詞處理;文本詞向量化是指把每一個樣本的文本評論數據都轉換成指定維數的向量，即一個向量就是一個樣本的文本評論信息。

2.2.3 ?文本數據分類

使用wCwNN網絡、wCNN網絡和CNN網絡對爬取的數據進行分類，對wCwNN與wCNN網絡在文本分析領域做實證研究。主要有以下幾個方面：

（1）使用三種網絡對訓練數據進行學習。經實驗，采用64維詞向量模型訓練數據輸入各神經網絡時，各網絡的準確率較高。

（2）三種網絡對測試集進行測試，計算相應準確率。切換不同種類的網絡計算各網絡的分類結果：wCwNN網絡準確率為64%，wCNN網絡準確率為60%，CNN網絡的準確率為56%。

3 ?結 ?論

本文通過對CNN網絡與WNN網絡的研究，創新了兩種新型的網絡：小波卷積小波神經網絡（wCwNN）與小波卷積神經網絡（wCNN）。輸入相同的仿真數據，分析對比了wCwNN、wCNN、CNN三種網絡能達到的最小誤差精度以及各自的訓練時間。分析發現wCwNN網絡能達到最小誤差精度，wCNN網絡收斂較快，相對于傳統CNN網絡來說，兩種網絡都有了較大幅度的提升。

在文本分類中，相較于其他的機器學習算法，三種網絡的表現欠佳，經過后期查詢各種資料與文獻，發現可能是詞向量化后的數據與現有的網絡結構不匹配。相較于其他算法，CNN的卷積過程實際是對圖像各部分的特征提取過程，但相同的特征提取方法在word2vec模型上可能不能有效地提取特征，有學者指出把卷積核大小設置成為詞向量維度大小，并證明該種改進有效地提升了算法的效率。因此在后期的研究中，可以考慮繼續研究word2vec模型與神經網絡模型的適配性，可參考LSTM網絡進行進一步的研究。

神經網絡以能擬合任意對應關系而聞名，雖然目前各種網絡還不成熟，但是對網絡結構、性能的研究仍在不斷進行中，相信在未來深度學習的發展能為社會解決更多復雜的問題。

參考文獻：

[1] 高雪鵬，叢爽.BP網絡改進算法的性能對比研究 [J].控制與決策，2001（2）：167-171.

[2] 郭媛媛.地方政府網絡輿情危機研究國外文獻綜述 [J].統計與管理，2017（2）：176-177.

[3] 胡悅，王亞民.基于模糊神經網絡的微博輿情趨勢預測方法 [J].情報科學，2017，35（12）：28-33.

作者簡介：左芳玲（1997-），女，漢族，江西吉安人，本科在讀，研究方向：大數據應用與深度學習神經網絡。