基于CNN-BiLSTM-CRF 的企業輿情監控模型構建

張欣藝　鄭軍紅　何利力

關鍵詞：企業輿情監控；CNN；BiLSTM；輿論觀點抽取；K-means

中圖分類號：TP391.1 文獻標識碼：A 文章編號：1006-8228（2023）11-136-05

0 引言

在當今的信息化背景下，網絡上的大量網絡輿情信息得到有效保存。互聯網營銷平臺也被許多企業選擇作為開展營銷活動的重要根據地，匯聚了大量用戶數據、營銷活動數據。這些數據對于企業的經營和管理具有極高的參考價值，但如何合理利用這些數據來進行決策指導，是企業面臨的重要問題。

近年，基于深度學習的情感分析方法在各個領域內都有所應用。吳貴珍等[1]提出一種將CNN 與雙層雙向門控循環單元（BIGRU）相結合的方法，改善了CNN只能提取文本局部信息和RNN 容易陷入梯度爆炸的問題。但存在時間效率不高以及隨著數據規模增長，訓練時間也會顯著變長的問題。趙星宇等[2]提出一種融合雙向LSTM 和CNN 的混合情感分析模型，改善了現有文本情感分析方法實時性不強、難以應用到大規模文本等問題。曾莉等[3]提出一種融合主題模型和情感分析的LDA-Attention-BiLSTM 模型，對輿情中的熱點話題和情感時序變化有更好的反映。但該模型在方便計算的同時丟失了很多信息。楊秀璋等[4]提出一種改進LDA-CNN-BiLSTM 模型，在社交媒體情感分析忽略情感特征的長距離語義關系，無法精確捕獲帶有情感色彩的特征詞，過度依賴人工標注等問題上做出了改善。

企業在輿情監控時需要更多地考慮到評價的主體，并聚焦于互聯網營銷平臺和網絡輿情平臺中多數人關注的事件，不同的企業所關注的內容會不同。因此，目前的輿情監控模型不完全適用于各個企業。我們可以將以上的問題轉換為對特征向量分配權重的問題。目前，許多研究人員針對這個問題做出了不同的改進。趙蕊潔等[5] 提出一種基于Attention-BiLSTM-CRF 的醫藥實體識別模型，提高了醫藥實體識別的效果，但應用范圍較為單一。佘恒健等[6]采用BiLSTM-CRF 方法，對標注的政務公文進行了中文實體識別實驗，更加準確有效地識別政務公文中的實體。陳偉等[7]提出了一種多頭自注意力機制與條件隨機場（CRF）結合的實體抽取模型，改善了傳統命名識別容易受上下文相對距離的影響、實體整體識別效果差的問題。

綜上所述，增加條件隨機場（Conditional RandomField，CRF）[8]能在以上模型中起到很好的效果。但是針對企業輿情監控仍存在以下問題：①單一的神經網絡模型無法充分提取情感特征，卷積網絡只能提取局部特征，而具有序列特性的神經網絡（如LSTM，GRU等）只能提取整個序列特征，其時間效率低下。②雖然網絡輿情監測一直是比較熱門的研究方向之一，但目前的輿情監控模型與企業的需求契合度較低。因此本文從情感分析的角度，運用深度學習理論，提出了一種基于CNN-BiLSTM-CRF 的企業輿情監控模型。首先將社交平臺評論信息和互聯網營銷平臺留言信息進行預處理，然后使用Word2vec 技術獲取文本的詞向量表示。將其輸出作為CNN 卷積神經網絡的輸入，再將經過處理的數據輸入到BiLSTM 網絡層，加入條件隨機場模型對標簽序列進行優化，最后，基于K-means 進行觀點聚類，得到企業網絡輿論焦點，從而進行企業輿情監控。本文的主要貢獻如下：①提出一種結合CNN-BiLSTM 和條件隨機場、K-means 聚類的模型，實驗結果表明，該模型在各個指標上均得到提升，說明了模型的有效性。②根據企業輿情監控特點，結合社交平臺和互聯網營銷平臺信息，建立了面向企業的輿情監控模型。

1 模型構建

本模型首先將社交平臺評論信息和互聯網營銷平臺留言信息作為初始文本進行預處理，并將預處理完的短文本數據導入Word2vec[9]獲取文本的詞向量表示，將其輸出作為CNN 卷積神經網絡的輸入，通過CNN 的卷積層和池化層的構建，用來提取特征，再將經過處理的數據輸入到BiLSTM 網絡層，加入條件隨機場模型對標簽序列進行優化，最后，基于K-means進行觀點聚類，得到企業網絡輿論焦點，從而進行企業輿情監控。模型整體結構如圖1 所示。

1.1 數據預處理

首先，我們需要對收集到的數據進行處理，轉化為機器可以接受的輸入。本模型文本預處理的具體步驟如圖2 所示。

本模型主要采用JieBa 分詞庫進行分詞，使用Word2vec 技術向量化實驗數據。由于數據量較大，本模型選用word2vec 的Skip-gram 模型進行詞向量訓練，以分詞處理后的文本序列（w₁，w₁，…，w_n）轉換為低緯稠密的詞向量序列作為CNN 神經網絡的輸入。Skip-gram 模型結構圖如圖3 所示。

2.4 對照基準模型

本次實驗選取CNN、CRF、LSTM-CRF、BiLSTMCRF和BiGRU-CRF 模型來與本文模型做對比實驗。

⑴ CNN：經典深度學習模型，很早被應用于命名實體識別，提取句子級別的特征。

⑵ CRF：將命名實體識別問題轉化為序列標注問題，可以考慮到復雜的特征。

⑶ LSTM-CRF：將LSTM 和CRF 結合在一起，可以捕捉到輸入的過去特征和句子級的標簽信息。

⑷ BiLSTM-CRF：與LSTM-CRF 類似，將LSTM換為BiLSTM，是序列標注問題的經典模型。使用Word2vec完成詞向量訓練，并將其輸出值導入BiLSTM來獲取文本特征、得到各標簽取值的概率，通過CRF約束標簽間的順序關系。

⑸ BiGRU-CRF：BiGRU 網絡是由RNN 發展而來，它在處理序列數據的任務中被廣泛使用，結合CRF優化目標函數。

2.5 實驗結果與分析

本次實驗選取CNN、CRF、LSTM-CRF、BiLSTMCRF和BiGRU-CRF 模型來與本文提出的模型做對比實驗，實驗結果如表3 所示。本文提出的模型最后結果精確率達到88.26%，召回率為87.60%，F1 值為87.93%，相較于其他模型結構，各個指標都有所提升。

3 結束語

通過對網絡社交平臺輿情信息和企業互聯網營銷平臺相關信息的處理分析，可以實現對企業的輿情監控，并指導企業決策。在當前的互聯網+環境下，這對企業來說是必不可少的，基于此，本文提出了一種基于CNN-BiLSTM-CRF 的企業輿情監控模型。通過在真實數據集上進行對比實驗，本文模型在精確率、召回率、F1 值指標上均優于其他基準模型，驗證了本文提出模型的有效性。接下來，將基于目前的研究成果，面向企業網絡輿情監控，結合企業輿情焦點中的感情極性進行研究。