“智慧政務”文本挖掘研究與應用

魏川程 劉清文 王柄鈔 黃胤秋

摘 要：近年來，隨著網絡問政平臺逐步成為政府了解民意、匯聚民智、凝聚民氣的重要渠道，各類社情民意相關的文本數據量不斷攀升。針對傳統人工處理網絡問政平臺的群眾留言分類的工作量大、低效率和不準確等問題，依據機器學習理論、深度學習理論，利用數據清洗、文本向量表示、改進卷積神經網絡多文本分類器構造、F-score評價等方法，確定了留言內容以及標簽分類模型。

關鍵詞：改進CNN ;F-Score聚類;文本分類;政務處理

1挖掘目標

群眾留言分類。在處理網絡問政平臺的群眾留言時，當前的處理方法是工作人員首先按照一定的劃分體系對留言進行分類;然后將群眾留言分派至相應的職能部門處理。請你們針對目前大部分電子政務系統還是依靠人工根據經驗處理中存在的工作量大、效率低、且差錯率高等問題，根據給出的數據，建立關于留言內容的一級標簽分類模型，并考慮用F-Score對分類方法進行評價。

2問題分析

根據數據可知群眾留言一級分類標簽總共為7個，因此我們建立的標簽分類模型是要解決一個文本多分類問題。因此第一問要做的工作就是，首先對給出的留言詳情數據清洗，包括去除字母、數字、漢字以外的其他字符，Jieba進行分詞，去除停用詞等過程;隨后進行特征向量表示，構造文本分類器，將數據分為測試數據和訓練數據，分別進行模型的訓練和測試;最后再利用F-Score、查準率、查全率對分類器的留言分類效果進行檢驗，最終評價構造的文本分類模型的好壞。

3基于卷積神經網絡的多文本分類模型的求解與評價

（1）數據清洗

在留言詳情文本中，總共清洗出9210條留言作為樣本數據，再按照每類留言平均分成10等份，每次實驗抽取各類留言的8份組成訓練集，剩余2份組成測試集，每次實驗訓練集數據為7638個，測試集數據為1842個。

（2）文本表示

將文本映射為詞向量，造一個 M. embedding Size大小的隨機矩陣，M是字典dic的大小embedding Size詞向量的位數，我們設定為128，并將隨機向量矩陣作為卷積神經網絡模型的輸入。

（3）模型訓練與測試

在CNN模型完成之后，再將樣本數據輸入其中進行測試，本次數據挖掘采用十折交叉驗證法進行CNN模型能力評估，將數據集劃分為訓練集和測試集，訓練集用于模型訓練，測試集用于評估模型性能，CNN參數使用默認設置。

最終得到卷積神經網絡的分類器在留言分類文本數據集上的訓練過程，并求得各評價指標的值，取10次實驗結果的均值進行評估。模型訓練過程中的Loss曲線如圖3-1所示，ACC曲線如圖3-2所示。

在圖3-1中橫坐標為訓練時時長，縱坐標為Loss絕對值，可以發現訓練過程中Loss 曲線有明顯下降的趨勢，且后期開始慢慢收斂。

由圖3-2中橫坐標為訓練時時長，縱坐標為ACC絕對值，ACC指標呈快速上升趨勢。可以發現隨著訓練進行，損失函數Loss明顯降低，而ACC則明顯上升，兩者呈明顯反比，符合預期。

為了對比CNN模型的分類效果，本次也選取了傳統機器學習樸素貝葉斯文本分類方法[4]做對比，最終分類效果如表3-3所示。

由表3-3可知，最終構建的卷積神經網絡多文本分類測試結果， 均值和ACC可以達到90%，且在文本預處理和特征詞項，都一致的條件下，基于卷積神經網絡模型的分類算法的分類精度略比樸素貝葉斯算法高一些，可見本次挖掘所構建的基于卷積神經網絡模型的文本分類器，不僅可行，而且有著更好的分類效果。

4總結

本文通過深度學習、機器學習等技術，使用卷積神經網絡分類構造器、DB-SCAN聚類、層次分析等方法構造了多文本分類模型、熱點提取模型以及答復意見的評價系統來解決“智慧政務”中的文本挖掘問題，得到以下結論：

對于“智慧政務”中文本多分類問題而言，文本預處理和特征詞項都一致的條件下，基于卷積神經網絡模型的分類算法的分類精度略比樸素貝葉斯算法高一些，可見本次挖掘所構建的基于卷積神經網絡模型的文本分類器對于“智慧政務”的文本分類有著不錯的效果。對于詞向量生成而言，使用Skip-gram模型生成的詞向量一定程度上彌補了隨機向量詞之間缺乏聯系的不足，更能體現詞向量之間的聯系。最后我們改進了模型，使用改進的雙通道文本表征方式，雙通道相比單通道，輸入特征更豐富，而深度學習模型在特征提取方面有天然的優勢，兩者得到了很好地融合。

綜上所述，我們的模型能夠高效、準確地解決“智慧政務”中的文本挖掘問題，實現真正的智慧政務管理。

參考文獻：

[1]白璐.基于卷積神經網絡的文本分類器的設計與實現[D].北京交通大學，2018.

[2]黃鶴，荊曉遠，董西偉，吳飛.基于Skip-gram的CNNs文本郵件分類模型[J].計算機技術與發展，2019，29（06）：143-147.

[3] 孫璇. 基于卷積神經網絡的文本分類方法研究[D]. 上海： 上海師范大學，2018.

作者簡介 ：

魏川程（1998-），男，四川省廣安市人。西南石油大學計算機科學學院軟件工程專業學生.

劉清文（1999-），女，山東省淄博市人。西南石油大學化學與化工學院化學工程與工藝專業學生.

王柄鈔（1997-），男，四川省達州市人。西南石油大學計算機科學學院軟件工程專業學生.

黃胤秋（1999-），男，四川省遂寧市人。西南石油大學計算機科學學院網絡工程專業學生.