基于BIGRU的番茄病蟲害問答系統問句分類研究

趙 明 董翠翠 董喬雪 陳 瑛

(中國農業大學信息與電氣工程學院， 北京 100083)

0 引言

隨著人工智能技術的迅猛發展，智能問答系統因能為人們提供準確的答案和智能化、個性化的信息服務而得到廣泛研究。番茄是一種常見的日常蔬菜作物，有著廣泛的市場需求。但是，番茄病蟲害卻是影響番茄品質和產量的重要原因。因此，在農業生產中需要能夠快速準確地獲取番茄病蟲害信息的智能服務和搜索技術，以實現番茄病蟲害的有效防治和及時治理。番茄病蟲害智能問答系統的構建和應用是實現這一目標的基礎，同時也是人工智能和智慧農業[1]發展的必然要求。

問答系統一般包括用戶問句分類[2]、問句語義理解[3]和答案抽取[4]3個主要部分。問句分類作為問答系統的關鍵模塊，對系統檢索效率具有決定性作用。

目前，國內外對問答系統中問句分類的研究十分關注。大多問句分類方法是基于規則[5]和統計學習的方法，較少利用問句語義信息。

針對番茄病蟲害問答系統的特點，問句分類分為病害和蟲害兩大類，本文利用KNN[6-7]、BIGRU[8]和CNN[9]神經網絡方法分別進行番茄病蟲害問句分類實驗，以選取效果最優的分類模型作為問答系統最終采用的問句分類方法。

1 材料與方法原理

1.1 獲取語料

通過Scrapy[10]爬蟲框架，抓取番茄病蟲害的各種百度百科、互動百科、中文維基百科和農業種植類網站等關于番茄病蟲害信息的中文文本語料。參考《中國蔬菜栽培學》書中番茄部分的信息，對網絡爬取的語料進行校正和完善。

1.1.1語料預處理

中文分詞是中文問句信息處理的基礎與關鍵。本研究采用條件隨機場(Conditional random fields, CRF)[11]分詞系統進行中文分詞。CRF代表了新一代的機器學習分詞技術，其基本思路是對漢字進行標注即由字構詞，不僅考慮了文字詞語出現的頻率信息，同時考慮上下文語境，具備較好的學習能力，因此其對歧義詞和未登錄詞的識別都具有良好的效果。條件隨機場并不在每一個節點進行歸一化，而是所有特征進行全局歸一化，因此可以求得全局的最優值[12]。

番茄病蟲害語料復雜多樣，有許多農業專用術語和術語別名。綜合考慮番茄病蟲害語料的特點，結合問句分類的需求，本文構建了一個專門的番茄語料同義詞庫，可以進行番茄領域病蟲害關鍵詞的擴展。幾種典型的番茄專業名詞和對應的別名信息如表1所示。

表1 典型番茄別名信息Tab.1 Typical tomato alias information

1.1.2問句向量化

自然語言處理任務一般為文本的分布式表示，如矩陣或向量。對問句分類來說，先對用戶問句進行分詞、去除停用詞。由word2vec[13]訓練得到問句中每個詞的詞向量，將詞向量對應相加并作平均處理，得到用戶問句的空間向量表示。這些向量含有詞本身的語法、語義信息。

本研究使用word2vec中的Skip- Gram[14]模型，詞向量維度設置為100。以問句“番茄早疫病的原因?”為例，進行分詞，然后去除停用詞“的”，得到問句為“番茄 早疫病 原因”，經word2vec訓練得到問句中各個詞的詞向量，例如“番茄”的詞向量表示如圖1所示。

圖1 問句詞向量示例Fig.1 Examples of question word vectors

1.2 KNN問句分類

KNN算法又稱為K最近鄰分類(K-nearest neighbor classification)算法。該方法的思路是：如果一個樣本在特征空間中的k個最相似即特征空間中最鄰近的樣本中的大多數屬于某一個類別，則該樣本也屬于這個類別[15]。KNN 算法中，所選擇的鄰近樣本都是已經正確分類的對象。該方法在分類決策上只依據最鄰近的一個或者幾個樣本的類別來決定待分類樣本所屬的類別。

KNN算法的優點是應用簡單，易于理解，易于實現，無需估計算法參數，無需訓練，可以快速進行問句分類。算法復雜度低，容易實現。

KNN通過測量不同問句之間的距離進行分類。算法具體步驟如下：

(1)文本預處理。番茄病害問句標簽設置為0，番茄蟲害問句標簽設置為1。

(2)利用word2vec算法表示所有訓練問句語料的空間向量和待分類問句的空間向量。

(3)遍歷計算待分類問句與訓練語料中各個問句的余弦距離。

向量A與向量B之間余弦距離計算公式為

(1)

余弦距離越大，說明問句屬于同一類的可能性越大。

(4)對所有余弦距離排序，選出余弦距離最大的k個問句，此處k=6,k值是多次試驗選出的最佳取值。

(5)分別統計此k個問句中0和1標簽個數。哪個類別標簽個數最多，待分類問句即為哪個類別。

1.3 BIGRU問句分類

GRU[16]模型是LSTM[17]模型的簡化版，GRU使用“門”結構與LSTM的不同，將LSTM中的輸入門和遺忘門合并成了更新門，它只包含2個門結構，重置門和更新門。并且線性自更新不用建立在額外的記憶狀態上，而是直接線性累積建立在隱藏狀態上，并依靠門結構來調控。重置門決定先前的信息如何結合當前的輸入，更新門決定保留多少先前的信息。GRU的“門”結構如圖2所示。

圖2 GRU門結構Fig.2 GRU gate architecture

圖2中x是輸入數據，h為GRU單元的輸出,r是重置門，z是更新門，r和z共同控制了如何從之前的隱藏狀態(ht-1)計算獲得新的隱藏狀態(ht)。

更新門同時控制當前輸入數據xt和先前記憶信息ht-1，輸出一個在0到1之間的數值zt,計算公式為

zt=σ(Wz[ht-1,xt]+bz)

(2)

zt決定要以多大程度將ht-1向下一個狀態傳遞，0代表完全舍棄，1代表完全保留,由式(2)可得。式中σ為sigmoid函數，Wz為更新門權重，bz為偏置。

此外，共情的因素也發生一定作用。轉移性羞恥的特點是羞恥的行為主體與情緒的體驗主體不一致，母親是羞恥事件的當事人，但自我是實際的羞恥體驗者。如果自我需要獲得與母親相似的羞恥體驗，親子間的共情將是必要的橋梁。共情研究發現，共情主體與對象之間的關系是共情發生的重要影響因素(顏志強，蘇金龍，蘇彥捷，2017)。母親與子女之間具有天然的血緣關系，并且在重要的價值觀上一致。因此，當羞恥體驗發生后，對親社會行為的影響呈現一致性。

rt=σ(Wr[ht-1,xt]+br)

(3)

(4)

當前時刻的輸出為ht,即

(5)

BIGRU模型的基本單元由一個前向傳播的GRU單元和一個后向傳播的GRU單元組合而成。本研究利用基于word2vec得到的問句詞向量訓練集來訓練2層的BIGRU模型，采用2個BIGRU層和全連接softmax層，對測試問句進行分類。采用2層的模型，可以增加模型的參數，提高模型的學習能力。其中，每層的隱藏狀態有2個信息流向，1傳輸給下一時刻，2要作為當前時刻下一層的輸入。圖3為2層的BIGRU模型。

圖3 2層的BIGRU模型Fig.3 Two layers BIGRU model

BIGRU模型能夠在輸入和輸出序列之間的映射過程中充分利用問句過去和未來的相關信息，其顯著的優點是問句分類精度高，對詞向量的依賴性小，復雜度低，響應時間比較快。

1.4 CNN模型問句分類

本研究采用卷積神經網絡(Convolutional neural networks,CNN)模型從語義層面識別用戶問題意圖，對用戶問句進行分類。自然語言處理任務在利用卷積神經網絡時輸入的不是像素點，一般為文本的分布式表示，如矩陣或者向量。對于番茄問句來說，先對句子進行分詞，而表示句子的矩陣中的每一行代表句子中的一個詞，即每行表示的是一個詞的向量?？梢岳脀ord2vec學習到這些詞的空間向量，這些向量含有詞本身的語法、語義信息。利用100維的詞向量表示一句含有8個詞的句子時，則會得到一個8×100維的矩陣，將此矩陣作為卷積神經網絡的輸入，相當于一幅圖像的像素矩陣輸入。

本文所用卷積神經網絡結構如圖4所示，利用該網絡模型將用戶所提出的問題分類，本研究分為兩類，即番茄病害問題和番茄蟲害問題。采用的卷積神經網絡模型包括5層：輸入層、卷積層、下采樣層、隱含層、輸出層。首先利用word2vec將句子表示為具有語法和語義信息的向量矩陣，作為卷積神經網絡的初始輸入[18]，為了盡可能提取問句特征，本文設定兩種卷積核，卷積層濾波器采用2種大小不同的滑動窗口4×100和5×100，每種窗口有128個卷積核，一共有256個。在圖像處理領域，濾波器與圖像的局部區域進行感知，而處理自然語言時濾波器覆蓋句子中的幾行，所以濾波器和輸入的向量矩陣寬度相等，即濾波器的寬度也是100。

圖4 卷積神經網絡結構Fig.4 Structure of convolutional neural network

f(x)=max(0,x)

(6)

采用max-pooling找到特征圖中最大的影響因素作為該局部的特征。下采樣層有減少模型參數數量和減小模型訓練參數的復雜度的作用。經過max-pooling操作提取的局部特征輸入下一層隱藏層，最后經過softmax全連接層，進行分類。文本要進行的二分類問題，則輸出層僅有一個神經元。利用softmax函數計算每個類別的概率公式為

(7)

CNN神經網絡的優點是共享卷積核，對高維數據處理無壓力，無需手動選取特征。訓練好權重，即得特征，分類效果好，但是CNN網絡需要調節參數，對處理大樣本的數據分類效果較好。

2 問句分類實驗

2.1 問句分類實驗設計

本研究爬取收集番茄問句同時進行問句擴展，將番茄病害問句標注標簽為0，番茄蟲害問句標簽標注為1，一共得到有2 000條樣本。利用梯度下降算法[19]訓練優化雙向GRU模型和卷積神經網絡模型，本文采用mini-batch梯度下降算法[20]，每次選擇n個小批量樣本參與訓練，n小于總的訓練集樣本數量，進行n次迭代，每次只使用一個樣本，最終對n次迭代得到的梯度加權平均再求和，作為本次mini-bath的下降度。mini-batch梯度下降法一方面保證盡可能得到最優解，另一方面能夠加快收斂速度。

本研究采用的batch大小為50。為了防止神經網絡模型在訓練過程中出現過擬合現象，本文定dropout參數[21]大小為0.5。為了增強模型的魯棒性，使2種神經網絡模型從語料中學習更多的信息，學習更準確的網絡參數，并避免陷入局部最小值，本研究采用交叉驗證[22]的方法，將數據集隨機分成10份，其中9份作為訓練集，另外1份作為測試集。

實驗中利用word2vec表示句子中詞的向量，而句子被表示為包含多個向量的矩陣，作為神經網絡模型的初始輸入，詞向量在模型訓練過程中不斷學習更新。神經網絡模型連接一個softmax全連接層，將該問句分為番茄病害類或者番茄蟲害類。

采用準確率、召回率以及F1值[23]作為問句分類算法模型的測評指標。準確率和召回率經常用來度量信息搜索效率和統計學分類效果。此處問句分類準確率是指被正確分為某一類的樣本數與全部被分為該類別的樣本數量之比；召回率是指被正確分為某一類的樣本數量與樣本中全部屬于該類別的數量之比。準確率與召回率在0和1之間，其值越接近1，表示準確率或者召回率越大。

準確率和召回率在某些情況下是矛盾的，當要求準確率非常高時，系統的召回率可能就會降低，當要求召回率非常高時，準確率有可能會降低，則需要一個綜合評測指標，常用的方法是F1值。F1值是準確率和召回率的調和平均值，其公式為

(8)

式中P——準確率R——召回率

2.2 問句分類實驗結果及分析

番茄病蟲害問答系統問句分類采用word2vec表示句子向量，并利用KNN算法、BIGRU模型和卷積神經網絡模型進行分類，其分類結果如表2所示。

表2 基于不同分類算法的問句分類結果Tab.2 Question classification results based on differentclassification algorithms %

由表2可知，BIGRU模型在番茄病害類和番茄蟲害類的分類準確率、召回率都比基于CNN神經網絡和基于KNN算法的結果高幾個百分點。從綜合評價指標來講，在番茄病害類方面，采用BIGRU神經網絡模型進行問句分類，其F1為91.82%，比利用CNN神經網絡高2.25個百分點，比KNN算法高5.22個百分點；在番茄蟲害類，采用BIGRU神經網絡模型進行問句分類，其F1為92.48%，比利用CNN神經網絡模型高2.57個百分點，比利用KNN高5.57個百分點。

基于BIGRU模型的問句分類效果最優，CNN模型居中，KNN算法結果稍差。相對于KNN算法模型，BIGRU模型和CNN神經網絡不需要手動提取特征，自動學習復雜特征的能力強大，并且效率較高。BIGRU模型的優勢在于，從左到右推進模型做一次GRU,然后從右向左推進模型做一次GRU, 充分利用了句子分詞后的前后位置信息。而且，BIRRU模型結構簡單，模型訓練參數較少，模型訓練速度快，符合問答系統對響應時間的要求。

應用BIGRU模型進行番茄病蟲害問句分類，正確預測的幾種典型問句及對應的分類標簽和結果如表3所示，其中標簽0代表番茄病害，標簽1代表番茄蟲害。

表3 番茄問句分類舉例Tab.3 Examples of tomato question classification

其次，是針對番茄智能問答系統問句分類效果最優的BIGRU神經網絡模型，對影響問句分類的數據樣本大小也進行了測試，將數據樣本分別設置為500、1 000、1 500再進行測試，測試結果如表4所示。

表4 不同數據集的BIGRU模型Tab.4 BIGRU model with different datasets

由表4可得，訓練數據的大小對模型的效果有較大影響，番茄智能問答系統作為一個實用性系統，對準確率有較高的系統需求。而問句分類作為其關鍵環節，在對選定的模型進行訓練時，要求訓練數據盡可能的覆蓋全面，從而可以提高整個系統的準確率。

最后，繪制了不同數據集下3種模型的F1實驗結果，如圖5所示。

圖5 不同數據集測試結果Fig.5 Test results for different datasets

由圖5可得，當數據集較小時，KNN算法模型的效果比其他2種神經網絡模型的F1高，隨著數據集的增大，BIGRU模型和CNN模型的F1明顯升高。神經網絡模型參數的迭代學習需要較大數據集的支持，神經網絡不需要手動提取特征，自動學習復雜特征的能力強大，并且效率較高。驗證了BIGRU模型作為番茄病蟲害智能問答系統問句分類模型的有效性。

3 結論

(1)針對番茄智能問答系統的特點，利用word2vec表示用戶問句向量，有效地提取用戶問句中語義信息，構建了基于BIGRU神經網絡的番茄智能問答系統問句分類模型，有利于提高問答系統準確度，且此模型響應時間最快，符合問答系統對響應時間的要求。

(2)對比了CNN神經網絡和KNN算法，結果表明BIGRU模型的準確率、召回率、F1優于其他兩種問句分類算法。

(3)利用不同大小數據集對3種模型進行測試，結果表明隨著數據集增大，BIGRU神經網絡模型F1明顯上升。番茄病蟲害問答系統問句分類的效果不僅取決于問句分類算法的選擇，模型訓練數據集的大小也有較大影響。

1 李道亮,楊昊.農業物聯網技術研究進展與發展趨勢分析[J/OL].農業機械學報,2018,49(1):1-20.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20180101&journal_id=jcsam. DOI:10.6041/j.issn.1000-1298.2018.01.001.

LI Daoliang, YANG Hao. State-of-the-art review for internet of things in agriculture[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(1):1-20. (in Chinese)

2 郭海紅, 李姣, 代濤. 中文健康問句分類與語料構建[J]. 情報工程, 2016, 2(6):39-49.

GUO Haihong, LI Jiao, DAI Tao. Classification of Chinese health question and construction of corpus[J]. Technology Intelligence Engineering, 2016, 2(6):39-49.(in Chinese)

3 范士喜, 韓喜雙, 相洋,等. 基于HM- SVMs的問句語義分析模型[J]. 計算機應用與軟件, 2016, 33(5):84-86.

FAN Shixi, HAN Xishuang, XIANG Yang, et al. A question semantic analysis model based on HM- SVMs[J]. Computer Applications and Software, 2016, 33(5):84-86.(in Chinese)

4 AHMED W, ANTO B. Answer extraction techniquefor question answering systems[J]. International Journal of Innovative Research in Computer and Communication Engineering,2016, 4(11):20352-20357.

5 TIAN W D, GAO Y Y, ZU Yongliang. Question classification based on self-learning rules and modified bayes[J]. Application Research of Computers, 2010, 27(8):2869-2871.

6 ZHANG S, LI X, ZONG M, et al. Learning k for kNN classification[J]. ACM Transactions on Intelligent Systems & Technology, 2017, 8(3):43-1-43-19.

7 魏芳芳, 段青玲, 肖曉琰,等. 基于支持向量機的中文農業文本分類技術研究[J/OL]. 農業機械學報, 2015,46(增刊):174-179. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=2015S029&journal_id=jcsam. DOI:10.6041/j.issn.1000-1298.2015.S0.029.

WEI Fangfang, DUAN Qingling, XIAO Xiaoyan, et al. Classification technique of Chinese agricultural text information based on SVM[J/OL]. Transations of the Chinese Society for Agricultural Machinery, 2015, 46(Supp.):174-179.(in Chinese)

8 JABREEL M, MORENO A. Target-dependent sentiment analysis of tweets using a bi-directional gated recurrent unit[C]∥International Conference on Web Information Systems and Technologies, 2017.

9 高震宇, 王安, 劉勇,等. 基于卷積神經網絡的鮮茶葉智能分選系統研究[J/OL]. 農業機械學報, 2017, 48(7):53-58.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20170707&journal_id=jcsam.DOI:10.6041/j.issn.1000-1298.2017.07.007.

GAO Zhenyu,WANG An,LIU Yong, et al.Intelligent fresh-tea-leaves sorting system research based on convolution neural network[J/OL].Transactions of the Chinese Society for Agricultural Machinery,2017,48(7):53-58.(in Chinese)

10 WANG J, GUO Y. Scrapy-based crawling and user-behavior characteristics analysis on taobao[C]∥International Conference on Cyber-Enabled Distributed Computing and Knowledge Discovery. IEEE Computer Society, 2012:44-52.

11 方艷, 周國棟. 基于層疊CRF模型的詞結構分析[J]. 中文信息學報, 2015, 29(4):1-7.

FANG Yan, ZHOU Guodong. Analysis of word structure based on cascaded CRF model[J]. Journal of Chinese Information Processing, 2015, 29(4):1-7.(in Chinese)

12 陳飛, 劉奕群, 魏超,等. 基于條件隨機場方法的開放領域新詞發現[J]. 軟件學報, 2013, 24(5):1051-1060.

CHEN Fei, LIU Yiqun, WEI Chao, et al. New word discovery in open domain based on conditional random field method[J]. Journal of Software, 2013, 24 (5):1051-1060.(in Chinese)

13 GOLDBERG Y, LEVY O. word2vec explained: deriving Mikolov et al. ’s negative-sampling word-embedding method[J/OL]. Eprint ArXiv, 2014.ArXiv: 1402.3722.

14 KILLIAN J, MORCHID M, DUFOUR R, et al. A log-linear weighting approach in the word2vec space for spoken language understanding[C]∥Spoken Language Technology Workshop. IEEE, 2017:356-361.

15 劉雨康, 張正陽, 陳琳琳,等. 基于KNN算法的改進的一對多SVM多分類器[J]. 計算機工程與應用, 2015, 51(24):126-131.

LIU Yukang, ZHANG Zhengyang, CHEN Linlin, et al. Improved one to many SVM multi classifiers based on KNN algorithm[J]. Computer Engineering and Application,2015, 51(24):126-131.(in Chinese)

16 TANG Y, HUANG Y, WU Z, et al. Question detection from acoustic features using recurrent neural network with gated recurrent unit[C]∥IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2016:6125-6129.

17 WEN T H, GASIC M, MRKSIC N, et al. Semantically conditioned LSTM-based natural language generation for spoken dialogue systems[J]. Computer Science, 2015:1-13.

18 GORDEEV D. Detecting state of aggression in sentences using CNN[M]. Speech and Computer, Springer International Publishing, 2016.

19 毛勇華, 桂小林, 李前,等. 深度學習應用技術研究[J]. 計算機應用研究, 2016, 33(11):3201-3205.

MAO Yonghua, GUI Xiaolin, LI Qian, et al. Deep learning application technology[J].Application Research of Computers, 2016, 33(11):3201-3205.(in Chinese)

20 ARAB A, ALFI A. An adaptive gradient descent-based local search in memetic algorithm applied to optimal controller design[J]. Information Sciences, 2015, 299:117-142.

21 SRIVASTAVA N, HINTON G, KRIZHEVSKY A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. Journal of Machine Learning Research, 2014, 15(1):1929-1958.

22 邊耐政, 李碩, 陳楚才. 加權交叉驗證神經網絡在水質預測中的應用[J]. 計算機工程與應用, 2015, 51(21):255-258.

BIAN Naizheng, LI Shuo, CHEN Chucai. Application of weighted cross validation neural network in water quality prediction[J]. Computer Engineering and Applications, 2015, 51(21):255-258.(in Chinese)

23 POWERS D M W. Evaluation: from precision, recall and f-factor to ROC, informedness, markedness & correlation[J]. Journal of Machine Learning Technologies, 2011, 2:2229-3981.