關于社區問答中答案選擇的研究

胡珅健

（四川大學計算機學院，成都 610065)

關于社區問答中答案選擇的研究

胡珅健

（四川大學計算機學院，成都 610065)

答案選擇是問答系統中的重要組成部分，在自然語言處理中任務中已經占有一席之地。給出一個問題，從諸多答案中找到高質量的答案，以及確定找到選擇正確答案的方法，在當今社區問答中具有實際意義。旨在對近幾年針對社區問答中答案選擇提出的解決方法進行調查，并對其取得的效果的進行比較。

社區問答；答案選擇；CNN；LSTM

0 引言

隨著 Yahoo!、Stack overflow、百度知道、Quora等社區問答模塊的出現和普及，近年來社區問答的受歡迎程度與日俱增。越來越多的人使用這些網絡論壇來獲得他們的問題的答案。這些論壇使人們能夠在線發布他們的問題，并讓全世界的知識人士，甚至是專家來回答他們給出的問題，同時能夠提供他們的意見或專業知識來幫助其他用戶。

本文旨在討論社區問答中關于答案選擇任務面臨的挑戰以及現階段提出的一些解決辦法。第1節介紹了在社區問答領域中用于解決答案選擇和排序任務的方法，第2節定義了上述部分提到的方法用于評估的實驗設置和數據集，第3節是對結果的一般性討論。

1 問題答案選擇

給定社區網站中的問題，在問題的眾多答案中選擇高質量的答案是社區問答領域的一個重要任務。一些情況下，最佳答案往往是嘈雜的。答案選擇任務通常被建模為：給出問題 q和對應的答案池a1，a2，…，an，我們嘗試找到最佳候選答案。下面我們討論一些解決這個問題的方法。

1.1Bag-of-words model

給定單詞詞嵌入，詞袋模型通過對句子中所有單詞的詞嵌入進行求和來生成句子的向量表示，輸入之前要刪除的停用詞。然后通過句子的長度對向量進行歸一化，如下：

1.2Okapi BM25[1]

Okapi BM25是通過計算問題和答案語義表示的相似度計算得分而提出的。問題和答案表示被視為一個詞袋，通過計算兩個句子的加權匹配（利用逆文檔頻率IDF）來判斷兩個句子是否相似，其得分函數如下：

其中IDF為逆文檔頻率，#(w，q)為w在問題q中出現的次數，avg_len(a)為答案a的平均長度，k1和b為優化參數。最終得分取Score(q，a)和Score(a，q)的平均值。然而，因為問題和答案中詞很少直接匹配，因此這種方法的效果不是很好。

1.3TrandLM[2]

給出問題q和答案a，使用基于翻譯的語言模型來計算概率P(q|a)和P(a|q)，得分為兩個概率的平均值。條件概率由兩部分組成：給定a，生成q的單詞的ML估計器的平滑值（使用詞袋模型），以及給定a，生成q的概率作為基于翻譯的模型（即從a轉換為q）。具體來說，概率被計算為：

這里，Pml(w|C)是以#(w,C)|C|計算的最大似然估計，#是頻率。λ是平滑因子，而 β控制Pml和PTrans重要程度。在傳統的語言翻譯模型中使用的PTrans(w1|w2)計算以另一種語言給出w2的語言中產生單詞w1的概率。在答案選擇任務中將從a生成q的問題是作為一個翻譯問題來轉換來計算。具體來說，給出問題q和答案池A，找到問題最佳候選答案可以被建模為從答案生成問題的最高概率：

1.4 基于詞向量的卷積神經網絡方法（CNN）[3]

該方法利用CNN[3-4]生成給定問題和答案的語義向量表示（如圖 1a）。給定問題 q=q1，q2，…，qn和答案a=a1，a2，…，am，矩陣 q=[q1,q2…,qn]∈ Rd×n和 a=[a1,a2,…,am]∈Rd×m，其中d是詞向量表示的維度，其中單詞的詞向量表示可以使用Word2Vec[5]模型進行學習，也可作為模型學習的中間部分。對句子中每個維度的詞向量使用窗口大小為m的卷積核進行卷積（針對問題生成的Rd×n-m+1）抽取句子特征，然后應用最大池化（1-maxPooling）抽取最大特征作為輸出。其中，問題和答案的特征向量抽取共享CNN模塊。根據給出的問題和答案的特征表示，利用最大邊緣距離來訓練網絡，公式如下：

其中，C是具有正確答案的一組問題，C'是一組具有不正確答案的問題（從負抽樣中獲得），γ是邊緣閾值，s是得分函數（這里采用余弦度量）。

Yu等人使用窗口大小為2的卷積核和平均池化來建模[6]，通過最小化對數似然損失來訓練模型，預測0（不相關的響應）和1（相關響應），同時，他們還使用了基于TF-IDF的計數作為額外特征。

1.5 基于注意力機制的CNN/LSTM方法[7]

基于之前的研究工作，研究者嘗試在兩個正交方向上改進模型。代替之前僅僅使用單詞嵌入來表示的方法，通過雙向長短時記憶模型（Bi-LSTM）來抽取問題和答案的語義表示。這種方法允許對上下文進行編碼。然后使用卷積層和最大池層來抽取特征，更好地捕獲遠程依賴關系（LSTM的最終狀態受到捕獲整個上下文的維度大小的限制）。

在基于注意力機制的模型（圖1b）中，在問題的最大池化操作之后，使用得到的問題語義向量來參與抽取答案語義向量的表示，然后在基于權重的加權答案向量上使用最大池操作，并將結果用作答案的語義表示。這允許他們根據上下文在最大池之前權衡答案中每個單詞的重要性。

提出的最終模型結合了兩種想法，首先使用CNN生成問題語義向量表示，結合使用問題語義向量來計算答案的注意權重，使用注意加權答案作為CNN模塊的輸入來生成最終答案的語義表示。該模型使用最大損失函數進行訓練。

1.6 多層CNN方法[8]

基于Kalchbrenner的工作，Qiu和Huang等人使用深層卷積神經網絡為問題和答案生成語義向量表示（如圖2）。問題q=q1...qm首先使用詞向量（使用Word2Vec）轉換為矩陣，得到輸入矩陣s=Rd×lq，其中d是詞向量的維度，lq是問題q的長度。矩陣的每行與窗口大小為Rm的卷積核進行卷積，m是卷積核寬度（因此，卷積濾波器的數量為Rd×m），得到的結果矩陣的尺寸為 Rd×(lq-m+1)。

為了增加卷積網絡層數，該模型使用k-max Pooling操作。k-max Pooling層選擇k個最大特征值，并返回子序列而不改變其相對順序。因此，k-max Pooling之后的輸入長度獨立于輸入問題的長度（矩陣的維度是第一個k-max Pooling之后的Rd×k）。該層選擇值最大的特征，同時保留特征的相對順序。值得注意的是，k的值是根據動態選擇的，其中D是網絡的最大層數，d是當前層數。最后將ktop向量轉換為Rns向量vq。類似地，同樣獲得答案的特征向量va。得分函數也相應的作出修改，以解釋向量之間乘法和加法的相互作用：

其中M[1：r] ∈Rns×ns×r是捕獲乘法相互作用的張量（雙線性張量積vTqM[1 ： r] va生成向量 h∈Rr），U，V 和 b是模型中的參數。

圖1 基于神經網絡的方法[10]

圖2 多層卷積神經網絡模型[11]

2 實驗

2.1 數據集

（1）TREC QA數據集

該數據集由一個包含事實性問題列表以及答案句子列表組成[9]。任務是根據與問題的相關性對候選的答案進行排名。Feng等人的模型已經消除了所有積極和所有消極反應的問題，生成1162個作為訓練集，65個作為開發集和68個作為測試數據集，Yu等人的模型，數據集的結構為1229個作為訓練集，82個為開發集，剩下100個為測試集。用于比較不同模型的指標是MAP（平均精度）和MRR（平均互惠等級）。

（2）Yahoo!Answers數據集

該數據集由從Yahoo!Answers中提取了312000個問答對組成[8]。對于問題答案選擇和檢索的任務，使用10000個正向問答對作為開發集，10000個正向問答對作為測試集。其余用于訓練集，每個正向實例使用10個損壞的QA對（負抽樣），實驗指標為P@10。

2.2 實驗指標

的效果，實驗中采用的指標為MAP（平均精度）和MRR（平均互惠等級）。

2.3 實驗結果

表1，表2總結了上述方法在兩個數據集上的結果。

表1 TREC QA數據集的實驗結果

表2 關于Yahoo!問題的QA檢索

3 結語

如前面所述，單純的單詞匹配方法對于答案排序和檢索任務的效果不佳，因為問題和答案之間通常沒有重疊，因此在表1中，Okapi BM25的效果不高。基于翻譯LM的方法，P（q-a）模型對答案選擇任務有所改進。答案中的某些詞表明可以形成的問題的種類，例如：世紀，帽子戲法，一天，記錄等在答案中絕對是一個關于板球的問題。由于答案和問題之間的轉換，可以期待這樣的模型表現更好。然而，這些模型本質上將問題和答案視為一個單詞，不考慮任何語義。

從表1中看出，基于詞嵌入（詞向量）的方法優于Okapi BM25和基于翻譯的方法。這是意料之內的，因為詞嵌入確實捕獲一些語義關系。我們也看到簡單的字平均值不如CNN/LSTM網絡（表2）。原因可能是平均后的詞或上下文的重要性在句子中可能被稀釋或丟失了，因此獲得的語義代表性較差。這也可以解釋為什么最大池化的CNN優于均池化的CNN（表2）。

值得注意的是，將基于注意機制的CNN的卷積方法與使用k-max Pooling的多層CNN相結合的模型將是有趣的。

這項調查旨在總結目前CQA中的答案選擇任務以及用于解決這個問題的方法。在這個領域使用的但是沒有介紹的方法有基于編輯樹的語義問題匹配[10]和使用句法特征[11]的方法，這些方法使用了大量的特征工程和語法特征，需要消耗大量的人力物力來進行特征工程工作，同時它們還受大量因素的影響（POS Taggers，Dependency Parsers等），只能針對某一領域中的某一問題的數據集建模，由于數據集不同，也存在著難以比較的問題。未來工作的一個方向可能是測試一些常見數據集上的不同模型，并進行廣泛的誤差分析來比較其相對優點和缺點。

[1]S.E.Robertson,S.Walker,S.Jones,M.M.HancockBeaulieu,and M.Gatford.1996.Okapi at trec-3.pages 109-126.

[2]Xue X,Jeon J,Croft W B.Retrieval Models for Question and Answer Archives[C].International Acm Sigir Conference on Research&Development in Information Retrieval.DBLP,2008：475-482.

[3]Feng M,Xiang B,Glass M R,et al.Applying Deep Learning to Answer Selection：A Study and an Open Task[C].Automatic Speech Recognition and Understanding(ASRU),2015IEEE Workshop on.IEEE,2015：813-820.

[4]Kim Y.Convolutional Neural Networks for Sentence Classification[J].Eprint Arxiv,2014.

[5]Mikolov T,Sutskever I,Chen K,et al.Distributed Representations of Words and Phrases and their Compositionality[J].Advances in Neural Information Processing Systems,2013,26：3111-3119.

[6]Yu L,Hermann K M,Blunsom P,et al.Deep Learning for Answer Sentence Selection[J].Computer Science,2014.

[7]Tan M,Xiang B,Zhou B.LSTM-based Deep Learning Models for Non-Factoid Answer Selection[J].Computer Science,2015.

[8]Qiu X,Huang X.Convolutional Neural Tensor Network Architecture for Community-Based Question Answering[C].International Conference on Artificial Intelligence.AAAI Press,2015：1305-1311.

[9]Wang M,Smith N A,Mitamura T.What is the Jeopardy Model?A Quasi-Synchronous Grammar for QA[C].EMNLP-CoNLL 2007,Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning,June 28-30,2007,Prague,Czech Republic.DBLP,2009：22-32.

[10]Wang K,Ming Z,Chua T S.A Syntactic Tree Matching Approach to Finding Similar Questions in Community-Based Qa Services[C].International Acm Sigir Conference on Research&Development in Information Retrieval.DBLP,2009：187-194.

[11]Carmel D,Mejer A,Pinter Y,et al.Improving Term Weighting for Community Question Answering Search Using Syntactic Analysis[J].Journal of American History,2014(4)：351-360.

Research on Answer Selection of Community Question Answering

HU Shen-jian
（College of Computer Science,Sichuan University,Chengdu 610065）

Answer selection is an important part of the question and answer system,and plays an important role at natural language processing task.For a given question,find high-quality answers from multiple answers and determine ways to find the right answers are of practical relevance in today's community question answering.Aims at surveying some of theories and methods proposed for tackling the task of answer selection,and comparing the results obtained.

CQA;Answer Selection;CNN;LSTM

1007-1423（2017）32-0010-05

10.3969/j.issn.1007-1423.2017.32.003

胡珅健（1990-），男，安徽黃山人，碩士，研究方向為機器學習、社區問答

2017-09-06

2017-10-20