文本立場檢測綜述

李 洋 孫宇晴 景維鵬

(東北林業大學信息與計算機工程學院 哈爾濱 150040) (yli@nefu.edu.cn)

隨著社會媒體的快速發展，每天有大量的以產品評論、博客、論壇和微博等形式出現的用戶生成內容(user-generated content, UGC).此類文本數據中往往蘊含著對產品、服務、政策和新聞等的寶貴反饋，能夠為決策者提供來自于公眾的、與其關注目標相關的意見數據，為自動化文本意見挖掘帶來了前所未有的研究契機.

文本立場是文本作者表露出的對于特定目標的認識或處理問題時所持有的態度，目標主要包括人物、組織、政策、活動或者產品等.例如，為確定消費者對新產品的反應和提升用戶體驗，營銷者可以通過網絡發布與其目標產品相關的帖子，收集消費者的立場反饋.為確定民眾對政策、法規等的反應和維護社會安全穩定，決策者可以通過收集民眾對其的立場反饋來了解民情、引導輿論.

文本立場檢測是指從用戶發表的文本中自動判斷其對于預先給定目標的立場.文本立場檢測與文本情感分析是文本意見挖掘領域的重要研究方向，與文本情感分析不同的是，文本立場檢測需要判別表達方式更為復雜的“支持、反對或中立”的立場，而不是對指定對象的積極或消極的情感極性.情感通常作為立場表達的載體，同一立場可以通過不同的情感來表達.

文本立場檢測主要包括支持、反對或中立3個立場.

1) 支持.作者對目標持支持態度.例如，直接或間接地支持某人/某事，反對或批評與目標相反的某人/某事，或附和他人對目標支持的立場.

2) 反對.作者對目標持反對態度.例如，直接或間接反對或批評某人/某事物，支持某人/某事物反對目標，或附和他人對目標反對的立場.

3) 中立.作者對目標未表現任何立場.

如圖1所示，對于用戶A，用戶B，C，D分別持有直接支持、直接反對以及中立的立場，由于用戶E對用戶B持有支持立場，用戶F對用戶C持有支持立場，因此，用戶E和用戶F對用戶A分別持有間接支持立場和間接反對立場，由此可見立場關系具有一定的傳遞性.

Fig.1 The transitivity of text stance圖1 文本立場的傳遞性

文本立場檢測早期的研究工作大多集中于英文在線論壇以及政治辯論.2006年Thomas等人[1]收集了2005年美國國會發言辯論記錄，并進行支持與反對立場的標注，隨后，不同角度的文本立場檢測研究工作相繼出現.近年來，立場檢測的研究得到了學術界和工業界的廣泛關注，在商業智能、輿情分析、政治選舉、醫療決策和心理健康等許多不同領域均有應用.同時，對于諸多研究均可起到輔助作用，其研究成果可以推廣到對話系統、個性化推薦、謠言驗證、社會感知等研究領域，具有重要的學術研究與應用價值.

Fig.2 Classification of text stance detection圖2 文本立場檢測分類

本文從3個角度對文本立場檢測研究展開綜述，組織架構如圖2所示.文本立場檢測的目標類型包括單目標、多目標以及跨目標.文本立場檢測的文本粒度涉及到句子級別、篇章級別以及辯論文本.文本立場檢測的研究方法涵蓋了傳統機器學習、主題模型、深度學習以及“2階段”方法.通過上述3個角度，梳理了不同目標類型、文本粒度立場檢測的特點，對比了不同方法的可取與不足之處.接著，對文本立場檢測評測任務以及公開數據資源進行了歸納.最后，立足當前研究形勢，總結文本立場檢測研究的應用，并展望了文本立場檢測研究的未來發展趨勢以及面臨的挑戰.

1 文本立場檢測的不同目標類型

根據文本立場檢測任務中目標類型的不同，可分為單目標立場檢測[2-3]、多目標立場檢測[4]以及跨目標立場檢測[5]，如表1所示，接下來將分別對這3個方向展開介紹.

Table 1 Stance Detection with Different Target Granularity表1 不同目標粒度的立場檢測

1.1 單目標立場檢測

單目標立場檢測是指給定單一的文本(推特、微博、新聞文章、辯論文本等)以及目標，需要確定文本對給定的目標的態度是支持、反對或者中立，即尋找可確定文本對于目標所持立場的映射函數，其定義為：

定義1.給出1組文本D及1個目標T，確定映射的值ST:D→{支持，反對，中立}，?d∈D.

單目標文本立場檢測的研究是文本立場檢測中最為廣泛的，現有的研究工作主要分為針對人物的立場檢測、針對政策法規的立場檢測、針對公共事件的立場檢測以及針對產品的立場檢測.

1.1.1 針對人物目標的立場檢測

針對人物的立場檢測大多是將政治人物作為目標，而有關政治人物的文本中常常沒有直接針對該政治人物的信息.例如，用戶針對某候選人未發表任何提及其內容的文本，但可以通過用戶對其支持的某政治事件的反對態度，推斷該用戶對該候選人的反對立場.因此通過分析用戶在推特、微博等社交媒體上對某政治人物的政黨、支持者、反對者以及對相關事件的支持或批評性言論，可以間接推斷用戶對該政治人物的立場.Dias等人[6]主要關注該角度，將用戶使用的與目標或立場有關的常用詞語的n-gram作為特征訓練支持向量機(support vector machine, SVM)分類器進行立場檢測.

1.1.2 針對政策法規目標的立場檢測

用戶在表達對政策法規這類目標的立場時，通常伴隨著具體支持或反對的理由.例如：針對“深圳禁摩限電”這一政策法規，用戶發表微博“廣州的也給全部禁了吧，特別是摩托車，容易出事！”，從“全部禁了”“出事”這類詞語可知用戶對該目標的支持立場.盡管用戶對目標的表達方式千差萬別，但對于同一個目標，支持者(或反對者)所使用的關鍵詞是相近的，因此，如果能利用目標文本捕捉到用戶文本中支持(或反對)的關鍵詞，就能夠大幅度提升立場檢測的效果.Du等人[7]建立了基于目標主題增強的注意力模型，用注意力機制定位到文本中與目標顯著相關的關鍵部分，在中文立場檢測數據集上“開放二胎政策”和“是否允許春節放鞭炮的法規”2個目標的實驗證明了對目標文本和用戶文本構建注意力機制的有效性.

1.1.3 針對公共事件目標的立場檢測

當一個事件成為輿論熱點時，就稱為公共事件，如“對全球變暖的擔憂”“朝鮮核試驗”“俄羅斯在敘利亞的反恐行動”等.對于“俄羅斯在敘利亞的反恐行動”這一目標，某用戶發表微博“9月30日開始至今，俄空爆敘利亞，共死亡1 331人，其中403人是一般的民眾……其中的三分之一是無辜平民陪葬.”文本中表述了對無辜平民死亡的看法，沒有談及對于該事件的態度.針對公共事件目標的立場檢測往往需要額外的背景知識來豐富文本的詞匯和語義信息.奠雨潔等人[8]針對“俄羅斯在敘利亞反恐行動”目標進行了立場檢測，使用維基百科中文語料訓練了一個400維的word2vec模型，得到了語料的字向量、詞向量表示，同時包含了詞語的語義信息，對目標相關的詞匯與語義信息的擴展，能夠更加高效地判定用戶的立場.

1.1.4 針對產品目標的立場檢測

Fig.3 Multi-target stance detection based on attention mechanism圖3 基于注意力機制的多目標立場檢測

產品目標的立場檢測，大都是基于產品評論文本進行的.用戶在評論文本中描述較多的是產品屬性，因此針對產品的立場檢測的關鍵是對文本中產品屬性關鍵詞和描述詞的抽取，此時針對產品評論的立場檢測與方面級情感分析任務極為相似.Wang等人[9]提出從產品評論中自動挖掘用戶對于產品的立場，幫助客戶和商家做出明智的購買決策和有效的營銷策略.一般來說，方面級情感分析的目的是提取五元組e，a，s，h，t，其中e是實體或目標，a是實體e的方面(aspect)，h是意見持有人，t是意見持有人對實體e表達意見的時間，s是h在t持有實體e的方面a的意見.例如，用戶發表文本“我今天買了一個新的iPhoneX，屏幕是很好，但是語音質量很差.”輸出的2個五元組分別是iPhoneX，screen，great，I，today和iPhoneX，voice quality，poor，I，today.此時，進行文本立場檢測，僅需要提取五元組中的針對特定目標e的意見s，用戶在評論文本中描述較多的是產品屬性，因此捕獲s的關鍵是對文本中產品屬性關鍵詞(如屏幕、電池)和描述詞(如可移植性、可用性)的抽取.早期大都采用基于規則的方法，利用詞性標注模板、句法依賴模板和關聯規則挖掘來提取關鍵詞和描述詞.由于基于規則的方法很難從一個領域移植到另一個領域，且往往忽略了屬性之間的語義相似性，主題模型、聚類等無監督方法被提出以緩解該問題.Titov等人[10]發現標準主題模型LDA(latent Dirichlet allocation)，PLSA(probabilistic latent semantic analysis)更傾向于生成全局屬性(如產品類型或品牌)，他們提出了多粒度主題模型LDA(multi-grain topic model, MG-LDA)區分了全局主題和局部主題.局部主題用于捕獲屬性描述詞，全局主題用于捕獲產品的屬性詞.有效地提取屬性詞以及屬性描述詞，利于提升文本立場檢測性能.

1.2 多目標立場檢測

多目標立場檢測與單目標立場檢測相似，給定文本和K個相關的目標，需要確定文本對給定K個目標的立場，區別在于其中一個目標的預測對其他目標的預測可能有潛在影響，其定義為：

定義2.給定1組文本D與K個目標T1,T2,…,TK，目的是?d∈D，確定映射S:T1×T2×…×TK,D→{支持，反對，中立}.

Sobhani等人[4]首先注意到了多個目標之間的依賴性，并創建了一個用于多目標立場檢測的數據集.該數據集收集了與2016年美國大選相關的4 455條推文，并對多個目標對的立場進行了人工標注.在文獻[11]中，Sobhani等人提出一個基于注意力機制的多目標立場檢測方法(multi-target stance detection, MTSD)，使用編碼器-解碼器框架，如圖3所示.將推特文本通過雙向循環神經網絡(bidirectional recurrent neural network, BRNN)映射為編碼器端的一個向量，在解碼器端使用循環神經網絡(recurrent neural network, RNN)生成指向給定目標對的立場標簽，該模型利用注意力機制根據目標動態地聚焦于輸入文本中的不同單詞，從而針對每個目標生成立場標簽.在訓練時，分別針對不同的目標順序，為每個目標對訓練2個模型(如：針對候選人A- 候選人B目標對進行立場檢測，首先訓練一個模型預測對候選人B的立場，然后預測對候選人A的立場，另一個模型則按照與之相反的順序預測立場標簽)，此外，在為每個目標生成立場標簽時，同時利用前一個目標的立場標簽作為輸入，因此可以捕獲不同目標標簽之間的依賴.通過多次實驗表明：基于注意力機制的多目標編碼器-解碼器框架比獨立使用機器學習方法或其他聯合學習方法(如級聯分類和多任務學習)更有效地對多個目標的立場進行聯合建模.

為了捕獲所有目標的相關信息，一些學者嘗試利用記憶網絡.Wei等人[12]提出了一種動態記憶增強網絡模型(dynamic memory-augmented network, DMAN)，該模型首先使用2個雙向長短時記憶網絡模型(bidirectional long short term memory, Bi-LSTM)分別編碼推特文本和目標，接著利用注意力機制學習針對不同目標的文本表示.然后，利用共享的動態記憶單元自適應地提取多個目標的相關立場指示信息，該動態記憶網絡在訓練過程中能夠捕獲和保存有關全部目標的隱式狀態信息，最后通過softmax分類分別對K個目標進行立場檢測.

Siddiqua等人[13]提出了一種神經網絡集成模型(proposed neural ensemble model, PNEM)，將基于注意力機制的密集連接的雙向長短期記憶網絡(densely connected Bi-LSTM, DC-Bi-LSTM)[14]、嵌套的長短期記憶網絡(nested LSTM, NLSTM)[15]與多核卷積結合在一個統一的結構中.該模型針對目標對中的每個目標進行立場檢測，首先將目標與文本向量拼接起來，通過多核卷積濾波器生成不同的特征向量，再分別輸入到帶有注意力機制的DC-Bi-LSTM和NLSTM中，最后將2個部分的表示拼接起來以確定最終的立場標簽，在實驗結果上超越了前面2個方法.

1.3 跨目標立場檢測

跨目標立場檢測任務的基本思想是給定領域相關的2個目標，從源目標學習一組特定領域的知識，將它們應用于給定目標立場的預測，其定義為：

定義3.給定一組文本D與源目標P、目的目標T，目的是確定映射ST:SP∪D→{支持，反對，中立}，?d∈D.

Xu等人[5]針對該問題提出交叉神經網絡模型，該模型由4層神經網絡組成，將來自源目標的帶有立場的句子P和給定目標T作為輸入，并采用了自注意機制，最后輸出預測的立場，模型結構如圖4所示.該模型能從源目標中發現有用的領域信息，并很好地應用在對給定目標的立場檢測上.

Fig.4 Cross-target stance detection based on attention mechanism圖4 基于注意力機制的跨目標立場檢測

1.4 小 結

本節介紹了不同目標類型的文本立場檢測工作，總結3方面：

1) 單目標立場檢測

單目標立場檢測中目標與文本是一一對應的關系，在進行立場檢測時通常需要針對目標和文本的特點，因此模型和方法簡單且針對性強.

2) 多目標立場檢測

多目標立場檢測中文本對于每一個目標的立場取決于其他目標對它的影響，因為存在語言模型可能無法兼容不同目標的問題，通常需考慮聯合建模.

3) 跨目標立場檢測

給定領域相關的2個目標，從源目標學習一組特定領域的知識，然后利用學到的知識判斷相同領域內其他給定目標的立場.跨目標立場檢測多利用遷移學習思想，捕捉相同領域不同目標的相似性.

2 基于不同文本粒度的立場檢測

根據待檢測文本粒度的不同，文本立場檢測分為句子級別立場檢測、篇章級別立場檢測以及辯論文本立場檢測.

2.1 句子級別立場檢測

當立場檢測中給定的用戶文本是較短的單個句子形式，即為句子級別立場檢測.句子級別立場檢測的待檢測文本常見于短文本，如給定推特或微博文本，判斷其對給定目標的立場是支持、反對或中立.

Zarrella等人[16]認為句子級別立場檢測的挑戰在于用戶表達立場觀點經常伴有諷刺、反諷、類比和隱喻等修辭性的語言表達，由于立場文本較短，缺乏背景知識，算法很難準確識別出文本立場.為了解決這些問題，他們采用遷移學習的思想，通過在大規模無標簽推特數據集上遠程監督訓練了單詞和短語的初始嵌入向量，將其作為4層循環神經網絡模型的輸入，這種背景知識信息的引入，在句子級別立場檢測任務中取得了較好的結果.Wei等人[17]提出了“2步驟”無監督的方法進行句子級別立場檢測，同樣使用遠程監督通過英文推特立場檢測領域語料庫(domain corpus)建立了2個類別的訓練數據集(支持/反對)，然后利用改進的CNN(convolutional neural network)模型[18]提出的模型將推特文本分成支持、反對與中立3類，最后設計了一個投票方案(vote scheme)進行預測.

2.2 篇章級別立場檢測

篇章級別立場檢測通常是指給定文章標題作為目標，判斷文章與該標題的一致性，分為支持、反對、需要討論或與標題無關4種類別，其目標-文本對舉例如表2所示：篇章級別的立場檢測是虛假新聞檢測中的一項基礎研究工作，Pomerleau等人(1)http://www.fakenewschallenge.org/在2017年提出虛假新聞檢測任務，并將立場檢測作為該任務的第一階段.Riedel等人[19]提出一個端到端的立場檢測模型，將輸入文本和目標分別用2個簡單的詞袋(bag of words, BOW)模型來表示，然后使用具有隱藏單元的多層感知機網絡對其進行一致性的分類.Bhatt等人[20]著重從外部特征獲取信息，首先利用啟發式的特征工程方法獲取目標與文本相似詞語數、相似n-gram數等外部特征，然后采用循環神經網絡將所有特征組合起來進行立場檢測，取得了比前者詞袋特征更好的效果.還有一些學者借助神經網絡模型在特征提取方面的優越表現，Conforti等人[21]提出了2種神經網絡模型：雙向條件編碼模型與聯合匹配注意力模型(co-matching attention)，將文章按照句子的層次順序進行編碼，判斷新聞文章對標題的立場，該模型對支持和反對2個立場的檢測效果非常突出.

Table 2 Document Level Stance Detection表2 篇章級別立場檢測

2.3 辯論文本立場檢測

Hasan等人[22]指出辯論文本的立場檢測包含的主要文本類型為：國會辯論、公司內部討論以及在線論壇辯論3種情境.辯論文本立場檢測任務通常是將給定辯論主題作為目標，判斷用戶的辯論文本對該目標的立場是支持或反對，如表3所示.本文將對辯論文本的立場檢測分為基于政治辯論文本的立場檢測與基于在線社交網絡辯論文本的立場檢測.

Table 3 Debate Text Stance Detection表3 辯論文本立場檢測

2.3.1 針對政治辯論文本

Thomas等人[1]首次提出政治辯論文本的立場檢測任務，他們收集了2005年美國國會發言辯論記錄，并進行“支持”與“反對”的標注.Gottipati等人[23]從辯論百科Debatepedia(2)http://dbp.idebate.org/en/index.php/Debate:_Gun_control中獲取政治辯論數據，利用用戶發表的辯論文本以及所表達的情感信息等構建了一個主題模型，以推斷出用戶的辯論文本對于各個目標的立場.Somasundaran等人[24]對2種類型的特征，即情感特征和辯論(argue)特征進行了實驗研究，結果表明辯論特征在立場分類中的結果始終優于情感特征.

劉兵[25]提到將針對辯論文本的立場檢測看作傳統情感分析的一種擴展，他們認為用戶表達立場的文本也蘊含著情感信息，例如表達支持的立場可以認為具有褒義的情感信息，反對的立場則具有貶義的情感信息.因此，稱支持與反對的文本表達為“支持-反對”(agreement disagreement, AD)情感表達，該概念的提出對于辯論文本立場檢測與情感分析具有推動意義.

2.3.2 針對在線社交網絡辯論文本

隨著社交網絡的普遍使用，對在線社交網絡辯論文本進行立場檢測逐步受到人們的關注.將社交網絡辯論的主題視作目標，識別用戶發布的文本對于該目標的立場，目前此任務大致分為2種途徑：直接立場檢測與間接立場檢測.

2.3.2.1 直接立場檢測

相對于間接立場檢測而言，直接立場檢測是直接識別用戶的辯論文本對于目標的立場.Hasan等人[26]使用2種語言特征：上下文信息和人工標注獲得的知識訓練辯論文本立場分類器，接著學習用戶的立場，以作為辯論文本立場分類器的補充，最后使用整數線性規劃(integer linear programming, ILP)方法聯合推斷立場.Yuan等人[27]對問答形式的辯論文本展開了研究，首次從百度知道、搜狗問問、明醫等網站獲取并標注13 591條問題-回答對數據，主要涉及懷孕、食品、安全、疾病等話題.采用一種循環條件注意力模型(recurrent conditional attention, RCA)判斷用戶的辯論文本對目標問題的立場傾向性.首先使用基于門控循環單元(gated recurrent unit, GRU)結構的循環神經網絡對問題句和回答句進行建模；接著利用注意力機制來篩選問題句中對于立場比較重要的詞，得到與立場相關的問題句的表示向量，回答句中也采用該方法獲取向量表示；最終將回答句中所有詞的隱含向量加權平均融入到立場狀態中，完成RCA模型對問答對的一次閱讀過程.在循環閱讀問題對的過程中，RCA模型交錯提煉問題句、回答句語義表示，挖掘問題句-回答句之間的相互依賴關系，逐步推理獲得回答句對于目標問題真實的立場.

2.3.2.2 間接立場檢測

Fig.5 Debate tree: “would we like to live in the world of harry potter?”圖5 辯論主題樹:“我們愿意生活在哈利·波特的世界里嗎？”

大多數意見的表達并不是直接針對目標主題，而是針對相似目標或者其他用戶的辯論文本，這時，直接立場檢測很難確定用戶對某個目標主題的立場，因此需要間接立場檢測.Murakami等人[28]在調研前人的工作時，發現在基于鏈接的方法中使用已標記的文本內容會提高立場檢測的效果，因此使用基于規則的分類器將用戶相對于相鄰辯論文本的立場分為支持、反對或中立，從而確定觀點網絡中相應鏈接的權重，根據該權重計算表示2個用戶之間的分歧程度的反應參數，最后運用最大割(max-cut)算法將用戶相對于目標主題的立場分為支持或反對.Durmus等人[29]創建了一個包含741個辯論文本主題的數據集，針對每一個目標主題都構建一個論點樹，其中根節點代表主題，每個子節點代表論點，可能支持或反對其父節點，如圖5所示，每個子節點對其父節點的立場都標識在他們之間的邊上.針對主題“我們想住在哈利波特的世界嗎？”，它的子節點“魔術開啟了許多有趣的可能性”是支持立場，而另一個子節點“當魔法介入時，傷害的能力會更強”則持有反對立場.采用BERT(bidirectional encoder representation from transformers)模型對每一個論點相對于主題或者同一棵論點樹上其他論點的立場進行檢測.還對比了3種微調BERT模型：樸素的BERT模型、帶有路徑信息的BERT模型、帶有層次結構和路徑信息的BERT模型.結果表明，考慮層次結構和路徑信息有助于確定2個論點之間的相對立場，通過相鄰觀點間接檢測用戶對主題的立場與直接立場檢測相比能取得更準確的結果，模型結構也相對復雜.

3 文本立場檢測方法分類

文本立場檢測的方法大致可分為基于傳統機器學習的方法、基于主題模型的方法、基于深度學習的方法以及基于“2階段”的立場檢測方法.

3.1 基于傳統機器學習的立場檢測

在傳統機器學習方法中邏輯回歸、樸素貝葉斯、決策樹、SVM等是最常用的機器學習方法，也是常常用作與其他方法進行比較的基線方法，其重點是如何選取合適的特征表示.特征類型可分為簡單文本特征、情感特征和混合特征.

3.1.1 簡單文本特征

簡單文本特征主要包括詞匯特征、詞頻-逆文檔頻率(term frequency-inverse document frequency, TF-IDF)、單詞向量(word2vec,para2vec)、主題模型相關特征(LDA,LSA)、命名實體、依賴關系、句法規則等.Xu等人[30]采用para2vec，LDA，LSA等語義特征來表示推特文本中的語義信息，對比了隨機森林(random-forest, RF)、基于線性核函數的支持向量機(support vector machine-linear, SVM-Linear)以及基于RBF核函數的支持向量機(support vector machine-RBF, SVM-RBF)等機器學習算法在使用不同語義特征時立場檢測的效果.類似地，Sun等人[31]分析了語義特征、詞法特征、形態特征和句法特征多種語言特征在中文微博立場檢測任務中的作用，實驗表明上述特征均有助于立場檢測性能提升.

3.1.2 情感特征

為了證明情感信息與給定目標之間存在相互依賴關系，Mohammad等人[32]首先發布了一個融合情感信息和立場標簽的標注數據集，用于研究情感和立場之間的相互影響關系.基于該數據集，Ebrahimi等人[33]將情感極性融入到目標和立場中，通過一個圖模型對目標、立場標簽和文本中情感詞的交互進行建模，建立了對數線性的情感-目標-立場聯合模型(joints sentiment-target-stance modeling, STS)，證明了聯合情感信息對目標進行立場建模的有效性.此外，情感詞典也是將情感特征引入立場檢測的重要手段[34].

3.1.3 混合特征

除了簡單文本特征、情感特征之外，一些學者提出了基于混合特征的方法.奠雨潔等人[8]利用融入同義詞詞典的詞袋模型和字向量、詞向量等特征，分別使用SVM、RF和決策樹等進行立場檢測，最后對所有的分類器進行后期融合，取得了中文微博立場檢測任務(NLPCC2016 Task4)最好的效果.

3.2 基于主題模型的立場檢測

Ahmed等人[35]提出一個多視角的潛在的狄利克雷分配模型(multi-view latent Dirichlet allocation, mview-LDA)，將文本中的每一個單詞看成是立場傾向和主題的相互結合.使用因子主題模型在主題級別解決了建模立場的問題，并通過折疊的吉布斯采樣進行后驗推斷：首先進行學習，找到模型參數的點估計，再根據文本和已獲得的點估計對進行推斷.對模型進行了評估和說明，明顯優于基線模型.Gottipati等人[23]提出一種隱含主題模型，將信息提取和情感分析整合到該模型中，并且使用辯論百科數據集中論點的層次結構來構建主題，以推斷出社會政治辯論領域中的主題和立場，最后通過定性和定量評估展示了該模型的優點和缺點.

3.3 基于深度學習的立場檢測

近年來，深度學習在自然語言處理方向取得了卓越的成果，相對于傳統機器學習方法，深度學習有效地減少了手工構造特征的工作量，并且擁有優秀的表示學習能力.

3.3.1 卷積神經網絡

卷積神經網絡是一類基于空間上卷積操作的神經網絡模型，CNN在文本情感分類、虛假新聞檢測等許多文本分類任務中都取得了很好的效果，因此在立場檢測工作中被廣泛使用.Vijayaraghavan等人[36]為英文推特立場檢測數據集中的5個目標分別訓練了字符級別和詞級別卷積神經網絡模型，并選擇表現最佳的模型或是兩者的組合進行預測.結果表明在數據量足夠大的立場檢測中，字符級別卷積神經網絡的表現遠遠好于詞級別卷積神經網絡模型.

此外，Taulé等人[37]借助了CNN在圖像處理等方面的優勢，在針對加泰羅尼亞公投的立場檢測中對推特文本、鏈接的上下文信息以及圖片多模態信息進行建模，認為使用加泰羅尼亞國旗代表著支持加泰羅尼亞的獨立，進一步提高了立場檢測的效果.

3.3.2 遞歸神經網絡

一些學者認為，普通的卷積神經網絡不能有效地捕捉語法和句法信息，Zarrella等人[16]通過在2個較大的無標簽文本數據集上進行弱監督學習獲得詞向量特征，然后采用遞歸神經網絡(recursive neural network, RNN)融合語法和句法信息學習輸入文本的向量表示，對推特文本進行立場檢測.遞歸神經網絡的優勢在于其可以充分利用語法和句法結構的信息，但其檢測效果對語法句法分析的結果也具有較強的依賴.

3.3.3 長短時記憶網絡

長短時記憶網絡(long short-term memory, LSTM)是由門(gate)控制的循環神經網絡，可以捕獲較長距離的依賴關系，緩解RNN中梯度消失的問題.Augenstein等人[38]建立了基于弱監督學習的雙向條件LSTM編碼模型，分別使用2個LSTM先后建模，將立場目標與推特文本結合起來：第1個LSTM使用額外的訓練數據對預定目標進行編碼，第2個LSTM使用預定目標的編碼作為初始狀態對推特進行編碼，完成對目標和文本的聯合建模.Sun等人[39]提出使用一個共享的LSTM層來學習立場和情感信息之間的深層共享表示，通過參數共享實現相互的語義表示；然后將共享的表示信息進行疊加，將情感檢測的隱含層輸出作為立場檢測的附加輸入進行聯合學習，利用情感信息來促進立場檢測的效果.

注意力(attention)機制最早是在視覺圖像領域提出來的，源于人類視覺的注意力機制.近年來，注意力機制被廣泛應用到基于深度學習的自然語言處理各個任務中，常與長短時記憶網絡結合使用.Du等人[7]為了捕捉目標信息對待檢測文本表示的影響，引入了注意力的機制.他們提出了一種基于目標主題增強的注意力模型，定位到文本中與目標顯著相關的關鍵部分.基于Du的模型，岳天馳等人[40]提出基于“2階段”注意力機制的模型，完成“中國政府在新疆反恐行動”目標的立場檢測，構建的“2階段”注意力機制模型ATA(attention-target-attention)結構如圖6所示.圖6中第1階段將目標與文本向量匹配得到注意力權重β，進而得到目標向量表示；第2階段將目標向量與文本詞向量匹配得到注意力權重α，將該權重與雙向LSTM文本表示進行交互得到融入話題的文本表示，最后將該文本表示用于立場檢測，由此提高立場檢測結果.

Fig.6 Stance detection model based on the combination of attention mechanism and LSTM圖6 注意力機制與長短時記憶網絡結合的立場檢測模型

顏瑤[41]以條件編碼的方式結合主題目標信息與文本信息，條件編碼在“編碼”階段引入主題目標信息，而注意力機制在“解碼”階段引入主題目標信息，對目標編碼時采用單向LSTM，而對文本編碼時使用雙向LSTM模型.在英文推特立場檢測數據集和中文微博立場檢測數據集上的實驗結果證明了結合注意力機制與條件編碼的方法在文本立場檢測任務中的有效性.Sun等人[42]指出應權衡不同語言信息的重要性，提出一種多層注意力網絡(hierarchical attention network, HAN)模型，模型包括2個部分：語言注意力部分和超注意力(hyper attention)部分，前者用于學習具有不同語言特征(包括情感詞、依賴性以及目標)的表示，后者調整不同特征集的權重，經過實驗證明，該模型在英文推特立場檢測數據集取得了很好的效果.

3.3.4 卷積神經網絡與長短時記憶網絡結合

Yu等人[43]使用了卷積神經網絡與LSTM類神經網絡結合的方法，首先利用CNN層來提取局部n-gram特征，然后利用雙向LSTM來提取隱含的全局語義特征，最后將表示這2個特征的固定維度向量結合起來進行結果預測.受Yu等人[43]工作的啟發，白靜等人[44]將詞向量分別輸入到CNN和BiLSTM中，獲得卷積特征和隱含語義表示，然后將基于注意力的池化策略應用到模型中，通過BiLSTM模型獲得的隱含文本表示指導卷積特征注意力加權，最后將CNN和BiLSTM得到的文本表示進行拼接作為最終文本表示，基于此預測立場標簽.

3.3.5 記憶網絡

記憶網絡(memory network)是為了彌補循環神經網絡等無法存儲長時間記憶而提出的.它具有獨立存儲器，能夠按需讀寫“知識庫”來增強模型的記憶能力[45].Mohtarami等人[46]使用一種端到端的記憶網絡模型，包含卷積神經網絡和循環神經網絡以及相似矩陣，確定文本相對于給定目標的立場，并提取相關證據片段以支持預測結果.特別注意的是，與以往研究工作不同，這里提出的端對端的記憶網絡是一個六元組{M，I，F，G，O，R}，并引入一個相似矩陣，用來改進證據片段的提取效果，證明了模型能夠從給定的文本文檔中提取有意義的片段從而提高預測效果.

3.3.6 預訓練語言模型

近兩年ELMo[47]，OpenAI GPT[48]，BERT[49]等預訓練語言模型在多項自然語言處理任務中獲得了提升，很多學者在進行文本立場檢測工作時也采用了預訓練語言模型的方法.首先在一個較大的數據集上使用語言模型進行預訓練，然后針對特定的任務對它們進行微調.Rao[50]討論并比較了2個方法：ULMFiT(universal language model fine-tuning)[51]和GPT(generative pre-training)，并展示如何對它們進行微調，以便完成對英文推特的立場檢測.ULMFiT方法首先引入通用領域語料庫來訓練語言模型(父模型)，再利用父模型優化立場分類模型(子模型)，最后使用目標任務數據微調分類器并訓練立場分類器，得到比前兩者更好的預測效果.GPT方法分2個步驟進行：首先是無監督的預訓練，語言模型以無監督的方式對來自谷歌圖書庫的幾千本書進行了訓練；其次是有監督的微調，為有監督的立場檢測任務調整參數，輸入通過預先訓練的模型最終獲得預測的結果，優于ULMFiT方法.

3.4 基于“2階段”的立場檢測

3.1～3.3節介紹的方法都是直接進行立場檢測的，還有另外一類“2階段”立場檢測方法，即以流水線的形式分2個階段完成立場檢測任務.現有的方法中，有2種分段方式：1)首先判斷文本是否具有立場，隨后判斷立場是支持或反對；2)將問題建模為相關性檢測與立場檢測.最終目標都是判斷用戶文本對于所給目標的立場.基于“2階段”的立場檢測，將三分類問題轉化為2個二分類問題，易于建立模型，實現簡單且判斷精度較高，基于“2階段”的立場檢測分段方式如圖7所示：

Fig.7 Flow chart of two-stage stance detection model圖7 “2階段”立場檢測模型流程圖

第1種“2階段”方法將常見的文本立場檢測中“支持、反對、不相關”的三分類問題轉化成2個二分類問題：在第1個階段，將數據集中的文本數據分為中立(不帶有立場)和非中立(帶有立場)這2個類別，再對第1個階段中非中立(帶有立場)類別的數據進行分類，分為支持和反對2種立場，如圖7(a)所示.Wojatzki等人[52]分別在有監督和弱監督的情況下對推特文本立場進行預測.在有監督學習時，使用了n-gram特征、句法特征、立場詞典特征等多種豐富的特征，2個階段使用了大致相同的特征集，但是由于2個階段目標不同，針對每個階段的目標訓練單獨的SVM分類器.在弱監督學習時，采用了遷移學習的思想，首先從有監督任務中選擇與推特文本最相似的目標.如果目標被選定，使用其被訓練的分類器來分類該推特文本，實現的效果很好.后續的消融實驗證明對于所有目標來說，最有效的特征是立場詞典特征.基于前人的工作，Dey等人[53]提出在2階段立場檢測方法中融合新的特征.在第1階段，受到主觀性檢測工作的啟發，采用加權MPQA(Multiple-Perspective QA)主觀-極性分類和基于詞網(WordNet)的潛在形容詞2個特征，將整個數據集的文本分為中立的和非中立的2個類別；第2階段結合基于情感詞典(SentiWordNet)和MPQA的情感分類特征、框架語義特征、目標檢測特征、單詞n-grams和字符n-grams等多個特征，對第1階段分類預測出的非中立文本進行分類，分為支持和反對2個類別.在中文微博立場檢測中，劉勘等人[54]建立了一個結合情感加權算法和樸素貝葉斯算法的組合分類模型(serial sentiment weighted and na?ve Bayes model, SWNB).在第1階段，為每一個目標擴充了情感詞庫并建立了關聯實體集，提出了能夠同時對復雜句式、目標相關實體進行處理的情感加權規則，計算加權分數后將微博文本分為帶有立場和不帶有立場2個類別.第2階段，利用樸素貝葉斯分類器，從各個目標的關聯實體庫提取出每條微博文本中的情感詞、關聯實體、否定詞、程度副詞，并將它們作為特征計算這些特征項和各類別的聯合概率，從而預測給定微博文本的具體立場即支持或反對.

第2種“2階段”方法首先實現文本和目標之間的相關性檢測，判斷文本與目標之間是否相關；接著再完成立場檢測，即判斷用戶文本對目標的立場是支持或者反對，如圖7(b)所示.Zhang等人[55]在有監督的立場檢測中，根據5個預定的目標將訓練數據分為5個子集，為每個子集訓練2個分類器.對所使用的包括：語言特征、主題特征、相似性特征、情感詞特征、推特文本特征(標簽、表情符等)以及詞向量特這6種特征進行了對比分析，其中相似性特征可以有效地判斷推文是否與給定目標相關，為立場檢測的方法提供了新思路.

3.5 小 結

綜合3.1～3.3節所述，文本立場檢測從方法上可分為基于傳統機器學習的立場檢測、基于主題模型的立場檢測、基于深度學習的立場檢測、基于“2階段”的立場檢測，現在進行總結與對比.

1) 基于傳統機器學習的立場檢測

基于機器學習的立場分析方法需要結合語言學規則人工構建特征組合，對語言學知識具有較高的要求，也會造成大量的人力消耗.通過構造特征訓練機器學習模型來完成文本立場檢測任務能取得較好的效果，最常用的分類模型是支持向量機和樸素貝葉斯分類器.相比深度學習的分類方法，該方法模型構成比較簡單，定義明確，但存在著特征稀疏、維度災難等缺陷.并且，特征的提取與選擇對分類效果影響較大，因此，探索更復雜、更有意義的分類特征是這類方法努力的方向.

2) 基于主題模型的立場檢測

主題模型因其在挖掘文本背后隱含信息方面具有優勢，已成功地應用于特征識別等意見挖掘任務，同時這種方法具有一定的理論基礎.該模型可以很好地將目標與文本中重要的關鍵詞聯系起來，能夠解決諸如文本蘊含等其他方法難以判斷的問題.但主題模型中文本特征也是稀疏和離散的，需要較多的訓練語料.且目標的數量與文本的對齊處理不夠靈活，例如，不能很好地解決對多目標立場檢測的工作.

3) 基于深度學習的立場檢測

基于深度學習的立場檢測方法隨機初始化或使用谷歌新聞、維基百科等語料預訓練詞嵌入，或者利用預訓練語言模型學習在大規模無監督語料所蘊含的背景知識.基于深度學習的立場檢測方法最常見的是LSTM和記憶網絡的方法，得益于其分析長期內容、過渡信息和檢測上下文的能力.與基于傳統機器學習的立場檢測以及基于主題模型的立場檢測不同，深度學習有效地減少了手工構造特征的工作量，能夠自動抽取最優的特征表示，且連續化的向量表示可以克服特征稀疏的問題.但構造復雜的模型來進行更深度的表示學習，模型體量大，訓練時間長，利用知識蒸餾等手段在保證模型泛化能力的前提下，對模型進行簡化是這類方法值得深入研究的問題.與此同時，應用到立場檢測任務中，探索所持立場的原因，增強模型的可解釋性也是進一步值得思考的問題.

4) 基于“2階段”的立場檢測

與前3種立場檢測方法不同，基于“2階段”的立場檢測是根據文本立場檢測的不同階段對其進行分類，將三分類問題轉化為2個二分類問題，多增加的一個階段使分類任務更加細化，但是也容易產生錯誤級聯.

最后，對文本立場檢測研究中應用的方法進行總結，如表4所示.按照使用的機器學習方法不同，對檢測對象粒度、特征選擇以及是否雙語3個角度進行了總結.

Table 4 Comparison of Existing Methods of Stance Detection表4 立場檢測現有方法的比較

續表4

4 文本立場檢測的評測會議與數據資源

4.1 立場檢測的評測會議

2016年以來，國內外的很多研究機構組織了文本立場檢測公共評測任務，其中包括國際語義評測大會(International Workshop on Semantic Evaluation, SemEval)和自然語言處理與中文計算大會(Inter-national Conference on Natural Language Processing and Chinese Computing, NLPCC)等，推動了立場檢測研究的發展.

表5對文本立場檢測4個評測任務按照立場檢測對象粒度、語料種類以及效果最佳的團隊進行總結，以供參考.

Table 5 Summary of Open Evaluations for Stance Detection表5 立場檢測公開評測會議總結

4.1.1 SemEval 2016 Task 6

該評測使用由Mohammad等人[2]基于英文推特構建的英文立場檢測數據集，Task 6任務包含2項子任務：子任務A是一個有監督分類任務，使用帶有標注的訓練數據檢測用戶對5個給定的目標的立場；子任務B是一個弱監督分類任務，使用大量未標注的訓練數據檢測推特文本對于“唐納德·特朗普”目標的立場.

4.1.2 NLPCC-ICCPOL 2016 Task 4

2016年自然語言處理與中文計算大會提出了基于中文微博文本(來自新浪微博應用)的評測任務——NLPCC-ICCPOL(International Conference on Computer Processing of Oriental Languages) 2016 Task 4.該任務也是分成2項子任務：子任務A是有監督分類任務，子任務B是弱監督的分類任務.

4.1.3 FNC-I

事實上，2017年Dean等人[56]提出將文本立場檢測作為虛假新聞檢測任務的第1個子任務(fake-news-challenge I, FNC-I).該任務使用的數據是從文獻[57]發布的數據集中提取的，給定文章標題，判斷文章對該標題的立場，分為支持、反對、需要討論或與標題無關4種類別，屬于篇章級別立場檢測.

4.1.4 IberEval-2017/IberEval-2018

IberEval-2017(evaluation of human language technologies for Iberian languages)[58]評測提供針對“加泰羅尼亞獨立”的推特文本檢測，包含4 319條西班牙語推文和4 319條加泰羅尼亞語推文，參與者判斷用戶對于“加泰羅尼亞的獨立”這一目標的立場是支持、反對或中立.IberEval-2018提出了MultiStanceCat(multimodal stance detection in tweets on Catalan #1Oct referendum)任務(3)https://blog.talosintelligence.com/2017/06/talos-fake-news-challenge.html，是對IberEval-2017“加泰羅尼亞獨立”的立場檢測任務的延伸.該任務提出了在雙語立場檢測任務中結合多模態信息，如推文文本中鏈接信息、圖像和上下文信息等，旨在從多模態角度檢測推特用戶對加泰羅尼亞獨立公投事件的立場.

4.2 文本立場檢測的公開數據資源

目前，文本立場檢測公開數據資源除了4.1節評測公布的數據集之外，還有一些是由學者們自行構建并公開的，本節將對文本立場檢測的公開數據資源進行梳理與綜述，數據集詳細信息及獲取方式如表6所示.希望對有興趣的研究者提供啟發.

Table 6 Details of Public Data Resources表6 公開數據集詳細說明

在4.1節所述的4個評測任務中，Mohammad等人[2]使用了英文推特單目標立場檢測數據集，Xu等人[3]創建了中文微博單目標立場檢測數據集，Dean等人[56]構建了虛假新聞立場檢測數據集，Taulé等人[58]則是分別注釋加泰羅尼亞語和西班牙語推特的數據集.

除了以上4個國際/國內評測所提供的語料，也有其他學者提供了用于特殊情景下的語料，Sobhani等人[4]認為立場檢測中2個或多個目標之間的依賴性不應被忽略，創建了英文推特多目標立場檢測數據集.Vasiliki等人[59]收集了一個關于英國脫歐事件的2016年英國公投博客文章數據集，用于描述用戶文本表達的立場的可能性.

此外，還有學者進行了小語種的立場檢測數據集構建工作，如土耳其語[60]、阿拉伯語[61]、捷克語[62]，、英語-印地語[63]、意大利語[64]、日語[28]、俄語[65]，這些數據集為語料資源稀少的語言開展立場檢測工作提供了很好的施展平臺.

目前，SemEval 2016英文推特立場數據集是當前針對特定目標立場檢測使用較為廣泛的基準數據集，該數據集構建時間較早.從數據集包含目標的類別來看，大多數現有數據集集中在社會、政治和宗教問題上.因此，構建涵蓋其他領域的新的數據集對于立場檢測任務具有推動性作用.

5 文本立場檢測的應用

作為意見挖掘的重要研究內容之一，立場檢測的相關研究近年來得到學術界和工業界的廣泛關注，成為自然語言處理領域的一個研究熱點.文本立場檢測研究的興起與發展，不僅能夠在商業智能領域幫助用戶、消費者、生產者了解更多信息，起到建議指導的作用；也是政府了解民生、體察民情的重要手段和渠道[66].同時，文本立場檢測對于其他研究領域也具有較高的學術和應用價值，如推薦系統、對話系統、謠言驗證以及社會感知等.

5.1 推薦系統

推薦系統[67]是目前解決互聯網用戶信息過載問題的重要手段.“推薦”是系統為用戶提供的一種主動的信息推送方式，需要進行用戶興趣的推斷.持有相同立場的用戶傾向于具有相似的興趣，基于這一發現，Qiu等人[68]針對CreateDebate(4)https://www.createdebate.com/平臺上辯論話題推薦問題，提出了隱含因子模型，對用戶評論的立場、屬性以及交互行為同時建模.

其次，對用戶評論進行立場檢測，可以分析用戶對某產品或品牌的態度，預測產品或品牌的銷量，輔助營銷方進行決策.Amiri等人[69-70]收集了3個電信品牌Verizon，T-Mobile，AT&T8相關的推特，通過立場檢測發現品牌客戶流失(churn).

5.2 對話系統

自然語言對話是人工智能領域最具挑戰性的任務之一，其中包含語言理解、推理和對現有知識的利用，近年來已取得很大進展.從理論角度，一些研究者試圖在對話系統中探索立場表達的基本理論及其語言學特點，在對話回復中融入立場信息，建立立場傾向和情感極性驅動的自動回復生成，完善回復生成領域的理論體系[71].

從應用角度，將立場傾向融入對話系統使得回復文本的語言方式擬人化，覆蓋更加細分的人群和更深入的場景.目前，一些典型對話系統已經初步具備情感陪護、語音助手、商業客服等功能，如Siri(speech interpretation & recognition interface)、小度、微軟小冰等.

5.3 謠言驗證

互聯網具有開放性、虛擬性、隱蔽性、發散性、滲透性和隨意性等特點，逐漸成為輿情話題產生和謠言傳播的主要場所，謠言的驗證與清理成為亟需解決的問題.通過不同來源(例如新聞網站、社交媒體等)檢索相關的文本，確定每個文本相對于目標的立場，最后匯總立場的強度，可以對謠言的真實性進行驗證.因此，謠言驗證是立場檢測的一個重要的應用方向.

一方面，立場檢測被列為謠言驗證的關鍵步驟.Zubiaga等人[72]對謠言引起的交流對話進行研究，發現謠言中的對話形式是樹形結構，由對謠言持不同立場的回復組成，挖掘用戶之間辯論立場特征進行謠言驗證，有助于提升謠言驗證的準確率.此外，Kumar等人[73]利用立場信息對推特對話中的謠言真實性進行驗證，也得到了類似結論.

另一方面，隨著從傳統新聞媒體向互聯網、社會媒體的轉變，“回音室效應”使得用戶只能看到自己感興趣和認同的內容，難以獲得不同的意見，導致最終的決策基于片面或者存在偏見的信息，甚至可能成為假新聞和虛假信息的犧牲品.Orbach等人[74]提出了反對立場發言的檢測任務，給定輸入文本和語料庫，從該語料庫中檢索一個包含與輸入文本中提出的論點立場相駁斥的反文本.

此外，謠言驗證希望通過提供文本中的相關證據來解釋事實的真假.但是，現有的語料庫并不能很好地統一檢索文本、立場檢測、謠言驗證的工作，Baly等人[75]提出一個阿拉伯語語料庫來支持這些工作之間的相互依賴關系，通過實驗進一步證明，統一的標注對于立場檢測與謠言驗證的效果均有提升.

5.4 社會感知

立場檢測可以作為一種社會感知技術來測量與社會、政治和公共健康等人話題相關的公眾態度.

1) 在社會方面.Rebollo等人[76]對使用不同語言的推特用戶的討論文本進行立場檢測，從而分析他們針對難民問題的態度；Bartlett等人[77]對英國移民問題的公眾意見進行了研究，發現大約5%的用戶反對移民，23%的用戶支持移民；立場檢測還被用來分析民眾對于破壞性事件相關的態度，Darwish等人[78]，Demszky等人[79]的工作研究了2015年巴黎恐怖襲擊后公眾對穆斯林的態度.

3) 在公共健康方面.一些科學醫學有關研究的重要結果經常在社會媒體廣泛傳播，進而引發公眾討論，對公共健康進行監測，了解用戶立場，對于指導制定、完善和評價公共健康干預措施與策略具有積極作用.Zhang等人[86]在線健康論壇上發布了有關補充和替代醫學(complementary and alternative medicine, CAM)的具有不同立場的爭議性辯論，首先確定現有的在線乳腺癌論壇中有爭議的CAM治療方法，以及檢測患者對這些方法有效性的立場，以探索哪種特定的CAM療法比其他療法更容易引發辯論.

6 總結與展望

本文在充分調研和深入分析的基礎上，對文本立場檢測的研究進展進行了綜述.其中重點介紹了立場檢測研究中的關鍵問題，包括基于不同目標粒度的立場檢測、文本立場檢測方法、文本立場檢測的評測會議與公開數據資源.文本立場檢測是一個有價值的研究課題，其研究結果不僅可以推廣到情感分析、意圖挖掘，同時它與推薦系統、對話系統、謠言驗證以及社會感知許多相關研究密切相關.前人的研究工作為文本立場檢測研究奠定了堅實的基礎，但文本立場檢測研究仍然有許多值得挖掘的問題.在本文的最后，基于大量的調研，基于大數據、深度神經網絡以及相關研究3個方面帶來的促進作用，提出了文本立場檢測研究領域一些值得進一步探索的研究點，希望對本領域的其他研究者有所啟發.

6.1 大數據促進文本立場檢測研究

6.1.1 偽標注數據

現實世界中與立場相關的語料分布較廣、數量巨大，但難以廣泛采集準確標注的數據.大規模、合理的有標注語料有助于獲取數據的特征，促進文本立場檢測的發展.一種解決策略是運用眾包方式采集，通過眾包平臺發布立場標注任務，召集參與者通過回答與立場相關的問題將立場標注為支持、反對與中立，從而構建立場檢測數據集.然而通過此方法標注的數據有規模的限制，只能在一定程度上驗證算法的有效性.事實上，互聯網上存在著大規模的偽標注數據.這些數據是帶標簽的訓練數據，但標簽并不是通過人工標注而獲得的，而是自然產生或自動構造的.因此，在數據不充分的情況下，將大規模偽標注數據與人工標注的小數據結合在一起，以提升文本立場檢測的性能值得進一步探索.此外，預訓練語言模型在多項自然語言處理任務中獲得了提升，其思想是在大規模無標注數據集上進行模型預訓練，然后在小規模任務數據集上進行模型的微調，也是值得借鑒的方法.

6.1.2 多模態數據

目前來看，立場檢測的大部分工作都集中在對文本類型的內容進行分類，然而，除了文本以外，互聯網上充滿了圖片、語音以及視頻等多模態數據信息.在現有的評測任務MultiStanceCat中，Casacufans團隊創造性地使用了圖片信息，取得了較好的效果.然而，這方面的研究工作還比較少且并不深入.多模態信息通常包括文本、語音、圖像、視頻等信息，如何在立場檢測任務中有效融合多模態信息，使得不同模態的信息相互補充和驗證，是一個亟待解決的問題.

6.1.3 外部知識

人們發表的立場文本中通常蘊含一些常識性的知識，例如，在美國大選數據中，某用戶在文本中表達支持某個黨派，則可根據候選人所屬黨派推斷其對于該候選人的支持立場.引入常識知識能夠簡化模型構建，一定程度上減少對標注數據的依賴，從而使得模型的泛化能力更強.如何在立場檢測中引入這些顯然的、易于獲取的知識，從而促進和提高立場檢測的性能是值得深入研究的問題.

6.2 深度神經網絡促進文本立場檢測研究

本文中介紹的方法大多對文本進行順序化處理，這樣導致每個單詞的學習僅依賴于其附近的單詞，無法捕獲中長距離的依賴關系，并且重復的單詞會學習多次，增加了學習的難度.近年來，深度學習方法在圖上的擴展吸引了越來越多學者的注意，進而定義和設計了圖神經網絡(graph neural network, GNN).將圖神經網絡應用在立場檢測任務中，不再以完全順序化的方式學習文本內容，而是將文本構建為復雜關聯的圖結構(同質圖或者異質圖)進行學習，借助圖神經網絡的強大的全局學習能力和推理能力，將文本分類問題轉化為節點的分類問題，是一個值得積極探索的任務.

6.3 相關研究促進文本立場檢測研究

6.3.1 文本蘊含

在文本蘊含任務中，一個文本作為前提(premise)，另一個文本作為假設(hypothesis)，如果根據目標P可以從給定的源文本中推斷出一個文本陳述(假設)H，那么就稱P蘊含H.立場檢測描述的是文本對于目標的立場，也可以看作是2個文本之間的關系，與文本蘊含關系(textual entailment)十分類似.文本立場檢測可以視為一種特殊的文本蘊涵，其假設是固定的，立場是支持目標或者反對目標.因此,將文本蘊含的研究方法運用在立場檢測任務中，以深入理解文本意義，快速獲取有效信息，能夠一定程度地推動立場檢測研究的發展.

6.3.2 社會計算

在社會網絡中，用戶之間體現了相似即相聚的同質性特點，即具有相同立場的用戶傾向于使用相同的詞匯或者相同的行為來表達他們的觀點.因此，用戶之間的相似性可作為推斷其立場的核心屬性.借助社會計算中的數據挖掘相關算法對用戶網絡(交互網絡、偏好網絡、連接網絡或者標簽網絡等)進行建模，挖掘用戶關系并在此基礎上進行立場檢測，也是未來立場檢測的研究中值得重點討論的方向.