面向小樣本情感分類任務的弱監督對比學習框架

盧紹帥 陳 龍 盧光躍 管子玉 謝 飛

1(西安郵電大學通信與信息工程學院 西安 710121)

2(西安電子科技大學計算機科學與技術學院 西安 710071)

3(西安電子科技大學前沿交叉研究院 西安 710071)

(199509@stu.xupt.edu.cn)

移動終端設備的普及為互聯網用戶提供了便捷的互動渠道，大規模用戶群體可以針對新聞事件、熱門話題、電商產品等對象隨時隨地發表自己的觀點，所產生的海量評論文本中往往蘊藏著豐富的用戶情感信息.分析這些評論文本的情感傾向，能夠給商家的營銷策略調整、政府部門的相關政策制定等領域提供輿情參考.另一方面，消費者也可以根據他人發表的評論觀點做出更合理的購買決策.因此，面向評論文本的情感分類方法受到了學界和業界的廣泛關注.

早期的情感分類方法包括基于詞典的方法和基于傳統機器學習的方法.基于詞典的方法利用情感詞典中的情感詞匯作為判斷評論情感極性的主要依據，因此需要構建高質量的情感詞典[1].此類方法無法處理詞典外的詞匯且規則無法窮盡所有語境情況，從而極大限制了方法的泛化能力.基于機器學習的情感分類方法最早在Pang等人[2]的研究工作中提出，此類方法更多地依賴人工設計的復雜的特征工程，如n-gram特征[3]、TF-IDF特征等.與基于詞典的方法類似，特征工程同樣依賴專家知識且人工設計的特征推廣能力有限.隨著深度學習技術的快速發展，越來越多的研究者開始嘗試使用深度學習技術解決文本情感分類問題[4-5].與傳統機器學習方法相比，深度神經網絡不再需要復雜的特征工程就能夠有效捕捉到文本的高層次語義信息，且模型的表達能力指數優于淺層模型.多數基于深度學習的情感分類研究中使用Word2Vec[6]，Glove(global vectors for word representation)[7]等無監督算法產生的詞向量來編碼文本，但這些算法本質上利用詞共現關系來學習詞向量而忽略了上下文語境信息.Google在2018年提出的BERT(bidirectional encoder representations from transformers)預訓練語言模型采用了隱蔽語言模型、雙向語言模型和排序語言模型等理論，在更深層次上對自然語言中的語法語義信息進行建模，使得文本語義表示有了質的提升[8].盡管有監督深度學習方法在情感分類任務中有不俗的表現，但模型性能依賴大規模高質量人工標注數據.然而人工標注情感數據耗時費力且標注一致性較低，難以獲取大規模高質量標注數據來訓練深度模型.針對這種小樣本情感分類問題，有研究人員開始考慮利用互聯網用戶產生的標簽信息作為監督信號來訓練深度語言模型[9].但用戶產生的標注信息并不是嚴格意義上的強標注信息，其中存在不可忽視的噪聲標簽，即標簽與文本情感語義不一致，如5星商品評論中存在負面描述文字.因此，這種由用戶產生的標注信息是一種弱標注信息.直接使用弱標注數據訓練深度模型，噪聲數據帶來的誤差會在反向傳播過程中逐輪累積從而影響模型性能[9].針對上述問題，本文提出了一種面向小樣本情感分類任務的弱監督對比學習(weakly-supervised contrastive learning, WCL)方法.該方法可以有效降低弱標注數據中噪聲數據帶來的負面影響并充分利用極小規模標注數據(規模小到基本可忽略標注成本)中的正例或負例對比模式.該方法采用知識遷移策略，包括2個關鍵核心步驟：1)使用海量的弱標注數據對模型進行預訓練.預訓練采用三元訓練策略來削弱噪聲影響，同時學習較好的情感特征表達.2)在少量有標注的樣本上對預訓練模型進行微調.受無監督對比學習的啟發[10]，我們設計了一種微調模型的有監督對比學習策略.其目的在于充分利用不同極性句子間的差異性和相同極性句子間的相似性，拉近相同標簽句子間的距離同時增大不同標簽句子間的距離.在編碼器的選擇方面，考慮到BERT模型在多數自然語言處理任務上的優秀表現，我們選用BERT模型作為WCL框架的文本編碼器.

本文的主要貢獻包括3個方面：

1) 提出了一種面向小樣本情感分類任務的弱監督對比學習(WCL)框架，在模型訓練的不同階段分別提出了抗噪聲弱監督預訓練策略和用于微調模型的有監督對比學習目標函數.其中弱監督預訓練策略可有效降低弱標注數據中噪聲數據產生的負面影響，并最大化地挖掘弱標注數據中潛在的情感信息；對比學習訓練目標能夠充分有效地利用同類數據間的相似性和非同類數據間的差異性，減少模型在有監督微調訓練時所使用的人工標注數據數量，并提升模型的分類性能.

2) 該框架具備通用性，可兼容不同結構的深度語言模型.本文選用BERT模型作為基準編碼器，很好地解決了詞向量存在的一詞多義、表示能力欠缺的問題.

3) 在公開亞馬遜評論數據集上的實驗結果表明，本文所提出的方法在極小樣本的情感分類任務中效果顯著.在僅使用32個人工標注樣本的情況下仍然取得比基線方法更好的分類效果.

1 相關工作

1.1 情感分類

早期情感分類方法主要分為基于詞典的方法和基于特征工程的機器學習方法.基于詞典方法的關鍵在于如何構建情感詞典[11]和制定情感計算規則[12-13].但此類方法需要構建全面高質量的情感詞典，固定的情感極性和計算規則無法跟隨上下文語義變化，限制了方法的性能.基于特征工程的機器學習方法抽取文本的詞頻、n-gram等特征來表征文本并在有標注數據集上訓練淺層分類模型.Pang等人[2,14]和Zhang等人[15]分別利用unigrams特征和支持向量機(support vector machine, SVM)、n-gram特征和支持向量機及樸素貝葉斯(NB)進行情感分類.盡管文獻[2,14,15]所述的方法在情感分類任務中取得了一定的成果，但是算法性能過分依賴嚴謹精細的特征設計且特征的泛化能力有限.近年來，深度學習在圖像識別[16-19]等領域取得了突破性的進展，深度模型的表達能力顯著優于淺層模型，越來越多的研究者更加青睞使用深度學習方法解決情感分類問題[20-23].基于深度學習的文本情感分類方法關鍵在于文本情感語義的表達學習.文本表達學習經歷了長期的研究發展過程.早期文本表示主要使用詞袋(bag of words, BOW)模型[24]，但此種表征方法存在丟失詞匯順序、忽視詞義信息、編碼出的特征稀疏、易產生維度災難等問題.針對該問題，研究人員開始研究分布式的特征表達方法，采用致密的低維向量對單詞進行表示[25].Bengio等人[26]提出了神經網絡語言模型(neural network language model, NNLM)，利用神經網絡訓練詞語的分布式向量表示.Mikolov等人[6]于2013年提出了Word2Vec算法，該算法使用的CBOW(continuous bag-of-words)模型和Skip-gram模型能夠學習到高質量的詞語分布式向量表示，這是神經概率語言模型研究中的經典工作.Pennington等人[7]提出基于共現矩陣分解生成詞向量的Glove模型，該模型通過構建全局詞共現矩陣訓練詞向量.以預訓練詞向量技術為基礎，多數研究工作采用無監督預訓練得到的詞向量來表征評論文本，并在有標注數據上訓練深度模型來獲取面向具體場景的高層次情感語義表達[5,27-29].然而，采用上述無監督預訓練方法學習得到的詞向量存在3個重要缺陷：1)詞與向量之間的一一映射關系無法處理一詞多義問題；2)靜態的表征方式無法適應上下文動態變化的語言環境；3)以詞共現為本質的單一語義建模方式無法適應下游復雜的文本任務.基于Transformer的預訓練語言模型有效解決了這3個缺陷.BERT預訓練語言模型[8]的核心特色在于：1)采用的特征編碼器為Transformer的編碼器部分，具有并行計算能力且能夠捕獲長距離的文本語義信息；2)掩碼語言模型(masked language model, MLM)隨機遮擋或替換句子中15%的字或詞，讓模型預測被掩蓋的單詞，進而生成更深層次的雙向語言表征；3)預訓練模型從不同層次學習復雜的語言結構，底層特征更關注字、詞、句法等基礎語言信息，而高層次抽象特征則可捕捉到動態變化的上下文語義模式[30].基于這3個優點，本文的WCL框架采用BERT作為文本編碼器.

盡管深度學習方法[27-29]擺脫了情感計算規則制定和特征工程等諸多束縛，但是其對于大規模有標注訓練數據的依賴性更為強烈.人工標注評論數據不僅耗時費力，而且標注一致性難以保證.因此，有標注訓練數據的質量和獲取成本問題已成為制約深度學習方法繼續深入發展的因素之一.

1.2 弱監督學習

對于文本情感分類任務的研究工作多采用監督學習方法，利用“大尺寸”的自然語言模型來學習海量標注數據中的情感語義.但此類方法嚴重依賴有標注數據的規模和質量，需要耗費高昂的人工標注成本.與人工標注數據相比，互聯網上帶有用戶標記的評論數據為小樣本文本情感分類任務提供了海量成本極低的弱標注數據.但用戶產生的標簽是一種弱標簽，雖然標簽與評論的情感傾向存在關聯，但也存在標簽與文本實際情感語義不一致的情況，如低評分中的正面評論語句.因此，用戶產生的弱標注數據并不能直接用于有監督的情感分類任務中.文獻[31]對弱監督學習方法進行了較為系統的闡述，現有弱監督學習方法可分為3類：不完全監督、不確切監督和不準確監督.其中，不準確監督方法中給定的標簽并不總是真實值.本文采用的弱標簽屬于不準確監督信息，即數據標簽存在噪聲，如電商網站評論中的評分、推特和微博中的表情符號等.Qu等人[32]提出將評分作為評論數據的標注信息，根據這種規則生成了弱標注數據，并以此來訓練概率模型進而解決情感分類問題.Deriu等人[9]則以表情符號作為弱標注信息，直接將弱標注數據作為監督數據，并使用卷積神經網絡進行推特情感分類任務.

以上這些工作并沒有考慮弱標注數據中噪聲樣本帶來的負面影響.Guan等人[33]提出了一種基于弱監督的深度學習框架，使用三元組損失函數降低弱標注數據中噪聲數據的影響.受該研究啟發，本文在模型預訓練階段采用抗噪聲弱監督訓練方法來充分學習大量弱標注數據的情感語義.

1.3 小樣本學習

現有優秀的情感分類方法大都需要在大量人工標注的數據集上進行有監督學習，但是受限于有標注數據的標注成本和標注質量問題，實際上可獲得的有標注訓練數據的規模有限.因此，如何從規模有限的標注數據中充分學習得到具有良好泛化能力的語義表達成為了情感分類任務需要研究的重要問題之一.人類通過一張貓的圖片就能泛化認知出貓這一類動物，受此啟發[34]，小樣本學習(few-shot learning)[35-36]的概念被提出.文獻[37]將小樣本學習方法分為基于數據增廣、基于遷移學習和基于模型微調的3種類型.Howard等人[38]提出了一個遷移式的通用微調語言模型(universal language model fine-tuning, ULMFit)，通過在不同層設置不同的學習率來微調該模型，整個過程分3個步驟進行：1)在通用的大型語料庫上預訓練語言模型；2)在目標數據集上微調語言模型；3)使用目標數據的訓練集進行分類器微調.Nakamura等人[39]提出了3種新的微調策略來提高小樣本學習的準確率：1)使用低學習率；2)使用自適應的梯度優化器；3)在跨領域任務中當目標數據和源數據之間差異較大時對整個網絡參數進行更新.本文所提出的弱監督對比學習方法融合了文獻[37-39]所述的3種方法的思想：1)從互聯網上收集海量弱標注數據是一種天然的數據增廣；2)“弱監督預訓練+有監督微調”基于遷移學習思想，目的是充分吸收大量弱標注數據中的情感信息；3)采用在大量語料上預訓練得到的BERT模型作為文本編碼器并在此基礎上執行后續遷移式訓練策略，此處借鑒了基于模型微調的策略.

除了吸收海量弱標注數據的情感信息，本文還關注有監督微調階段如何對規模有限的有標注數據進行充分學習.Gunel等人[40]提出使用有監督對比學習損失和交叉熵損失的加權和作為最終損失，對預訓練語言模型RoBERTa-Large進行微調訓練.該方法在小樣本學習上取得了一定的效果，但其設計的對比目標函數在分母上會采樣到與錨點樣本情感標簽一致的樣本集合，因此并未最大化地發揮模型捕獲非同類樣本間對比模式的能力.對小樣本情感分類任務而言，應考慮如何在有限的有標注數據集上學習更大的類間距離.受對比學習方法[10]的啟發，本文在有監督微調階段提出了一個用于小樣本情感分類任務的對比損失函數，該損失能夠充分捕捉到數據集中同類和非同類樣本之間的對比模式.

2 WCL方法

Fig. 1 WCL architecture圖1 WCL框架

本節詳細闡述所提出的弱監督對比學習(WCL)方法，其總體框架如圖1所示.該框架包括2個部分：1)抗噪聲弱監督預訓練部分；2)有監督對比學習微調部分.弱監督預訓練階段首先利用編碼器對輸入文本編碼，再經過非線性變換，得到文本的高層次特征表達.在嵌入層引入了抗噪聲弱監督預訓練策略來削弱噪聲數據的影響，同時學習弱標注數據中潛在的情感信息.有監督對比學習微調在預訓練得到的模型基礎之上進行，在嵌入層后添加一個分類層并設計了一種監督學習方法來微調整個模型的參數.為了充分利用同類或非同類樣本之間的對比模式，我們在模型微調階段設計了一種有監督對比學習目標方法，通過學習同類數據間的相似性和非同類數據間的差異性，進一步減小同類樣本間的距離，同時增大非同類樣本間的距離.

本節，我們將介紹WCL框架所采用的語言模型結構以及模型訓練策略.

2.1 基于BERT編碼結構的深度語言模型

2.1.1 整體模型結構

BERT是一種使用多頭自注意力機制構建的模型，該模型能夠深入挖掘文本數據的語法、句法特征，并充分學習文本中的字級、詞級和句級不同層次的特征表達.考慮到有標注數據規模并對比不同版本BERT預訓練模型的復雜度，我們采用BERTBASE作為情感分類任務的基準編碼器.基于BERTBASE的情感分類語言模型如圖2所示，后文簡稱該模型為WCL-BERT.

Fig. 2 Sentiment classification model based on BERT圖2 基于BERT的情感分類模型

如圖2所示，si=[CLS],ω1,ω2,…,ωt,[SEP]表示模型BERTBASE的輸入，ω1,ω2,…,ωt表示si中的詞語，t表示輸入序列si中詞語的個數，i表示數據集中的第i條樣本.本文在以BERT作為特征編碼器的下游情感分類任務中，將符號[CLS]和[SEP]分別放于ω1,ω2,…,ωt的首部和尾部，并在編碼完成后提取符號[CLS]所對應的特征向量作為輸入序列si的語義表示向量.

編碼器BERTBASE的計算結構使用fBERT(·)表示，編碼輸入序列si得到語義特征hi∈d：

hi=fBERT(si)，

(1)

此處的hi即為上文所述的編碼完成后符號[CLS]所對應的特征向量.

非線性變換層(nonlinear transformation layer)

的輸入為hi，經過非線性變換后得到的xi∈m作為輸入序列si最終的特征：

xi=W2σ(W1hi)，

(2)

其中,σ是tanh函數，W1∈d×d和W2∈m×d為權重矩陣.

嵌入層(embedding layer)沒有涉及具體的計算過程，只用來存放上一層得到的輸入序列si的最終特征向量xi，本文設置向量xi的維度m=300.

式(1)和式(2)為預訓練過程的計算結構.微調步驟中，在預訓練模型上添加分類層(classification layer)進行有監督對比訓練.分類層的計算式(3)為

(3)

其中,xi∈m是輸入序列si的特征向量，W3∈m是參數矩陣，b是偏置項，表示模型對當前輸入文本si的預測值.

2.1.2 BERT編碼器簡介

2.1.1節采用BERT作為模型的文本編碼器，BERT于2018年被提出，該自然語言模型在分類、問答、翻譯等11項不同的自然語言處理任務中均達到最優性能[8].本文所采用的BERTBASE模型的結構參數如表1所示：

Table 1 Parameter Settings for BERTBASE Model表1 BERTBASE模型的結構參數設置

BERT模型結構如圖3所示，其中Ei表示嵌入向量，Ti表示最終編碼得到的隱藏層向量，Trm為Transformer的縮寫.如圖3所示，BERT主要由Transformer[41]的編碼器部分構成.Transformer的編碼器(encoder)部分主要包括多頭自注意力層(multi-head self-attention)和前饋網絡層(feed forward)兩個部分.其中多頭自注意力機制能夠有效解決長距離信息丟失的問題，并能充分獲取上下文的語義信息.由表1可知，BERTBASE內部是由Transformer的編碼器部分堆疊了12層構成，因此其在語義特征提取、長距離信息捕獲、句法特征提取等方面都具有一定的優勢.

Fig. 3 BERT model architecture圖3 BERT模型結構

BERT結構支持單文本輸入和文本對輸入.單文本輸入需要將符號[CLS]和[SEP]分別放在文本序列的首部和尾部；文本對輸入則需要在2個文本序列之間添加符號[SEP]作為分隔符.本文以單文本序列[CLS],ω1,ω2,…,ωt,[SEP]作為BERTBASE的輸入.BERT作為一個成熟的語言模型，其內部的具體計算過程見文獻[8]，本文中不再贅述.

2.2 弱監督對比學習方法

2.2.1 抗噪聲弱監督預訓練方法

互聯網中海量的弱標注數據蘊含了豐富的情感語義信息，但使用弱標注數據需要削弱噪聲樣本(即標簽與文本情感傾向不一致的樣本)帶來的負面影響.預訓練的目標在于充分學習海量弱標注數據的總體情感分布，同時削弱噪聲數據的負面影響.為此，我們引入了抗噪聲弱監督預訓練策略，具體分為2步：1)獲取樣本弱標簽.我們以面向商品評論的情感分類場景為例，根據用戶評分信息將評論劃分為2個集合POS和NEG，分別代表情感傾向為積極(positive)和消極(negative)的集合.劃分規則：給1星和2星評論中的樣本分配消極標簽l(s)=neg，給4星和5星評論中的樣本分配積極標簽l(s)=pos，其中l(s)表示樣本的弱標注標簽.其他場景可根據具體情況設定規則獲取弱標簽，如社區評論中點贊與點踩等.2)設計抗噪聲訓練策略來訓練網絡.訓練目標需要保證相同情感傾向的樣本靠近而不同情感傾向的樣本遠離，同時還需要約束噪聲不向錯誤類別靠近.Guan等人[33]對二元訓練準則和三元訓練準則進行了對比分析，發現三元訓練準則能夠在一定程度上減弱噪聲數據的負面影響.受該工作啟發，本文在預訓練過程中采用基于三元損失的訓練策略.從弱標注數據劃分好的集合POS和NEG中一共隨機采樣3個樣本構成三元組，再使用如式(4)所示的訓練目標函數L1約束三元組在嵌入空間中的分布：

(4)

根據三元組采樣規則，以s1，s2采樣自集合POS而s3采樣自集合NEG為例(反之亦然)，我們羅列了所有6種采樣情況如表2所示:

Table 2 Sampled Cases表2 采樣示例

表2中,s1，s2，s3代表采樣的3條評論文本.例如，符號“P+”表示文本弱標簽為正面而真實情感極性也為正面，即弱標簽可以真實地反映出該文本的實際情感極性是正面.符號“P-”表明文本弱標簽為正面而真實情感極性為負面，此時弱標簽已不能如實地反映對應文本的實際情感極性，即噪聲數據.以下具體說明表2中的6種采樣在訓練過程中的情形.

1) 示例1中，s1，s2，s3的真實情感極性均為正面.s1與s2間的距離和s1與s3間的距離較為接近.根據目標函數，s1，s2，s3可能會維持其在嵌入空間中的位置不變，也有可能會出現此種情形：s1與s2靠近而s1與s3遠離.受間隔參數λ的約束，其移動程度相對較小，在文本對間的距離大于λ時停止移動，從而約束了噪聲樣本s3不向錯誤類別靠近.

2) 示例2中，s1與s2的真實情感極性為正面，而s3的真實情感極性為負面.s1與s2間的距離比s1與s3間的距離小.根據目標函數，s1，s2，s3可能會維持其在嵌入空間中的位置不移動，也有可能會出現此種情形：s1與s2靠近而s1與s3遠離.受間隔參數λ的約束，這2種情形中樣本的移動趨勢都對訓練有利.

3) 示例3中，s1與s3的真實情感極性為正面，而s2的真實情感極性為負面.s1與s2間的距離大于s1與s3間的距離.根據目標函數，更為普遍的情形是s1與s2靠近而s1與s3遠離.受間隔參數λ的約束，其移動程度相對較小，在文本對間的距離大于λ時停止移動，從而約束了噪聲樣本s2和s3不向錯誤類別靠近.

4) 示例4中，s2與s3的真實情感極性為負面，而s1的真實情感極性為正面.s1與s2間的距離和s1與s3間的距離較為接近.根據目標函數，s1，s2，s3可能會維持其在嵌入空間中的位置不移動，也有可能會出現此種情形：s1與s2靠近而s1與s3遠離.受間隔參數λ的約束，其移動程度相對較小，當文本對間的距離大于λ時停止移動，從而約束了噪聲樣本s2不向錯誤類別靠近.

5) 示例5中，s1與s2的真實情感極性為負面，而s3的真實情感極性為正面.該示例中采樣得到的3條樣本均是噪聲樣本，其在嵌入空間中的移動趨勢和示例2中的情形一致.受間隔參數λ的約束，該示例中噪聲樣本的移動趨勢都對訓練過程有利.

6) 示例6中，s1，s2，s3的真實情感極性均為負面.該示例中采樣得到的樣本s1與s2是噪聲樣本，其在嵌入空間中的移動趨勢和示例1中的情形一致.受間隔參數λ的約束，文本的移動程度相對較小，在文本對間的距離大于λ時停止移動，從而約束了噪聲樣本s1與s2不向錯誤類別靠近.

綜合這6種示例，除了示例2中不存在噪聲數據外，其他示例中都存在噪聲數據.存在噪聲數據的所有示例中，三元訓練準則通過間隔參數λ對采樣文本的移動趨勢進行有效的約束，能夠有效抑制噪聲樣本產生錯誤移動情形下的負面影響.上述分析表明在弱監督預訓練過程中使用三元訓練準則能夠大幅度提升模型在噪聲標簽下的魯棒性，同時學習到輸入文本的高質量特征表達，進而在嵌入空間形成一個良好的情感語義分布，即同類樣本靠近而非同類樣本遠離.

2.2.2 有監督對比微調

在弱監督預訓練階段，我們通過引入抗噪聲弱監督預訓練策略，極大地減小了噪聲數據對預訓練模型的負面影響，最終得到了一個能夠較為真實地反映海量弱標注數據總體情感分布的模型.在有監督微調階段，我們在預訓練好的模型上使用少量的有標注數據對其進行有監督微調訓練.為了充分學習有限規模標注數據中的同類和非同類樣本之間的對比模式，我們設計了一種新穎的基于對比損失[10]的多任務目標函數：

L2=αLSCL+(1-α)LCE,

(5)

(6)

(7)

(8)

(9)

在有監督微調階段，模型以多任務目標函數L2為訓練目標，能夠同時學習有限規模標注數據中多樣的對比模式和正確的分類能力.我們在LSCL中引入了樣本的標簽信息，輸入樣本經過指示函數的“篩選”被歸納到對應的計算結構當中，進而使得該損失能夠更好地擴展到小樣本的情感分類任務當中.對于有監督對比學習損失LSCL的直觀解釋是該損失更為關注同類數據間的相似性與非同類數據間的差異性.式(8)通過對非同類數據的多次采樣獲得了非同類樣本群體，能夠從不同“視角”學習到更為豐富的對比模式，從而可以從有限規模數據中學習更豐富的情感信息.

3 實 驗

3.1 實驗數據

本文在亞馬遜評論數據集上進行實驗.亞馬遜數據集包含數碼相機(camera)、手機(cellphone)和筆記本電腦(laptop)三種商品的評論語料，由1 136 251條弱標注評論語句和人工標注的11 754條語句構成.實驗中有標注數據集被隨機劃分成訓練集(50%)、驗證集(20%)和測試集(30%).表3和表4分別顯示了亞馬遜弱標注數據集和亞馬遜人工標注數據集的統計信息. 此外，為了驗證WCL方法在中文數據上的泛化能力，我們分別在豆瓣影評數據集和新浪微博評論數據集上進行了相同的驗證實驗.其中豆瓣影評數據集包含60萬條帶評分的弱標注語句和1萬條強標注語句；新浪微博評論數據集包含36萬條帶表情符號的弱標注語句和1萬條強標注語句.

Table 3 Statistics of the Weakly Labeled Datasets表3 弱標注數據集的統計信息

Table 4 Statistics of the Labeled Datasets表4 標注數據集的統計信息

3.2 超參數設置

我們統計了人工標注數據集中的句子長度，其中句子最長長度為121，為了充分獲取句子的全部信息，本文規定句子的最大長度為121.實驗中設置batch size值為32，間隔參數λ=5.針對溫度系數τ和損失加權超參數α的取值我們進行了多次實驗，發現當τ=0.5而損失加權超參數α=0.2時模型的性能表現更為穩定.模型采用Adam優化器，學習率設置為10-5.

3.3 同類方法對比實驗

為了評估本文所提出方法的效果，我們對比了9種情感分類方法，涵蓋本領域最優和經典的方法.評估指標為準確率(accuracy).9種對照方法簡介為：

1) Lexicon.基于詞典的方法[13].

2) SVM.使用“支持向量機+ trigrams特征”的方法[2]，采用Liblinear分類器.

3) NBSVM.將NB分類器與SVM分類器融合進行情感分類的方法[42].

4) SSWE.通過在弱標注信息上訓練神經網絡得到詞向量.對一條語句中所包含詞的詞向量求最大、最小和均值，從而得到語句的特征向量表達并進行情感分類[43].

5) SentiWV.通過使用評分信息訓練詞向量生成語句特征表達的過程與SSWE方法相同，之后再使用線性分類器進行情感分類[44].

6) WSD-CNN.建立多通道的CNN網絡[45]模型,利用Word2Vec在谷歌新聞語料庫上的訓練結果[46]初始化詞向量查找表.首先使用三元訓練準則在弱標注數據集上對該網絡進行弱監督預訓練，再使用人工標注數據對模型進行微調[45].為了公平起見，本文的所有方法均不加入主題詞信息.

7) BERT.直接在原BERTBASE模型上使用人工標注數據進行訓練.

8) WCL-BERT-rand.隨機初始化模型參數并在人工標注數據集上使用對比學習策略對BERTBASE模型進行微調訓練.該方法用于驗證僅使用有監督對比學習策略訓練模型的效果，所使用的網絡模型如圖2所示.

9) WCL-BERT-weak.將弱標注標簽視為強標簽進行有監督學習.該方法用于驗證WCL框架中抗噪聲訓練策略的影響，所使用的網絡模型如圖2所示.

10) WCL-BERT.該方法為本文提出的方法.

表5展示了不同方法在3個不同數據集上的實驗結果.表5中各方法在不同數據上呈現出相似的結果，因此以亞馬遜數據集上的數據為例進行分析.首先，Lexicon方法的效果最差，與其他所有方法相比，Lexicon方法無法涵蓋電商場景下的所有情感詞，且固定的情感極性無法跟隨文本描述的改變而變化.2種基于特征工程的機器學習方法SVM和NBSVM顯著優于Lexicon方法，但受限于特征的泛化能力，與SSWE方法相比其效果較差.SentiWV與SSWE方法效果較差的原因在于：雖然在弱標注數據集上訓練得到詞向量，但以捕捉詞共現為本質的無監督詞向量方法無法獲取更豐富的語義信息.與SentiWV和SSWE這2種深度方法對比，WSD-CNN方法的優越性得益于預訓練過程中弱標注數據為模型提供的大量先驗知識.但該方法在面向具體任務的有監督微調過程中并未充分考慮同類和非同類樣本之間的區別，因此性能仍遜色于WCL-BERT.BERT方法作為驗證WCL-BERT的基準方法，展現出預訓練模型的優越性，取得了與WSD-CNN相當的效果，但未采用WCL中的訓練策略因此其無法從弱標注信息和對比學習中受益.在BERT方法基礎上，WCL-BERT-rand的實驗結果表明對比學習策略能夠充分捕獲同類或非同類樣本之間存在的對比模式，進而提升模型的分類能力，但該方法并未學習海量弱標注信息的情感模式.WCL-BERT-weak方法效果較差的原因在于弱標注數據中存在噪聲，直接將其作為強標注數據使用，噪聲會對模型的訓練過程產生嚴重干擾.同時，WCL-BERT-weak方法從反面證明了抗噪聲預訓練方法的必要性.我們所提出的方法WCL-BERT在抗噪聲的情況下充分吸收了弱標注數據中的情感語義信息，同時在有監督微調階段進一步學習了同類和非同類樣本之間的對比模式，在3個不同數據集上都取得了最優分類性能，證明了我們所提出方法的優越性和良好的泛化能力.

Table 5 Accuracy of Different Methods表5 不同方法的準確率 %

3.4 小樣本對比實驗

3.3節所述的實驗使用了全量有標注訓練數據.為了評估本文所提出的方法在極小樣本場景下的效果，我們驗證了方法在不同規模亞馬遜有標注數據上的訓練效果.從有標注訓練集中隨機選取n%(n=0.5，1，1.5，2，…，5)的數據作為訓練集來訓練模型，對比實驗結果如圖4所示.

Fig. 4 The result of few-shot experiment圖4 小樣本實驗結果

當從原始訓練集中隨機采樣0.5%的數據(即32個樣本)對模型進行微調訓練時，WCL-BERT方法已達到了86.3%的分類準確率，超出性能第2的WSD-CNN方法13個百分點，同時超過了WSD-CNN使用全部有標注訓練數據時的分類性能.該結果有力證明了我們所提出的方法在極小標注數據上的優越性.原因在于有監督微調階段采用對比學習策略多次采樣對比非同類樣本與同類樣本，充分學習了有限樣本中的對比模式.值得注意的是，當采樣規模小于原始訓練集規模的1.5%時WCL-BERT-rand方法的性能顯著下降.這一現象說明：僅依靠有監督對比學習無法應對極小樣本場景下的分類問題，需要結合弱監督學習來充分吸收大規模弱標注數據中的情感語義信息.

我們在表6中報告了采樣數據占比為0.5%(即32個訓練樣本)時各情感分類方法的分類準確率.我們的方法在幾乎可忽略標注成本的情況下(即僅標注32個樣本)取得了顯著優于同類方法的分類性能，這充分證明我們所提出方法在極小樣本情感分類任務上的有效性和優越性.

Table 6 Few-shot Learning Results on 32 LabeledTraining Examples表6 使用32個標簽樣本進行訓練時的小樣本學習結果

3.5 嵌入空間的可視化分析

為了直觀地展示WCL框架中弱監督預訓練和有監督對比微調過程的學習效果，我們使用t-SNE方法[47]對亞馬遜測試集數據在嵌入層中的高維特征向量進行了降維可視化處理.如圖5所示，我們按照模型訓練的步驟報告了測試集數據在嵌入空間中的分布情況，其中藍色的點表示情感極性標簽為“neg”的樣本，橙色的點表示情感極性標簽為“pos”的樣本.

Fig. 5 Visualization of test set data圖5 測試集數據可視化

圖5中的“隨機初始化”圖代表模型參數隨機初始化，測試集數據在嵌入空間中的分布較為散亂，模型不具備區分樣本情感極性的能力.圖5中的“預訓練后”圖代表使用海量弱標注數據對模型進行了抗噪聲弱監督預訓練，與“隨機初始化”圖相比測試集數據在嵌入空間中被分成了極性相反的2簇，說明模型已初步具備了區分句子情感極性的能力，這樣的可視化效果與我們所提出的三元訓練目標相吻合.需要指出的是，盡管在預訓練過程中我們采用三元訓練準則約束句子在嵌入空間中的移動趨勢，但是部分噪聲數據的錯誤移動依然不可避免，我們只能抑制這種負面趨勢而無法完全消除它.正如圖5中的“預訓練后”圖所示，在兩大簇數據的周圍還存在著零星的離群點，這些離群點是預訓練模型不能有效區分的困難樣本.圖5中的“微調后”圖代表有監督對比微調訓練后得到的最終情感分類模型，與圖5中的“預訓練后”圖相比測試集數據被分成了更為明顯的2簇且離群樣本規模減少，這說明有監督微調過程中采用的對比學習策略對預訓練模型的參數進行了修正且進一步加強了模型對情感極性的區分能力，同時也說明對非同類樣本的多次采樣使得對比學習策略也具備了一定的抗噪聲能力.因此經過微調后的模型對非同類樣本的區分度更加明顯，且一定程度上約束了離群點對分類效果的影響.

如圖5所示，我們可以觀察到測試集數據在模型不同訓練階段中的變化情況，由最初的散亂分布再到具備初步的同類聚合、非同類分離趨勢，最后達到被劃分為明顯的2簇數據的效果.測試集數據的這3種變化情況與模型在不同訓練階段中的預期目標相一致.弱監督預訓練更為關注噪聲數據產生負面影響的消除工作，而有監督對比微調則側重于捕獲訓練樣本的對比模式，這2個訓練過程在本文的情感分類任務中均發揮了不可替代的作用.

4 總 結

現有的多數有監督深度情感分類方法都需要使用大量的人工標注數據訓練分類模型，但人工標注數據獲取成本高昂限制了訓練數據的規模.有限的標注數據難以充分訓練大規模語言模型(如BERT，RoBERTa等)，從而制約了深度學習方法的性能.互聯網為情感分類任務提供了海量的弱標注文本評論.本文立足于海量的弱標注數據，提出了一種可用于極小樣本場景下的弱監督對比學習(WCL)方法.該方法可充分學習弱標注數據的潛在情感信息同時削弱噪聲樣本帶來的負面影響，并充分挖掘小規模標注數據中的類間對比模式.在亞馬遜評論數據上的實驗結果充分驗證了本文所提出方法的有效性和優越性.更為重要的是，我們所提出的方法在標注成本幾乎可忽略的極小樣本場景下取得了顯著優于同類方法的性能，有效解決了缺乏大規模標注數據這一制約深度情感分類方法的瓶頸問題.

作者貢獻聲明：盧紹帥負責實驗設計與結果分析；陳龍負責方法設計與初稿撰寫；盧光躍指導課題研究方向的設立；管子玉負責初稿審閱與修改；謝飛負責文獻調研.