面向中文文本分類的對抗樣本生成方法*

弓 燕，張曉琳*，劉月峰，劉立新，2，徐 立

(1.內蒙古科技大學信息工程學院，內蒙古 包頭 014010；2.中國人民大學信息學院，北京 100872；3.包頭醫學院計算機科學與技術系，內蒙古 包頭 014010)

深度神經網絡的應用為人工智能領域取得了突破性的進展，如圖像分類[1]、語音識別[2]、自然語言處理[3]等。但是，由于神經網絡自身存在局部線性等特點，使其極易受到安全性威脅。Szegedy 等[4]首次提出在圖像分類任務中對圖像添加難以察覺的擾動可誘導模型錯誤分類。此后，針對計算機視覺領域對抗樣本生成方法的研究相繼展開，例如經典的對抗樣本生成算法有基于快速梯度投影方法(Fast Gradient Sign Method，FGSM)[5]，投影梯度下降算法(Project Gradient Descent，PGD)[6]，基于雅可比矩陣的顯著性圖攻擊(Jacobian-based Saliency Map Attack，JSMA)[7]等。

自然語言處理包括情感分析[8]、文本分類[9]、機器翻譯[10]以及問答系統[11]等任務，同樣也存在著安全性問題。與圖像不同的是，文本具有離散性，用梯度方法為輸入數據添加擾動易察覺，而且會造成語法錯誤、語義不連貫等問題，使用的距離度量方式也不一致。因此，在圖像領域中對抗樣本的生成方法難以直接應用于文本。目前，文本對抗樣本的生成方法面臨著三個挑戰。第一，如何保證對抗樣本與原始樣本的語義一致性；第二，如何保持對抗樣本的語法正確性；第三，如何提高對抗擾動的不可被察覺性。

在文本領域，Papernot 等[12]通過FGSM 找到輸入序列中梯度最大的位置，即重要單詞的位置，使用插入、修改、和刪除三種擾動策略生成對抗樣本，從而誤導字符級模型和詞級模型，但該方法是在已知模型參數的前提下實現的，并不適用于黑盒場景[13-14]；Gao等[15]提出的DeepWordBug 攻擊算法，通過設計重要性評分函數找到重要單詞，采用插入、替換、交換前后字母的位置以及刪除操作生成對抗樣本欺騙分類器；Garg 等[16]提出的基于BERT 生成的對抗樣本方法(BERT-based Adversarial Examples，BAE)算法，是第一個使用語言模型生成對抗樣本的方法，使用評分函數找到重要單詞的位置，然后利用Bert 語言模型對其掩碼與預測，選擇具有對抗性且與原句相似度最大的單詞作為替換詞。以上方法均在英文文本中實現，由于英文與中文在字符的種類、字的長度以及音形特點上有著明顯的差異，因此面向英文文本生成對抗樣本的方法不能直接應用到中文文本。

目前，面向中文文本對抗樣本生成方法的研究處于起步階段，王文琦等[17]提出WordHanding 攻擊算法，能夠在黑盒條件下攻擊中文文本的情感傾向性系統，借助長短期記憶網絡(Long Short-Term Memory Network，LSTM)預訓練模型判別分類傾向，利用詞語重要性函數計算輸入序列中字詞的重要程度，采用同音詞替換生成對抗樣本，達到了較好的攻擊效果且擾動字數少，但替換方式單一；仝鑫等[18]提出一種在詞級黑盒條件下生成對抗樣本的方法CWordAttacker，采用定向詞評分刪除機制計算字詞的重要性，通過繁體字替換、拼音改寫、詞組拆解以及次序擾動四種攻擊策略生成對抗樣本，但是擾動率較大，未能保持較高的語義相似度。

基于前人的研究工作，提出了一種面向中文文本分類的黑盒對抗樣本生成方法WordBeguiler，通過分析漢字的字形、字音特征構建對抗搜索空間，設計一種新的擾動定位方式計算影響模型分類的重要字詞，并根據概率權重選取的方法確定修改策略生成對抗樣本，有效地實現了在多場景分類任務下面向中文文本的對抗攻擊。

本文主要貢獻有:

①提出了一種面向中文文本分類的黑盒對抗樣本生成方法WordBeguiler，在無需了解目標模型內部參數的情況下，只對輸入文本添加微小的擾動即可生成對抗樣本，適用于情感分析、垃圾郵件檢測以及新聞分類等任務。

②設計了結合漢字字形、字音特征構建對抗搜索空間的方法，有效地提高了對抗樣本的語法正確性，增強不可察覺性。

③設計了一種新的擾動定位方式，能夠有效地找出不同分類任務下影響模型決策的關鍵字詞，降低修改率的同時提高了攻擊成功率。

④在三個公開數據集上進行實驗，通過攻擊卷積神經網絡(Convolutional Neural Network，CNN)和雙向長短期記憶(Bi-directional Long Short-Term Memory，BiLSTM)模型，使準確率降低了百分之五十左右，并且具有較高的可轉移性。

1 背景知識

1.1 卷積神經網絡CNN

CNN[19]是一種通過卷積計算的神經網絡，由輸入層、卷積層、池化層、全連接層以及softmax 層組成。其中，卷積層是CNN 最重要的部分，使用卷積核對窗口中的元素依次進行點乘、相加運算。池化層對輸入數據不同位置特征進行采樣，在保證收集到重要特征的條件下壓縮參數量，防止過擬合。經過多輪的卷積和池化操作后，原信息被抽象成了信息含量更高的特征，提取到的特征傳送到全連接層進行整合，最后經過softmax 層，將輸出映射到0～1之間，表示分類概率。

在短文本分類任務中，CNN 可以保留文本的空間信息，同時捕獲到局部信息和順序信息，可應用于情感分析、垃圾郵件檢測等任務。

1.2 BiLSTM

BiLSTM[20]是LSTM[21]的一種擴展形式，采用雙向網絡結構充分地提取上下文信息作為分類依據，有效地提高了文本分類的準確率。BiLSTM 首先將embedding 后的詞向量輸入網絡，然后經過前向LSTM 層和后向LSTM 層得到隱向量，并進行拼接作為網絡的輸出，最后通過全連接層和softmax 層得到最終的分類結果，網絡結構如圖1 所示。

圖1 BiLSTM 網絡結構圖

1.3 文本對抗樣本

對于數據集中的N個文本X＝{x1，x2，…，xN}，其對應的分類標簽為Y＝{y1，y2，…，yM}，F是分類模型，學習從輸入文本x∈X到標簽y∈Y的映射關系F:X→Y。通過向原始輸入文本x中添加微小的擾動Δx生成對抗樣本x*，從而迫使深度學習模型F錯誤分類。如式(1)所示:

式中:‖Δx‖＜δ，δ是限制擾動大小的閾值。

同時，一個好的對抗樣本x*不僅可以欺騙F，而且還需滿足三個條件，即語義一致性、語法正確性以及不可察覺性，本文提出的對抗樣本生成方法很好地滿足了這三點。

2 WordBeguiler 算法

2.1 問題定義

給定文本分類模型F，學習從文本到標簽的映射關系F:X→Y，將輸入文本空間X映射到標簽空間Y，對于句子x∈X，其真實標簽y∈Y，有效的對抗樣本x*應滿足:

式中:Cost(·)表示文本修改累計頻次，σ表示修改最大閾值。

2.2 總體描述

本文設計的中文文本分類的對抗樣本生成算法具體流程如圖2 所示。

圖2 對抗樣本生成流程

具體過程描述如下:

①基于音形碼構建對抗搜索空間:結合漢字的字形和字音特征為每個漢字構建對抗搜索空間，且將繁體字、拆字和拼音加入其中。

②擾動定位:首先關鍵句子定位，將原始文本按照標點符號劃分為若干個句子，去除預測標簽與文本的真實標簽不一致的句子，通過關鍵句子評分函數計算每個句子的重要性，降序排列。其次關鍵字詞定位，對每一個句子進行分詞，過濾掉停止詞，按照關鍵字詞評分函數篩選出重要字詞。

③關鍵字詞修改:本文共設置了三種修改策略，分別是字詞替換、字符插入和次序修改，采用概率權重選取的方法確定修改策略。

將修改后的樣本輸入到目標模型中，若標簽改變則成功生成對抗樣本，否則繼續返回到步驟③，直至標簽改變或者達到最大修改閾值為止。

2.3 基于音形碼構建對抗搜索空間

對抗搜索空間的質量決定著對抗樣本的質量，因此，文本結合漢字的字形和字音特點構建對抗搜索空間以提高對抗樣本質量。首先對字典中的漢字進行音形編碼，其次計算每一個字與其他漢字之間的音形碼漢明距離，根據漢明距離計算相似度，最后按照相似度降序排列，選取前K個加入對抗搜索空間。

2.3.1 音形編碼方式

編碼包括拼音和字形兩部分。

①拼音部分:漢字的拼音結構由聲母、韻母以及聲調構成，所以對拼音進行編碼也應包含這三部分。對于某些漢字拼音中聲母與韻母之間存在一個元音的情況，如nuan 中的u，miao 中的i 等，需額外添加一個補碼位。

第一部分表示聲母，聲母有23 種，用五位二進制數表示。為了在后期計算相似度的時候弱化平翹舌音差異，因此這里zh 與z，ch 與c，sh 與s 采用同一個編碼表示。

第二部分表示韻母，韻母有24 種，用五位二進制數表示。同理，前后鼻音也采用同一個編碼表示。聲母編碼和韻母編碼均采用格雷碼形式，可使相鄰兩個讀音相近的編碼差異最小。拼音聲母編碼和韻母編碼表示方式如表1 和表2 所示。

表1 拼音聲母編碼

表2 拼音韻母編碼

第三部分是補碼，采用與韻母編碼相同的方式，若沒有補碼則表示為五個0。

第四部分是聲調，聲調包括四種，用兩位二進制數表示即可，00 表示一聲，01 表示二聲，10 表示三聲，11 表示四聲。

因此，音碼部分二進制數共有5+5+5+2 ＝17 位。

②字形部分:漢字的字形特征包括結構，四角號碼和筆畫，因此需對這三個部分進行編碼。

第一部分是字形的結構。由于漢字具有14 種不同的結構，因此用四位二進制數來表示，同樣采用格雷碼形式使字形相近的結構在編碼表示上相近。結構編碼如表3 所示。

表3 結構編碼

第二部分為漢字的四角號碼，用于描述漢字的形態特征，每個漢字都可用0 到9 中的四個數字表示，通過查找四角號碼檢字法可得到對應的四角號碼。

第三部分是漢字的筆畫，筆畫數用16 位二進制數表示。即筆畫數z的漢字編碼方式如式(3)所示:

因此，形碼部分二進制位數共有4+4×4+16 ＝36 位。

2.3.2 相似度計算方法

由于音碼部分和形碼部分的二進制位數不一致，會對最終的相似度產生不同影響，因此需計算音碼部分和形碼部分在最終相似度計算中所占的貢獻比b1和b2，滿足b1+b2＝1，如式(4)和式(5)所示。其中qp表示音碼的漢明距離，qx表示形碼的漢明距離，l1和l2分別表示音碼和形碼的二進制長度。

計算漢字之間的相似度S，如式(6)所示:

將相似度降序排列，取前K個字加入對抗搜索空間。此外，將該漢字的繁體字，拆字以及對應的拼音形式也添加到對抗搜索空間中。

2.4 擾動定位

2.4.1 關鍵句子定位

當人們表達自己的觀點時，大部分的句子都是在陳述事實，而對分類結果產生較大影響的只有少數幾個句子。因此，為了提高WordBeguiler 的效率，本文先定位對最終預測結果貢獻最大的關鍵句子。

首先將輸入文本根據標點符號劃分為n個子句，得到x＝{s1，s2，s3，…，sn}，si表示第i個句子，其次過濾掉預測標簽與文本的真實標簽不一致的句子，最后用預測為真實標簽y的置信度值作為該句的重要性分數Csi，根據分數降序排列。如式(7)所示:

2.4.2 關鍵字詞定位

通過上一步定位到關鍵句子后，進行分詞處理得到si＝{w1，w2，w3，…，wn}，發現只有一些關鍵字詞對模型的預測結果有影響，因此，首先過濾掉停止詞，其次使用重要性評分函數去定位關鍵字詞，如式(8)所示:

式中:Iwj作為字詞wj∈si對于分類結果F(si)＝y的重要性分數，si＼wj＝{w1，…，wj-1，wj+1，…，wn}表示刪除字詞wj的句子，Fy(·)表示預測為y標簽的置信度。

2.5 關鍵字詞修改

為了保證生成的對抗樣本與原樣本語義相近，即在誤導深度神經網絡模型做出錯誤預測的情況下有較好的可讀性，WordBeguiler 算法采用以下三種修改策略:①字詞替換:利用基于音形碼構建的對抗搜索空間進行替換；②字符插入:隨機插入不常見的特殊符號。在此建立了一個符號集，包括標點符號、羅馬字符等；③次序修改:交換相鄰兩個字的順序。據心理學研究表明，交換漢字順序不會影響人類對文本的閱讀理解。對于上述修改策略，采用概率權重選取的方法確定。

WordBeguiler 算法偽代碼如下。

3 實驗與結果

3.1 實驗設置

目標模型:CNN[19]由300 維的嵌入層、三個卷積層和一個全連接層組成，卷積層由256 個大小為2，3，4 的卷積核組成，步長為1；BiLSTM[20]由一個300 維的嵌入層，一個雙向LSTM 層和一個全連接層組成，雙向LSTM 層的前向和后向分別由64 個LSTM 單元組成。

數據集:選用四個中文數據集進行評估，如表4所示。

表4 實驗數據集

3.2 實驗方法比較

為了驗證WordBeguiler 算法的有效性，在情感分析數據集上分別與DeepWordBug 和WordHanding兩種攻擊算法進行比較，實驗中經過調試設置參數K＝30，修改策略中概率權重依次為字詞替換0.6、字符插入0.2 和次序修改0.2。攜程酒店、京東購物、垃圾信息數據集允許最大修改閾值為30，新聞分類最大修改閾值為11。實驗結果如表5 和表6 所示。

表5 在情感分析任務上驗證算法WordBeguiler 的有效性(a)CNN 模型

表6 在其他任務上評估WordBeguiler 性能

在四個數據集上分析了對CNN 和BiLSTM 模型的攻擊效果。從表5 可以看出，在情感分析數據集上與基線方法DeepWordBug 和WordHanding 相比，本文提出的WordBeguiler 算法最高可使準確率降幅達53.05%，明顯優于基線方法。從表6 可以看出，在垃圾信息和新聞標題數據集上WordBeguiler算法平均可使模型降低45%左右的準確率，表明了其在多場景任務中的有效性與通用性。

為了驗證對抗樣本檢測的準確率與修改閾值m之間的關系，從兩個情感分類數據集中分別選取了長度大于120 個字的1000 條樣本，通過調整不同的修改幅度生成對應的對抗樣本。

在攜程酒店數據集和京東購物評論數據集上得出CNN 和BiLSTM 的檢測準確率隨修改閾值m的變化曲線，如圖3 和圖4 所示。

圖3 攜程酒店評論數據集不同閾值實驗結果

圖4 京東購物評論數據集不同閾值實驗結果

隨著修改閾值m的增加，模型的檢測準確率逐漸降低，意味著對輸入序列中的個別關鍵字進行修改，WordBeguiler 就可以生成對抗樣本。與基線相比，當修改閾值達到15 個字左右時，攻擊效果趨于穩定狀態，表明WordBeguiler 算法大大地降低了擾動率，提高了文本的可讀性。

3.3 對抗樣本質量度量

圖像領域中度量樣本質量的方法典型的有L0，L2和L∞范數，但是由于圖像與文本存在不同，因此上述度量方式不能直接應用在文本中。故使用詞移距離(Word Mover’s Distance，WMD)度量兩個文本文檔之間的距離，用于判斷兩個文本之間的相似度，即WMD 距離越大文本相似度越小，WMD 距離越小相似度越大。從生成的對抗樣本中隨機選取2 000個樣本進行實驗，實驗結果如圖5 所示。

圖5 不同WMD 距離區間內樣本數量占總樣本的比例

與基線方法相比，WMD 距離小于0.2 的對抗樣本占總樣本的32.6%，在0～0.6 區間的對抗樣本總占比為69.28%，高于基線方法，說明由WordBeguiler算法生成的對抗樣本與原樣本有較高的相似度。表7 是原始樣本與WordBeguiler 算法生成的對抗樣本的示例，很好地保留了語義且可讀性好。

表7 原始樣本與對抗樣本示例

3.4 可轉移性評估

為了驗證由WordBeguiler 算法生成的對抗樣本具有可轉移性，分別使用BiLSTM 和CNN 模型生成對抗樣本去攻擊其他模型(包括BERT[22]模型)的實驗，如表8 和表9 所示。實驗結果表明，WordBeguiler 算法生成的對抗樣本能夠有效地轉移到其他模型上，且準確率降幅達30%左右。

表8 使用BiLSTM 模型生成對抗樣本攻擊其他模型

表9 使用CNN 模型生成的對抗樣本攻擊其他模型

4 結語

本文提出了在黑盒條件下面向中文文本分類的對抗樣本生成方法WordBeguiler，誘使模型做出錯誤決策。該方法首先結合漢字字形、字音特征為每個漢字構建對抗搜索空間，以提高對抗樣本質量，設計了新的擾動定位方式尋找影響分類的重要字或詞組，并根據概率權重選取的方法確定修改策略生成對抗樣本。WordBeguiler 算法生成的對抗樣本可以使CNN和BiLSTM 模型的準確率降幅最高達53.05%和50.50%，轉移到其他模型上準確率降幅達30%左右，攻擊效果均優于其他攻擊方法。此外，字詞重要性計算函數與修改策略還能進一步優化與改進，今后的工作重心會集中到以上方面，并對如何增強文本分類模型的魯棒性問題展開更深入的探索與研究。