基于社會新聞數據集的倫理行為判別方法

古天龍 馮 旋 李 龍,2 包旭光 李云輝

1(廣西可信軟件重點實驗室(桂林電子科技大學) 廣西桂林 541004)2(暨南大學信息科學技術學院/網絡空間安全學院 廣州 510632)(gu@guet.edu.cn)

隨著深度學習技術的快速發展和物聯網的不斷更新，人工智能(AI)已經廣泛應用到無人駕駛、智能家居、醫療護理等諸多領域，為生活帶來巨大便利.但與此同時，人機交互方式的簡化使得人們對技術的依賴程度越來越深，對其控制卻逐漸減弱，技術的不完善和數據的不恰當使用引發的倫理問題不斷出現[1-2].為了使技術更好地為人類服務，AI系統需要具備倫理行為判別能力，理解特定社會的倫理道德規范，理解行為背后的社會、文化和倫理含義，才能在現實世界中進行大規模部署[3].

AI系統的開發應當始終秉承以人為中心、造福全人類的發展理念，為其添加倫理行為判別能力成為日益緊迫的問題[4-6].通過嵌入倫理道德規范能夠使AI系統具備倫理行為的判別及執行能力，從而遵守法律和社會行為規范，是AI具備道德能力的體現.但由于倫理概念的復雜性及當前技術發展的局限性，倫理行為判別方面的技術研究面臨著諸多障礙.

早期針對倫理行為判別能力的研究工作主要包括基于規則的方法[7]和基于案例的方法[8]，而這些方法普遍存在知識信息難以規則化、不具備自動獲取特征表示的能力，導致模型的泛化能力并不理想.近年來，基于強化學習的方法[9]從試錯或觀察中學習人類的行為偏好，取得了很好的效果.雖然基于強化學習的方法行之有效，但是仍然具有以下不足之處：1)對環境變化的適應能力弱，只能適應特定領域而難以學習演示示例之外的知識；2)學習效率低下，示教者難以提供高質量的演示，而且提供演示需要耗費大量時間；3)模型訓練嚴重依賴數據，往往需要海量的高質量數據，而且有反饋信號稀疏等問題，難以從原始數據中提取有用特征.

近期的研究表明，基于大規模無監督語料的預訓練語言模型編碼了行為規范等常識知識，包含豐富的語義信息，同時在高質量標注數據集上進行微調(fine-tuning)可以給目標任務帶來巨大的效果提升[10-14].其具體優勢有：1)近乎無限量的優質數據；2)一次學習多次復用；3)學習到的語義表征可在多個任務中進行快速遷移.

鑒于最近預訓練語言模型的強大語義表示能力，針對缺乏高質量標注數據集的倫理行為判別任務，本文基于豐富的新聞語料構建了涵蓋倫理道德和人類行為的社會新聞數據集，同時基于使用信息實體的增強語言表示(enhanced language repre-sentation with informative entities, ERNIE)[14-16]和卷積神經網絡(convolutional neural network, CNN)[17]提出了倫理行為判別模型ERNIE-CNN.通過倫理行為判別實驗和零樣本遷移實驗，證明了本文所提方法和模型的有效性，同時為AI倫理的未來研究提供必要的支持.

本文的主要貢獻有3個方面：

1) 基于豐富的新聞語料構建了社會新聞數據集，為了驗證倫理判別方法的有效性，同時構建了法律與行為規范數據集.

2) 基于使用信息實體的增強語言表示(ERNIE)和卷積神經網絡(CNN)提出ERNIE-CNN模型.

3) 通過零樣本遷移實驗驗證了協變量偏移下的領域適應能力，驗證倫理行為判別方法的有效性.

1 相關工作

為AI系統增添倫理行為判別能力，有助于避免倫理問題，提高人類對技術的接受程度，從而促進AI技術的研究與推廣.早期的相關研究工作大多選擇將明確的倫理原則或規范嵌入AI系統，主要包括基于規則的方法和基于案例的方法.

基于規則的方法是根據倫理原則或規范為AI系統嵌入倫理行為判別的能力，實現了不同的倫理原則.Anderson等人[18]基于羅爾斯義務論開發了倫理顧問系統W.D.，該系統從案例數據中學習各項行為原則的權重，計算并選擇具有最高效用值的行為.Anderson等人[19]基于生物醫學理論設計了倫理顧問系統MedEthEx，使用歸納邏輯程序設計技術提取倫理信息，輔助醫護人員確定倫理行為選擇，用于解決醫療護理中涉及人機交互的倫理問題.Arkin[20]將戰爭法和交戰規則嵌入自主武器系統，用于約束系統的致命行為，判斷其行為是否符合倫理道德.盡管上述研究工作實現了對單一倫理原則或規范的嵌入，但并未考慮不同規范間存在的規范沖突風險.總體而言，基于規則的方法具有較強的可解釋性，能使人們更直觀地了解模型的判別過程，而無法推理未編碼到知識庫中的條件和規則，難以避免規范沖突問題，因此其性能表現較為受限.

基于案例的方法是通過重用以往經驗進行規范嵌入，通過類比以往的案例自動提取規范并求解問題的方法.Ashley和McLaren[21-22]使用基于案例的方法設計了SIROCCO程序，探索和分析案件遵循的倫理原則和具體事實之間的關系.Dehghani等人[23]提出了計算模型MoralDM.當面對新的倫理決策場景時，MoralDM中的類比推理模塊將新場景與數據庫中先前已解決的多個場景進行比較，計算新案例和已解決方案之間的相似度并以此為基礎進行類比推理.但隨著案例數量的增加，MoralDM窮舉比較方法的計算復雜度將相應增加，導致實用性變差.Blass等人[24]利用結構映射擴展了MoralDM模型，通過計算案例及候選規范之間的相似度縮小搜索空間，提高基于案例方法的效率.總體而言，基于案例的方法具有信息表達完整、求解方法簡單等優點，已經在倫理行為判別研究中成功運用，但是其缺點也較為突出，即有限的規范無法適應不斷變化的道德場景，而且必須解決案例的相似度度量、訓練案例的選取等問題.

近年來，基于強化學習的方法通過人類專家示教、獎勵的形式學習人類的行為偏好，同樣能夠為AI系統嵌入倫理行為判別能力.強化學習通常使用動態規劃技術來解決問題，以試錯的方式自主學習或從示教者提供的示例中學習，以達到獎勵函數最大化并最終實現特定目標.Abel等人[25]將強化學習形式化為部分可觀察馬爾可夫決策過程(POMDP)，并針對2個倫理困境(蛋糕或死亡、火災救援實驗)驗證了該方法的靈活性和穩定性.然而在有限步(Finite Horizon)內，POMDP問題難以求解.Wu等人[26]基于反向強化學習，利用專家行為數據，通過最大化獎勵函數來平衡道德行為和效用值的追求.但由于每個人的偏好不同，專家的行為數據也可能存在分歧.Riedl等人[27]認為一個可以閱讀和理解故事的模型能夠從故事所直接體現出的或隱含的社會文化知識中學習其所蘊含的社會行為規范，因此基于強化學習提出了從眾包故事中學習人類行為偏好的方法.此方法的局限性在于眾包故事的獲取途徑單一，只適用于特定任務.總體而言，基于強化學習的方法能夠通過與環境交互、學習獲得人類行為偏好，具備解決復雜問題的能力，但此類方法在很大程度上依賴于輸入信號的質量，制約了該方法的性能表現及實際應用.

近期的研究表明，使用大規模無監督文本數據進行預訓練的語言模型編碼了文本中行為規范等常識概念[28-29].Ziegler等人[30]使用預訓練語言模型GPT-2成功學習到人類生成句子的偏好，驗證了語言模型可以從文本數據中學到人類行為偏好.Frazier等人[31]使用長期連載的兒童漫畫構建數據集，通過訓練語言模型識別文本內容是否符合社會規范.盡管上述工作驗證了語言模型蘊含知識信息，但過分強調精心策劃的場景，難以應對現實場景帶來的挑戰.

綜合上述研究，本文旨在為倫理行為判別研究提供新的方法以及在語言模型上進行改進.鑒于社會新聞充分涵蓋倫理道德且易于獲取，構建了社會新聞數據集用于倫理行為判別研究.提出了倫理行為判別模型ERNIE-CNN，從大量的社會新聞數據中學習行為偏好，通過詞向量表示計算語義相似度來提取關于行為的倫理判斷，解決了場景限制問題.經過訓練的模型編碼了知識信息，可以理解行為背后的社會、文化和倫理含義.

2 數據集構建

為了推動因缺乏高質量標注數據而受阻的倫理行為判別研究，本文選擇充分涵蓋倫理道德和人類行為的社會新聞標題為數據源，構建了社會新聞數據集(ETH-News)，并將新聞文本中包含的行為分類為道德行為、不文明行為、違規行為和違法行為，用于倫理行為判別模型的訓練.同時構建了法律與行為規范數據集(ETH-Norms)，用于驗證倫理行為判別方法的有效性.以上數據集的構建均包括數據采集、數據標注和數據集分析3個階段.

2.1 數據采集

2.1.1 社會新聞數據集(ETH-News)

本文選擇社會新聞標題作為倫理行為的主要數據源，原因主要有3點：1)社會新聞充分涵蓋倫理道德和人類行為，同時具有易于獲取的優點.2)社會新聞以較簡明扼要的文字，向公眾傳達重要信息，每條新聞還有一個非常詳實且簡短的新聞摘要.與新聞全文相比，新聞摘要內容豐富、簡明扼要.3)社會新聞是涉及人民群眾日常生活的社會事件、社會問題、社會風貌的報道，具有公開性、真實性、時效性、準確性和廣泛性等特點.

本文針對中文語境中的倫理行為判別任務進行建模，采集的新聞文本主要爬取于新浪微博(1)https://weibo.com/，并使用THUCTC工具包(2)http://thuctc.thunlp.org/篩選出社會新聞.THUCTC是由清華大學自然語言處理實驗室推出的中文文本分類工具包，能夠自動高效地實現用戶自定義的文本分類任務.由于負面新聞比正面新聞更容易吸引大眾的注意力，因此媒體登載了較多的負面新聞，導致自動采集的新聞文本存在樣本不平衡問題.為了解決這一問題，本文進一步從中國文明網(3)http://www.wenming.cn/的好人好事專欄爬取了全部的新聞標題，以此擴充正面新聞，因為好人好事是道德行為理想的數據來源.

本文期望通過具體的行為訓練模型倫理行為判別的能力，因此對上述新聞進行了篩選，只保留了至少包含一個具體行為的文本，同時刪除：1)不包含具體行為的文本；2)字段長度超過52個字符的文本；3)格式錯誤的文本.經過數據清理，使用剩余的12 183條新聞文本構建了所需社會新聞數據集.表1為社會新聞數據集的示例展示:

Table 1 Samples From ETH-News Dataset表1 社會新聞數據集示例

2.1.2 法律與行為規范數據集(ETH-Norms)

為了驗證基于社會新聞數據集訓練的模型具備倫理行為判別能力，本文同時構建了法律與行為規范數據集來驗證模型識別法律與行為規范的能力.本文選擇將《中華人民共和國刑法》與各省市《文明行為條例》納入數據集，將各項條款拆分為簡單句，文本長度同樣控制在52字以內.表2為法律與行為規范數據集中擁有不同標簽的示例展示.

Table 2 Samples From ETH-Norms Dataset表2 法律與行為規范數據集示例

2.2 數據標注

數據集的標注工作由實驗室九名碩士研究生共同完成，男女比例為5∶4.九名碩士研究生平均分為3組，每組3人，每條新聞文本由組內2人進行標注，另一人為仲裁.當2人標注結果相同時則完成標注(占總數的93%)，如有分歧，由仲裁者進行仲裁(占總數的6.9%).在3人都難以標注的情況下丟棄樣本(占總數的0.1%)，以此在最大程度上保證標注的一致性和準確性.

功利主義是一種主張最大化所有人的總體幸福感的理論[4].為了衡量新聞中包含的行為是否合乎倫理道德，本文選擇功利主義為道德評判標準，計算公式為[32]

(1)

其中,N是利益相關者的數量，Wi是每個利益相關者的權重，Pi用于衡量每個利益相關者的幸福度，M是某一行為的效用值.

每個標注人員根據功利主義將文本標注為0(道德行為)，1(不文明行為)，2(違規行為)，3(違法行為)，4(無關行為)，同時刪除所有不包括具體行為的新聞文本.

2.3 數據集分析

本文標注了16 000條新聞文本，修改了448條法律條文與20個省市的文明行為條例，經過數據清理等步驟，進一步刪除了屬于無效類別的所有文本.所構建的社會新聞數據集包含3 496條道德行為(Moral)、1 777條不文明行為(Uncivilized)、994條違規行為(Violative)和5 916條違法行為(Illegal).由于不文明行為和違規行為標簽下的數據量少且樣本表現形式不易區分，參考《文明行為條例》將其進行合并為不道德行為(Immoral).所構建的法律與行為規范數據集包含283條道德行為、149條不道德行為和709條違法行為.

數據集的詳細統計信息如表3所示，文本長度分布如圖1所示，大部分文本長度小于30個字符，其中社會新聞數據集平均文本長度為17.1，法律與行為規范數據集平均文本長度為20.

Table 3 Statistics of Datasets表3 數據集的統計信息

Fig. 1 Length distribution of text圖1 文本長度分布

3 ERNIE-CNN倫理行為判別模型

為了使模型具備倫理行為判別能力，理解行為背后的社會、文化和倫理含義，本文提出了ERNIE-CNN倫理行為判別模型，其整體架構如圖2所示，主要由4部分組成，分別為詞嵌入層、文本卷積層、池化層和輸出層.

Fig. 2 ERNIE-CNN architecture圖2 ERNIE-CNN架構

3.1 詞嵌入層

詞嵌入層主要實現的功能是基于語言模型ERNIE[14]與輸入文本進行交互，生成文本的詞向量表示.ERNIE針對BERT[13]在處理中文文本時難以獲得語義完整表示的缺點，為了抽取和編碼知識信息，將知識模型中的實體表征整合到語義模型的底層中，結合大規模無監督語料庫和知識圖譜進行預訓練.

詞嵌入層由2個模塊組成：1)文本編碼器(T-Encoder)，負責從輸入的文本中捕獲詞匯和語義信息；2)知識編碼器(K-Encoder)，負責將知識圖譜中的知識信息整合到輸出的詞向量中.

文本編碼器是包含多頭注意力機制和前饋神經網絡的多層雙向transformer[33]編碼單元，其架構如圖3所示.

Fig. 3 T-Encoder architecture圖3 文本編碼器架構

給定一條社會新聞，令xi∈Rjk為句子中第i個單詞所對應的k維詞向量，通過式(2)計算每個字符的詞匯和語義特征：

{h1,h2,…,hn}=T-Encoder({x1,x2,…,xn}),

(2)

其中,{h1,h2,…,hn}代表具有語義特征的詞嵌入輸出;n為文本長度.

多頭注意力機制(multi-head attention)[33]是文本編碼器中的核心組成單元之一.注意力機制具有快速提取關鍵信息的重要特征，廣泛應用于自然語言處理任務.注意力機制可以描述為一個查詢(query)到一系列鍵-值對(key-value)的映射.注意力機制計算方法如下[33]：

(3)

其中,分別用向量Q，K，V表示查詢和鍵-值對.首先，將Q和K進行相似度計算(點積)得到權重，為了防止點乘結果數值過大，使用向量K的維度dk進行縮放；其次，使用softmax函數對權重進行歸一化得到概率分布；最后，將權重與相應的鍵值V進行加權求和得到目標的Attention.在自然語言處理任務中，K通常與V取值相同，即K=V.

自注意力機制是注意力機制的改進，為了捕獲句子的內部相關性，減少對外部信息的依賴.在自注意力機制中，Q=K=V.

多頭注意力機制利用多個查詢，并行地從輸入信息中選取多組信息，可以提取多重語義的含義.多頭注意力機制將數據投影到h(注意力機制頭數)個子空間中，考慮了多個子空間中向量的相似度.其中單頭注意力Hi的計算公式如式(4)所示[33]：

(4)

多頭注意力機制將所有空間中的注意力向量進行拼接，計算公式如式(5)所示[33]：

MH-Att(Q,K,V)=
Concat(H1,H2,…,Hh)W0,

(5)

其中,W0是附加權重矩陣，作用是將拼接后的矩陣維度壓縮成固定的文本長度大小.

知識編碼器可以編碼字符和實體，也能融合異構特征，作用是將知識信息注入語義表征，其結構如圖4所示:

Fig. 4 K-Encoder architecture圖4 知識編碼器架構

在知識編碼器中，將字符嵌入{h1,h2,…,hn}和預訓練得到的實體嵌入{e1,e2,…,em}(其中m是實體對齊序列長度)進行異構信息融合并通過式(6)計算得到最終的輸出詞嵌入{w1,w2,…,wn}.

{w1,w2,…,wn}=

K-Encoder({h1,h2,…,hn},{e1,e2,…,em}).

(6)

3.2 文本卷積層

在獲得詞嵌入輸出{w1,w2,…,wn}后，通過文本卷積操作提取句子的局部區域特征，能夠自動地對N-gram特征進行組合和篩選，獲得不同抽象層次的語義信息.文本卷積層結構如圖5所示:

Fig. 5 Example of text convolution process圖5 文本卷積過程示例

對于輸入的每一個句子s，將s中字符的詞向量{w1,w2,…,wn}進行連接操作，如式(7)所示.

s=w1⊕w2⊕…⊕wn,

(7)

其中,?表示詞向量間的連接操作.s是拼接得到的n×k維矩陣，其中n為一個句子中的單詞數，k是每個單詞對應的詞向量維度.

卷積層使用卷積核W∈Rjk與滑動窗口si:i+j-1對輸入的n×k維矩陣進行卷積操作，產生特征ci：

ci=f(W·si:i+j-1+b),

(8)

其中,j表示窗口中的單詞數，si:i+j-1代表由輸入矩陣的第i行到第i+j-1行拼接而成的大小為j×k維的窗口，W為卷積核對應的j×k維的權重矩陣，b為偏置參數，f(·)為非線性函數tanh.首先，W和si:i+j-1進行點積運算；其次，卷積核對j個字符按照步長1滑動提取文本局部特征ci；最后，將其拼接得到特征映射c=(c1,c2,…,cn-j+1).

3.3 池化層

經卷積操作后，使用時序最大池化操作(1-Max Pooling)從每個滑動窗口產生的特征向量中篩選出最重要的特征，并將這些特征進行拼接，構成向量表示.

3.4 輸出層

得到文本句子的向量表示之后，接入全連接層輸出每個類別的概率，并使用softmax激活函數進行歸一化處理，得到最終分類結果.

4 實驗設計與結果分析

本文在社會新聞數據集上訓練模型，對社會新聞中包含的行為進行倫理行為判別實驗，其中二分類(行為被劃分為道德、不道德2類)實驗可以體現模型辨別對錯的能力，三分類(行為被劃分為道德、不道德、違法3類)具有更細粒度的分類能力，體現模型識別行為倫理程度的能力，同時使用訓練好的模型在法律與行為規范數據集上驗證該方法的有效性.

4.1 度量標準

倫理行為判別屬于多分類問題，為了計算分類模型在不同類別上的總體精確率、召回率和F1值，本文選用宏精確率(macro-P)、宏召回率(macro-R)和宏F1值(macro-F1)作為模型預測評價指標，如式(9)～(11)所示：

(9)

(10)

(11)

其中,K為類別數;Pi為精確率;Ri為召回率.

4.2 數據與設置

本文共設置2個實驗，在倫理行為判別實驗中(實驗1)，社會新聞數據集的劃分情況如表4所示(在二分類任務中，將不道德行為與違法行為劃分為一類)，在零樣本遷移實驗中(實驗2)，將法律與行為規范作為測試集，數據集的劃分情況如表5所示.

Table 4 Datasets Used in Experiment 1表4 實驗1使用的數據集

Table 5 Datasets Used in Experiment 2表5 實驗2使用的數據集

本文采用基于字符的方法對數據進行預處理.實驗中，基于特征的語言模型使用搜狗預先訓練好的300維中文詞向量(4)https://github.com/Embedding/Chinese-Word-Vectors初始化單詞嵌入，基于微調的語言模型使用谷歌和百度發布的預訓練模型.短填長切，將每句話長度處理為30，設置batch_size為64.采用Adam梯度下降更新網絡參數，使用交叉熵(cross entropy)作為代價函數，計算模型預測結果與訓練實例之間的差異性.為了緩解訓練中可能出現的過擬合問題，在模型的全連接層使用了隨機失活(Dropout)和提前停止技術.實驗代碼基于Pytorch1.5.1實現.

4.2.1 倫理行為判別實驗

為了驗證社會新聞數據集在訓練模型進行倫理行為判別方面的有效性，將新聞文本中的行為分為道德行為、不道德行為和違法行為，并使用8種不同的基準模型來構建二元、三元分類器.

1) TextCNN[17].本文選擇卷積核的大小為(2，3，4)，每個尺寸的卷積核個數為100，dropout設置為0.5，學習率設置為1×10-3.

2) TextRNN[34](Bi-LSTM).使用雙向長短期記憶網絡捕捉長距離語義關系，能夠更好的表達上下文信息.TextRCNN[35]在Bi-LSTM的基礎上加入一層最大池化層來捕捉重要的特征信息.本文使用2層雙向LSTM，每層包含256個神經元，dropout設置為0.5，學習率設置為1×10-4.

3) RNN-Att[36].在Bi-LSTM的基礎上加入注意力機制，能夠直觀的解釋各個句子和詞對分類類別的重要性.本文使用2層雙向LSTM，第1層包含128個神經元，第2層包含64個神經元，dropout設置為0.5，學習率設置為1×10-3.

4) DPCNN[37].引入了殘差結構，增加了多尺度信息，并且增加了用于文本卷積神經網絡的網絡深度，以提取文本中遠程關系特征.本文選擇卷積核的大小為3，卷積核個數為250，dropout設置為0.5，學習率設置為1×10-5.

5) BERT[13].采用多層雙向Transformer結構以及掩碼語言模型來捕捉一個詞在上下文語境中的詞向量表達，極大程度提升了詞向量的表征能力.本文使用谷歌發布的預訓練模型BERT_Chinese(5)https://github.com/google-research/bert進行微調，微調的學習率設置為5×10-5.

6) BERT-CNN[38].將BERT的輸出作為詞嵌入層，再由卷積神經網絡經過卷積后提取句子級別特征，經過池化層保留重要特征，微調的學習率設置為5×10-5.

7) BERT-RCNN.基于BERT-CNN與Text-RCNN的設計思路，將BERT的輸出作為詞嵌入層，加入Bi-LSTM捕捉長距離語義關系，最后加入一層最大池化層來捕捉層次語義信息，微調的學習率設置為5×10-5.

8) ERNIE-CNN.本文使用百度發布的預訓練模型ERNIE_Chinese(6)https://github.com/PaddlePaddle/ERNIE進行微調，微調的學習率設置為5×10-1.

4.2.2 零樣本遷移實驗

為了驗證基于社會新聞數據集倫理行為判別方法的有效性，本文通過零樣本遷移實驗進行驗證，測試模型在訓練集和測試集上分布不同的協變量偏移下的領域適應能力.實驗2使用在實驗1中性能表現更出色的基于微調的語言模型，訓練集為法律與行為規范數據集.實驗2中其他參數設置與實驗1相同.

4.3 實驗結果分析

倫理行為判別實驗結果如表6所示.零樣本遷移實驗結果如表7所示.本文著重分析更細粒度的三分類實驗結果，其更能體現模型倫理行為判別的能力.

Table 6 Ethical Behavior Discrimination Experiment Results表6 倫理行為判別實驗結果

4.3.1 倫理行為判別實驗結果分析

通過對比不同基于特征的語言模型(TextCNN，TextRCNN，TextRNN-ATT和DPCNN)與基于微調的語言模型(BERT，BERT-CNN，BERT-RCNN和ERNIE-CNN)下得出的實驗結果可以看出，在語義表示能力方面，基于微調的語言模型優于基于特征的語言模型，表明基于transformer結構的模型效果明顯優于非基于transformer結構的模型.

二分類任務.通過二分類任務的實驗結果可以看出，本文提出的ERINE-CNN模型在macro-P，macro-R和macro-F1指標上均獲得了最佳性能，分別達到了0.957，0.966和0.961，效果最差的基準模型為DPCNN，在macro-P，macro-R和macro-F1指標上分別為0.894，0.884和0.889.即使效果最差的模型也取得了令人滿意的實驗結果，表明基于社會新聞數據集訓練的倫理行為判別模型可以對社會新聞中包含的行為準確地分類.

三分類任務.通過對比不同基于特征的語言模型下得出的實驗結果可以看出，盡管TextCNN模型相較于其他模型結構更為簡單，但在3個衡量指標上均獲得了最佳效果，分別達到了0.764，0.744和0.750.由于DPCNN是為捕捉長距離語義關系而設計的模型，因此在本文的短文本任務中效果較差.通過對比TextCNN與基于TextRNN改進的TextRCNN和TextRNN-ATT的實驗結果可以發現，模型的堆疊并沒有為TextRNN帶來效果的提升，反而增加了模型的復雜程度.本實驗中針對基于特征的語言模型所進行的對比表明，對于短文本倫理行為判別任務，由于句子不具有復雜的結構，通過滑動卷積操作捕捉局部特征就可以識別全局語句結構，獲取句子中最重要的語義信息，在任務中獲得較好的結果.

通過對比基于微調的語言模型的實驗結果可以發現，本文提出的ERINE-CNN模型在macro-P，macro-R和macro-F1均獲得了最佳效果，分別達到了0.829，0.808和0.813.通過對比BERT，BERT-CNN和BERT-RCNN的實驗結果發現，將BERT的輸出作為詞嵌入層，加入CNN和RCNN模型之后在各項指標上均有所提升.BERT-CNN加入CNN模型后在macro-P，macro-R和macro-F1指標上分別提升了1.2，1.5和1.2個百分點，高于BERT-RCNN加入RCNN模型帶來的效果提升，同時再次驗證加入滑動卷積操作捕捉局部特征的有效性.通過對比BERT-CNN和本文提出的ERNIE-CNN模型下的實驗結果，可以發現ERINE-CNN模型在macro-P，macro-R和macro-F1指標上均獲得了更好的性能，與BERT-CNN相比分別提升了1，2.7和2.8個百分點，表明在處理中文任務時，ERNIE的特征抽取能力比BERT更強，同時也證明了本文提出的模型在倫理行為判別任務中的有效性.

4.3.2 零樣本遷移實驗結果分析

通過二分類任務的實驗結果可以看出，本文提出的ERINE-CNN模型在macro-P,macro-R和macro-F1均獲得了最佳效果，分別達到了0.890,0.929和0.906，效果最差的基準模型BERT在macro-P,macro-R和macro-F1指標上分別為0.839,0.875和0.854；對于三分類任務，ERNIE-CNN模型同樣達到了最佳效果，在各項指標上分別達到了0.767,0.803和0.781，效果最差的基準模型在各項指標上分別達到了0.695,0.735和0.689.實驗結果表明使用社會新聞數據集訓練好的模型在零樣本遷移實驗上同樣可以取得令人滿意的實驗結果，在資源有限的情況下，驗證了社會新聞數據集蘊含豐富的倫理道德和規范知識，可以用于倫理行為判別研究.

5 總 結

本文針對包含具體行為的社會新聞做倫理行為判別研究，受預訓練語言模型的啟發，提出了基于社會新聞數據集的倫理行為判別方法.具體地，由于缺乏高質量標注數據，基于社會新聞和社會規范分別構建了社會新聞數據集和法律與行為規范數據集.使用預訓練語言模型ERNIE捕獲新聞文本的多維語義特征獲得詞向量，通過CNN模型自動對N-gram特征進行組合和篩選，獲得不同抽象層次的語義信息，從而提升模型的識別能力.在數據集上的實驗結果證明了以上方法和模型的有效性.

具備倫理行為判別能力的模型可以為機器人、無人駕駛汽車等自主機器提供先驗知識，減少不道德行為的發生，有助于避免倫理問題.本文的研究工作為倫理行為判別開辟了新思路，是一次有益的嘗試.

然而，本文工作也存在一些問題：1)自動采集的新聞文本在不同標簽下存在數據量少和數據不均衡問題，而本文僅對不易區分的數據進行合并；2)僅針對短文本任務進行優化，未考慮模型對長文本的識別能力；3)社會新聞是被精心編輯過的規范數據，而社交媒體領域有大量含有噪聲的非規范數據.在接下來的研究工作中，我們將補充更多的數據，擴展模型更細粒度的倫理行為辨別能力；優化模型對于長文本的識別能力；探索從新聞領域到社交媒體領域的遷移學習任務.