基于互惠性約束的可解釋就業推薦方法

朱海萍 趙成成 劉啟東 鄭慶華 曾疆維 田 鋒 陳 妍

(西安交通大學電子與信息學部 西安 710049) (智能網絡與網絡安全教育部重點實驗室(西安交通大學) 西安 710049)

近年來，隨著推薦系統的廣泛應用，就業推薦在輔助大學生就業方面逐漸起到重要作用[1].但是，相比于一般的推薦場景，就業推薦除了需要考慮學生對于就業單位的興趣，還需要考慮就業單位對于學生的能力要求[2].課題組發現，若忽略了就業單位對學生能力的要求，很可能導致學生與推薦的單位之間出現“能力失配”問題.同時，在就業推薦過程中，推薦結果的解釋信息對于指導老師和學生都具有重要的參考價值.然而，當前大多數基于隱因子模型(latent factor model, LFM)來實現協同過濾[3](collaborative filtering, CF)的方法通常缺乏解釋性.負樣本不置信問題(即訓練數據中的負樣本通常從大量未交互樣本中隨機采樣得到[4])是推薦系統研究中一個普遍存在的問題[5]，而在就業推薦數據中一個用戶只有其就業單位一條交互記錄，使得該問題更加嚴重.為了解決上述問題，本文開展基于互惠性約束的可解釋就業推薦研究.

首先，借鑒文獻[6]中擁有相似特征的人傾向于做出相似行為的結論，本文設計了一種基于相似度的隨機負采樣模塊，即根據學生間和就業單位間的相似度從一個學生的負樣本全集中劃分出與其較為不相似的負樣本集；再從該縮小范圍的負樣本集中，隨機采樣得到高置信度的負樣本，結合已有正樣本形成高質量訓練樣本集，從而提供數據級有效支撐.

其次，為了滿足可解釋性需求，分別設計2個可解釋模塊：1)借鑒意圖決定行為這一心理學研究成果[4]，設計基于就業意圖的可解釋模塊，用以提升推薦系統的解釋性；2)考慮到不同單位對學生能力要求的側重點不同且不同學生對單位期望的側重點也不同，設計基于就業特征的可解釋模塊，輸出單位特征和學生特征的重要性分數，以此支撐推薦結果的可解釋.

然后，基于上述可解釋性輸出，設計基于互惠性約束的就業推薦模塊，以緩解推薦結果可能出現的“能力失配”問題.關鍵在于，因為對不同的學生和就業單位來說，就業興趣和單位能力要求的重要程度是不同的，使用模糊門機制自適應地聚合兩者的表征向量.

本文所提基于互惠性約束的可解釋就業推薦方法的主要貢獻有4個方面：

1)所提隨機負采樣模塊，綜合考慮學生間和單位間相似度，破解了負樣本不置信問題.

2)所提2個可解釋模塊，綜合運用多任務學習、注意力機制、門控網絡，兼顧就業特征和就業意圖演化過程，滿足了推薦結果的可解釋需求.

3)提出了基于互惠性約束的就業推薦模塊，其特色在于，采用模糊門機制自適應地聚合學生就業興趣和單位能力要求的表征向量，緩解了“能力失配”問題.

4)在某高校5屆畢業生就業真實數據集(employ-ment data for undergraduate, EMDAU)上的實驗結果表明：相比于多個經典和同時代的推薦方法，本文所提出的基于互惠性約束的可解釋就業推薦方法在AUC指標上超出6%；且通過用戶調研，驗證了所提方法可解釋性的有效性；設計并執行針對以上3個模塊的消融實驗，實驗結果證明了其有效性.

1 相關工作

本節主要概述與本研究相關的就業推薦、互惠推薦以及可解釋性推薦的研究現狀.

1.1 就業推薦

現有的就業推薦算法通常根據歷史用戶的就業記錄，使用隱因子模型構建基于協同過濾的方法，為用戶推薦有潛在興趣的就業單位[3].但是，CF算法本身是基于用戶的歷史記錄來進行推薦的[7-8]，而在一般的就業數據中每個用戶只有其最終選擇的就業單位這一條交互記錄，因此不能直接使用CF算法.針對該問題，一些就業推薦研究重點關注用戶相似度計算的方法.文獻[9]提出使用基于語義的方法，從用戶遞交的簡歷中提取出其求職能力等結構化信息，利用這些結構化信息可以計算出用戶之間的相似度；文獻[10]則引入了學生畫像，首先根據畢業生在校數據生成學生畫像，然后利用畢業生學生畫像計算畢業生相似度，從而進行就業單位推薦；文獻[11-12]利用學生在校數據將學生劃分為不同的群體，將個人所在群體的歷史就業記錄作為個人歷史就業記錄使用CF算法，解決了畢業生因缺少歷史就業記錄而難以使用CF算法的問題.

現有的就業推薦算法研究大多集中于研究學生就業興趣建模，而本文同時對就業單位能力要求進行了建模.由于通過計算學生相似度來更好地使用CF算法進行就業推薦不是本文的研究重點，因此本文僅使用學生的各類屬性特征作為其協同過濾特征.

1.2 互惠性推薦

互惠推薦系統(reciprocal recommender systems, RRS)[13]是一類需要最大化成功匹配概率而非只滿足推薦對象偏好的推薦算法.Xia等人同樣針對在線約會場景，提出了基于協同過濾的互惠推薦模型[14].該模型通過被推薦用戶與和目標用戶交互用戶的相似度來計算2個單向偏好分數，然后將這2個偏好得分的諧波平均值作為2個用戶之間匹配可能性的互惠得分.RCF已經成功應用于在線約會場景，并且成為RRS的標準對照算法[15-16].除了在線約會場景，互惠推薦還有一些其他的應用場景，比如社交網絡[17]和技能分享平臺[18]等.

當前，互惠推薦主要應用于社交推薦場景當中.而本文將互惠推薦的思想引入到就業推薦場景中，為就業推薦模型設計了互惠性約束，滿足了在就業推薦中同時考慮學生就業興趣與單位能力要求的需求.

1.3 可解釋性推薦

可解釋推薦(interpretable recommendation)因其有助于提高推薦系統的透明度、說服力、可信度等，得到了研究者們更多的關注[19-20].現有可解釋推薦按照可解釋模塊與推薦模型是否相關，可被分為兩大類：模型可知的可解釋推薦與模型未知的可解釋推薦.模型可知的可解釋推薦，可解釋模塊嵌入在推薦模型當中，推薦結果與對推薦結果的解釋是同時由模型輸出的，如EFM模型[21].模型不可知的可解釋推薦，又稱為后處理方法，該類方法單獨設計一個解釋模型，輸出推薦結果之后再由解釋模型輸出對該推薦結果的解釋，如DualPC模型[22].按照解釋結果的信息源分類，可解釋推薦方法可被分為三大類：基于相關用戶或物品的、基于特征的和基于文本的.基于相關用戶和物品的方法是將與目標用戶相似的其他用戶或者目標用戶之前交互過的一些物品作為當前推薦物品的解釋，如Xian等人提出的EX3模型[23].基于特征的方法通常以物品特征的重要程度作為解釋信息，如Hou等人[24]使用物品特征重要性的雷達圖來解釋為什么推薦某一物品.基于文本的方法通常生成對推薦物品的評價作為解釋信息，如Wang等人[25]設計用戶偏好建模與評論內容建模的多任務模型，輸出預測的用戶評論用以解釋推薦結果.

雖然解釋信息對于就業推薦有著重要的作用，但是現有就業推薦研究很少涉及可解釋性.本文為了滿足就業推薦可解釋這一亟待解決的實際需求，提出了基于就業意圖和就業特征的可解釋推薦模塊.

2 基于互惠性約束的可解釋就業推薦方法

基于互惠性約束的可解釋就業推薦方法整體結構如圖1所示，圖中實框是基于相似度的隨機負采樣模塊，用于提供高置信度的負樣本，再結合已有正樣本形成高質量訓練樣本集D；通過嵌入層從樣本集D中抽取高階的特征向量表示；點框內包含基于就業意圖和基于就業特征的2個解釋模塊，提供推薦結果的解釋；虛線框內是基于互惠性約束的就業推薦模塊，輸出針對某一學生的被推薦單位評分.本節將詳述這3個模塊.

Fig.1 A framework of reciprocal-constrained interpretable job recommendation method

2.1 基于相似度的隨機負采樣模塊

針對就業推薦數據中的負樣本不置信問題，本文受同一學生群體在就業選擇上相似這一想法啟發，設計并實現了基于相似度的隨機負采樣模塊，包括學生間相似度計算與就業單位間相似度計算、基于相似度的隨機采樣2個步驟.

1)在借鑒文獻[26]相似度計算方法的基礎上，本文設計學生間相似度和單位間相似度的計算:

(1)

(2)

其中，sim(stui,stuj)表示學生stui和stuj之間的相似度，Nd和Nc分別表示學生的離散特征和連續特征的個數，fk表示第k個特征的值.sim(uniti,unitj)表示就業單位uniti和unitj之間的相似度，Md表示就業單位的離散特征的個數.

2)為了得到高置信度的負樣本，同時避免嚴重改變訓練集的樣本分布，本文提出在考慮相似度的同時還保留隨機采樣的方法.首先計算學生u與其他學生的相似度以及學生u的就業單位與其他就業單位的相似度，選取最不相似的TopN個學生的就業單位和最不相似的TopN個單位作為高置信度負樣本集.然后從該負樣本集中隨機采樣，產生用于訓練的負樣本.

基于相似度的隨機負采樣計算偽代碼如算法1所示：

算法1.基于相似度的隨機負采樣算法.

輸入：學生集合studentSet、就業單位集合unitSet;

輸出：負樣本集合negativeSet.

①negtiveSet=[];

② forstuiinstudentSet

③sims=[]，simu=[];

④uniti=get_unit(stui);/*獲取學生交互的單位*/

⑤ forstujinstudentSet

⑥simij=sim(stui,stuj);/*調用式(1)計算學生間相似度*/

⑦sims.add(simij);

⑧ end for

⑨unsims=TopN(sims);/*按相似度從小到大排序，獲取最不相似的N個學生*/

⑩ forunitjinunitSet

2.2 就業可解釋模塊

該模塊包含基于就業意圖的解釋模塊和基于就業特征的解釋模塊，分別從不同角度為推薦結果提供解釋.

2.2.1 基于就業意圖的解釋模塊

借鑒就業意圖決定就業行為這一心理學研究成果[27]，及文獻[28]的通過學習不同任務間的關聯關系有利于提升多個任務的建模效果這一結論，利用多任務學習的思路同時設計就業意圖的可解釋模塊和就業單位推薦模塊(見2.3節)，其特點在于：2個任務共享特征嵌入層參數，即得到學生和單位特征嵌入后，分別對2個任務建模，如圖1所示的點框內.

針對就業意圖演化問題，借鑒自我感知理論研究成果[29-30](一個人的目標和內在動機可以通過人的行為來推斷，而人們的行為反映出的日常生活規律被證明與工作或學業成績有強烈的相關性)，利用學生的學業成績來輔助就業意圖建模，提出門控循環單元(gated recurrent unit, GRU)網絡[31]的就業意圖演化過程學習方法，計算為

Gt=GRU(Gt-1,xt),t=1,2,…,6，

(3)

其中，Gt為第t個學期學生成績的隱藏狀態，xt∈d為第t個學期學生成績的嵌入向量.將最后一個學期學生成績的隱藏狀態G6作為學生就業意圖的演化結果，與學生和單位特征嵌入向量拼接，得到用于表征學生就業意圖的嵌入向量，計算公式為

E=concat([P1,P2,…,PM,G6]).

(4)

Pm∈M×d為學生側特征嵌入向量.最后，使用多層感知機(multilayer perceptron, MLP)[32]對就業意圖進行建模，計算為

Op=Softmax(MLP(E)).

(5)

2.2.2 基于就業特征的解釋模塊

該模塊包含2個注意力機制：抽取學生就業偏好的注意力機制和抽取單位能力要求的注意力機制.

1)抽取學生就業偏好的注意力機制有3個步驟：

① 在給定一對學生和就業單位信息的條件下，通過嵌入層得到學生側特征的嵌入向量Pm∈M×d和就業單位側特征的嵌入向量Qn∈N×d，其中M和N分別為學生側和就業單位側特征數量，m為學生特征的第m個，n為就業單位特征的第n個，d為嵌入向量維度.通過加和池化操作，將學生側特征嵌入向量Pm聚合，得到學生表征向量Ps為

(6)

② 將學生表征向量Ps作為計算注意力權重的查詢向量[33]，用來計算學生對就業單位不同特征的偏好程度，結構如圖2(a)所示，計算方法為

(7)

計算得到的注意力權重wn即表示了學生對就業單位第n個特征的偏好程度.

Fig.2 The structure of attention mechanism for extracting interests and requirements

③ 利用注意力權重對單位特征嵌入向量進行加權求和，得到學生就業偏好嵌入向量P具體計算方法為

(8)

2)抽取單位能力要求的注意力機制有3個步驟：

① 獲得學生側特征的嵌入向量Pm∈M×d和就業單位側特征的嵌入向量Qn∈N×d.通過加和池化操作，將就業單位側特征嵌入向量Qn聚合，得到就業單位表征向量Qu為

(9)

② 將就業單位表征向量Qu作為計算注意力權重的查詢向量，用來計算就業單位對學生不同特征的偏好程度，結構如圖2(b)所示，計算方法為

(10)

其中，計算得到的注意力權重wm即表示了就業單位對學生第m個特征的偏好程度.

③ 利用注意力權重對學生特征嵌入向量進行加權求和，得到單位能力要求嵌入向量Q具體計算方法為

(11)

該機制不僅使用可排序的就業單位特征重要性向學生解釋了其就業偏好，還使用可排序的學生特征重要性解釋了就業單位的能力要求.具體地，依據式(7)與式(10)將互惠性約束中對學生就業偏好和單位能力要求注意力機制輸出的注意力分數(可排序的重要性評分)作為特征層級的解釋.由式(7)計算出的已經歸一化的注意力權重wn∈(0,1)表示學生對該就業單位第n個特征的注意力分數，即為學生的就業偏好解釋.由式(10)計算出的已經歸一化的注意力權重wm∈(0,1)表示該就業單位對學生第m個特征的注意力分數，即為單位的能力要求解釋.

2.3 基于互惠性約束的就業推薦模塊

互惠性約束的就業單位推薦需要同時滿足學生就業偏好和單位能力要求.本模塊采用模糊門機制[34]自適應聚合對學生就業偏好和單位能力要求的表征向量，輸入到一個多層感知機，最終輸出推薦結果，如圖1虛線框所示.該模塊的核心是基于模糊門機制聚合就業偏好與能力要求特征，即使用神經網絡自適應動態地計算聚合權重，其計算方法為

R=wP+(1-w)Q,

(12)

其中，自適應權重w由一個二元神經網絡實現，計算為

w=σ(WpP+WqQ).

(13)

其中，Wp和Wq分別為神經網絡的參數矩陣.

3 實驗與結果

3.1 數據集

本文實驗所用數據集EMDAU的統計信息如表1所示，其中用戶數為5屆畢業生的總和，就業單位是5屆學生就業單位的總和，交互記錄為學生與就業單位的信息對(表達學生到就業單位的就業關系).該數據集中，學生特征含10個離散特征和6個連續特征，如表2所示；就業單位特征含6個離散特征，如表2所示.數據集中的就業意圖由專家總結為出國留學、國內升學、簽約就業3種，分布如圖3所示.

Table 1 Statistical Information of EMDAU

Table 2 Feature Information of EMDAU

Fig.3 The distribution of employment intention in dataset

本文根據學生的畢業年份，將數量較小的兩屆畢業生數據分別作為驗證集758條和測試集2 018條，將其余3屆的畢業生數據作為訓練集5 594條.

3.2 評價指標

在推薦研究領域，曲線下面積(area under curve,AUC)是一個被廣泛應用的評價指標[35].AUC是衡量二分類模型性能的指標，其測量的是測試集中正樣本排序在負樣本前面的概率，反映了模型的排序能力.本文采用AUC這一評價指標來衡量就業推薦性能，其計算方法為

(14)

其中，ypos和yneg分別為模型對正樣本和負樣本的預測值，Npos和Nneg分別表示測試集中正樣本和負樣本的數量.

此外，本文參考文獻[36]，引入相對增益(relative improvement,RelaImpr)來衡量本文所提出方法與其他方法的增益.對于一個隨機高斯分類器，AUC=0.5，因此RelaImpr的定義為

(15)

由于就業意圖預測是一個多分類的任務，因此本文選用宏觀F1(Macro-F1)和微觀F1(Micro-F1)來衡量模型性能，計算方法為

(16)

(17)

式(16)中，N為類別數，F1-scorei為第i個類別的F1分數.式(17)中，Recall和Precision為所有類別總的召回率和精確率.

本文參考文獻[37]，使用多任務收益(MTL-Gain)指標衡量多任務學習相較于單任務學習的收益，其計算為

MTL-Gain=MMTL-Msingle,

(18)

其中，MMTL和Msingle分別為使用多任務學習和使用單任務學習的模型指標.

3.3 對照方法

本文將所提出方法與7個方法進行對比：

1)LR.Logistic回歸方法在深度神經網絡應用于推薦領域之前，被廣泛使用.本文將其作為最基本的對照算法.

2)FM[38].因子分解機(factorization machines, FM)是經典的特征交叉方法，現在被廣泛應用于各類推薦場景當中.

3)DeepFM[39].該方法是將FM算法和DNN結構結合的一種方式，①DNN用于抽取特征間的高階交叉信息;②FM用于抽取特征間低階交叉信息.

4)DeepCross[40].該方法利用帶有殘差連接的深度全連接神經網絡以顯式的方式學習非線特征交叉信息.

5)AutoInt[4].該方法利用多頭自注意力機制代替專家知識，自動挑選有價值的特征組合進行特征交叉.

6)EXPLORE[41].EXPLORE是一個基于矩陣分解的方法，其利用主題建模算法學習標簽的語義信息，推薦帶有標簽解釋的物品.由于本文采用的數據集中一個用戶僅有一條交互記錄，無法直接使用矩陣分解.因此本文在實驗中將學生特征和單位特征作為矩陣分解的表征向量.

7)AFN[42].該方法利用對數轉換層將每個特征的冪轉換為待學習的參數，實現自適應調整特征組合的階數.

3.4 實驗結果及分析

3.4.1 整體性能及分析

表3展示了在數據集EMDAU上各方法5次實驗結果的平均.該實驗結果表明，本文所提出的就業推薦方法性能優于所選對比方法；基于深度神經網絡的方法效果均超過了LR；與文獻[42]結果不一致的是:本實驗中DeepCross的效果差于DeepFM，本課題組分析認為其主因是數據集EMDAU特征分布復雜性不高，且FM的低階顯式特征交叉[38](feature interaction)效果優于CrossNet的相對高階顯式特征交叉效果；本文所提方法優于AutoInt與AFN兩個方法的主因是，后兩者無法顯式地聚合學生就業興趣與單位能力要求；所提方法優于EXPOLRE的主因是，后者缺乏特征間的交互.

Table 3 The Recommendation Performance of Various Methods

3.4.2 互惠性約束的消融實驗結果及分析

為了驗證本文所提互惠性約束的有效性，課題組完成了4個消融實驗：1)去除來自抽取學生就業偏好的注意力機制的輸入；2)去除來自抽取單位能力要求的注意力機制的輸入；3)去除模糊門聚合函數；4)保持所提方法不變.

如表4所示，該實驗結果表明所提方法的推薦性能優于實驗1)～3)方法，說明了本文所提出的互惠性約束3個成分對于就業推薦方法有增益作用.

Table 4 The Results of Ablation Experiment for Reciprocal-constrained Module

本文還同直接拼接(none)、平均池化(mean)、點積(dot)以及調和平均(harmonic)[43]等不同聚合方法進行了對比實驗，實驗結果表明：使用模糊門聚合函數的推薦效果最好，如表5所示，驗證了模糊門聚合方法的有效性.

3.4.3 可解釋模塊對推薦任務性能影響分析

鑒于基于就業特征的解釋模塊未改變就業推薦模塊的結構，對推薦性能沒有影響，故本節分別對就業意圖建模的單模型IntentPre、就業推薦建模的單模型UnitRec和本文所提出的多任務方法Ours進行對比實驗，以驗證基于就業意圖的解釋模塊對推薦任務性能影響.如表6所示，實驗結果表明所提多任務方法對于就業推薦任務和就業意圖預測任務均有增益作用.

Table 5 The Comparison of Performance Between Different Aggregation Functions

Table 6 The Experimental Results of Interpretation Module

3.4.4 不同負采樣方法對比和參數實驗分析

為了驗證基于相似度的隨機負采樣模塊的有效性，本節完成2個實驗.

1)5個不同負采樣方法的對比實驗.為了排除互惠性約束的干擾，在實驗中，使用特征拼接的方式代替了互惠性約束.5個負采樣方法分別為：①隨機負采樣方法Random；②基于相似度排序的負樣本生成方法Similarc，即直接選擇最不相似的N個單位(N為負樣本個數)為負樣本；③基于學生間相似度的隨機負采樣方法Similars，即使用學生間相似度得到高置信度負樣本集，在該集合上隨機負采樣；④基于單位間相似度的隨機負采樣方法Similaru，即使用單位間相似度得到高置信度的負樣本集合，在該集合上隨機負采樣；⑤本文所提的隨機負采樣方法Ours.如表7所示，實驗結果表明基于相似度的隨機負采樣方法(Similars,Similaru,Ours)均優于隨機負采樣方法(Random)，證明了本文所提出的基于相似度的負采樣方法的有效性；基于相似度排序的負樣本生成方法Similarc相比于其他方法性能下降明顯，分析認為是由于該策略過分拉大了正負樣本間的距離導致方法難以收斂，且該方法很大程度上改變了原始的數據分布；基于學生間相似度的隨機負采樣方法Similars和基于單位間相似度的隨機負采樣方法Similaru均略差于融合兩者相似度的隨機負采樣方法，說明所提方法結合單位間相似度和學生間相似度完成隨機負采樣，得到的負樣本置信度更高.

Table 7 The Experimental Results of Various Negative Sampling Methods

2)閾值參數實驗.負樣本選擇閾值是按照相似度降序排序的負樣本全集中選擇出的負樣本比例.該實驗分別采用Similars,Similaru,Ours這3種隨機負采樣方法，以前10%，30%，50%，80%和100%的閾值選擇，形成3組(每組5個)高置信度負樣本集，訓練出相應推薦模型，并在同一測試集上測試其性能.如圖4所示，實驗結果表明：3種隨機負采樣方法分別在30%,50%,80%的閾值上取得組內最佳效果.

Fig.4 The results of different dissimilar sets for random negative sampling

3.5 基于用戶調研的推薦結果可解釋性評估

借鑒文獻[42]中的隨機生成解釋性評估方法，本文通過用戶滿意度調研，對比并統計分析所提方法生成的和隨機生成的推薦解釋效果.

3.5.1 實驗設置

實驗目的在于評估所提方法的解釋性，而非其準確性，因此本文假設學生實際就業單位即為方法所推薦的單位，即保留學生實際就業單位在推薦列表Top10以內的樣本.依此規則，從測試集中隨機選擇50名學生作為實驗對象.針對每個學生，分別用所提方法生成推薦解釋和隨機生成推薦解釋.其中推薦解釋信息包含2個模塊輸出：基于就業意圖的解釋模塊輸出學生每一類就業意圖的概率作為解釋，以餅狀圖形式呈現，如圖5(a)所示；基于就業特征的解釋模塊分別輸出重要性評分前三的學生特征和重要性評分前三的就業單位特征作為解釋，以柱狀圖形式呈現，如圖5(b)和圖5(c)所示.

Fig.5 Illustration of interpretable recommendation information for a student

本實驗依據隨機雙盲原則設計問卷，調研用戶滿意度來評估所提方法生成推薦解釋的有效性.問卷中，給出所提方法生成的解釋信息和隨機生成的解釋信息，并在問卷中隨機編排為“解釋1”和“解釋2”；同時對每一個解釋信息的滿意度進行設問如表8中問題1～6.滿意度設問基于李克特量表衡量用戶滿意度(即1～5分5個選項分別代表了“非常不同意”“不同意”“不一定”“同意”“非常同意”).問題7調研用戶是否認為所提方法輸出的解釋信息更加合理，驗證解釋信息的有效性.

由于數據集EMDAU中實例已脫敏處理，無法對實驗所選學生直接進行調研.為了保證調研對象的專業性和公平性，本實驗從數據來源學校中邀請10名在學生就業輔導方面有豐富經驗的教師作為問卷對象.在問卷調查中，考慮到不同教師在就業輔導經驗上具有差異性，將10位教師隨機分為2組，2組教師分別對實驗所選的50位學生進行評價，每位教師回答10份學生問卷，最后共收回100份學生問卷.

Table 8 The Content of Questionnaire

3.5.2 實驗結果分析

如表9所示，問題7的統計結果表明：認為所提方法生成解釋性合理的問卷數量超隨機生成方法的近1倍，證明了所提方法生成解釋信息的有效性.

Table 9 The Statistical Results of Interpretation Rationality

圖6以堆積圖的形式展示了問題1～6滿意度分數的統計結果，其中Mi,Ms,Mu分別表示所提方法生成的就業意圖解釋、學生特征解釋以及就業單位特征解釋，Ri,Rs,Ru分別表示隨機生成的就業意圖解釋、學生特征解釋以及就業單位特征解釋.圖6表明：從用戶滿意度角度觀察，所提方法生成的就業意圖解釋和學生特征解釋優于隨機生成的解釋；所提方法生成的就業單位特征解釋略好于隨機生成的解釋，即所提方法的解釋性較好.

Fig.6 The statistical results of question 1～6

從統計顯著性角度來分析用戶滿意度，其結果如表10所示.可以看出：對于就業意圖解釋和學生特征解釋，所提方法生成解釋的滿意度平均分高于隨機生成解釋，且配對t檢驗的p-value遠小于0.05，這說明所提方法在統計意義上是顯著有效的；對于單位特征解釋，所提方法生成解釋與隨機生成解釋的滿意度平均分相近，且配對t檢驗的p-value遠超0.05，這說明所提方法生成的單位特征解釋有效性低.課題組分析認為后者的可能原因是數據集EMDAU中單位特征的數量較少且特征之間語義區分度[44]較小.

Table 10 The Average Scores and t-test Results of Question 1-6

4 總結與展望

本文提出了基于互惠性約束的可解釋就業推薦方法.其特色在于綜合運用多任務學習、注意力機制、門控網絡，引入互惠性約束緩解了“能力失配”問題，構建兼顧就業特征和就業意圖演化過程的可解釋模塊增強可解釋性，設計基于相似度的隨機負采樣方法緩解了負樣本不置信的問題.在真實數據集EMDAU上開展對比和消融實驗，實驗結果驗證了所提出方法的性能優且有效.

未來，進一步擴展就業數據的特征集，深入地研究和分析就業特征之間的因果關系，使得就業推薦的解釋具有因果性，破解潛在的可解釋性失效問題.

作者貢獻聲明：朱海萍、田鋒、陳妍3位作者提出研究思路，設計研究方案；趙成成作者負責設計和實施實驗；田鋒、劉啟東作者負責論文起草和最終版本的修訂，輔助實驗；曾疆維作者負責數據采集、清洗和分析數據、實施實驗；鄭慶華、陳妍作者負責行政、技術和材料支持.