基于深度學習的特征重要性因子分解機研究

廖 永,鄒明峻,胡銳光

(廣東工業(yè)大學 自動化學院,廣東 廣州 510006)

0 引言

目前廣告點擊率預測主要有傳統(tǒng)模型和基于深度學習的模型。傳統(tǒng)的模型一般以因子分解機(Factorization Machine,FM)為主[1],該方法利用矩陣分解的思想將交互矩陣分解為兩個隱向量內積,使得在高維稀疏的特征下權重參數(shù)仍然能夠被估計,并能夠泛化到未被觀察的特征。但由于在同一特征向量在不同的特征組合情況下所表示的意義應該有所不同。因此,域因子分解機(Field Factorization Machine,FFM)在FM 的基礎上提出了“域”的概念來細化不同域下同一特征的隱向量表示[2]。隨著注意力機制在圖像和自然語言處理領域取得的重大成功,Xiao J 等[3]將注意力機制引入到FM 中,提出了注意力因子分解機(Attention Factorization Machine,AFM),加入注意力網(wǎng)絡計算二階特征組合的注意力權重,以區(qū)分不同特征組合的重要性。

隨著計算資源和深度學習的發(fā)展,研究者們提出了很多基于深度學習的模型。ONN,PNN,NFM 等模型采用的傳統(tǒng)模型和深度神經(jīng)網(wǎng)絡(Deep Neural Networks,DNN)前后相接的方式[4-6],先用傳統(tǒng)模型訓練得到低階組合特征,然后將組合特征輸入到DNN 得到高階組合特征進行預測.Wide&Deep,DeepFM,DCN等模型采用雙路的方式進行預測[7-9],通過傳統(tǒng)模型得到低階特征,增強模型的“記憶能力”。通過DNN 模型得到高階特征,提高模型的泛化能力。

以往的FM 及其變形模型并沒有考慮到對于不同的預測目標來說特征有強弱之分,也就是特征的重要性。針對FM 模型二階組合特征的重要性問題,本文提出了一種特征重要性因子分解機FIFM 的廣告點擊率預估模型。從特征的重要性,即對預測目標來說特征有強弱之分的角度,使用擠壓提取網(wǎng)絡(Squeeze-and-Excitation Networks,SENET)的擠壓提取模塊和多頭注意力模塊動態(tài)地提取輸入特征向量的重要性[10],從而區(qū)別有效的特征組合,增強因子分解機的學習能力。此外,結合DNN 和FIFM 分別獲得高階特征和低階特征,進一步提高點擊通過率(Click-Through-Rate,CTR)預測的準確率。

1 特征重要性因子分解機

通過目前對比前沿的廣告點擊率預測模型,可以發(fā)現(xiàn)已有的算法大多數(shù)是將經(jīng)過Embedding 后的向量輸入到因子分解機中以內積或哈達瑪積的形式進行特征組合,但這種方法并沒有關注到特征的重要性,將所有特征都視為同等重要。但對于每一個不同的預測目標而言,特征的重要程度都是不一樣的。因此本文從特征重要性的角度對因子分解機模型進行改進。

FIFM 的核心思想在于通過壓縮提取模塊和多頭注意力模塊從不同的特征粒度計算輸入特征向量的權重,并與輸入向量結合重新表示成帶權重的特征向量,從而在因子分解機中進行特征組合時得到有效的組合特征。通過對輸入特征進行加權預處理,在因子分解機中進行組合時,組合特征會變得“強者更強,弱者更弱”,減少無關特征對預測目標的干擾,提高模型的預測準確率。

1.1 輸入層和嵌入層

模型結構圖如圖1 所示,為了清楚起見,省略了LR部分。FIFM 主要包括以下部分:輸出層(Input Layer)、嵌入層(Embedding Layer)、雙通道權重計算層(Dual channel weight calculation Layer)、權 重 結 合 層(Combination Layer)、加權層(Reweighting Layer)、預測層(FM Layer)、輸出層(Output Layer)。其中嵌入層是對稀疏的輸入數(shù)據(jù)通過嵌入矩陣映射成稠密向量表示。

嵌入層的輸入為原始特征的獨熱編碼表示δ=[δ1,δ2,…,δf],輸出是稠密的嵌入向量V=[v1,v2,…,vf],其中f 表示特征域的個數(shù)。獨熱編碼和嵌入映射的數(shù)學表示如公式(1)和(2)所示。

1.2 雙通道權重計算層

1.2.1 bit-wise 權重

不同的特征對預測目標的重要程度是有所區(qū)別的,如預測一條游戲廣告是否會被用戶點擊時,通常愛好特征比性別特征具有更高的重要性。因此,本文利用SENET 的擠壓提取模塊,計算Embedding 向量的特征重要性,得到bit-wise 權重。如圖2 所示,圖中步驟①和②分別表示特征壓縮,計算特征重要性下面是這兩個的詳細過程描述:

圖2 擠壓提取模塊

(1) 特征擠壓:通過對嵌入向量進行池化操作,得到嵌入向量的全局分布和統(tǒng)計信息,通常采用最大池化或者平均池化。將嵌入向量E=[e1,e2,…,ef]轉化為向量U=[u1,u2,…,uf],ui表示第i 個特征向量的全局信息數(shù)值,也就是特征向量的重要信息。在這里采用效果較好的平均池化操作,其計算方式如公式(3)所示:

(2) 計算特征重要性:這一步的目的是利用統(tǒng)計信息向量U=[u1,u2,…,uf]計算出嵌入向量E=[e1,e2,…,ef]的特征重要性權重Obit=[o1,o2,…,of]。計算方法如圖3 所示,將向量U 輸入到兩個全連接層得到權重向量Obit。其中,第一個全連接層的作用是對統(tǒng)計信息進行特征交叉的降維層,第二個全連接層的作用是將權重向量大小映射成f 的升維層。數(shù)學表示如公式(4)所示。

圖3 特征重要性計算原理

其中,W1∈Rf×(f/r) 表示第一個隱藏層的權重參數(shù),表示第一個隱藏層的權重參數(shù),σ1,σ2分別代表第一層,第二層的激活函數(shù),r 是全連接層的維度減少率。

1.2.2 vector 權重

為了計算vector-wise 的特征權重,需要把k×f 維的嵌入矩陣E 變換為f×k 維的矩陣Evec,如公式(5)所示。然后再將矩陣輸入到多頭注意力層計算特征的注意力權重。

多頭注意力層包括注意力空間映射,自注意力計算,多頭注意力及殘差網(wǎng)絡融合,權重計算四個部分。下面將詳細介紹這四個部分內容。

(1)多頭注意力空間映射。如公式(6)～(8)所示,這個步驟是將矩陣Evec通過矩陣WQi,WKi,WVi分別映射Q(Query),K(Key),V(value)空間得到新的矩陣表示Qi,Ki,Vi,i 表示第i 個注意力空間。

(2)自注意力計算。通過內積計算矩陣Qi,Ki的相關性并進行歸一化計算,得到注意力分數(shù),然后對矩陣Vi進行加權,得到矩陣Evec在單個注意力空間下的表示Headi,dk表示注意力因子的大小。其計算過程如公式(9)所示。值得注意的是,歸一化操作也是一種捕獲全局信息的方法,能夠得到某一特征占所有特征的重要性權重。

(3)多頭注意力及殘差網(wǎng)絡融合。如公式(10)～(11)所示,通過拼接n 個head,得到矩陣Evec在多頭注意力加權下的表示。為了保留原始輸入的信息,將向量U 經(jīng)過殘差矩陣WRi得到矩陣Ri。類似地,得到多頭注意力下的原始信息如公式(12)所示。

(4)權重計算。將MultiHead(U)和Resdual(U)輸入到激活函數(shù)Relu 得到vector-wise 權重。計算方法如公式(13)所示。

1.3 結合層

在bit-wise 和vector-wise 權重結合之前,需要把通過轉換矩陣Svec和Sbit進行降維操作,轉化為權重向量,然后進行加和得到最終的權重向量wx。計算過程如公式(14)～(16)所示。

其中,wvec∈?D1,wbit∈?D2,D1=f×dv×n,D2=dv。Svec∈?D1×h,Sbit∈?D2×h,f 是特征域的個數(shù),dv是嵌入向量的長度,n 是注意力的頭數(shù)。

1.4 加權層

將結合層得到的權重對原始嵌入向量E=[e1,e2,…,ef]進行加權,得到新的嵌入向量表示VX=[vx1,vx2,…,vxf],如公式(17)所示。其中,mx,i表示權重向量mx中的第i 個標量。

1.5 因子分解機層

在因子分解機層,將新的Embedding 向量表示作為輸入在這層中進行二階特征組合,使得特征組合更合理,即得到與預測目標相關性更大的組合特征。其計算過程如公式(18)所示。

1.6 輸出層

FIFM 的輸出層將LR 部分和FM 部分求和用于最終預測。此處LR 部分使用的是經(jīng)過重要性加權的嵌入向量VX=[vx1,vx2,…,vxf]。結合公式(18),得到FIFM 模型輸出的整體公式如公式(19)所示。其中,w0是全局偏置。

2 實驗及性能評價

本節(jié)介紹實驗的相關細節(jié),通過在兩個廣告數(shù)據(jù)集Criteo 和 Avazu 上對進行實驗,對FIFM 模型進行評價。實驗內容包括:

(1)DIFM 與基線模型對比;

(2)Deep DIFM 與具有DNN 模塊的基線模型對比;

(3)超參數(shù)設置對模型性能的影響。

2.1 實驗數(shù)據(jù)及評價指標

2.1.1 數(shù)據(jù)集

Criteo 和 Avazu 是kaggle 平臺上兩個公開的廣告數(shù)據(jù)集,近年來也成為廣告點擊量預測模型的基準評測數(shù)據(jù)集。Criteo 包含了4 500 萬用戶點擊廣告的數(shù)據(jù)樣本,該數(shù)據(jù)集有26 個脫敏類別特征和13 個連續(xù)數(shù)值特征。Avazu 包含了4 000 萬用戶點擊記錄,有24 個特征字段。本文實驗對兩個數(shù)據(jù)集均采用8 ∶2 比例劃分:即80%用于訓練,20%用于測試。實驗采用AUC和Logloss 作為評價指標[11-12]。

2.1.2 實驗超參數(shù)設置

實驗采用Tensor flow 實現(xiàn)了所有模型,Criteo 和Avazu 的嵌入向量的維度分別設置為16 和40,使用衰減學習率,初始值為0.1,衰減率為0.9,SENET 中的兩個非線性全連接層使用Relu 作為激活函數(shù),所用到的DNN 網(wǎng)絡隱藏層節(jié)點數(shù)為512,Drop Out Ratio 為 0.5,使用Adam 作為優(yōu)化器[13]。

2.2 對比實驗模型設置

為了驗證FIFM 單模型和融合DNN 網(wǎng)絡的性能,本文將實驗分為2 組,shallow 組和Deep 組,并且把基線對比模型分為兩組。Shallow 組基線模型包括LR,FM,AFM,IFM。Deep 組基線模型包括Wide&Deep,Deep FM,DCN。對于Deep 組模型,所有模型統(tǒng)一設置激活函數(shù)為Relu,輸出節(jié)點的激活函數(shù)為Sigmoid,優(yōu)化器采用Adam。

2.3 FIFM 模型與基線模型性能對比

表1 和表2 給出了Shallow 組和Deep 組的對比模型在Criteo 和Avazu 兩個數(shù)據(jù)集上性能表現(xiàn)。FIFM 相比LR,FM,AFM 和IFM 模型提升了3.3%,2%,1.5%,0.9%。在Deep 組并聯(lián)融合了DNN 網(wǎng)絡進行高階特征后,Deep FIFM 同樣優(yōu)于其他對比模型。可見,對輸入特征進行重要性加權處理,既可以實現(xiàn)特征的有效組合,同時也有利于讓DNN 得到更充分的高階組合特征信息。使得組合特征與實際目標特征更相近,提高了CTR 預測的準確率。

表1 Shallow 組模型的性能對比

表2 Deep 組模型的性能對比

2.4 超參數(shù)對模型性能的影響

如表3 所示,以8 步長,逐步調整Embedding 向量的大小,觀察模型在兩個數(shù)據(jù)集上的效果,可以看到當Embedding 大小為16 時,模型在Criteo 數(shù)據(jù)集表現(xiàn)最好;當Embedding 大小為40 時,模型在Avazu 數(shù)據(jù)集表現(xiàn)最好,此時,Embedding 向量能夠較好地表示原始特征。所以,Ebedding 向量的大小并不是越大越好。

表3 嵌入向量維度對FIFM 性能影響

3 結語

本文從特征重要性的角度出發(fā),將擠壓提取網(wǎng)絡和注意力機制應用到特征預處理中,能夠根據(jù)不同的輸入樣例自適應地學習特征組合。通過聚合特征的全局信息,并從bit-wise 和vector-wise 不同的細粒度為特征計算權重,學習特征的動態(tài)感知因子。通過在兩個真實數(shù)據(jù)集上驗證模型的效果,證明FIFM 和Deep FIFM 的性能優(yōu)于其他基線模型,提升了廣告點擊率預測的準確率。

本文主要從廣告特征交叉的角度進行模型設計,但沒有考慮到廣告的位置信息以及用戶歷史交互行為信息。未來可以使用位置編碼和長短時記憶網(wǎng)絡處理這部分的特征信息,進一步提升模型性能。