考慮興趣序列和特征交互的司機點擊率預測模型

摘 要：車貨匹配平臺中存在著大量的車貨信息，通過對歷史數據的分析和處理，能夠預測司機點擊貨物的概率（司機點擊率預測），從而為司機推薦貨物。據了解，目前還沒有研究項目將點擊率預測與車貨匹配結合起來，更不要說基于此來考慮車貨信息中的興趣序列和特征交互問題。因此，在車貨匹配的背景下，文章提出了一種考慮興趣序列和特征交互的司機點擊率預測模型——深度興趣交互網絡（Deep Interest Interaction Network，DIIN）。一方面，在司機興趣抽取模塊中利用Bi-GRU和SENet從司機的歷史行為中推斷出司機的興趣點；另一方面，在車貨特征交互模塊中利用FM和ResNet同時建模低階和高階特征交互。通過對某車貨匹配平臺的數據集進行實驗，結果表明模型DIIN與基準模型相比具有更好的性能，即使與DIEN模型相比，在AUC和LogLoss兩個評價指標上，模型DIIN分別提升了3.5個百分點和1.8個百分點。這不僅證明了將深度學習和點擊率預測用于車貨匹配的可行性，也證明了挖掘歷史數據中的序列關系和特征交互有助于預測車貨匹配中司機點擊貨物的概率。

關鍵詞：車貨匹配；深度學習；點擊率預測；雙向門控循環單元；擠壓和激勵網絡

中圖分類號：F5；TP391.1 文獻標志碼：A DOI：10.13714/j.cnki.1002-3100.2024.06.017

Abstract： There is a large amount of vehicle cargo information in the vehicle cargo matching platform. By analyzing and processing historical data， it is possible to predict the probability of drivers clicking on goods （driver click-through rate prediction）， thereby recommending goods to drivers. It is understood that there is currently no research combining click-through rate prediction with vehicle cargo matching， let alone considering the issue of interest sequences and feature interactions in vehicle cargo information based on this. Therefore， in the context of vehicle cargo matching， the paper proposes a driver click-through rate prediction model that considers interest sequences and feature interactions—Deep Interest Interaction Network （DIIN）. On the one hand， in the driver interest extraction module， Bi-GRU and SENet are used to infer driver interest points from the driver's historical behavior. On the other hand， in the vehicle cargo feature interaction module， FM and ResNet are used to simultaneously model low order and high-order feature interactions. Through experiments on a dataset of a vehicle cargo matching platform， the results show that the model DIIN has better performance compared to the benchmark mode. Compared with the DIEN model， the AUC and LogLoss evaluation indicators have increased by 3.5 percentage points and 1.8 percentage points， respectively. This not only proves the feasibility of using deep learning and click-through rate prediction for vehicle cargo matching， but also proves that mining sequence relationships and feature interactions in historical data can help predict the probability of drivers clicking on goods in vehicle cargo matching.

Key words： vehicle-cargo matching; deep learning; click-through rate prediction; bidirectional gated recurrent unit; squeeze-and-excitation networks

0" " 引" " 言

車貨匹配是基于車貨匹配平臺對車源和貨源的合理調控，目的是在滿足雙方需求的情況下，為每一個貨源找到最合適的車源，為每一個車源找到最合適的貨源[1]。隨著車源和貨源數量的急劇增加，車貨匹配面臨著越來越大的挑戰。點擊率預測在廣告系統中發揮著至關重要的作用，通過預測用戶點擊廣告的概率，可以為用戶推薦合適的廣告。廣告系統中存在著大量的用戶及廣告，而在車貨匹配系統中也存在著大量的司機和貨物。在廣告系統中運用點擊率預測可以為用戶推薦合適的廣告，因此在車貨匹配系統中利用點擊率預測也可以為司機推薦合適的貨物。將點擊率預測與車貨匹配相結合是一個新穎且可行的研究方向，對于探索新的車貨匹配方法、推動車貨匹配平臺發展具有重要意義。

傳統的車貨匹配方法是建立以優化思想為主的車貨匹配模型，但是其在面對大規模數據集時表現不佳[2-3]。因此，少數學者以大規模數據為核心，開展了對車貨匹配方法的研究。黃美華等利用C4.5決策樹算法建立車貨匹配模型，利用中國物通網的真實數據證明所建模型達到較高的匹配精確度[4]；在此基礎上，黃美華等進一步運用最小二乘支持向量機建立車貨信息匹配模型，在保持匹配精確度的同時，縮短了一半的計算時間[5]。上述研究利用機器學習對大規模的數據進行了處理，對提出的車貨匹配方法進行了驗證，取得了較好的效果。周夏利用集成學習方法建立了車貨匹配預測模型，利用P平臺中的真實數據驗證了集成學習方法在車貨匹配預測方面的可行性[6]。2018年，運滿滿舉辦了YMM-TECH算法大賽，對用戶和用戶上下文進行有效的嵌入，然后映射到貨源向量空間，尋找與貨主和當前上下文的“最相近貨源”[7]。從司機的歷史行為數據中挖掘司機潛在的興趣，從而將貨源推薦給相應的司機，這對于探索新的車貨匹配方法是很好的啟發，也是強有力的現實支撐，但是相關的學術研究卻很少。

受運滿滿車貨匹配基本思路和點擊率預測在廣告系統中的優越表現的啟發，本文將點擊率預測和車貨匹配結合起來，提出了一種考慮興趣序列和特征交互的司機點擊率預測模型——DIIN，旨在為司機推薦合適的貨源。

1" " 基于DIIN的司機點擊率預測

車貨匹配平臺中的歷史數據可以充分反映司機對貨物的興趣，其中司機點擊過的歷史貨物中也隱藏著序列關系，除了原始特征外，通過捕捉特征之間的交互能夠產生新的特征，也能反映出司機對貨物的興趣。因此，為了提升車貨匹配的效率和準確度，本研究將深度學習和點擊率預測應用到車貨匹配中，提出了深度興趣交互網絡DIIN。這一模型充分利用了車貨匹配平臺中的大規模數據，不僅挖掘了其中的序列關系，還加強了原始特征之間的交互，從大規模貨源中發現司機點擊概率較高的貨物，充分挖掘司機對貨物的興趣。下文首先對車貨匹配問題進行形式化描述，然后詳細介紹DIIN模型。

1.1" " 車貨匹配問題描述

對于司機和貨物，共選取四大特征：司機行為特征、目標貨物特征、上下文特征和司機畫像特征。以司機D為例，對于司機行為特征，選取其點擊過的n個歷史貨物，用X=[x1，x2，...，xn-1，xn]表示；對于其他三類特征，共選取m個特征，用X=[x10，...，xi0，...，xm0]表示。所以，整個網絡的總輸入為[x0，x1，x2，...，xn-1，xn]。通過將上述特征輸入到網絡中，訓練司機與貨物之間的隱藏關系，最終輸出司機點擊貨物的概率。定義司機點擊貨物的標簽為y，其中，y=1表示司機點擊了貨物，y=0表示司機未點擊貨物。綜上所述，本研究的目標是預測司機點擊貨物的概率。

1.2" " DIIN模型

DIIN模型如圖1所示，共由四個模塊組成，分別是車貨特征嵌入層、司機興趣抽取模塊、車貨特征交互模塊和點擊率輸出層。底部模塊是車貨特征嵌入層，輸入的數據通過獨熱編碼（one-hot）被映射為稀疏向量，然后經過嵌入層被轉換為密集的低維向量。圖1的左部是司機興趣抽取模塊，使用Bi-GRU來模擬司機點擊貨物之間的依賴性，并進一步通過SENet來捕捉不同貨物的重要程度，然后通過平均池化得到司機的興趣表示。圖1的右部是車貨特征交互模塊，一是利用FM捕捉低階特征的交互，二是利用ResNet捕捉高階特征的交互，以達到同時建模低階和高階特征交互的目的。上方模塊是點擊率輸出模塊，將兩個模塊的輸出拼接后輸入到MLP中，從而計算司機點擊貨物的概率。

1.2.1" " 車貨特征嵌入層

對于司機行為特征，選取貨物ID和貨物所屬類別的ID進行輸入，統一使用one-hot編碼后通過嵌入層映射到低維、稠密的向量空間中進行拼接。以貨物ID為例，設該特征有k種取值，其第i項取值的one-hot向量oig_id與權重矩陣Wig_id進行點乘得到嵌入結果g_idi，以特征取第4個可能取值為例，其嵌入向量記為g_id4，原理如式（1）所示，d表示希望得到的低維向量維度，0的不同下標是為了說明其所在位置。

類似地，仍以第i項為例，我們也可以得到貨物所屬類別ID的嵌入向量，設為c_idi，c_idi∈Rd，然后將g_idi和c_idi進行拼接，可以得到第i個貨物的嵌入向量x'i=（g_idi，c_idi），x'i∈R2d。將從司機行為特征中選取的n個貨物按照司機點擊行為的先后順序進行排序，可以得到序列X '=[x'1，x'2，...，x'n-1，x'n]，以司機D為例，司機D的司機行為特征X 'D可表示為式（2）。

對于其他三類特征，處理方式與上文類似，也是通過one-hot編碼后進行嵌入，每個特征的維度均為M維，具體表示為式（3）。

1.2.2" " 司機興趣抽取模塊

司機興趣抽取模塊可以被分為三個部分：Bi-GRU、SENet和平均池化。

Bi-GRU可以被看作是兩層GRU，能夠從兩個方向捕獲司機點擊行為的關系，如圖2所示。首先，按點擊順序排列的歷史貨物數據被用作Bi-GRU的輸入，同時被輸入到兩個方向相反的GRU隱層。由此，兩個GRU隱層可以捕獲隱藏在輸入數據中的綜合信息，然后通過前向和后向GRU提取隱藏層特征和，式（4）—（7）說明了點擊貨物i隱藏狀態的計算過程。

其中，x'i為當前的輸入，hi為當前的輸出，hi-1為前一個隱藏狀態的輸出，zi和ri分別代表更新門和重置門，為要更新的信息，W和U是權重矩陣，b是偏置向量，σ是sigmoid函數，tanh為激活函數。

最后，Bi-GRU的輸出為前向和后向GRU輸出的和。以上述貨物i為例，此時的輸出為hi=+，那么，對于整個Bi-GRU的輸出，我們可以得到H=[h1，h2，...，hn-1，hn]。

對于Bi-GRU的輸出，我們可以將其看作n個貨物的綜合信息表示。對于這n個貨物特征向量來說，其所包含的特征種類是相同的，但是所包含的具體內容是有差異的，對于推測司機興趣所起到的作用也不同。具體來講，在這n個貨物特征向量中，有的特征向量能夠充分顯示出司機的興趣，有的則關聯不大，所以我們想要突出前者的貢獻，淡化后者的作用。對于特定的點擊率預測任務，可以通過SENet機制動態地增加重要特征的權重，減少無信息特征的權重。受此啟發，為了達到研究目的，我們通過SENet機制動態增加了重要貨物特征向量的權值，減少了非重要貨物特征向量的權值，如圖3所示。SENet共分為三步：擠壓、激勵、再稱重，具體計算過程如下。

通過Bi-GRU和SENet的計算，我們得到了新的貨物向量H'，H'可以被看作是司機興趣向量的表示。為了使其更方便地與其他向量進行拼接，我們采用平均池化將n個向量壓縮為1個向量。假設最終的輸出為VI，則VI=（v1，v2，...，vi，...，v2d-1，v2d），其中vi，i∈[1，...，2d]是標量值，vi的具體計算過程如下。

其中h'ti是h't第i維所對應的值。

1.2.3" " 車貨特征交互模塊

車貨特征交互模塊可以被分為兩部分：FM和ResNet。

以特征x'i0和x'j0為例，對應的隱向量分別為wi和wj，設FM的輸出為VL，表示其他三類特征的二階特征交互向量，VL具體計算過程如下。

其中wi，wj∈Rk。

ResNet結構如圖4所示，輸入為其他三類特征x'0，可以包含多個殘差塊，每一個殘差塊包括兩個隱藏層，每一個隱藏層具有相同數量的節點，用mL表示。每個節點的激活函數均用ReLU表示，相鄰隱藏層之間的節點為全連接。以第一個殘差塊為例，第一個隱藏層的輸出如下式所示。

第二個隱藏層的輸出如下式所示。

在上述公式中，W0（W0∈RmL×m）表示從嵌入層到第一層隱藏層的權重矩陣，b0（b0∈RmL）是第一層隱藏層的偏置向量；類似地，W1（W1∈RmL×mL）是第一層隱藏層到第二層隱藏層的權重矩陣，b1（b1∈RmL）是第二層隱藏層的偏置向量。在計算完第二個隱藏層的輸出后，整個殘差塊的輸出為x'0和j2的元素加和（element-wise sum），為了使x'0和j2能夠相加，需要保證兩者的節點數相同，因此需要對x'0做進一步的轉換，使

則殘差塊的輸出為：

ResNet中包含多個殘差塊，設最后一個殘差塊的輸出為VH（VH∈RmL），VH表示其他三類特征的高階特征交互向量。

1.2.4" " 點擊率輸出層

最后，將司機興趣抽取模塊和車貨特征交互模塊的輸出拼接在一起，表示為Vfinal=[V1；V2；VH]。雖然之前已經進行了特征交互，但是VI并沒有與其他特征進行交互，所以Vfinal會被輸入到用ReLU函數激活的全連接層中，然后用sigmoid函數計算司機點擊貨物的概率。具體計算過程如下。

點擊率預測是一個經典的二元分類問題，所以，選擇負對數似然函數作為目標函數，具體計算公式如下。

其中S表示總訓練集，x和y分別是網絡的輸入和標簽，P（x）是網絡的輸出，表示司機點擊貨物的概率。

2" " 實" " 驗

本節描述了為評估DIIN方法的性能而進行的實驗，其中包括實驗使用的數據集、評價指標、對比方法和實驗流程。

2.1" " 數據集

上述實驗所使用的數據集是某車貨匹配平臺所提供的非公開的司機行為數據集，該數據集包括667名司機，2 208 579件貨物和1 751 673條司機行為，其中司機行為包括瀏覽貨物、點擊貨物和打電話。由于瀏覽貨物是經常發生且無意識的行為，因此本實驗認為點擊貨物和打電話屬于點擊行為。為了保證實驗的真實性，對數據進行了處理。具體來說，刪除了歷史行為不超過100次和點擊行為次數不超過10次的司機，因此最終的實驗數據集包括582名司機、1 105 719件貨物和1 735 993條司機行為。

2.2" " 評價指標

選擇了兩種評價指標來評估本實驗方法，如下所示。

AUC是點擊率預測領域中常用的評價指標，將樣本根據預測點擊率由大到小進行排列，然后隨機抽取一個正樣本和一個負樣本，正樣本排在負樣本前的概率即為AUC。

LogLoss用交叉熵來度量每個樣本的預測概率和實際標簽之間的距離。計算公式如式（19）所示，LogLoss值越低，表明與實際標簽的偏差越小，性能越好。

2.3" " 對比方法

為了驗證所提出的DIIN模型的性能是否科學，將其與LR、FM、DNN、ResNet、Wideamp;Deep、DeepFM、DIN、DIEN等方法進行了比較。其中，LR和FM是非DNN方法，其他則是基于DNN的方法。具體來講，DNN和ResNet是單模型，Wideamp;Deep和DeepFM是雙組合模型，DIN和DIEN則可以被看作是興趣模型。

2.4" " 實驗流程

使用PyTorch來試驗本文提出的方法和所有對比方法，采用60%的數據集作為訓練集來學習參數，20%的數據集作為驗證集來調整超參數，20%的數據集作為測試集來評估性能。

3" " 討" " 論

本節將所提出的方法DIIN與對比方法進行比較，以評估其性能。為了探索SENet和ResNet的貢獻，本文還進行了消融研究。

3.1" " 結" " 果

實驗結果如表1所示。根據實驗結果，應注意以下幾個方面。

非DNN模型在結果方面均差于基于DNN的模型，這是因為后者的表達能力更強，能夠挖掘出更多潛藏在數據中的模式，而且其具有更靈活的模型結構。在非DNN模型中，LR的結果要比FM差，這說明LR的泛化能力和表達能力有限。而FM不僅包括LR對單一特征做簡單加權的部分，還包括對所有特征進行兩兩交叉，有效地捕捉了低階特征交互。

相比于非DNN模型，單DNN模型在結果上也有一定的進步。這是因為非DNN模型在特征交互方面的能力是有限的，而單DNN模型能夠捕捉高階特征交互。具體來說，DNN是一個標準的深度神經網絡，只包括用于預測的嵌入和MLP層。DNN的出現是一個新的突破，同時也是其他DNN模型的原型。但是隨著網絡深度的不斷增加，不可避免地出現了梯度消失問題，而ResNet使用跳躍連接緩解了該問題，能夠更有效地捕捉高階特征交互。

相比于單DNN模型，雙組合DNN模型可以被看作是非DNN模型和單DNN模型的結合，能夠同時捕捉低階和高階特征，在結果方面也取得了更好的成效。具體來說，Wideamp;Deep將線性模塊和DNN模塊組合起來平衡了模型的記憶能力和泛化能力。DeepFM對其進行了改進，用FM代替了線性模塊，加強了淺層網絡部分特征組合的能力。

與雙組合DNN模型相比，興趣DNN模型考慮了通過顯示交互關系來分析用戶的偏好，充分利用了用戶的歷史行為關系，取得了更好的效果。具體來說，DIN引入了注意力機制，能夠自適應地從歷史行為中學習用戶興趣的表示；而DIEN則是在此基礎上，用序列模型模擬了用戶興趣的進化過程，更好地捕捉了行為中隱藏的時間信息。

與結果最好的DIEN模型相比，本研究所提出的DII模型在AUC和LogLoss方面各有2.15%和1.82%的提升。由于本實驗加強了特征的交互，同時對序列模型和注意力機制進行了改進，使得該模型能夠更有效地提取司機興趣。

3.2" " SENet的有效性

在DIIN中，SENet的作用在于動態地表示不同貨物的重要程度。為了驗證SENet的有效性，進行了SENet的消融研究。首先，考慮在DIIN中移除SENet，將該方法命名為DIIN-1；然后，將SENet作為注意力機制中的一種，考慮用attention機制替換SENet，將該方法命名為DIIN-2。圖5是DIIN方法與這兩種方法的性能比較。從圖5中可以觀察到，與DIIN-1相比，DIIN-2和DIIN均取得了較高的AUC結果和較低的LogLoss結果，說明注意力機制的使用是非常必要且有效的。與DIIN-2相比，DIIN在AUC和LogLoss方面各得到了1.29%和1.26%的提升，說明SENet能夠更加準確地表示不同貨物的重要性。

3.3" " ResNet的有效性

在DIIN中，ResNet的作用是捕捉高階特征的交互。為了驗證ResNet的有效性，進行了ResNet的消融研究。首先，考慮在DIIN中移除ResNet，將該方法命名為DIIN-3。其次，在傳統點擊率預測方法中，DNN常被用來捕捉高階特征交互，因此考慮用DNN替換ResNet，將該方法命名為DIIN-4。圖6為DIIN方法與這兩種方法的性能比較情況。從圖6中可以觀察到，與DIIN-3相比，DIIN-4和DIIN在AUC結果上各有0.48%和1.92%的提升，在LogLoss結果上各有0.37%和1.43%的提升，說明了深度模塊捕捉高階特征交互的必要性。與DIIN-4相比于DIIN-3的漲幅相比，DIIN相比于DIIN-4的漲幅在AUC方面是其3倍，在LogLoss方面是其2.86倍，說明在捕捉高階交互上，ResNet具有更好的效果。

4" " 結" " 論

本文以車貨匹配平臺中大規模的數據為出發點，將車貨匹配問題轉化為司機對候選貨物的點擊率預測問題，并提出了一種基于深度學習的司機點擊率預測模型DIIN，該模型能夠捕捉司機興趣表示、加強特征交互。本文充分利用司機歷史行為日志中的信息，利用Bi-GRU和SENet抽取司機的興趣，同時利用FM和ResNet進行特征交互，在某車貨匹配平臺數據集的支持下所得到的實驗結果也驗證了該方法的有效性。相比于之前的研究，本文利用深度學習來解決車貨匹配問題，同時將其與點擊率預測問題相結合，具有一定的創新性。此外，DIIN模型在車貨匹配場景中取得了成功，可以考慮將其推廣到其他點擊率預測場景中。在未來可以繼續考慮數據和車貨匹配場景這兩方面的內容，探索更加有效的模型，以更好地解決車貨匹配問題。未來的研究不僅要從數據源中挖掘更多的隱藏關系，還要充分利用車貨匹配場景中的專業知識，使所提出的模型更切合實際。

參考文獻：

[1] 肖斌．基于深度學習的車貨匹配問題研究[D]．成都：西南交通大學，2020.

[2] 倪少權，羅軒，肖斌．考慮三方利益的車貨匹配優化[J]．西南交通大學學報，2023，58（1）：48-57.

[3] 楊濱舟，葉欣揚，王睿，等．基于直覺模糊優化的車貨雙邊公平匹配方法[J]．計算機集成制造系統，2023，29（5）：1696-1707.

[4] 黃美華，李君，馬煒，等．基于數據挖掘的車貨信息匹配研究[J]．浙江萬里學院學報，2017，30（6）：66-71.

[5] 黃美華，李君，吳耀輝，等．基于最小二乘支持向量機的車貨匹配實現研究[J]．浙江萬里學院學報，2018，31（2）：87-92.

[6] 周夏．基于Stacking算法的貨運平臺車貨匹配預測研究[D]．南京：南京大學，2021.

[7] 運滿滿．物流極客出爐｜運滿滿首屆YMM-TECH算法大賽冠軍誕生[EB/OL]．（2018-9-12）[2023-11-14]．https：//www."ymm56.com/article4153.html.