基于融合深度興趣進化單元的DeepFM邊緣主動緩存模型研究

劉倫琿 吳麗萍

（昆明理工大學信息工程與自動化學院）

5G時代是數據流量爆發式增長的時代，用戶需求不斷增加，用戶通信業務體驗要求也不斷提高，移動應用的數量和種類不斷增加，使得通信網絡線路中數據和鏈路負載相對于前4G時代有了質的變化。而邊緣緩存技術是應對當前5G網絡大數據高負載問題的有效解決途徑之一，受到許多學者的關注。 邊緣緩存技術即在邊緣網絡節點基站上增加緩存空間， 緩存流行度較高的內容，可以緩解用戶發起內容請求時從遠端服務器到用戶之間的高通信代價問題，以及由于內容過多導致的用戶請求延時過高問題。 然而，因為有限的緩存空間和有限的計算資源不能緩存受大眾歡迎的全部內容，因此在有限的緩存空間上研究更高效的緩存策略及算法模型是有意義和有價值的。

如今邊緣主動緩存技術所面臨的挑戰主要有以下幾個方面：

a. 在性能方面， 用戶請求數量迅速增加，用戶體驗需求不斷增高， 請求內容也更加復雜多樣，現有緩存策略很難取得很好的性能表現；

b. 受到有限緩存空間和計算資源的約束；

c. 用戶的移動性和地區差異性也為邊緣主動緩存技術帶來挑戰。

為優化當用戶請求內容不在緩存空間時所造成的通信高負載問題，同時使緩存更貼合用戶偏好，筆者提出基于深度學習方法的分層緩存模型， 該方法將深度興趣進化網絡 （Deep Interest Evolution Network，DIEN） 中的興趣進化單元與DeepFM模型相結合，利用興趣進化單元中的興趣抽取層分析用戶興趣時間序列，提取用戶隱藏興趣狀態，再通過興趣進化層對用戶興趣隱藏狀態變化過程建模，得到最終的用戶興趣狀態。 最后利用DeepFM模型對用戶最終興趣狀態和用戶信息、 目標內容信息和內容特征信息進行分析，以得到最終結果。

該策略的優勢在于考慮了用戶興趣狀態隨時間和外部環境變化而變化的情況，使推薦緩存內容更加符合用戶興趣偏好，能夠更好地應對用戶興趣大范圍轉變的情況，同時具有較強的泛化能力和學習能力，也能夠更好地應對用戶的移動性和地區間的差異性。

1 相關工作

1.1 傳統邊緣主動緩存技術

MüLLER S等提出一種基于文本感知算法的主動緩存策略，通過分析關聯用戶的相關請求內容，學習特定的上下文信息，得出網絡中流行度較高的內容，并進行主動緩存［1］。 ZEYDAN E等提出基于大數據框架的體系結構，利用協同過濾方法，對大量數據進行內容流行度預測，將預測內容緩存至基站，以此來達到更好的用戶體驗和更低的回程負載［2］。ZHOU S等則更加注重數據交付過程中的能量消耗，為了用更低的能量滿足更高的用戶體驗需求， 提出新的綠色交付框架［3］。CHANG Z等利用大數據分析，從數據中獲得用戶流行內容偏好，設計邊緣主動緩存策略，使邊緣緩存性能提高［4］。BASTUG E等認為利用用戶終端的存儲空間和資源也是一個十分有效的方法，利用社交網絡采用終端數據共享， 即終端到終端（Device-to-Device，D2D） 通信技術讓緩存內容能在用戶間共享，減少了基站緩存空間和計算資源消耗，同時利用上下文信息豐富了模型對內容特征的提取，進而制定了一個新的邊緣緩存策略［5］。

1.2 基于深度學習的主動緩存技術

目前，深度學習方法在很多領域都取得了不俗的成績，其較強的學習能力能更好地應對復雜的網絡結構以及大量多樣的數據。 GASTUG E等提出一種基于強化學習的多時間維度框架，該方法能使邊緣節點基站更有效地利用有限的緩存空間資源，緩存用戶更加偏好的內容，使用戶使用體驗度得到提升。

ALE L等提出將卷積層和雙向RNN（BRNN）相結合的方法來提高預測內容的準確度，預測用戶時間序列下一時刻可能的請求內容，并更新緩存在邊緣節點上［6］。 DOAN K N等則利用卷積神經網絡提取輸入層特征，訓練預測流行內容并緩存，以獲得更高的用戶體驗度得分和更低的回程負載［7］。

綜上所述，目前的邊緣緩存技術雖然考慮了用戶的行為時間序列，但并未考慮用戶行為序列中并非每一個行為都對最終預測產生影響的情況，同時也不能很好地應對用戶興趣大范圍轉移的情況，且采用的深度學習模型雖具有很強的學習能力，但其泛化能力不足。

DeepFM模型既具有深度學習模型的強學習能力， 也整合了機器學習的泛化能力， 若利用DeepFM模型進行預測并加入對用戶興趣變化的考慮， 則有可能獲得更符合大眾喜好的緩存內容。

2 融合興趣進化單元的DeepFM主動緩存模型

通信網絡中用戶的興趣具有多樣性，用戶興趣是驅使用戶行為的關鍵因素，若能獲取用戶行為背后的潛在興趣狀態，則能為用戶提供更感興趣的內容。 但用戶興趣總是隨著很多因素的改變而動態變化。 在融合了深度興趣進化單元的DeepFM模型中，利用興趣提取層獲取用戶的潛在興趣并引入輔助損失值，來監督興趣提取過程中的每一步潛在狀態。 在興趣進化層中利用加入注意力機制的GRU來獲取用戶與內容間的興趣進化過程， 改變不同時間點用戶的興趣影響權重，并將該值與目標內容和用戶信息記錄輸入至DeepFM。 根據最終結果判斷該內容是否會被用戶在未來時刻請求。

2.1 深度興趣進化網絡

興趣進化單元源自阿里公司于2019年提出的深度興趣進化網絡， 在深度興趣進化網絡中，研究人員設計了興趣提取層獲取用戶歷史行為中的興趣偏好。 用戶興趣具有多樣性，因此研究人員又在DIEN中加入興趣進化層，用來對用戶興趣演變進行建模、提取用戶興趣變化特征，并在其中嵌入注意力機制加強了相關興趣對預測的影響，同時也削弱了不相關用戶興趣對結果的負面影響［8］。

深度興趣網絡首先通過嵌入層轉化所有類別特征，將用戶信息和內容信息映射到向量空間中表示。 接下來對用戶興趣進化過程進行建模：首先通過興趣提取層對用戶歷史行為記錄進行興趣特征提取； 再通過興趣進化層模型提取用戶對目標內容相關的興趣進化過程特征； 最后將得出的最終興趣嵌入表示向量與用戶信息特征和內容信息特征進行拼接， 并將該向量輸入至MLP中進行最終結果的預測，其模型如圖1所示，其中b（1）表示用戶行為序列中的第1個用戶行為。

圖1 深度興趣進化網絡結構

興趣進化單元包含興趣抽取層和興趣進化層，在興趣提取層中，主要通過對用戶歷史行為的分析，提取出用戶一系列的興趣狀態。 利用門循環單元（Gate Recurrent Unit，GRU）對行為間的依賴關系進行建模，將有序行為序列輸入GRU中得到隱藏的興趣狀態。 GRU克服了循環神經網絡RNN的梯度消失問題，并且相較于LSTM而言有更快的運算速度，因此更加符合5G大數據時代高運算速度的要求。

GRU的公式如下：

其中，ut為加入注意力機制的得分；Uu為原始更新門；bu為更新門的偏置參數；Wu、Wr及Wh分別為更新門、 重置門以及輸出最終狀態的權重參數，Wu、Wr、Wh∈RnH×nI（nH是隱藏向量大小，nI是輸入向量大小）；rt為重置門最終得分；Ur為原始重置門；br、bh為偏置值；?代表矩陣中對應元素相乘；it是GRU的輸入向量，代表用戶行為序列中的第i次行為向量；ht是第t次的隱藏狀態。

然而僅獲取用戶行為之間依賴關系的隱藏狀態并不能有效表示用戶興趣，因此研究人員提出利用輔助損失值來監督對于興趣狀態的學習。利用用戶b+1次來監督b次興趣狀態是否準確，同時根據誤差值對隱藏興趣狀態進行更新和改變。在輔助損失值的幫助下每個隱藏狀態都足以表示用戶采取行為后的興趣狀態。 有序的T個用戶歷史行為對應著所有T個興趣狀態的序列，即［h1，h2，h3，…，hT］，可以利用該興趣序列模擬興趣進化過程。

而在興趣進化層中，通過對興趣抽取層中獲得的用戶對請求內容的興趣偏好序列進行分析，在注意力機制局部激活后，利用門循環單元分析興趣進化過程，提取用戶行為背后的最終興趣狀態。 在興趣進化層中同樣用it和ht表示輸入向量和隱藏狀態。 其中，下一個GRU的輸入對應的是上一個興趣提取層中的興趣狀態，即it=ht-1，并且最終的hT表示最終的興趣狀態。 在興趣抽取層中使用的注意力機制表示為：

其中，at表示注意得分；ea是候選目標內容的拼接向量；W∈RnH×nA，nH是隱藏向量的維度，nA是目標內容的嵌入向量維度。

注意力得分可以反映該興趣狀態與目標內容間的關系，若用戶的某個隱藏興趣狀態對目標內容影響較大，則在興趣進化層中能獲得更高的注 意 力 得 分。 因 此， 使 用AUGRU（Attention Update Gate Recurrent Unit）對用戶興趣變化過程進行建模，其公式如下：

其中，u1t表示原本門循環單元中更新門的結果。

AUGRU的結構如圖2所示，其中r是一個循環單元。

圖2 AUGRU結構

在AUGRU中保留了原始維度信息，因此考慮了每一個維度大小的重要性。 在差異化信息的基礎上利用注意力機制對GRU更新門中的所有向量維度進行增大或減小，帶來的影響就是興趣狀態越小對隱藏狀態影響越小，興趣狀態越大對隱藏狀態影響越大。AUGRU有效緩解了用戶興趣大范圍變化的影響，并且合適準確地對用戶興趣發展進行建模，為后續模型得到最終緩存結果提供基礎。

2.2 DeepFM模型

DeepFM模型由GUO H F于2017年首次提出，DeepFM 可以看成是因子分解機（Factorization Machines，FM） 的衍生， 該方法將深度神經網絡（DNN）與FM相結合，利用FM挖掘低階組合特征的同時， 利用深度神經網絡學習高階特征信息，通過并行方式將二者組合。 模型框架如圖3所示。

圖3 DeepFM框架

由圖3可以看出，DeepFM由FM和DNN兩部分構成，模型的最終輸出也由這兩部分構成，具體為：

因子分解機是由Rendle提出的一種和支持向量機（SVM）類似的預測器，但因子分解機能更好地應對數據稀疏的情況，即使在數據高稀疏的情況下也能估計得到可靠的參數，并且FM具有線性復雜度，在學習了低階特征的同時，能考慮到特征之間的相互關系及特征組合的影響情況。 普通的線性模型為：

線性模型獨立地考慮了每個特征的影響，但對于特征組合的情況并未考慮，因此因子分解機針對這一問題進行了改進，考慮了二階及以上的交叉情況：

其中，n表示輸入數據經過嵌入層嵌入后的數據維度；xi表示第i個特征；wij是特征組合情況的參數， 為了能更好地得到特征參數wij，FM對于每一個特征xi引入了輔助向量Vi=（vi1，vi2，vi3，…，vik），然后利用向量之間的內積得到特征組合參數w，輔助向量V的計算式為：

引用輔助向量使求解的參數數量減少，從本來的n×（n-1）/2個參數變成了n×k個參數，并且削弱了高階參數間的數據獨立性；k值越大向量對特征的表現能力越強， 而較小的k值能使模型具有更好的泛化能力。

在DNN部分，DNN的作用就是構造和學習高維的特征，其輸入是和FM層一樣經嵌入層處理后的輸入數據，經過FM層對不同特征域的嵌入數據進行兩兩交叉后，將FM和DNN的輸出一同輸入到最后的輸出層與最后的目標進行擬合。

在Google公司提出了Wide&Deep模型之后，很多模型都采用了雙模型組合的結構，DeepFM也是其中之一， 但相較于Wide&Deep模型而言，DeepFM方法用FM部分替換了Wide部分， 加強了淺層網絡部分特征組合的能力， 并且不需要像Wide&Deep模型在特征輸入前需要進行人工特征標注處理。 因此，融合了LDA主題模型的DeepFM方法在第1層緩存上對大部分用戶可能喜歡的內容進行預測和篩選。

2.3 基于融合興趣進化單元的DeepFM模型

利用興趣進化單元中的興趣抽取層提取用戶興趣狀態，利用興趣進化層對用戶興趣動態變化進行建模，來獲得最終用戶未來興趣狀態。 將該興趣狀態與用戶信息向量以及目標內容向量拼接后輸入至DeepFM模型中， 利用DeepFM模型的泛化能力和學習能力提取興趣狀態與用戶信息特征以及目標內容信息特征之間的相互關系獲得最終緩存結果。融合興趣進化單元的DeepFM模型結構如圖4所示。

圖4 融合興趣進化單元的DeepFM模型結構

輸入層。 首先通過數據預處理后提取出每一個用戶的行為序列（如用戶在兩周內的內容請求記錄）、個人信息特征（如性別、年齡、職業等）和內容特征信息（如內容分類、請求記錄量等），將用戶行為序列、目標內容、目標內容特征和用戶特征作為輸入輸入模型中。

嵌入層。 將輸入層輸入的數據向量化，將向量化后的用戶行為序列向量輸入到興趣抽取層中，將目標內容向量、內容特征向量和用戶特征向量輸入到DeepFM模型中的FM層和DNN部分，同時將目標內容向量輸入到興趣進化層中。

興趣抽取層。 將用戶行為向量輸入到GRU中， 通過GRU挖掘用戶行為記錄間的依賴性，提取用戶興趣點。 最終得到用戶行為序列中每一個行為對應的隱藏興趣狀態，將隱藏的興趣狀態輸入到興趣進化層中。

興趣進化層。 將興趣抽取層中提取出的用戶隱藏興趣狀態輸入到AUGRU結構中，描述用戶興趣動態變化過程，利用注意力得分監督隱藏興趣狀態的更新，保留原始GRU結構中更新門中所有向量維度， 與目標內容擬合， 將注意力機制與GRU結構結合，獲得最終的興趣狀態，并輸入到DeepFM模型中的FM部分和DNN部分進行后續模型分析。

FM層。 FM層主要利用因子分解機來考慮特征間的交叉情況。 相對于線性回歸模型，FM模塊結合了SVM與分解模型的優點，對所有變量間的聯系使用分解參量建模。 其優勢在于，首先因子分解機能夠很好地應對數據稀疏情況，其次FM的復雜度是線性的，具有很好的優化效果。 將興趣進化層中提取出的用戶最終興趣狀態向量、目標內容向量、用戶信息向量和內容特征向量輸入到DeepFM中的FM部分，提取其中的交叉影響情況，為最終預測提供支撐，將最終輸出的結果與DNN模塊得到的最終結果進行Sigmoid激活，獲得最終的輸出結果。

DNN層。 在DeepFM中DNN部分與FM部分是并發進行的，同樣是將興趣進化層中提取出的用戶最終興趣狀態向量、目標內容向量、目標內容特征向量和用戶信息特征向量拼接后輸入到DNN層。 DNN部分和Google公司提出的Wide&Deep模型中的Deep部分類似，都是簡單的全連接神經網絡結構。 利用DNN部分的強學習能力，進一步挖掘輸入特征之間的依賴關系，以及輸入特征中隱藏的有用信息。

輸出層。輸出聯合FM部分和DNN部分的最終預測值。

3 實驗與結果分析

3.1 數據集

實驗選用的MovieLens100K數據集中包含了943個用戶對1 682部電影的評分記錄， 總計10萬條。 為了能更好地模擬5G通信的情景，對數據集進行預處理：數據集中的每一條記錄包含用戶信息、評論時間、電影標簽及用戶評分等特征，一條記錄對應著一個用戶對該部電影的評分行為。 在5G通信場景中，不論評分高低都代表該用戶請求這部電影內容的行為，即數據集中所有記錄都為用戶請求過的歷史內容記錄。 所以還需要對每個用戶未請求的內容部分進行添加和完善，首先為數據集中的每一條記錄添加一個Tag標簽（1表示用戶已請求，0代表用戶未請求）； 其次給定每個用戶對電影的請求數目K， 用戶已經請求的電影數目為M， 需在用戶未曾請求的數據集中隨機選擇K-M個電影和用戶信息拼接，并且加上是否請求標簽0，重復上述操作完成數據集的填充工作。

所有實驗均在一臺8 GB RAM 3.6 Hz Intel（R）Core（TM）CPU的機器上運行。

本次實驗主要驗證以下幾個方面：

a. 深度學習方法在5G推薦緩存的任務上能取得相對于機器學習方法更高的用戶體驗滿意度和更低的回程負載；

b. 雙層緩存結構相較于單層邊緣緩存的網絡結構，在有更好的性能表現的同時，也能降低回程負載和通信成本；

c. 在第1層緩存上利用DeepFM模型，能取得相較于CNN和其他深度學習模型更好的用戶體驗度和更低的回程負載；

d. 通過LDA主題模型對全部內容進行建模，挖掘其中的隱藏主題信息并作為特征輸入DeepFM模型中的方法能夠提高模型性能的上限。

3.2 評價指標

為了評估模型在5G通信過程中的性能，采用兩個評分標準進行評估，分別為用戶體驗度得分（QOE_Score）和回程負載（TrafficLoad）：

其中，Ri代表用戶i真實請求的內容集合；Pi代表模型預測的用戶i請求內容的集合；users代表在當前網絡中所有用戶集合；Ri∩Pi則表示模型所預測的用戶請求內容在實際用戶請求內容集合中的數量，若大于平均請求個數θ則為1分，因此QOE_Score指標用于評估模型對用戶預測內容的準確度和與用戶期待的體驗相符合的程度。‖Ri-Pi‖表示模型未預測到的用戶請求內容情況，若模型沒有預測到用戶真實請求的內容則需要到遠端服務器提取出相應內容，因此增加了線路負載和成本， 所以TrafficLoad是為了描述模型在5G通信網絡中所造成的線路負載情況和成本。

3.3 融合興趣進化單元的DeepFM與邊緣主動緩存模型實驗對比

該實驗主要驗證在同樣緩存空間下，基于融合深度興趣進化單元的DeepFM 模型（DIEN DeepFM） 與基于深度進化網絡 （DIEN）， 基于DeepFM，基于物品的協同過濾算法（ItemCF），以及基于用戶的協同過濾算法的邊緣主動緩存模型（UserCF）在用戶體驗度得分和回程負載的表現情況。

深度興趣進化網絡。 深度興趣進化網絡是深度興趣網絡的改進版本，強調用戶興趣的多樣性，利用注意力模型獲取用戶對目標內容的興趣。 同時深度興趣網絡關注興趣的變化過程， 并利用新的結構對用戶興趣動態變化過程進行建模。

DeepFM模型。 DeepFM模型的優勢在于共享FM模塊和DNN部分的參數，能夠學習到高階的組合特征影響，同時也不再需要提前人工進行專業的特征工程， 相對于Wide&Deep模型來說具有訓練更加快速且預測結果更精確的優勢。

基于物品的協同過濾算法。 基于物品的協同過濾方法的原理為利用矩陣分解的方法緩存用戶過去請求過的內容， 它適用于有較多用戶、較少緩存內容且有明確用戶喜好的場景，主要描述用戶和內容間的交互關系，其優勢在于有一定的預測能力、能夠應對新用戶且具有可解釋性。 但在5G大數據的通信場景中，基于物品的協同過濾算法有著很高的計算成本，當有新內容加入到網絡中后無法處理，同時該方法也沒有考慮用戶請求內容的順序特性。

基于用戶的協同過濾算法。 基于用戶的協同過濾算法是根據用戶歷史請求內容的行為，為用戶尋找興趣相近的用戶，然后緩存用戶未請求且與用戶興趣相近的內容。 該方法用于用戶較少、有較多內容且用戶具有隱藏興趣偏好的情況。 基于用戶的協同過濾算法主要考慮了用戶與內容交互的情況，具有足夠的內容預測能力，當有新的內容加入時可以有效應對。 但算法的可解釋性不足， 并且和基于物品的協同過濾算法一樣，數據量很大時需要很高的計算成本，并且該方法也無法處理新用戶，也沒有考慮內容的屬性特征。

實驗結果如圖5、6所示。

圖5 用戶體驗度得分對比結果

圖6 回程負載的對比結果

基于深度學習方法的邊緣主動緩存模型相較于機器學習方法（如基于物品和基于用戶的協同過濾方法）能取得更高的用戶體驗度得分和更低的回程負載。當緩存為100%時，基于DeepFM模型的邊緣主動緩存模型取得了79.1%的用戶體驗度得分， 而基于用戶的協同過濾算法則取得了60.2%的用戶體驗度得分， 較前者低了約18.9%。在回程負載方面，基于DeepFM的邊緣主動緩存模型為48.6%， 而基于用戶的協同過濾方法則為72.3%，較前者高了23.7%。由此可以看出，基于深度學習方法的邊緣主動緩存模型相較于基于機器學習方法的邊緣主動緩存模型能取得更高的用戶體驗度得分以及更低的回程負載消耗。

基于融合深度興趣進化單元的DeepFM的邊緣主動緩存模型，能在基于原DeepFM模型以及基于深度興趣網絡的邊緣主動緩存模型的基礎上，提高用戶體驗度得分并降低回程負載消耗。 當緩存空間為100%時，基于融合深度興趣進化單元的DeepFM模型能取得83.4%的用戶體驗度得分和21.3%的回程負載，DeepFM以及深度進化網絡分別取得了79.1%和81.5%的用戶體驗度得分以及48.6%和38.3%的回程負載消耗。 由此可以看出，在DeepFM模型的基礎上融合深度興趣進化單元，能夠有效提高模型性能。當緩存空間從100%減少至60%時，基于融合深度興趣進化單元的DeepFM模型用戶體驗度得分僅下降5.3%， 而基于DeepFM模型和基于深度興趣進化網絡的用戶體驗度得分在緩存空間從100%下降至60%的過程中分別下降了11.3%和12.4%，由此可知，基于融合深度興趣進化單元的DeepFM 模型相較于DeepFM和深度進化網絡來說具有更好的抗衰減性能。

4 結束語

為了高效利用邊緣基站上有限的緩存空間和計算資源，需要合適的緩存結構和更優的篩選方法。 考慮到實際應用中用戶興趣總是隨著時間動態變化的情況，利用興趣進化單元對其進行建模，獲得最終的用戶興趣狀態，通過DeepFM模型挖掘交叉特征以及高階特征，并最終得到符合用戶偏好的緩存內容。 經實驗證明，該模型不僅取得了更高的用戶體驗度得分，也在相同條件下降低了網絡中的回程負載。