基于隱私保護的聯邦推薦算法綜述

張洪磊 李浥東 鄔 俊 陳乃月 董海榮

隨著移動互聯網絡的飛速發展,人們所持有的用戶設備逐漸多元化,進而使得用戶能夠越來越便捷上傳所生成的內容數據,因此海量用戶行為與內容數據由此產生.另外,隨著計算機硬件與人工智能技術的持續進步,出色的計算能力與大規模算法模型也為海量數據的產生與處理提供了先決條件.然而,互聯網產生數據的速度遠遠超過用戶所能處理數據的速度,以至于造成用戶不能及時運用有效信息的情況,這就產生了信息生產者與內容消費者之間的尖銳矛盾,最終導致信息過載現象的發生[1].

推薦系統作為緩解信息過載問題的有效途徑[2],其通過利用用戶與物品的歷史交互數據以及各自固有的內容屬性特征進行個性化建模以此實現對于用戶未來可能感興趣的物品進行精準預測的功能,因而該技術得到了許多學者們的廣泛關注[3].并且由于其巨大的商業價值,推薦算法也在工業界在線平臺上(比如社交[4]、新聞[5]、購物[6]等)成為了必不可少的重要組件.推薦系統根據其推薦原理以及所利用具體數據的不同,可進一步劃分為利用屬性信息的基于內容的方法[7]、利用用戶對物品歷史行為信息的協同過濾方法[8]以及利用多種信息源的混合推薦方法.近年來,由于深度學習出色的表示能力,基于深度學習的推薦算法[9]能夠高效利用海量訓練樣本,并且能夠有效整合多種附加信息(比如社交信息[10]、文本信息[11]、圖像信息[12]等),以此緩解推薦系統固有的數據稀疏與冷啟動問題[13].

然而,融合用戶大量個人信息固然可以提升推薦算法的預測精度,但往往會對用戶的隱私和數據安全問題產生擔憂.具體地,文獻[14-16]表明僅利用用戶所產生的內容數據或者歷史行為信息可以反推出用戶的敏感屬性特征,另外引入社交網絡等附加信息可以實現更低成本的隱私泄露.由于海量信息中不可避免的存在用戶個人數據以及敏感信息,因此平臺需要收集更多的訓練數據以提升推薦性能與用戶為保護隱私而盡可能少的共享個人數據間的矛盾逐漸凸顯.另外,隨著中國對于數據安全與隱私問題越來越重視,因此,如何在保證用戶隱私和安全的前提下有效融合更多數據以提升推薦性能成為了數據挖掘領域關注的重點.所以,基于隱私保護的推薦算法逐漸得到大家的廣泛關注[17-19].

傳統的隱私保護推薦算法主要采用差分隱私等機制添加數據擾動[20]或者利用加密的方式(比如同態加密[21]與安全多方計算[22]等)實現對于個人敏感信息的隱私保護.然而添加擾動的方法需要嚴格的數學假設并且不可避免的對原始數據引入偏差,而加密的方式雖然能夠實現對于原始數據的無損保護,但加密操作往往需要更大的計算量最終使得模型的實時性大打折扣.值得一提的是,上述傳統隱私保護推薦算法需要將個人數據收集到中心服務端進行存儲與訓練,因此在原始數據傳輸等過程中仍然存在隱私泄露與安全威脅的問題.另外,由于上述隱私與安全問題的擔憂造成了多參與方不能安全高效的進行數據共享,最終導致數據孤島現象進而影響整體模型的預測性能.

得益于近年來分布式學習與邊緣計算的飛速發展,以及互聯網生態逐漸移動化與開放化,使得用戶終端設備有能力存儲并訓練相當容量的數據.聯邦學習[23]充分發揮終端設備的計算能力并協同服務端聯合優化全局模型,同時能夠使得原始數據保留在本地而較好地保護用戶隱私信息,這一新興的隱私保護范式逐漸得到大家的認可[24].另外,由于推薦系統的數據來源存在天然的分布式特性,以及用戶對于推薦服務嚴苛的實時性要求,因此近年來端云架構下結合聯邦學習的推薦算法取得了較大的進展[25-32].然而,目前國內相關文獻缺乏對于此研究方向的細致梳理與歸納總結.基于以上動機,本文對聯邦學習賦能的推薦系統進行了全面綜述,細致整理了近3 年發表在相關領域會議和期刊中此方向的文獻,旨在為該領域梳理出一條清晰的研究脈絡,為基于隱私保護的推薦算法提供更加全面的理論基礎與研究框架(對于本文所收集的論文列表可訪問鏈接https://github.com/hongleizhang/RSPapers).

本文第1 節對推薦模型的發展歷程進行分類介紹,結構如下: 包括傳統推薦算法、基于深度學習的推薦算法以及基于隱私保護的推薦算法.第2 節詳細闡述基于聯邦學習范式的隱私保護推薦算法的基本框架并對其擴展工作進行分類介紹.第3 節介紹聯邦推薦系統所使用的開源工具庫以及用于實驗評估的常用數據集.第4 節總結本文并分析現有方法存在的問題并對未來可能的研究方向和發展趨勢加以展望.

1 推薦系統概述

推薦系統作為緩解信息過載問題的重要手段,其通過過濾無用信息進而篩選出用戶可能感興趣的物品以此達到提升用戶體驗和商戶利潤的目的[33-35].在眾多推薦算法中,協同過濾技術由于其出色的推薦性能與良好的可擴展性,成為了學術界和工業界中最受歡迎的技術主題之一.更具體地,協同過濾技術基于以下假設: 即用戶在過去所表現出的興趣偏好在將來時間段仍然會保持類似的選擇傾向,并且可以根據其他相似用戶的行為數據或者相似物品的瀏覽數據來推斷目標用戶對于未瀏覽物品的偏好[36].通過對協同過濾算法的發展趨勢進行總結,可將其大致分為以下兩個階段,即推薦系統發展初期主要關注準確性指標階段和推薦系統發展后期所關注的復合指標階段[37].實際上在推薦系統發展早期人們主要是通過利用更復雜模型或者融合更多的數據來提升推薦準確性指標.隨著用戶對推薦體驗要求的逐漸提高,使得研究人員開始研究包括隱私性在內的更加人性化的復合指標.如圖1 所示,將關注準確性指標階段細分為傳統的推薦算法和基于深度學習的推薦算法;將后期所關注的復合指標聚焦在考慮隱私性指標前提下的推薦準確性(圖1 中所提及文獻用英文簡寫形式表示,“*”表示經典的隱私保護方法,下劃線表示聯邦推薦算法).

圖1 主流推薦模型發展歷程Fig.1 Timeline of mainstream recommendation models

1.1 傳統推薦算法

傳統協同過濾算法作為推薦系統核心技術之一,被長期應用在真實的推薦場景中.其主要是通過將用戶的歷史行為信息轉化為用戶—項目行為矩陣的方式進行存儲訓練,并且傳統協同過濾方法能夠擅長挖掘用戶對物品直接近鄰的屬性特征.根據其運用學習范式的不同可分為基于領域的推薦方法[36]和基于模型的推薦方法[38-40]兩大類.基于領域的方法側重于尋找當前用戶(物品)的最近鄰,然后基于近鄰做出物品推薦.基于模型的方法利用機器學習技術將整個用戶—項目評分信息或者部分數據作為訓練集來產生預測模型,然后使用訓練好的模型為用戶提供個性化推薦.其中矩陣分解技術[41]由于其高準確度和高擴展性等優點,近年來得到了許多研究者的青睞.

矩陣分解技術通過學習用戶和項目的低維表示進而達到個性化推薦的目的[41-43],直觀來講,矩陣分解技術將原始用戶—項目評分矩陣R∈Rn×m分解為兩個維度相同的較小矩陣(用戶隱含特征矩陣P ∈Rf×n和項目隱含特征矩陣Q∈Rf×m),然后將兩者相乘來還原到原始的高維空間,同時完成矩陣補全的任務.典型的矩陣分解損失函數如式(1)所示,通過在訓練集中利用最小二乘法來建模真實值與預測值之間的誤差,然后利用梯度下降等優化算法迭代的更新用戶和項目隱含特征向量使得誤差降低到最小,最終達到在未觀測數據上具有泛化能力的目的.

式中,Ω 為訓練數據集中二元對 (u,i)的集合.另外,pu ∈Rf和qi ∈Rf分別代表具有共同維度為f的用戶和物品隱含特征向量.其中λ為正則項權重,用來緩解模型過擬合問題.矩陣分解作為基于模型的推薦算法中預測性能精準以及擴展性能優良的模型之一,其可以靈活地融合各種附加信息[44-46].

除了上述考慮單一樣本的建模方式外,更為實際的假設為對于訓練集中任意兩個具有偏序關系的訓練樣本對作為一個訓練樣例,該類方法統稱為成對的建模方式[47-49],其基本假設為用戶所感興趣的物品應該排在用戶所不感興趣物品的前邊.另外,基于列表的建模方式將用戶所對應的所有物品排序列表作為一個訓練樣例以此更加全面地考慮不同物品間的序列關系[50-54].

1.2 基于深度學習的推薦算法

由于深度學習強大的擬合能力以及高度非線性的表示能力,其已經在推薦系統領域取得了巨大的成功[9].通過利用深度學習技術能夠高效的融合各類附加信息,使得推薦模型能夠更加關注推薦機制本身的性能提升.基于深度學習的推薦算法主要采用獨熱編碼的存儲方式進行模型訓練,并且其擅長利用高度非線性的特征表示能力挖掘用戶對物品的潛在多階近鄰的屬性特征.本文根據深度學習模型自身特性以及融合到推薦場景中附加信息的不同,主要分為基于自編碼器的推薦算法[55-57]、基于多層感知機的推薦算法[58-62]、基于卷積神經網絡的推薦算法[63-65]、基于循環神經網絡的推薦算法[66-68]以及基于圖神經網絡的推薦算法[69-72].除了上述介紹的單一深度網絡模型應用于推薦任務外,集成多種深度模型的長處可以得到性能表現更加優良的集成模型[73].

盡管上述提及的深度學習推薦模型能夠在預測性能方面得到顯著提升,但有相關的文獻表明推薦模型在多種不同的攻擊類型中存在一定的脆弱性,最終給用戶的敏感隱私信息帶來嚴重的安全威脅[74].早在推薦系統研究初期,來自得克薩斯大學的研究員通過將公開的用戶行為數據集與互聯網電影數據庫進行關聯識別出了匿名用戶的真實身份[14].由于此次嚴重的隱私泄露問題最終導致網飛大賽因隱私原因被叫停,該發現也為學者們重點研究推薦系統的攻擊威脅與隱私保護提供了全新的思路,因此下文將重點介紹基于隱私保護機制的推薦系統.

1.3 基于隱私保護的推薦算法

基于隱私保護的推薦算法的目標是一方面需要保護用戶的個人隱私數據不被輕易泄露,一方面需要防御來自不同背景不同類型的攻擊威脅.其中,根據攻擊者攻擊手段與攻擊目標的不同[75],大致分為用戶屬性攻擊、推理攻擊和托攻擊.根據攻擊者攻擊階段的不同,大致分為中毒攻擊與逃逸攻擊.根據攻擊者掌握攻擊環境程度的不同分為了白盒攻擊(掌握全部的攻擊環境數據)、灰盒攻擊(掌握部分的攻擊環境數據)與黑盒攻擊(掌握極少的攻擊環境數據).由于上述多種不同類型的攻擊手段,使得推薦模型在整個機器學習訓練過程中都有可能面臨嚴重的安全威脅,因此如何針對不同的攻擊方式進行有效防御進而實現魯棒的推薦系統是目前信息安全領域學者們研究的重點.為有效應對上述攻擊威脅進而更好地保護用戶的個人隱私,需要全方位的保護推薦系統各流程的敏感信息,包括在數據收集階段的數據集隱私保護、訓練過程中的隱私保護、測試階段的隱私保護等[76].周俊等[77]通過根據經典的隱私保護方法來對傳統的基于隱私保護的推薦算法進行綜述介紹,但該工作調研的方向側重于安全領域并且缺乏對于機器學習領域新興方法的補充(比如對抗學習等新興的機器學習范式).

基于此,本文根據所使用防御機制的不同,以更加全面的分類方式來進行介紹,大致分為基于匿名化的隱私保護方法[78-80]、基于數據擾動的隱私保護方法[81-87]、基于密碼學的隱私保護方法[88-90]、基于對抗學習的隱私保護方法[91-94]與基于聯邦學習的方法[95-97]等,具體實現機制與詳細分析見表1.除了上述介紹的直接對某些隱私度量進行優化的隱私保護方法外[98-100],還有一些特定的安全執行環境以及為了實現隱私保護而改造的模型訓練方式.比如可信執行環境[101]、分離學習[102]、機器遺忘學習[103]以及聯邦學習[95].其中,聯邦學習是一種充分發揮終端設備計算能力并協同服務端聯合優化全局模型的分布式學習框架,第2.1 節將重點介紹其定義與分類.

表1 基于隱私保護的推薦算法總結Table 1 Summary of privacy-preserving recommendation algorithms

2 基于聯邦學習的推薦系統

本節首先介紹聯邦學習的定義、分類以及主要執行步驟,隨后介紹聯邦推薦系統的基本框架,最后詳細介紹聯邦學習在推薦系統中的主要研究進展.

2.1 聯邦學習

傳統隱私計算方法通過在中心存儲的數據集上進行加密或者擾動機制來實現安全可靠的數據發布與挖掘,然而這些方法奏效的前提是需要多個參與方將私有數據匯聚到中心服務端進行統一管理.但往往由于商業限制以及法律法規的約束,數據不能輕易地移交給其他第三方服務器,因此導致了數據孤島現象.為有效應對上述情況,聯邦學習技術在不傳輸本地原始數據的前提下通過協同服務器端與多個本地模型進行聯合優化,進而聚合多個本地客戶端模型的中間參數來得到全局較優的模型.聯邦學習通過將客戶端的個人數據保留在本地以此實現原始數據的物理隔離,從而確保個人數據不會被直接泄露,使之滿足隱私保護和數據安全需求.進一步地,聯邦學習可以在保證各參與方獨立性的情況下傳輸中間計算結果(而非原始數據)并且可以對其進行加密傳輸,使其可以實現更嚴格的數據安全共享與公平合作;另外,聯邦學習技術作為機器學習范式的一種可信分布式框架,其能夠高效融合來自更多機構或者用戶間的訓練數據以此來緩解集中式學習存在的有效訓練數據不足的問題.同時,通過設計高效的聯合優化算法能夠實現服務端與客戶端間全局模型的快速收斂,并且可以有選擇的對客戶端模型進行合理聚合以此學習更優的機器學習模型.綜上,聯邦學習范式可以從根源上緩解用戶的隱私保護問題并且能夠保持模型優越的預測性能[23].

聯邦學習作為近年來具有潛力的機器學習技術,最早由谷歌公司為解決安卓設備的更新問題而被首次提出[24].根據原始數據的分布規律,常用的聯邦學習模式主要有橫向聯邦學習和縱向聯邦學習兩種[97].橫向聯邦學習場景是指當兩個組織間的數據用戶重疊較少,而用戶特征重疊較多時,把數據集按照橫向(即樣本維度)切分,并取出雙方用戶特征相同而用戶不完全相同的部分數據進行訓練;縱向聯邦學習場景是指當兩個組織間的數據用戶重疊較多而用戶特征重疊較少時,把數據集按照縱向(即特征維度)切分,并取出雙方用戶相同而用戶特征不完全相同的部分數據進行訓練.

通用的聯邦學習訓練框架為: 首先服務端下發模型參數進行本地模型初始化與訓練,然后客戶端發送中間梯度到服務器端,其次服務器端聚合客戶端的參數并更新全局模型,最后下發最新參數并更新本地模型[24].在此們假設以多輪通信來執行同步的更新方案,假設聯邦學習系統中的客戶端集合為K={1,2,···,k},其中服務端的全局模型表示為f(w),第k個客戶端的本地模型表示為fk(w),其通過利用各自的私有數據進行局部訓練,客戶端的私有數據表示為為了達到高效的訓練目的,只選擇部分比例的客戶端進行更新,即在每輪更新前初始化客戶端集合的隨機選擇比例C,然后客戶端將全局模型的參數狀態進行下發,每個被選中的客戶端根據下發的全局模型以及私有數據進行E迭代次數的局部訓練,隨后上傳各自的最新參數供服務端進行聚合更新,上述更新過程執行T輪直到模型收斂.其中,服務端的全局模型f(w)具體表示為多個客戶端模型的聚合形式:

式中,d表示為模型參數的特征維度,n表示參與的客戶端數量n=C/|K|.對于典型的機器學習問題,定義損失函數為fk(w)=l(xi,yi;w),如果是分類任務一般為交叉熵損失函數,回歸任務一般為平方損失函數,通過在本地執行梯度下降優化算法來獲得最優解.后續聯邦學習的前沿進展基本,都是圍繞上述公式展開的,比如如何更好地聚合本地模型[104]、如何更好地挑選具有代表性的客戶端[105]以及設計不同的個性化客戶端模型[106]等.

另外,隨著聯邦學習技術的逐漸成熟,研究者們逐漸設計出一系列聯邦學習在計算機視覺、自然語言處理以及推薦系統領域的應用,以上創新工作推動了聯邦學習技術的發展與應用落地.第2.2 節將詳細介紹聯邦學習與推薦系統領域結合而誕生的基于聯邦學習范式的推薦系統,期望能夠為學者們提供全面的綜述與新的研究思路.

2.2 聯邦推薦系統

推薦系統通過充分挖掘用戶對物品的歷史行為信息以及各自固有的屬性特征以此發現用戶的潛在興趣偏好.其中,當前主流推薦模型的訓練框架首先收集所有用戶的個人信息到集中存儲的中心服務端,然后在中心服務端統一訓練推薦模型(其中大致經歷召回、粗排、精排以及重排序階段),最后生成對于每個用戶的個性化推薦結果.然而,用戶上傳的行為數據往往包含大量的個人敏感信息,因此集中式訓練的模式會存在潛在的隱私泄露風險與安全隱患[77].另外,由于用戶對于個人隱私的擔憂,大多數人們不樂意將自己的原始數據進行上傳,因此導致集中式的訓練模式缺乏足夠的訓練數據而使得模型預測性能下降.基于以上兩種原因,推薦系統亟需一種能夠保護用戶個人原始數據同時能夠確保推薦算法預測性能的新穎學習框架.

聯邦學習作為一種保護隱私的分布式機器學習框架,其通過將用戶個人原始數據保留在本地,利用服務端與客戶端的中間參數進行協同優化,最終在保護用戶個人隱私的同時保障了機器學習模型的預測性能[24].推薦算法為了實現保護用戶隱私的需求,自然的想法是將集中式學習框架遷移到聯邦學習范式的場景中,于是基于隱私保護的聯邦推薦系統得到了研究者的廣泛關注.基于聯邦學習范式的推薦算法通用訓練流程如圖2 所示.具體地,每個客戶端在進行本地模型訓練的前期工作主要是收集各自的行為數據,其中主要包含用戶的顯式評分數據(比如用戶對物品的評分與評論數據)以及隱式反饋數據(比如對物品的點擊、喜歡以及收藏數據等).后續模型更新的詳細步驟為:

圖2 聯邦推薦系統訓練流程圖Fig.2 The procedure of federated recommender systems

步驟1.服務端下發全局推薦模型到客戶端,該模型可以是隨機初始化模型或者預訓練模型.

步驟2.客戶端利用本地交互數據進行局部模型訓練并更新本地模型.

步驟3.客戶端將待更新的模型參數或者中間參數上傳到中心服務端.

步驟4.服務端聚合來自本地客戶端的模型參數或者中間參數.

上述步驟進行多輪迭代直至全局模型收斂,然后利用本地模型進行推理預測.基于聯邦學習的推薦算法框架與傳統的聯邦學習框架類似,其將每個用戶看做一個客戶端,用戶所產生的個人行為數據(比如瀏覽歷史、點贊收藏歷史等)保存在本地,通過與中心服務端進行協同優化,最終達到個人原始數據不出本地而進行有效訓練的目的.不同之處在于推薦系統涉及的客戶端眾多,因此選擇哪些客戶端進行更新是其主要面臨的挑戰.另外,推薦系統本地客戶端存儲的數據不同于傳統的視覺數據,其不僅存在數據異質性的問題還存在數據稀疏、長尾分布以及冷啟動用戶(物品)等復雜情況.

因此基于聯邦學習的推薦系統會面臨更多更嚴峻的挑戰.根據以上步驟,研究者針對其中涉及到的每個部分進行了更進一步的研究,研究的方向主要包括: 如何有效挖掘符合實際場景的異質數據,如何挑選有代表性的本地模型參與訓練,如何在服務端進行更加有效的參數聚合,如何減少通信成本并保證模型收斂以及如何實現參數傳輸過程中的隱私保護問題等.基于以上研究問題,第2.3～ 2.8 節詳細介紹基礎聯邦學習推薦算法框架[25-32]、基于效率增強的聯邦推薦算法[107-110]、緩解異質性的個性化聯邦推薦算法[111-114]、基于性能增強的聯邦推薦算法[115-118]、基于隱私增強的聯邦推薦算法[119-124]以及防御攻擊的魯棒聯邦推薦算法[125-128].圖3 展示了上述各研究方向之間的關系,其中基礎聯邦推薦算法框架旨在為推薦場景常見的數據形式設計合理的聯邦學習框架,其余方向則是在此基礎上的延伸(分別考慮了效率性、異質性、有效性、隱私性以及魯棒性),以此建立一個全面的聯邦學習推薦系統.表2總結了基于聯邦學習范式的推薦算法在各個方向上詳細的研究目標、需要克服的挑戰、主要實現機制以及代表性的參考文獻,希望能夠為研究者們提供一個清晰的研究框架.

表2 聯邦推薦算法主要研究方向以及實現機制總結Table 2 Summary of main research directions and realization mechanisms of federated recommender systems

圖3 聯邦推薦系統研究方向總結Fig.3 Summary of research directions for federated recommender systems

2.3 基礎聯邦推薦算法框架

基于通用的分布式訓練框架,Ammad 等[25]提出了針對隱式反饋數據設計的首個基于聯邦學習框架的推薦算法(Federated collaborative filtering,FCF),該算法在中心服務端維護全局的矩陣分解模型,每個客戶端維護私有的矩陣分解模型,然后通過本地私有的隱式反饋數據進行本地更新并上傳梯度信息到中心服務端進行聚合優化,更直觀地理解可以參考圖4 算法示意圖[27].具體地,中心服務端維護所有物品的最新低維特征矩陣Q∈Rf×m,每個用戶客戶端u維護各自私有的用戶低維特征向量pu以及從服務端下發的全局物品特征矩陣Q.由于每個用戶的私有數據Du ∈{(u,i)|i ∈Nu}以及特征向量pu不會上傳到服務端以及物品特征矩陣通過中間梯度信息 ΔQ進行更新,通過以上機制實現了隱私保護的聯邦學習協同過濾算法FCF.具體地,對于用戶u的特征向量pu利用梯度下降算法的更新公式如下:

圖4 聯邦推薦算法基本框架Fig.4 The general framework for federated recommender systems

式中,Du表示用戶u的私有隱式反饋 數據,cui=1+αrui表示用戶u對物品i交互的置信度級別,α通常取大于0 的值,λ為正則項系數,η表示學習率.通過該式(3)可以看出,只利用本地數據就可以更新用戶私有的特征向量以此保護用戶的隱私信息.對于物品i的特征向量qi的更新需要在服務端進行,并且需要聚合來自不同客戶端u對于物品i的更新梯度信息,因此具體更新物品向量的公式如下:

式中,Ni表示對于物品i產生行為記錄的客戶端集合,f(u,i) 表示來自客戶端u對于物品i的具體梯度信息f(u,i)=(cui(rui-qi))pu.通過上傳對于物品特征的梯度信息而非原始數據可以實現對于物品特征矩陣的信息保護.后續有相關文獻表明,上傳的明文梯度信息中往往存在敏感信息[129],因此如何實現聯邦學習框架的強隱私保護值得被深入研究.

相比于隱式反饋數據,針對于顯式反饋數據的聯邦推薦系統更具有挑戰性.具體體現在: 1)隱私保護方面的挑戰.由于顯式反饋數據在傳輸梯度信息時只上傳用戶u所產生交互的物品集合Iu,因此很容易被服務端所識別并造成隱私泄露;2)計算與通信方面的挑戰.如果仿照基于隱式反饋數據的聯邦協同過濾方法FCF 將所有未產生交互的物品當做負樣本,無疑會增加模型的偏差并且帶來巨大的計算與通信開銷.基于以上挑戰,Lin 等[26]提出基于顯式反饋的聯邦推薦算法(Federated recommendation with explicit feedback,FedRec),該方法提出了兩種簡單且有效的機制,即用戶平均方法和混合填充方法,來生成虛擬交互物品集合(通過引入虛擬交互物品可以降低真正產生交互物品的被攻擊概率,從而達到隱私保護的目的)以及對應的評分集合以此提高梯度信息在傳輸過程中的隱私保護能力.具體地,首先從每個用戶u未交互過的物品集合中隨機采樣出虛擬交互物品集合?IIu,然后根據式(5)來計算用戶的平均評分作為生成的對應虛擬評分信息.

式中,yuk表示用戶u是否點擊過物品k,yuk=1 表示產生過交互行為,yuk=0 則表示之間沒有產生過交互行為.除了上述將用戶平均評分作為虛擬評分信息外,混合填充方法則將模型預測評分作為最終的虛擬評分.通過引入虛擬交互物品與評分可以實現在梯度傳輸過程中的信息保護.為了更加有效地建模隱式反饋數據,另一種行之有效的方案是利用成對訓練的思想來建模用戶的相對偏好,因此Anelli 等[27]提出了首個基于成對訓練的聯邦推薦算法,并且通過實驗分析了數據使用量與推薦模型預測性能的關系.

除了將上述經典的矩陣分解模型設計為具有隱私保護能力的聯邦學習框架外,為充分利用深度神經網絡模型出色的擬合能力以及高度的非線性特征抽取能力,Perifanis 等[28]提出了聯邦學習設置下的神經協同過濾算法(Federated neural collaborative filtering,FedNCF).該算法是首個將傳統神經協同過濾算法遷移到聯邦學習的設置中并應用于序列推薦任務的模型.具體地,該算法采用聯邦平均的訓練模式將通用的矩陣分解模型、多層感知機模型以及兩者相結合的模型進行了聯邦學習框架的設計,并且提出了安全的聚合協議來加密傳輸梯度信息以保證模型參數信息的隱私內容不被泄露.通過豐富的實驗驗證了所提方法在預測性能與隱私性方面的優越性,并且驗證了所提出的安全聚合協議相比于傳統的同態加密機制具有更少的計算開銷.

隨著圖神經網絡在推薦系統領域的快速發展,其已經被學術界與工業場景證明了其有效性.但目前主流的圖神經網絡推薦算法需要收集所有用戶的信息到中心服務器進行集中式訓練,這就造成了用戶對于個人隱私的擔憂.為提高圖神經網絡模型的隱私保護能力,Wu 等[29]提出了基于聯邦學習框架的圖神經網絡推薦算法(Federated graph neural network for privacy-preserving recommendation,FedGNN),該方法是首個將圖神經網絡推薦系統設計為聯邦學習框架的模型,其在充分挖掘高階的交互信息的同時能夠很好的保護用戶的個人隱私信息.具體地,每個用戶客戶端利用私有的交互信息局部訓練各自客戶端的圖神經網絡模型,隨后每個客戶端上傳本地的梯度信息至服務器進行聚合更新.由于傳輸的局部梯度信息中可能包含豐富的個人敏感信息,該文提出利用本地差分隱私技術應用到待傳輸的梯度數據上以保護用戶隱私.另外,為了進一步保護用戶所交互過的物品集合,本文提出將隨機采樣的物品集合作為偽交互物品集合以起到匿名化的作用.最后,為充分挖掘用戶高階的交互信息,該文提出利用圖擴充技術在隱私保護的情況下找到具有相互交互物品的相鄰用戶并交換他們的嵌入特征信息.

上述方法主要是將評分預測任務以及二分類等任務遷移到聯邦推薦的框架上,但現實場景中的數據大多是以序列的形式存在,因此如何將序列推薦任務遷移到聯邦學習框架上成為了研究的難點.Han等[30]提出On-device deep learning for privacy-preserving sequential recommendation (DeepRec)算法首次將序列化推薦任務遷移到聯邦推薦算法框架上.具體地,該算法首先利用歐盟通用數據保護條例出臺之前的數據構建全局模型,然后在其終端用戶設備上進行不斷的微調操作.另外,該算法還利用模型剪枝以及嵌入稀疏性等技術來減小計算與網絡開銷,這樣的操作使得模型訓練過程在不需要傳輸用戶原始數據的前提下能夠有效地在計算資源受限的移動設備上進行操作.通過將該算法應用在淘寶數據集上,該算法實現了在計算資源與帶寬資源更小情況下與集中式推薦算法相似的推薦精度的效果.

綜上,由于不同推薦算法模型結構的不同,需要針對不同的基礎模型進行有針對性的設計聯邦學習框架.除了上述介紹的對于基本矩陣分解、神經協同過濾模型以及基于圖神經網絡推薦算法進行專門設計聯邦學習框架外,針對于不同的推薦場景進行專門的聯邦學習框架設計同樣是具有潛力的研究方向,比如新聞推薦場景[5]、序列化推薦場景[30]、跨域推薦場景[31]以及社會化推薦場景[32]等.

2.4 基于效率增強的聯邦推薦算法

傳統的基于聯邦學習框架的推薦算法同樣面臨在優化過程中通信成本高的挑戰,即通信輪次過多以及通信過程中的通信量過大問題,因此如何設計高效的梯度更新策略用以減輕通信開銷是其關注的重點方向之一.標準的聯邦學習框架隨機的挑選客戶端來進行多輪更新,并且在服務端直接對挑選的客戶端的整個模型進行簡單平均來作為最終的全局模型,這樣的更新操作使得聯邦推薦模型在達到令人滿意的推薦精度前需要進行多輪的通信操作.

針對標準聯邦學習框架隨機選取客戶端以及簡單聚合操作導致模型收斂慢速的問題,Muhammad等[107]提出了對于上述兩步進行改進的聯邦推薦方法Going beyond average for faster training of federated recommender systems (FedFast),該方法具體包括用戶采樣機制(Active sampling,ActvSAMP)以及模型更新機制(Active aggregation,ActvAGG),該算法框架如圖5 所示,通過所提出的用戶采樣機制與模型更新策略可以實現快速收斂的目的.具體地,該方法首先對參與更新的客戶端實行ActvSAMP采樣機制,即首先對客戶端進行聚類操作,使得具有相同分布以及相同計算能力的客戶端處于同一個簇內,隨后在每個簇內選取代表作為選中的待更新的客戶端.然后進行ActvAGG 聚合操作,即將更新的代表客戶端的參數直接同步到簇內其他客戶端的模型上,以此實現快速的模型訓練目的.該方法通過挑選具有差異性的客戶端進行參數傳遞與更新以及對于相似客戶端進行直接的參數交換保證了模型的快速收斂.該文以通用矩陣分解模型為基礎,將其按照聯邦學習框架的設置進行設計,通過實驗證明其在推薦性能以及模型收斂速度上都具有優異表現.

圖5 FedFast 算法示意圖Fig.5 The diagram of FedFast model

根據基本的聯邦學習推薦系統的設置,在更新模型參數的過程中需要傳輸物品特征矩陣的梯度信息 ΔQ進而完成服務端的聚合優化.然而隨著物品數量的增加,模型在傳輸過程中的參數量也逐漸加大,比如在1 千萬規模的真實推薦系統場景中,物品特征矩陣的存儲量將達到1.6 GB 的量級,這也就說明需要傳輸1.6 GB 的數據來完成一次迭代更新.因此,針對于在聯邦學習傳輸參數過程中推薦模型過大的問題,Khan 等[108]通過利用強化學習技術提出一種負載優化的聯邦推薦方法Bayesian Thompson sampling for federated collaborative filtering (FCF-BTS).具體地,該文將對于矩陣分解模型中的物品特征矩陣Q的優化過程建模為多臂老虎機問題.首先在服務端利用初始的貝葉斯湯姆森采樣方法選取待更新物品的子集Ms,然后基于Ms選取物品特征矩陣Q的子集,記為Q*.隨后將物品特征矩陣子集Q*下發到具體地客戶端,然后本地客戶端利用私有數據進行更新并回傳梯度信息ΔQ*至服務端,同時在本地客戶端利用回報函數,即式(6)計算第t輪對于物品j的回報分數并根據回報分數更新貝葉斯湯姆森采樣器.經過多輪迭代直到找到合適的待更新物品的子集并達到模型的最終收斂.

式中,γ為正則項系數,f為物品特征向量的嵌入維度,表示在第t輪迭代對于物品j歷史梯度信息的指數衰減系數.通過該文設計的新穎回報函數可以快速找到待更新的物品子集以此實現減少模型參數傳輸量的問題.

與上述利用強化學習技術來減少傳輸通信量的研究思路不同,Yi 等[109]提出了基于模型分解的高效聯邦推薦算法(Efficient federated learning framework for privacy-preserving news recommendation,Efficient-FedRec).具體地,該算法立足于新聞推薦場景,并根據實驗觀察發現新聞推薦模型的大部分參數來自于新聞的特征表示,因此將整個新聞推薦模型分解為大型新聞表示模型和輕量級用戶表示模型.在該方法模型訓練過程中,只需向服務端請求小型的用戶表示模型和與其相關聯的小規模新聞特征表示,通過模型分解方式大大減少了模型傳輸過程中的通信開銷.為了在模型訓練過程中保護用戶隱私,文獻[109]還提出了一種基于多方計算框架的安全梯度聚合協議.該協議通過對原始交互記錄集合進行逆向變換操作,從而得到全新的梯度表示,隨后將其發送到服務端進行安全梯度聚合,從而保護原始梯度的隱私信息.通過大量實驗表明,所提方法可以有效地減少新聞推薦模型訓練的計算開銷與通信成本.

綜上,提高聯邦學習推薦算法框架訓練效率的途徑主要包括選取合適的客戶端進行更新、利用合理的聚合機制、增加本地模型的計算來減少通信輪次以及縮小傳輸的模型參數量等.

2.5 緩解異質性的個性化聯邦推薦算法

與傳統集中式訓練的推薦模型相比,基于聯邦學習框架的推薦算法在異質性方面面臨更加嚴峻的挑戰.其主要體現在數據異質性以及模型異質性兩個方面.數據異質性是指不同的用戶所偏好的物品類別不同,因此導致用戶終端上存儲的行為數據不能滿足常規的獨立同分布的假設.另外由于不同的用戶所產生的交互行為數量也不盡相同,因此也導致了數據規模的不平衡現象以及推薦系統領域常見的冷啟動用戶(物品)的情況.模型異質性是指由于不同用戶終端的存儲能力、計算性能、通信能力的不同以及數據異質性的存在而需要個性化設計模型的情況.以上兩種異質性在傳統的聯邦學習框架下已經存在,但由于推薦領域對于用戶個性化需求的滿足加劇了上述現象的發生,因此解決聯邦學習框架的推薦模型異質性問題是當前研究的重點與難點問題.

針對數據異質性挑戰,Wu 等[113]設計開發了一種基于層次化個性建模的聯邦推薦算法(Hierarchical personalized federated learning for user modeling,HPFL),算法框架如圖6 所示.該算法不同于其他文獻將用戶的全部個人信息看做是不能直接分享的隱私信息,而是提出了隱私層面的異質性.即根據是否具有公共屬性而將用戶的個人行為信息通過層次劃分來生成公開信息部分與隱私信息部分.比如,物品的屬性信息以及標簽數據屬于公開信息,而用戶的個人行為信息則屬于隱私信息.該模型只對隱私信息部分進行加密處理,而對于公開信息部分可以直接進行信息交換.基于以上層次化信息,該方法設計了包含公開信息組件與隱私信息組件的用戶模型.在客戶端模型訓練階段,客戶端可以直接上傳公開組件的信息,而對于隱私部分的組件需要進行加密處理以此來保護客戶端數據的隱私性.在服務端聚合階段中,其直接聚合來自客戶端的公開組件的參數信息以此獲得最新的全局公開組件.對于隱私組件,服務端需要聚合來自客戶端加密后的隱私組件以此來獲取最終的全局隱私組件.該模型通過生成的層次化信息以及個性化更新策略與聚合機制較好地實現了緩解數據異質性、模型異質性以及隱私異質性的問題.

圖6 HPFL 算法示意圖Fig.6 The diagram of HPFL model

針對常規聯邦學習設置中固有的數據異質性問題,利用元學習方法基于少量樣本為不同任務(客戶端) 學習不同的個性化模型是當前的主流方案.元學習旨在讓模型獲得特定 “學會學習”的能力,使其可以在獲取已有知識的基礎上快速學習新的任務.當前元學習的方法維度多種多樣,根據采用元知識形式的不同主要關注基于網絡結構的元學習方法以及基于權重的元學習方法[130].其中基于網絡結構的元學習方法是指利用學習機制來自動生成機器學習模型的結構以及參數,而基于權重的元學習方法主要指利用模型無關的元學習方法來學習較優的初始化權重用以快速實現在其他任務上的適配,但該方法需要進行二階梯度計算以及需要對原始數據進行劃分然后再進行分階段訓練,這樣的操作會在客戶端造成大量的計算成本.基于此,Wang 等[112]提出基于改進的元學習個性化聯邦推薦算法,以此來緩解數據異質性問題.該算法提出利用近似一階梯度信息進行模型訓練,不僅可以達到良好的算法性能,同時能夠大大減少客戶端的計算成本.另外該算法不需要對數據進行重復劃分操作,因此其適用于聯邦學習環境下的冷啟動推薦場景中.

當前主流的聯邦學習推薦系統框架通常假設服務端的全局模型與客戶端的用戶模型規模一致,而忽略了用戶終端對于存儲、內存以及通信帶寬的局限性,因此需要對不同客戶端進行個性化的模型設計以充分考慮其自身的設備能力.針對上述模型異質性的挑戰,Lin 等[111]提出了基于網絡結構元學習的聯邦矩陣分解算法(Meta matrix factorization for federated rating predictions,MetaMF).具體地,該算法模型由協同記憶模塊、元推薦模塊以及評分預測模塊構成.其中協同記憶模塊負責融合來自鄰居用戶的協同信息,元推薦模塊用于生成私有的物品特征矩陣以及用戶的私有評分預測模型,評分預測模塊用來根據上述生成的私有物品特征矩陣以及私有評分模型進行評分預測任務.由于物品數量巨大以及物品特征維度高的特點,直接為用戶生成私有的項目特征矩陣具有很大的挑戰性.為了解決上述問題,該文提出利用矩陣分解的操作首先生成兩個低維的物品特征矩陣以及升維矩陣,然后將其傳輸到客戶端進行乘積操作來還原出原始規模的物品特征矩陣.通過將大型的協同記憶模塊與元推薦模塊部署在服務端而把小型的用戶私有評分預測模塊部署在客戶端實現了聯邦推薦模型的個性化設計,同時在充分考慮設備自身能力的前提下保證了推薦模型的預測性能.另外,Müllner 等[124]在嚴格的隱私約束下證明了元學習模塊在保證模型魯棒性方面有著重要意義.

綜上所述,由于推薦算法對于個性化偏好的要求,因此基于聯邦學習的推薦算法面臨更加嚴峻的異質性挑戰,其具體體現在個人交互行為上的數據規模與類別的差異性等.為有效緩解異質性帶來的挑戰,主要通過層次化建模、元學習方法等設計個性化的聯邦學習模型以此來擬合不同客戶端的數據分布,實現對于模型泛化能力的提升.

2.6 基于性能增強的聯邦推薦算法

基于聯邦學習范式的推薦算法由于可以保留用戶的原始個人行為數據在本地,而通過中間參數(模型權重或者梯度信息)協同服務端與客戶端模型進行聯合優化,其可以很大程度上保護用戶的隱私信息同時能夠得到良好的預測性能.然而正是由于分布式訓練的特性以及通過模型中間參數來執行整個優化過程的原因,導致聯邦學習的模型預測精度要在整體上弱于集中式訓練的模型精度.因此,設計高效的性能提升方法來彌補聯邦學習推薦系統模型與集中式推薦模型的差距也是當前研究的重要方向之一.

通過模型的中間參數執行服務端與客戶端之間的協同優化,可以在保護數據隱私的前提下實現模型的分布式訓練.然而模型的中間參數數據中往往包含大量的敏感信息,比如目標用戶對于特定物品的評分信息以及用戶所產生的歷史點擊物品集合等信息,因此通常的做法是在上述待上傳的信息中添加虛擬的點擊物品集合以及與其對應的評分記錄來進行擾動,以此實現服務端不能輕易識別出具體的用戶以及物品等信息的功能,進而達到避免敏感信息泄露的目的.然而向原始數據中添加虛擬行為記錄數據的做法不可避免的在模型訓練過程中添加了噪聲信息,最終導致推薦算法預測性能的下降.

基于上述挑戰,Liang 等[115]提出基于顯式評分數據去噪機制的無損聯邦推薦算法(Lossless federated recommendation with explicit feedback,Fed-Rec++),算法框架如圖7 所示.為了消除添加隨機采樣的物品以及評分所引入的梯度噪聲,該算法提出通過分配一些具有去噪功能的客戶端來實現無損的模型優化.具體地,服務端首先聚合來自正常用戶u對物品i的梯度信息,然后計算物品i的梯度信息聚合形式為:

圖7 FedRec++算法示意圖Fig.7 The diagram of FedRec++model

式中,U表示正常用戶集合,而則表示去噪用戶集合.由于 ΔQi中包含虛擬生成的物品信息,因此服務端不能輕易識別出用戶真正產生過交互的物品集合以此達到隱私保護目的.為了提高模型訓練的精度,該算法提出利用去噪客戶端來消除上述梯度噪聲信息,即按照式(8)服務端收到來自去噪客戶端的梯度信息后作為最終的梯度信息:

傳統推薦模型預測性能之所以能夠表現優異的原因主要得益于在訓練過程中正樣本與負樣本的密切配合.其中,正樣本負責將訓練樣本對(如用戶、物品)在嵌入空間中拉攏的盡可能的近,而負樣本則負責將不相關的訓練樣本對的嵌入距離分離的盡可能的遠.通常負樣本存在的意義在于防止嵌入空間的模式崩塌,即如果訓練過程中只有正樣本存在會讓所有樣本學習到的表示趨于近似,因此不再能夠提供有區分性的特征.往往推薦系統場景中只包含用戶的正反饋信息,因此通常的做法是在訓練過程中人為的采樣負樣本來進行模型的正常訓練.

在傳統的集中式模型訓練過程中可以從整體訓練數據分布中抽取可靠的負樣本數據.然而,在聯邦學習設置的環境下由于用戶個人行為數據是由客戶端根據其所處環境進行本地生成的.這就意味著在每臺客戶端上可能不存在所需的負樣本信息.即使負樣本確實存在,但也相對較少且相對相似.通過實驗觀察可以看出,當在聯邦學習場景下,簡單地應用這些負樣本,會導致模型預測性能的顯著下降.針對上述問題,Ning 等[116]在聯邦學習框架下分析了這種現象并認為性能下降的主要原因是由非獨立同分布數據下的負樣本采樣不精準而導致的,并不是傳統聯邦學習設置中的客戶端漂移問題.另外,作者提出了一種批次不敏感的損失函數(Batch-insensitive loss,BI)來緩解數據異質場景下的負樣本偏差問題,具體損失函數如下:

式中,X和Y表示具有N個數據量的不同樣本批次.上述公式直觀地意味著,不管單個樣本是如何進行批處理的,其在并行的不同批次數據上應用損失函數都會產生相同的平均損失和梯度更新.當把該特性應用到聯邦學習框架下時可以看到,不管數據在客戶端之間被怎樣分割,當客戶端執行本地訓練的一個迭代時,批次不敏感的損失函數會在訓練結束后產生相同的最終服務端更新結果.通過在聯邦學習推薦系統的框架下引入批次不敏感損失函數,可以很好地解決數據異質場景下負樣本生成不準確的問題,最終實現推薦性能的顯著提升.

為更加精準地建模用戶的行為偏好,另一種行之有效的方案是利用來自其他領域的知識來輔助本領域的推薦任務,該類問題也稱之為跨域推薦.然而在跨域推薦的場景中需要對源域學到的知識直接遷移到目標領域,這就給用戶帶來了隱私安全方面的擔憂.因此,如何在跨域推薦場景下實現性能提升同時保護個人數據的隱私問題是目前具有挑戰的研究方向.目前主流的跨域推薦方法是通過在云上的方式在不同域之間進行原始數據的信息共享以此來獲取其他領域的知識,然而上述方法存在隱私泄露的風險.針對上述問題,Liu 等[31]設計了一種協同遷移的個性化聯邦推薦算法(Federated collaborative transfer for recommendation,FedCT).該方法證明了可以通過在智能終端等邊緣設備上進行高效的間接信息共享來克服這些問題,并將跨域推薦問題形式化為帶有多個領域服務端的分布式計算環境,更直觀理解見圖8.具體地,該算法在每個用戶的個人空間上學習和維護去中心化的用戶編碼,并基于變分推理框架進行優化,其目標是最大化用戶編碼和來自所有交互過的特定領域內用戶信息之間的互信息.通過實驗分析,所提出的方案在保護數據隱私的前提下實現了性能提升并且提供了一種不依賴于具體領域數量的高效推理機制.

圖8 FedCT 算法示意圖Fig.8 The diagram of FedCT model

經典的跨域推薦問題主要涉及兩個領域之間的信息共享,后續為了進一步提升目標領域的推薦性能,Flanagan 等[117]沿著添加輔助信息的研究思路提出了聯邦多視角矩陣分解算法來安全的融合多數據源的評分信息,該算法通過在矩陣分解框架的基礎上引入多視角學習以及聯邦學習,使得多種信息源的原始數據不需要上傳到中心服務端而是通過利用參數共享的方式來獲得額外的知識,該算法在冷啟動聯邦推薦場景下也有顯著的性能提升.

綜上,通過在聯邦學習框架下引入合理的去噪機制、融合高效的表示學習等技術以及解決由數據異質性導致的負樣本生成不準確等問題可以實現推薦模型顯著的性能提升.因此,在未來的研究中可以考慮融入對比學習以及遷移學習等知識來提高聯邦推薦模型的泛化能力.

2.7 基于隱私增強的聯邦推薦算法

由于聯邦學習框架可以保留用戶的個人行為數據在本地而通過模型中間參數進行協同優化,因此通過將集中式訓練的推薦模型遷移到聯邦學習的框架上可以從根源上保護用戶行為信息的隱私問題.然而,最新的研究文獻表明傳輸模型的梯度信息仍然可能遭受逆向攻擊進而泄露用戶隱私以及模型的結構信息[131].不同于傳統的機器學習任務,由于在推薦系統場景中存在大量的用戶個人敏感行為信息以及受保護的用戶屬性信息,因此在聯邦學習框架基礎上增強隱私保護能力是當前推薦系統領域研究的重要課題.

與常規聯邦學習模型增強隱私保護能力的研究路線類似,實現隱私增強的聯邦推薦算法的主要途徑是在基礎框架下引入數據擾動以及密碼學等技術,以保證數據安全運行的同時實現精準推薦的目標.針對顯式評分數據在參數優化過程中容易被服務端識別進而造成用戶信息泄露的問題,Lin 等[26]提出基于數據擾動的隱私保護聯邦推薦算法FedRec,該方法提出了兩種簡單且有效的數據擾動機制,即用戶平均方法和混合填充方法,來生成偽交互物品集合以及對應的評分集合,通過在參數更新過程中上傳用戶真實的交互集合Iu以及偽交互集合以此提高梯度信息在傳輸過程中的隱私保護能力.

另外,為防止基于隱式反饋數據的聯邦推薦系統隱私泄露問題,Minto 等[119]提出利用差分隱私機制等數據擾動技術來保護用戶數據安全性的算法(Local differential privacy based federated recommendation,LDP-FedRec),算法整體框架見如圖9.具體地,保存在客戶端的模型包含該用戶u的隱特征向量pu以及與用戶無關的全部物品的隱特征矩陣Q.對于用戶向量的更新由于不需要上傳到服務器而得到很好的保護.對于客戶端得到的物品更新梯度矩陣 ΔQ通過利用本地差分隱私(Local differential privacy,LDP)機制以及代理網絡來得到不包含用戶元數據的具有隱私保護功能的物品更新梯度矩陣,隨后再進行平均聚合.通過利用匿名化以及擾動機制可以實現不被服務端輕易識別進而保護用戶隱私的目標.

圖9 LDP-FedRec 算法示意圖Fig.9 The diagram of LDP-FedRec model

為保護梯度信息在傳輸過程中不泄露用戶原始數據的問題,除了利用差分隱私等擾動機制來保護參數外,利用密碼學等技術可以實現嚴格的數據隱私保護能力.文獻[120]證明了利用中間梯度信息可以反推出用戶的原始評分記錄,并提出一種利用同態加密技術來保護梯度信息不被泄露的方法.具體地,首先生成公開秘鑰與私有秘鑰.公開密鑰可以被任何參與者共享,而私有秘鑰只在用戶間進行識別;然后進行模型參數的初始化工作,即在服務端初始化物品矩陣以及在每個用戶端進行用戶特征向量的初始化工作;最后執行在同態加密環境下的矩陣分解操作,以此實現保護模型的中間參數不被惡意第三方攻擊的目標.

為增強聯邦學習推薦系統的隱私保護能力,當前的方法主要采用同態加密以及差分隱私機制對中間的計算結果進行保護.然而,前者帶來了額外的通信和計算成本,后者由于嚴格的數學假設不可避免的對模型的準確性有所影響.因此以上方法不能同時滿足推薦系統的實時反饋和準確的個性化需求.為此Yang 等[121]提出了一種新穎的聯邦推薦框架.該方法可以在不犧牲效率和有效性的前提下保護聯邦推薦系統中的數據隱私問題.具體地,該算法利用秘密共享技術來結合聯邦矩陣分解的安全聚合過程.此外,該算法還引入了個性化掩碼的新思想,并將其應用于所提出的聯邦掩碼矩陣分解框架中.個性化掩碼機制可以進一步提高模型的訓練效率以及模型的預測精度.通過實驗結果展示了所設計的模型在不同的真實數據集上的優越性.此外,Lin 等[122]利用虛假標記以及秘密共享技術來修改客戶端上傳到服務器的參數數據,通過該機制實現了在不損失模型準確性的前提下保護用戶隱私的目標.該算法是一種通用的跨客戶端設備的聯邦學習框架,可以方便地遷移到評分預測、物品排序以及序列化推薦場景.

綜上所述,為增強聯邦學習框架下推薦算法模型的隱私保護能力,主要通過利用差分隱私等擾動機制以及同態加密等密碼學技術來保護分布式優化過程中的梯度信息.然而,權衡推薦算法的模型精度與隱私保護的效用程度是隱私增強的聯邦學習推薦算法需要重點考慮的問題.

2.8 防御攻擊的魯棒聯邦推薦算法

基于聯邦學習框架的推薦算法由于可以保留用戶的敏感交互記錄在本地,因此可以從根源上保護用戶的個人隱私信息.然而,正是由于其分布式存儲數據的特性以及推薦場景對于用戶個性化指標的追求,使得基于聯邦學習框架的推薦算法較之于常規聯邦學習模型更容易受到低成本的攻擊方法的破壞,比如中毒攻擊(托攻擊)以及拜占庭攻擊等.因此,研究對于聯邦推薦系統攻擊的可行性及其防御機制能夠為魯棒聯邦推薦算法的安全穩定運行提供重要依據與理論支撐.

聯邦學習推薦場景下中毒攻擊的目標是通過干擾訓練數據集及其訓練過程來提升敵手對于目標物品的曝光頻率以此達到促銷某物品的不正當目的.文獻[125]提出了一種系統性的攻擊方法來對聯邦推薦系統進行后門攻擊進而推廣某種目標物品.該算法的核心策略是利用基于數據驅動的推薦系統中普遍存在的流行度偏差的固有屬性.由于熱門商品更容易出現在推薦列表中,因此通過精心設計的攻擊模型使目標商品在嵌入空間中具有熱門商品的普遍特征.然后通過在模型更新期間通過少數惡意用戶上傳精心制作的梯度,最終可以有效地增加聯邦推薦系統中不受歡迎的目標物品的曝光率.該算法通過在真實的數據集上評估表明,所提出的攻擊模型可以顯著提高目標物品的曝光率,并且不會損害當前推薦算法的準確性.另外通過實驗指出現有的防御措施不夠有效,并突出強調了針對聯邦推薦系統的本地模型設計中毒攻擊新防御措施的必要性.

針對上述提及的當前防御措施不能有效應用于聯邦學習推薦系統場景下的問題,Jiang 等[126]首次系統性地研究了聯邦學習背景下的托攻擊問題,并提出了一種有效的檢測方法,聯邦托攻擊檢測器來有效檢測聯邦學習推薦系統場景下針對協同過濾算法的托攻擊.該文獻首先展示了在聯邦學習推薦系統中實施托攻擊的可行性.其次,該算法專門設計了四個基于客戶端間交換梯度的新特征.通過結合這些基于梯度的特征,可以訓練一個半監督貝葉斯分類器來有效地識別托攻擊.最后,通過在真實數據集上進行大量的實驗證明了所提出方法的有效性.

聯邦推薦系統可以在不收集用戶隱私數據的情況下提供良好的模型預測性能.然而,由于聯邦學習分布式存儲的特性以及客戶端高控制權的特點,使得模型容易受到來自客戶端的拜占庭攻擊,即客戶端向服務器發送任意值的拜占庭梯度,而不是計算得到的真實梯度從而導致整個聯邦學習系統的模型預測性能惡化的現象.針對上述攻擊,Chen 等[127]開發了一種新穎的聯邦推薦技術,其能夠對拜占庭客戶端產生的惡意梯度攻擊具有健壯性.該文獻認為檢測拜占庭攻擊的關鍵因素在于監測來自客戶端模型參數的梯度信息.隨后其提出一種魯棒學習策略,即在服務端計算并利用梯度數據(而不是使用模型參數)來過濾惡意的拜占庭客戶端.最后,通過所提出的拜占庭彈性定義從理論角度與實驗層面證明了其魯棒學習策略的有效性.

綜上,基于聯邦學習范式的推薦模型由于存在天然的分布式數據存儲特性、客戶端高自主權與控制權的特點以及服務端難以識別有效梯度等挑戰,使得模型更容易受到來自客戶端以及傳輸過程中的惡意攻擊行為,比如中毒攻擊(托攻擊)、拜占庭攻擊等.為有效應對上述攻擊,可以從客戶端的梯度信息入手,設計高效的惡意梯度檢測方法以及提取有效反映梯度信息的特征等是目前行之有效的解決方案.

3 聯邦推薦系統學術資源總結

本節將對上述基于聯邦學習的推薦系統所涉及的學術資源進行全面總結,具體包括在算法實現過程中所用到的開源工具庫以及用于實驗評估的數據集.期望通過對上述學術資源的分類介紹,能夠為基于聯邦學習的推薦系統這一新興領域提供全面的研究基礎.

3.1 開源工具庫

本節對基于聯邦學習的推薦系統方向相關的開源工具庫進行調研與總結,其主要是對原有聯邦學習框架的改進與二次開發,其中包括微眾銀行開發的面向工業界與學術界的聯邦學習框架(Federated artificial intelligent technology enabler,FATE)以及僅面向學術研究的谷歌開發的聯邦學習框架(Tensorflow federated,TFF)、百度公司開發的基于飛漿框架的聯邦學習庫(Paddle federated learning,PaddleFL)以及南加州大學開發的聯邦學習庫(Federated machine learning,FedML) 等通用性聯邦學習框架.其中,FATE 框架由于廣泛的適用場景與眾多的隱私保護機制受到了學術界與工業界的廣泛關注,包括設計了橫向、縱向以及聯邦遷移學習場景以及實現了多方安全計算、同態加密與差分隱私等眾多隱私保護算法.另外,通過對聯邦推薦系統領域的調研,總結歸納了一些直接對聯邦推薦系統框架進行設計的優秀開源工具庫,比如微眾銀行開發的聯邦推薦算法庫(Federated recommendation systems,FederatedRec)、阿里開發的彈性聯邦學習庫(Elastic federated learning solution,EFLS)、聯邦貝葉斯個性化排序算法(Federated bayesian personalized ranking,FedBPR)、聯邦圖神經網絡庫(Federated graph neural network,FedGNN)以及針對于聯邦推薦算法的中毒攻擊算法(Model poisoning attack to federated recommendation,FedAttack).其中,FederatedRec 框架包含了6 種推薦系統場景常用的算法,具體包括5種縱向聯邦推薦算法和1 種橫向聯邦算法,其可用于解決聯邦學習場景下的評分預測與物品排序等任務,其通過同態加密與差分隱私機制實現隱私增強的作用;EFLS 框架則是一個跨企業跨部門合作的聯邦推薦框架,其已在大規模工業場景中進行驗證,該框架具有大規模以及高可用的云原生架構,其集成了多種隱私保護算法(比如隱私集合求交算法、前向加密算法和差分隱私算法等).另外3 種開源工作則分別實現了對成對貝葉斯個性化推薦算法、圖神經網絡推薦算法以及對聯邦推薦場景的攻擊算法的工作.通過分析可以發現,以上三種框架除了經典的差分隱私機制外,另外專門設計了適用于各自數據的隱私保護機制,比如FedBPR 算法通過上傳單一樣本的梯度進而使得服務端無法識別出是來自正樣本的梯度還是來自負樣本的梯度進而達到隱私保護的目的;FedGNN 框架則是通過擴充原有交互樣本集合以及隨機生成偽交互標簽的方式達到隱私保護的目的;FedAttack 算法通過利用翻轉正負樣本的機制達到難以攻擊的目的進而達到隱私保護的目的.期望通過總結上述開源工作可以促進該領域更多優秀開源工作的誕生.上述所提及框架的詳細總結見表3.表3 整理了所有框架在受眾定位、適用場景、隱私保護機制以及代碼庫鏈接等方面的內容.聯邦推薦系統的實驗模擬需要處理與傳統機器學習模型不同的挑戰,比如如何高效的劃分中心式的數據集、在不同的模擬終端設備上高效運行計算以及如何合理地執行協同優化等.

表3 聯邦推薦算法常用工具庫總結Table 3 Summary of commonly used repositories in federated recommender systems

通過對基于聯邦學習的推薦算法所使用的工具庫總結發現,仍然可以根據原始聯邦學習的適用場景進行劃分,即橫向聯邦推薦系統、縱向聯邦推薦系統以及聯邦遷移推薦系統.其中,橫向聯邦推薦系統從用戶(樣本)維度來劃分原始的數據集,將每個用戶的交互記錄看作單獨的客戶端用來與服務端進行聯合訓練;縱向聯邦推薦系統則從物品(特征)維度來對原始集中式數據集進行劃分,將不同特征的用戶集合看作單獨的客戶端用于與中心服務端進行協同訓練;聯邦遷移推薦系統則是在用戶和物品維度都存在樣本不足的情況下,利用遷移學習技術來完成客戶端與服務端的聯合協同訓練.通過對上述相關文章應用場景的調研,橫向聯邦推薦系統在所介紹文獻中的應用最廣,縱向聯邦以及聯邦遷移推薦系統的應用較少.另外,通過對上述基于聯邦學習的推薦系統的開源情況進行規律總結,發現絕大多數的文章沒有公布用于實驗評估的源代碼,這就為該領域的持續健康發展帶來了阻力.其次,上述調研的相關文獻的實驗設置存在不統一以及不公平對比的情況,這就為后續從事相關領域的學者帶來了實驗復現方面的挑戰.因此,設計與構建用于統一評測的聯邦推薦系統基準庫能夠為該領域的穩定持續發展奠定基礎.

3.2 評估數據集

基于聯邦學習的推薦系統所使用的數據集主要來自對原始集中式存儲數據的改進,其中包括MovieLens、Amazon、Last.FM、Yelp、Book-Crossings、MIND、Douban、Ciao、Epinions、Filmtrust等.需要說明的是,為了適用于聯邦推薦系統的研究需要提前劃分好特定格式的數據集.具體地,針對于橫向聯邦推薦系統,需要將每個用戶看作一個客戶端,因此需要按照用戶維度進行劃分的方式來構成用于聯邦學習研究的數據集;針對于縱向聯邦推薦系統則需要按照特征維度進行劃分,即將不同域的數據看作不同的客戶端.典型的應用場景是豆瓣平臺,即同一個用戶既有電影相關的信息,又存在書籍相關的數據.表4 將列舉出相關數據集的主要統計信息,其中,引用次數是指出現在本文綜述中的基于聯邦學習的推薦系統文獻所應用的數據集的引用次數總和.除了介紹所用數據集的基本描述信息,還總結歸納了每個數據集所存在的潛在隱私泄露風險,比如Movielens數據集中存在用戶對電影的觀看記錄以及用戶自身存在的屬性信息(性別、年齡、地理位置等信息),因此觀看記錄會存在用戶行為模式的隱私泄露風險以及用戶的屬性信息會存在用戶屬性攻擊等潛在風險[131].而Filmtrust 數據集除了存在行為信息泄露風險外,還可能存在用戶社交鏈接的泄露可能[132].

表4 聯邦推薦算法常用數據集總結Table 4 Summary of commonly used datasets in federated recommender systems

通過對基于聯邦學習的推薦算法文獻所應用的數據集的總結發現,大部分的文獻選擇使用電影評分數據集MovieLens 作為其評估的主要數據來源.另外,通過對上述文獻所應用的數據集進行規律總結可以看出,基于聯邦學習的推薦算法相比于其他推薦系統研究方向來看,其數據規模呈現出相對較小的特征,其主要原因是基于聯邦學習的實驗設置需要對每個用戶進行客戶端模擬,因此在模擬分布式訓練框架的過程中容易造成計算資源過高的問題.所以后續該研究方向的研究趨勢開始向基于大規模的終端設備的聯邦推薦算法演進.另外,目前主流的評估方式仍然是采用面向學術界相對靜態的數據集以及離線評估的實驗設置,后續可以考慮在現實工業場景進行實時的在線數據集評測.其次,目前的數據集仍然是對傳統集中式數據集的改進,即通過人工提前設置的方式來模擬基于聯邦學習的實驗環境,因此后續可以考慮構建面向真實場景的基于聯邦學習推薦系統的數據集同樣是值得考慮的基礎工程.

4 總結與展望

本文首先對近年來推薦系統領域的研究進展進行了綜述,并按照傳統推薦算法、基于深度學習的推薦算法以及基于隱私保護的推薦算法進行了詳細分類介紹.其中,基于隱私保護的推薦算法根據其所利用原理的不同分為了匿名化方法、數據擾動方法、密碼學方法、對抗學習方法,并對其進行詳細介紹.最后系統性的綜述了聯邦學習與推薦系統領域相結合的最新研究進展,首先介紹了聯邦學習以及聯邦推薦系統的定義,隨后按照基礎聯邦學習推薦算法框架、基于效率增強的聯邦推薦算法、緩解異質性的個性化聯邦推薦算法、基于性能增強的聯邦推薦算法、基于隱私增強的聯邦推薦算法以及防御攻擊的魯棒聯邦推薦算法6 個方面進行詳細介紹.最后詳細介紹和總結了該方向常用的開源工具庫以及經典數據集,以此便于對基于聯邦學習的推薦系統領域進行實驗評估.

通過對基于隱私保護的聯邦推薦算法進行全面的調研與綜述,發現當前的研究成果已經在一定程度上保護了用戶敏感數據的隱私安全同時保障了推薦模型的預測精度,但仍然存在如下的研究難點與熱點.

1)聯邦推薦系統的激勵機制.激勵機制旨在建立一個公平高效的平衡機制使得各參與方能夠持續地參與到聯邦學習的全生命周期中,以此最大化集合體的全局效用且最小化各參與方的局部損失與訓練成本.不同于其他聯邦學習應用場景,聯邦推薦系統中的客戶端代表真實的用戶個體,因此如何評估每個用戶的模型訓練貢獻以及如何設計高效的調度算法以此持續激勵用戶進行數據共享和提供客戶端算力是目前具有潛力的研究方向.

2)聯邦推薦系統的冷啟動挑戰.冷啟動問題是指新用戶或者新物品在進入既有系統時存在的交互數據稀缺的情況.集中式推薦模型的冷啟動問題已經形成了較為全面的研究體系.然而,由于聯邦推薦系統場景下的冷啟動問題更具有挑戰性,比如如何在資源受限的聯邦設置下融合并建模更多有效的附加信息來緩解終端用戶的數據稀疏問題,因此當前的研究工作還處于初級階段.

3)聯邦推薦系統的異質性挑戰.異質性在傳統聯邦學習設置中已經進行了廣泛的研究,主要體現在數據異質性與模型異質性方面.在推薦系統場景中由于參與方為真實的用戶個體使得異質性更加具有挑戰性,比如個人行為數據存在嚴重的特征偏斜情況以及所參與的用戶設備數量眾多且設備各異等問題,因此如何在聯邦學習框架下細粒度的建模數據異質性以及模型異質性是目前推薦系統領域的主要挑戰.

4)聯邦推薦系統的實時性挑戰.實時性是保障機器學習系統能夠穩定部署在真實場景中的重要指標,其主要體現在模型的更新周期以及部署效率上.集中式推薦模型由于可以在計算能力以及存儲能力更強的服務器端完成實時的模型訓練以及線上更新,使得用戶興趣能夠及時被推薦模型捕捉.然而聯邦推薦系統在集中式推薦模型挑戰的基礎上還要重點關注模型參數在服務端與用戶終端間的上傳與下載的傳輸時延等復雜情況,因此如何提高模型參數的傳輸效率以及優化本地模型的更新機制以此來提高聯邦推薦模型的實時性有利于進一步改善聯邦推薦場景的用戶體驗.