聯邦個性化學習推薦系統研究＊

李康康 袁 萌 林 凡

（1.江蘇師范大學 江蘇省教育信息化工程技術研究中心，江蘇徐州 221116；2.江蘇師范大學 智慧教育學院，江蘇徐州 221116；3.廈門大學 信息學院，福建廈門 361000）

個性化學習推薦既是實現自適應學習的核心引擎，也是“人工智能+教育”的核心研究領域之一。隨著人工智能技術的不斷發展和教育數據的大量積累，個性化學習推薦在準確性和多樣性等方面的性能得到較大提升。但當前個性化學習推薦仍面臨諸多問題，如數據隱私保護問題[1]、“冷啟動”問題[2]、法律約束問題等。為解決這些問題，本研究引入了“聯邦學習”的概念。聯邦學習是指各參與方在保證數據隱私安全的基礎上，共同訓練機器學習模型，以實現模型效果提升的目的[3]。作為近年來優秀的數據隱私保護機器學習技術解決方案，聯邦學習通過同態加密、協同訓練的方式，可實現數據隱私安全的有效保護和數據價值的共享。基于此，本研究嘗試將聯邦學習和個性化學習推薦相結合，通過構建聯邦個性化學習系統，探討此系統的應用場景、解決方案和未來挑戰，以實現更安全、更高質量的個性化學習推薦服務。

一 問題分析

個性化學習推薦在一定程度上緩解了海量網絡學習資源的信息過載問題，但隨著現代社會對數據所有權和隱私權的重視程度不斷提升，個性化學習推薦面臨一些亟待解決的問題，主要如下：

1 數據隱私保護問題

近年來，學習者隱私數據泄露和不法交易現象時有發生。例如，“央視網”曾報道有140 萬名考研學生的姓名、手機號、身份證號等敏感信息遭遇泄露[4]；美國非營利性教育科技公司inBloom 為實現個性化學習服務，通過與各州教育機構及教育技術公司合作，收集了學習者的家庭情況、經濟情況、身體情況等敏感信息，并在學校、學區和在線教育平臺中傳播[5]，這種侵權行為遭到了家長和相關隱私權維護組織的強烈抵制，最終導致該公司走向破產；此外，還有Piazza涉嫌濫用學生數據風波[6]、Edmodo 因廣告漏洞使學生信息大量泄露等[7]——這些事件的發生，都揭示了學習者的數據隱私保護尤為迫切。其中，inBloom 公司的案例說明個性化學習推薦服務強烈依賴豐富且優質數據的支撐，而學習者隱私保護成為了其發展的瓶頸。

2 “冷啟動”問題

“冷啟動”問題是指推薦系統在面對新用戶或新物品時，由于缺乏相應的行為數據，導致推薦系統不知給新用戶推薦哪些合適的物品，或者無法將新物品推薦給有需求的用戶[8]。在教育推薦領域，因學齡具有階段性、學科專業具有多分類性、知識結構具有復雜多樣性等特點，各在線教育平臺之間的教育數據都是割裂的，這使得個性化學習推薦系統在面對新用戶或新學習資源時缺乏足夠的參考信息，導致推薦服務質量不高且推薦多樣性不足。特別是當面對跨學齡或跨學科推薦時，個性化學習推薦面臨的挑戰較大。

3 法律約束問題

為應對人工智能應用可能帶來的學習者隱私數據泄露甚至被濫用的問題，各國都積極出臺了相應的法律法規。例如，歐盟的《通用數據保護條例》《電子通信領域個人數據處理和隱私保護的指令》、美國的《學生數字隱私和家長權利法》、英國的《數據保護法》以及我國的《中華人民共和國網絡安全法》《個人信息保護法》等，都對數據的采集、存儲和使用等環節進行了嚴格的規范[9]。受法律的約束，不同組織、不同機構之間分享數據正變得愈發困難，這將極大地限制個性化學習推薦技術的發展。在進行個性化學習推薦的同時確保學習者隱私數據安全，為學習者提供更加安全、高效、精準的個性化服務，是當前個性化學習推薦面臨的重要挑戰。

針對上述問題，研究者紛紛展開了相關研究，如劉夢君等[10]提出基于差分隱私保護的學習資源學習熱度推薦，以解決數據隱私保護問題；劉寶忠等[11]基于熱傳導和物質擴散理論，提出基于二部圖的學習資源混合推薦，以解決“冷啟動”問題；侯浩翔[12]分析了人工智能時代學生數據隱私保護的動因并給出具有實操性的學生隱私保護策略，以解決法律約束問題。但是，目前研究大多側重于解決某一問題，而很難同時兼顧解決三個問題。對此，本研究設計了三種不同應用場景的聯邦個性化學習推薦系統。這三種系統均采用加密協同訓練個性化學習推薦模型的方式，幫助各參與方在遵守法律規定的前提下，同時解決數據隱私保護、“冷啟動”和法律約束等問題。

二 聯邦推薦系統綜述

本研究首先對商品推薦場景中的聯邦推薦系統進行綜述，以了解聯邦推薦系統的運作流程和應用現狀，為后續針對教育應用場景設計聯邦個性化學習推薦系統提供參考。

1 聯邦推薦系統的流程與分類

在聯邦推薦系統中，多個參與方服務器在不直接訪問彼此隱私數據的條件下，協同訓練各自的推薦模型，最終達到推薦效果優于本地單獨訓練模型的目的[13]。聯邦推薦系統的運作流程如下[14]：①各參與方服務器從中央服務器下載全局物品特征矩陣；②各參與方服務器在本地進行信息聚合和對齊操作，以剔除不符合規則的信息；③各參與方服務器在本地計算用戶特征矩陣與全局物品特征矩陣，以更新本地用戶特征和物品特征；④各參與方服務器將更新后的物品特征按照安全協議傳輸到中央服務器；⑤中央服務器通過聯邦平均求解的方式對聚合的全局物品特征進行更新，并傳輸給各參與方用于新一輪計算。

根據商品推薦應用場景的不同，可將聯邦推薦系統劃分為：橫向聯邦推薦系統、縱向聯邦推薦系統、聯邦遷移推薦系統和聯邦強化推薦系統[15]。其中，橫向聯邦推薦系統主要用于物品相同但用戶不同的場景，以在保護用戶數據隱私的同時，實現用戶行為數據信息的深度共享；縱向聯邦推薦系統主要用于用戶相同但物品不同的場景，可提升推薦的多樣性；聯邦遷移推薦系統主要用于物品相同且用戶重疊數量較少的場景，以解決數據樣本較少或模型難以訓練的問題；而聯邦強化推薦系統主要用于捕捉個體用戶即時反饋信息的場景，以提升推薦的及時性。

2 聯邦推薦系統的應用現狀

目前，聯邦推薦系統的應用尚處于探索階段，但已經引起了廣泛的關注。例如，字節跳動結合聯邦學習和個性化推薦算法，幫助教育客戶廣告跑量顯著提升124.73%，正價課續報人數大幅提升211.54%，續報率提升32.69%，正價課續費用戶獲客成本降低11.73%[16]；微眾銀行也已經發布多種聯邦推薦系統模型，如聯邦協同過濾推薦模型、聯邦因子分解機模型、聯邦矩陣分解模型等[17]，以加速聯邦推薦系統的落地應用和相關算法的研發。

此外，科研人員在聯邦推薦系統研究方面也取得了一些突破性的進展。例如，Wu 等[18]提出聯邦學習與知識點追蹤相結合的聯邦知識點追蹤算法，實驗結果證實該算法能提高知識點追蹤的預測效能，預測的知識掌握情況可用于個性化知識點推薦；Kulkarni 等[19]提出了一種具有泛化性能的聯邦元學習框架，其通過參數化算法訓練推薦模型，針對特定的個體用戶，可以在較小規模內減少資源消耗，實驗結果顯示該框架具有較高的精準度，且對于解決“冷啟動”問題有較好的適應性；楊強等[20]將傳統的推薦算法（如矩陣分解、因子分解機、奇異值分解等）改造為聯邦推薦算法，為聯邦推薦算法的普及和應用提供了便捷的云服務。

三 應用場景

如前文所述，個性化學習推薦的發展受限于數據隱私保護、“冷啟動”和法律約束問題，使推薦系統難以獲得學習者學習數據的全貌，不利于提升個性化學習推薦服務的質量。因此，可以嘗試設計聯邦個性化學習推薦系統，以滿足高質量學習推薦服務的需求。但在設計該系統之前，首先需要明晰系統適用的場景。在商業領域的四類聯邦推薦系統中，聯邦遷移推薦系統大多被應用于不同企業之間的推薦模型協同訓練，主要解決跨領域商品推薦問題。而結合教育場景的特殊性，本研究認為聯邦遷移推薦系統不適用于個性化學習推薦，故將聯邦個性化學習推薦系統的應用場景分為橫向聯邦、縱向聯邦、聯邦強化三種。

1 橫向聯邦個性化學習推薦的應用場景

在個性化學習推薦應用的過程中存在以下場景：具有相同學科教學背景的不同在線教育平臺（或不同學校、不同教育部門）各自收集了不同學習者的學習數據，為了更好地滿足學習者的自適應學習需求，需要建立精準的個性化學習推薦模型——但是，這些平臺各自擁有的優質數據量過少，距離建立精準的個性化學習推薦模型的目標相差甚遠；若不同平臺之間私自共享數據，又容易觸犯數據安全和隱私保護條例。針對上述場景，不同平臺可以聯合建立橫向聯邦個性化學習推薦模型，通過在不同平臺協同訓練推薦模型，來提升模型的預測能力和推薦能力。當面對新學習用戶或新學習資源時，橫向聯邦個性化學習推薦模型可以搜索不同平臺相似用戶的學習偏好或使用相似資源的用戶特征，從而有效解決傳統推薦算法的“冷啟動”問題。此外，不同平臺之間的學習資源也存在一定的差異性，可以利用不同平臺之間協同訓練的橫向聯邦個性化學習推薦模型，探索用戶新的知識薄弱點或學習興趣，將不同平臺的相關學習資源推薦給用戶，這樣既可提高不同平臺資源的利用率，又可促進不同平臺的資源共享。

2 縱向聯邦個性化學習推薦的應用場景

在個性化學習推薦應用的過程中存在以下場景：具有不同學齡段背景的不同在線教育平臺各自收集了不同學習者的學習數據，其中有部分學習者的學習數據是重疊的，為了更好地適應跨學齡學習者的個性化學習需求，需要建立跨學齡的個性化學習推薦模型——但是，各平臺只擁有一個學齡段的數據，尚不足以支撐建立跨學齡的個性化學習推薦模型；而出于行業競爭、數據安全及隱私保護等方面的考慮，平臺之間也難以形成有效的數據共享機制。針對上述場景，不同平臺可以聯合建立縱向聯邦個性化學習推薦模型，以提高跨學齡推薦能力。例如，在不同學齡階段的數學教學中，縱向聯邦個性化學習推薦模型可以根據不同學齡階段的數學知識圖譜，追蹤學習者的薄弱知識點，為學習者提供層層遞進的個性化學習路徑[21]。

3 聯邦強化個性化學習推薦的應用場景

在個性化學習推薦應用的過程中存在以下場景：擁有海量學習者的不同在線教育平臺將學習者的行為數據保留在學習者的智能終端，不再將數據上傳到平臺服務器，以實現更安全的隱私保護。但是在這樣的隱私保護安全級別，各智能終端之間如何并行訓練個性化學習推薦模型成為難題。要解決上述難題，不同平臺可以在海量智能終端之間聯合建立聯邦強化個性化學習推薦模型。之后，聯邦強化個性化學習推薦模型將各終端計算所得中間信息加密傳輸到平臺服務器，平臺服務器再將更新后的推薦模型參數通過加密方式傳輸到各終端，以保障各終端智能推薦模型的及時更新，如此既可達到將數據安全地保存到用戶終端的目的，還可減輕平臺服務器的計算壓力。

四 解決方案

1 橫向聯邦個性化學習推薦應用解決方案

針對橫向聯邦個性化學習推薦的應用場景，本研究以兩個參與方服務器協同訓練個性化習題推薦模型為例，設計了橫向聯邦個性化學習推薦應用解決方案，如圖1 所示。參與方F1、F2服務器協作訓練橫向聯邦個性化學習推薦模型的步驟具體如下：①中央服務器對全局習題信息和知識基本信息進行特征表示，并將得到的全局習題特征信息和知識特征信息傳送到兩個參與方服務器。②兩個參與方服務器在本地建構個性化學習推薦模型，得到的F1、F2 本地模型均采用循環神經網絡方式對學習者的歷史答題記錄行為進行建模。③兩個參與方服務器將各自計算所得的梯度信息采用同態加密的方式傳輸給中央服務器，并在中央服務器完成梯度聚合。④中央服務器將梯度聚合結果更新，并加密傳輸給兩個參與方。兩個參與方服務器接收加密梯度文件后進行解密運算，以更新各自的本地模型參數。之后，重復步驟①～④，直至模型收斂或迭代次數達到上限。⑤兩個參與方服務器根據本地模型對學習者的答題正確概率進行預測，并依據知識點之間的關系網絡進行習題推薦。

圖1 橫向聯邦個性化學習推薦應用解決方案

2 縱向聯邦個性化學習推薦應用解決方案

針對縱向聯邦個性化學習推薦的應用場景，本研究設計了相應的應用解決方案，如圖2 所示。各參與方服務器協同訓練縱向聯邦個性化學習推薦模型的步驟具體如下：①各參與方服務器對實體信息進行加密實體對齊。加密實體對齊是指各參與方服務器在互相不知道學習者信息的前提下，找到重疊的學習者實體。②中央服務器創建加密密鑰對，并將公共密鑰對傳送給各參與方服務器，使各參與方的服務器能夠單獨解密信息。③各參與方服務器交換加密梯度信息，并用于各自推薦模型的訓練。④各參與方服務器交換加密中間計算信息，完成本地推薦模型的訓練；之后各自將加密梯度和加密損失傳輸給中央服務器，在中央服務器完成梯度聚合。⑤中央服務器將聚合梯度加密傳輸給各參與方，各參與方對梯度進行解密完成各自模型參數的更新。之后，重復步驟③～⑤直至模型收斂或迭代的次數達到上限。⑥不同參與方服務器根據各自的需求，通過本地模型推斷出習題回答正確的概率，結合知識點之間的關系網絡，向學習者推薦符合其自身認知的習題。在縱向聯邦個性化學習推薦應用解決方案中，本地模型首先將學習者特征向量和習題特征向量輸入長短期記憶模型，以提取學習者的知識點掌握向量；隨后，通過知識點掌握向量與知識點難度向量、習題難度因子進行全連接層計算，獲得學習者的知識點掌握概率和習題作答正確概率；最后，通過知識點和習題的關聯網絡，對學習者進行個性化學習推薦。

圖2 縱向聯邦個性化學習推薦應用解決方案

3 聯邦強化個性化學習推薦應用解決方案

針對聯邦強化個性化學習推薦的應用場景，本研究設計了相應的應用解決方案，具體如圖3所示。各參與方的智能終端協同訓練聯邦強化個性化學習推薦模型的步驟如下：①中央服務器將全局知識信息下發到各參與方的智能終端。②各參與方智能終端在本地單獨訓練本地模型，以確保數據能夠被存儲在各自終端。③各參與方智能終端將加密以后的計算信息發送給中央服務器，進行梯度聚合，以從全局信息中習得更多的參考信息。④中央服務器中聚合后的梯度信息被加密傳輸到各參與方的智能終端，以更新各智能終端的本地模型參數。⑤更新后的模型預測學習者的學習薄弱知識點和習題掌握概率，結合全局知識關系網絡和習題關系網絡，按照一定的認知層次關系進行排序推薦。在聯邦強化個性化學習推薦應用解決方案中，本地模型主要采用聯邦強化學習框架，對學習者的答題行為進行建模：首先，將學習者的特征向量和習題特征向量輸入答題行為計算模塊中，以生成學習者的答題交互行作為特征向量；隨后，將該特征輸入演員—評價者（Actor-Critic）模塊中，計算在目標（Target）條件下，采取不同的選擇策略所獲得的學習回報獎勵（Reward）；最后，根據聯邦強化學習目標函數計算損失來更新本地模型參數。

圖3 聯邦強化個性化學習推薦應用解決方案

五 未來挑戰

聯邦個性化學習推薦系統不僅可以確保學習者的數據隱私安全，達到法律要求的隱私保護標準，還可以互相參考信息以解決“冷啟動”問題。但面向未來，聯邦個性化學習推薦系統在其理論研究和實踐應用方面還面臨以下嚴峻挑戰：

1 基礎模型比較缺乏

當前，大多數聯邦推薦算法用于在線購物、音樂推薦或短視頻推薦等場景，而針對教育場景的聯邦個性化學習推薦算法模型比較缺乏。教育場景不同于以上生活應用場景，教育直接面向人才的培養，故后續研究需要結合學習者特有的認知特點，研發與聯邦個性化學習推薦有關的基礎模型。

2 教育場景較為復雜

教育場景屬于知識密集型應用場景，知識結構呈異質網絡關系，學習行為數據具有強時序性特征、強關聯性等特征，這些都加劇了聯邦個性化學習推薦研究的難度。此外，在線教育平臺擁有數據的數量級不同、推薦需求不同，這也使得各參與方之間難以形成有效的合作關系。對此，后續研究需結合教育數據特征，研發特定的聯邦個性化學習推薦模型，以促進不同參與方之間開展合作。

3 參與機制不夠完善

在聯邦個性化學習推薦系統中，大型教育平臺因海量優質的教育資源，而在協同訓練模型中擁有較大話語權。激勵大型平臺參與聯邦個性化學習推薦頗有難度，需設計合理的利益分配機制來保障不同平臺的利益，才能使聯邦個性化學習推薦系統發揮更大的價值。另外，還需設計誠實參與機制，防止參與方為了利益最大化而做出技術欺騙行為，并在合作前期就篩選掉不誠信的參與方，充分保障用戶的隱私數據安全。綜上，在線教育平臺參與方的激勵機制和誠實參與機制有待完善。

4 安全性能有待加強

聯邦個性化學習推薦系統采用同態加密、差分隱私、安全多方計算等相關技術，來實現對隱私數據的安全保護。但前沿的后門攻擊技術會威脅聯邦個性化學習推薦系統的安全，如通過反演攻擊和特征推理攻擊等方式可以推算出被加密的信息。因此，后續研究還需要加強安全對抗攻擊研究，制定攻擊防御標準、建立參與方篩選機制，以保障聯邦個性化學習推薦系統的安全性。

六 結語

本研究針對三種不同的教育應用場景，提出了橫向聯邦、縱向聯邦、聯邦強化等三種聯邦個性化學習推薦應用解決方案，并分析了未來聯邦個性化學習推薦系統面臨的嚴峻挑戰，為后續聯邦個性化學習推薦研究厘清了思路。未來研究將在實踐中對三種解決方案深入開展模擬實驗，并根據這三種解決方案的實際性能表現，不斷優化聯邦個性化學習推薦系統，以實現為學習者提供更安全、更高質量的個性化學習推薦服務。