基于聯(lián)邦學(xué)習(xí)的學(xué)生綜合素養(yǎng)評(píng)價(jià)數(shù)據(jù)共享與安全保護(hù)研究 *

郭利明，朱遷踏，鄭勤華①，王懷波

(1.北京師范大學(xué) 遠(yuǎn)程教育研究中心，北京 100875；2.北京師范大學(xué) 基礎(chǔ)教育大數(shù)據(jù)應(yīng)用研究院，北京 100875；3.北京師范大學(xué) 系統(tǒng)科學(xué)學(xué)院，北京 100875)

一、引言

學(xué)生綜合素養(yǎng)是學(xué)生綜合素質(zhì)和核心素養(yǎng)的有機(jī)融合[1]，開展學(xué)生綜合素養(yǎng)評(píng)價(jià)是破解教育評(píng)價(jià)實(shí)踐中“卡脖子”問題的關(guān)鍵。智能時(shí)代，開展學(xué)生綜合素養(yǎng)評(píng)價(jià)離不開海量數(shù)據(jù)的支持。當(dāng)下，表征學(xué)生綜合素養(yǎng)的數(shù)據(jù)來源于學(xué)校、家庭、社區(qū)以及科技館等典型場域，分布在諸如綜合素質(zhì)評(píng)價(jià)系統(tǒng)、教育科技企業(yè)自建平臺(tái)以及科技館自建系統(tǒng)等不同的信息化系統(tǒng)或平臺(tái)上，然而各信息化系統(tǒng)或平臺(tái)之間尚打通，加之考慮數(shù)據(jù)安全等原因，數(shù)據(jù)孤島現(xiàn)象仍然存在，影響數(shù)據(jù)的獲取與使用。盡管數(shù)據(jù)采集、匯聚等智能技術(shù)的發(fā)展能夠一定程度上解決此問題，但是《中華人民共和國個(gè)人信息保護(hù)法》(簡稱《個(gè)人信息保護(hù)法》)《中華人民共和國數(shù)據(jù)安全法》(簡稱《數(shù)據(jù)安全法》)的頒布實(shí)施，對(duì)學(xué)生綜合素養(yǎng)評(píng)價(jià)過程中數(shù)據(jù)共享與數(shù)據(jù)安全提出了更高、更嚴(yán)格的要求。

學(xué)生綜合素養(yǎng)評(píng)價(jià)是一項(xiàng)復(fù)雜的工程，數(shù)據(jù)擁有者既涉及教育系統(tǒng)內(nèi)部，又涉及教育系統(tǒng)外部。在數(shù)據(jù)安全保護(hù)意識(shí)愈發(fā)強(qiáng)烈，數(shù)據(jù)信任體系尚未形成的情況下，如何在不損害各數(shù)據(jù)擁有者利益、確保數(shù)據(jù)傳輸和存儲(chǔ)安全的同時(shí)，又能夠完成數(shù)據(jù)分析，將數(shù)據(jù)用于開展學(xué)生綜合素養(yǎng)評(píng)價(jià)工作是一個(gè)非常關(guān)鍵并值得思考的問題。簡而言之，迫切需要尋找一種機(jī)制，在遵守《個(gè)人信息保護(hù)法》《數(shù)據(jù)安全法》的同時(shí)，打破數(shù)據(jù)孤島，完成數(shù)據(jù)匯聚，服務(wù)于學(xué)生綜合素養(yǎng)評(píng)價(jià)。聯(lián)邦學(xué)習(xí)(Federated Learning)是人工智能領(lǐng)域的一種前沿技術(shù)，由于其在分布式數(shù)據(jù)集的場景下構(gòu)建機(jī)器學(xué)習(xí)模型時(shí)不交換數(shù)據(jù)擁有者的原始數(shù)據(jù)，而只是通過加密方式共享模型特征信息，因此它能夠打破現(xiàn)存意義上的數(shù)據(jù)孤島，并且在保護(hù)用戶個(gè)人隱私的前提下，有效交換數(shù)據(jù)用于模型構(gòu)建，進(jìn)而發(fā)揮出數(shù)據(jù)的最大價(jià)值[2]，目前在金融、醫(yī)療、智能終端以及計(jì)算機(jī)視覺等領(lǐng)域得到了初步的應(yīng)用。理論與技術(shù)雙向驅(qū)動(dòng)的學(xué)生綜合素養(yǎng)評(píng)價(jià)新范式指出，學(xué)生綜合素養(yǎng)評(píng)價(jià)是一個(gè)“模型構(gòu)建、數(shù)據(jù)采集、數(shù)據(jù)智能分析、評(píng)價(jià)應(yīng)用”的循環(huán)迭代過程[3]。借鑒聯(lián)邦學(xué)習(xí)技術(shù)在其他領(lǐng)域的應(yīng)用經(jīng)驗(yàn)以及在教育領(lǐng)域的理論探討[4]，本研究旨在闡釋如何基于聯(lián)邦學(xué)習(xí)技術(shù)解決學(xué)生綜合素養(yǎng)評(píng)價(jià)中數(shù)據(jù)難共享、隱私易泄露等問題，實(shí)現(xiàn)現(xiàn)實(shí)環(huán)境下學(xué)生綜合素養(yǎng)評(píng)價(jià)建模的數(shù)據(jù)可信計(jì)算，做到“數(shù)據(jù)不動(dòng)模型動(dòng)”，期望能為教育領(lǐng)域數(shù)據(jù)共享與數(shù)據(jù)安全保護(hù)提供新的解決思路。

二、學(xué)生綜合素養(yǎng)評(píng)價(jià)數(shù)據(jù)共享及安全問題與聯(lián)邦學(xué)習(xí)

(一)學(xué)生綜合素養(yǎng)評(píng)價(jià)數(shù)據(jù)共享及安全問題

開展學(xué)生綜合素養(yǎng)評(píng)價(jià)對(duì)于我國人才培養(yǎng)方式轉(zhuǎn)變、考試招生改革、學(xué)生全面發(fā)展等具有重要的促進(jìn)作用。但必須面對(duì)的事實(shí)是當(dāng)前數(shù)據(jù)孤島依然存在、學(xué)生個(gè)人隱私尚未能夠得到有效保護(hù)是學(xué)生綜合素養(yǎng)評(píng)價(jià)面臨的關(guān)鍵問題，亟需得到解決。

1.數(shù)據(jù)難共享

數(shù)據(jù)對(duì)于智能時(shí)代開展學(xué)生綜合素養(yǎng)評(píng)價(jià)的重要性不言而喻。當(dāng)前能夠反映學(xué)生綜合素養(yǎng)的數(shù)據(jù)不僅多樣，如思想品德數(shù)據(jù)、體質(zhì)健康數(shù)據(jù)、藝術(shù)素養(yǎng)數(shù)據(jù)、學(xué)業(yè)測評(píng)數(shù)據(jù)、在線學(xué)習(xí)數(shù)據(jù)、家庭自主學(xué)習(xí)數(shù)據(jù)、科學(xué)實(shí)踐活動(dòng)數(shù)據(jù)、學(xué)生學(xué)籍?dāng)?shù)據(jù)、公開數(shù)據(jù)集等，而且多源，如來源于區(qū)域綜合素質(zhì)評(píng)價(jià)系統(tǒng)、學(xué)校教育信息化平臺(tái)、教育質(zhì)量監(jiān)測平臺(tái)、網(wǎng)絡(luò)學(xué)習(xí)空間平臺(tái)、學(xué)生學(xué)籍管理平臺(tái)、科技場館活動(dòng)系統(tǒng)、社區(qū)活動(dòng)系統(tǒng)、教育科技企業(yè)平臺(tái)以及國家統(tǒng)計(jì)局等公開數(shù)據(jù)平臺(tái)等，然而由于數(shù)據(jù)天然的獨(dú)立分布、數(shù)據(jù)開放共享的安全風(fēng)險(xiǎn)、數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一等原因，這些多源多維多模態(tài)的數(shù)據(jù)無法匯聚，而是分布式存儲(chǔ)在多個(gè)系統(tǒng)或平臺(tái)上。雖然國家也曾多次出臺(tái)政策文件大力推進(jìn)教育領(lǐng)域數(shù)據(jù)匯聚共享[5][6]，但是進(jìn)展緩慢，數(shù)據(jù)孤島現(xiàn)象仍然并將長期存在，導(dǎo)致想要對(duì)學(xué)生綜合素養(yǎng)評(píng)價(jià)的數(shù)據(jù)進(jìn)行匯聚，進(jìn)而開展深入挖掘分析與建模的困難增大。

2.隱私易泄露

開展學(xué)生綜合素養(yǎng)評(píng)價(jià)，每個(gè)數(shù)據(jù)擁有者都存有表征學(xué)生綜合素養(yǎng)的諸多數(shù)據(jù)，甚至包括學(xué)生的個(gè)人隱私數(shù)據(jù)，如姓名、出生日期、身份證件號(hào)碼、生物識(shí)別信息、住址、電話號(hào)碼、電子郵箱、健康信息、行蹤信息等。倘若這些隱私數(shù)據(jù)沒有得到很好的保護(hù)，后果將不堪設(shè)想。此前，in Bloom公司、Piazza互聯(lián)網(wǎng)教育軟件公司、Edmodo學(xué)習(xí)網(wǎng)站就因?qū)W習(xí)者隱私數(shù)據(jù)泄露而帶來諸多負(fù)面影響，引發(fā)社會(huì)的廣泛關(guān)注[7]。在當(dāng)前可信安全環(huán)境尚未完全建立起來的情況下開展學(xué)生綜合素養(yǎng)評(píng)價(jià)，有關(guān)學(xué)生的個(gè)人隱私數(shù)據(jù)在傳輸、存儲(chǔ)以及使用等方面極易發(fā)生泄露。因?yàn)閭鹘y(tǒng)的隱私保護(hù)技術(shù)、策略已經(jīng)難以為繼[8]。即便數(shù)據(jù)經(jīng)過模糊化、匿名化等脫敏、加密等操作，但是在點(diǎn)對(duì)點(diǎn)傳輸、點(diǎn)到中心傳輸、中心訪問以及不同范圍使用過程中仍有被解密、被攻擊的可能。雖然單點(diǎn)、碎片化的數(shù)據(jù)經(jīng)過脫敏技術(shù)能夠模糊化反映學(xué)生個(gè)人隱私的信息，但是一旦海量相似數(shù)據(jù)匯聚一起后學(xué)生的“廬山真面目”依舊可以在技術(shù)的支持下毫無保留地推斷出來[9]。

綜上，智能時(shí)代的學(xué)生綜合素養(yǎng)評(píng)價(jià)，亟需考慮數(shù)據(jù)孤島與隱私泄露并存的問題，需要采用新的技術(shù)作為二者連接的橋梁(在有效、便捷使用數(shù)據(jù)的過程中保護(hù)數(shù)據(jù)安全)，進(jìn)而提升學(xué)生綜合素養(yǎng)評(píng)價(jià)數(shù)據(jù)共享與安全保護(hù)的可靠性。

(二)聯(lián)邦學(xué)習(xí)的技術(shù)原理及核心技術(shù)優(yōu)勢

1.聯(lián)邦學(xué)習(xí)及其技術(shù)原理

為解決各行各業(yè)由于各種因素造成的數(shù)據(jù)孤島以及保護(hù)數(shù)據(jù)安全，2016年，谷歌首次提出聯(lián)邦學(xué)習(xí)理論，它是一種新興的機(jī)器學(xué)習(xí)方法。其核心思想是：在分布式數(shù)據(jù)集的場景下開展機(jī)器學(xué)習(xí)的過程中，各數(shù)據(jù)擁有者無需共享原始數(shù)據(jù)，而是交換諸如參數(shù)、梯度等模型特征信息來進(jìn)行聯(lián)合建模，即在數(shù)據(jù)不出本地的情況下，進(jìn)行數(shù)據(jù)聯(lián)合訓(xùn)練，建立共享的機(jī)器學(xué)習(xí)模型[10]。一般而言，可以表示為：設(shè)有N位數(shù)據(jù)擁有者{P1,P2,P3……PN}，其本地?cái)?shù)據(jù)集為{D1,D2,D3……DN}。傳統(tǒng)的機(jī)器學(xué)習(xí)方法是將所有的數(shù)據(jù){D1,D2,D3……DN}先存儲(chǔ)在云端服務(wù)器或者數(shù)據(jù)中心，再使用匯聚后的數(shù)據(jù)進(jìn)行模型訓(xùn)練得到一個(gè)機(jī)器學(xué)習(xí)模型MSUM。在傳統(tǒng)的機(jī)器學(xué)習(xí)方法中，任何一位數(shù)據(jù)擁有者PN會(huì)將自己的原始數(shù)據(jù)DN暴露給服務(wù)器甚至其他數(shù)據(jù)擁有者。而在聯(lián)邦學(xué)習(xí)中，每一位數(shù)據(jù)擁有者PN在中央?yún)f(xié)調(diào)方的協(xié)調(diào)下于本地訓(xùn)練初始全局模型MFED、計(jì)算模型特征信息wN，并以加密方式將模型特征信息wN返回中央?yún)f(xié)調(diào)方形成模型特征信息集合{w1,w2,w3……wN}，最終由中央?yún)f(xié)調(diào)方對(duì)模型特征信息進(jìn)行解密整合為新的全局模型MFED，再將模型加密發(fā)送回各數(shù)據(jù)擁有者進(jìn)行下一輪訓(xùn)練，直至聯(lián)邦學(xué)習(xí)模型MFED收斂、達(dá)到最大迭代次數(shù)或者達(dá)到最長訓(xùn)練時(shí)間。在聯(lián)邦學(xué)習(xí)方法中，任何一位數(shù)據(jù)擁有者PN不會(huì)將自己的原始數(shù)據(jù)DN暴露給中央服務(wù)器及其他數(shù)據(jù)擁有者，而只是共享加密后的模型參數(shù)。設(shè)VSUM和VFED分別表示集中模型MSUM和聯(lián)邦模型MFED的性能量度(如準(zhǔn)確率、召回率、F1分?jǐn)?shù)等)，則存在一個(gè)非負(fù)實(shí)數(shù)δ，滿足：

式中表明使用聯(lián)邦學(xué)習(xí)在分布式數(shù)據(jù)源上構(gòu)建機(jī)器學(xué)習(xí)模型的性能與使用傳統(tǒng)方法在集中式數(shù)據(jù)源上構(gòu)建機(jī)器學(xué)習(xí)模型的性能接近[11]。

聯(lián)邦學(xué)習(xí)通過迭代訓(xùn)練運(yùn)算方式實(shí)現(xiàn)“數(shù)據(jù)可用不可見”“數(shù)據(jù)不出門”，解決傳統(tǒng)機(jī)器學(xué)習(xí)中心化依賴、數(shù)據(jù)隱私保護(hù)的問題，同時(shí)可引入更多組織或機(jī)構(gòu)的數(shù)據(jù)加入，整體上提升模型質(zhì)量。根據(jù)數(shù)據(jù)擁有者參與訓(xùn)練的不同數(shù)據(jù)特征的差異，聯(lián)邦學(xué)習(xí)可以分為橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)。橫向聯(lián)邦學(xué)習(xí)適用于數(shù)據(jù)擁有者的數(shù)據(jù)特征重疊較多而其樣本重疊較少的場景，縱向聯(lián)邦學(xué)習(xí)適用于數(shù)據(jù)擁有者的樣本重疊較多而其數(shù)據(jù)的特征重疊較少的場景，聯(lián)邦遷移學(xué)習(xí)適用于數(shù)據(jù)擁有者的數(shù)據(jù)特征及其樣本重疊很少的場景[12]，具體如圖1所示。

圖1 聯(lián)邦學(xué)習(xí)應(yīng)用場景分類

2.聯(lián)邦學(xué)習(xí)的核心技術(shù)優(yōu)勢

第一，原始數(shù)據(jù)不出本地。聯(lián)邦學(xué)習(xí)的核心優(yōu)勢是原始數(shù)據(jù)無需匯聚在云端服務(wù)器或者數(shù)據(jù)中心，而是保留在本地，在本地開展模型訓(xùn)練與模型參數(shù)、梯度信息計(jì)算，進(jìn)而將計(jì)算后的參數(shù)、梯度信息上傳至可信的中央?yún)f(xié)調(diào)方。通過此種方式有效共享數(shù)據(jù)，能夠打破數(shù)據(jù)孤島；并且，在原始數(shù)據(jù)不相互流轉(zhuǎn)的情況下還能夠更好地保障數(shù)據(jù)安全。

第二，多方協(xié)作構(gòu)建模型。聯(lián)邦學(xué)習(xí)模型訓(xùn)練過程中是有兩個(gè)或者兩個(gè)以上的數(shù)據(jù)擁有者共同參與、協(xié)作構(gòu)建一個(gè)共享的機(jī)器學(xué)習(xí)模型，并且可以在身份經(jīng)過認(rèn)證的情況下隨時(shí)加入與退出。隨著多方數(shù)據(jù)擁有者參與得越多越深入，模型構(gòu)建會(huì)更加準(zhǔn)確，遠(yuǎn)比單一方面力量構(gòu)建模型更加省時(shí)、省力，更加靈活。

第三，模型特征信息加密傳輸。在聯(lián)邦學(xué)習(xí)模型訓(xùn)練過程中，由于像模型參數(shù)、梯度信息等模型特征信息在更新時(shí)有時(shí)會(huì)包含用戶的隱私信息，容易受到推理攻擊，因此在傳輸過程中都會(huì)經(jīng)過加密處理等操作來保護(hù)隱私[13]。在聯(lián)邦學(xué)習(xí)中常用的隱私保護(hù)技術(shù)有安全多方計(jì)算、同態(tài)加密以及差分隱私。其中，安全多方計(jì)算與同態(tài)加密屬于加密類方法，主要是將明文編碼為密文的形式，只允許特定的人員解密；差分隱私屬于數(shù)據(jù)擾動(dòng)類方法，主要是在數(shù)據(jù)庫中添加隨機(jī)化噪聲，使得數(shù)據(jù)庫中的用戶信息混淆，進(jìn)而保證敵手無法根據(jù)輸出的不同推測用戶敏感信息。

綜上所述，在智能時(shí)代的學(xué)生綜合素養(yǎng)評(píng)價(jià)中，若要解決數(shù)據(jù)共享與數(shù)據(jù)安全問題，可以充分發(fā)揮聯(lián)邦學(xué)習(xí)的技術(shù)優(yōu)勢，以此作為連接現(xiàn)存數(shù)據(jù)孤島與隱私保護(hù)的橋梁，進(jìn)而實(shí)現(xiàn)以下目的：第一，推進(jìn)理論與技術(shù)雙向驅(qū)動(dòng)的學(xué)生綜合素養(yǎng)評(píng)價(jià)新范式的實(shí)踐應(yīng)用，健全學(xué)生綜合評(píng)價(jià)；第二，確保能夠有效獲取學(xué)校、區(qū)域、專門機(jī)構(gòu)以及教育科技企業(yè)關(guān)于學(xué)生素養(yǎng)較為全面的數(shù)據(jù)，在滿足數(shù)據(jù)隱私安全和監(jiān)管要求的前提下，將可信數(shù)據(jù)用于建模計(jì)算，實(shí)現(xiàn)科學(xué)、 客觀、專業(yè)評(píng)價(jià)學(xué)生綜合素養(yǎng)的發(fā)展；第三，促進(jìn)學(xué)生綜合素養(yǎng)評(píng)價(jià)結(jié)果在高校招生、單位招聘等中的真應(yīng)用，發(fā)揮評(píng)價(jià)結(jié)果的正確導(dǎo)向作用。

三、基于聯(lián)邦學(xué)習(xí)的學(xué)生綜合素養(yǎng)評(píng)價(jià)數(shù)據(jù)共享與安全保護(hù)的技術(shù)邏輯

基于上述對(duì)學(xué)生綜合素養(yǎng)評(píng)價(jià)數(shù)據(jù)共享、安全保護(hù)難題與聯(lián)邦學(xué)習(xí)技術(shù)的契合點(diǎn)分析，本研究設(shè)計(jì)了“云-邊-端”三層的學(xué)生綜合素養(yǎng)評(píng)價(jià)數(shù)據(jù)共享與安全保護(hù)技術(shù)邏輯架構(gòu)(如下頁圖2所示)。智能時(shí)代，學(xué)生綜合素養(yǎng)評(píng)價(jià)的數(shù)據(jù)來源眾多，并且需要多方共享數(shù)據(jù)參與建模，而其中大量原始數(shù)據(jù)共享還存在困難。因此，在本研究的技術(shù)邏輯體系下，云由可信的中心云和機(jī)構(gòu)云構(gòu)成，均可扮演中央?yún)f(xié)調(diào)方這一角色；邊是指邊緣計(jì)算，考慮到學(xué)校所產(chǎn)生的海量非結(jié)構(gòu)化數(shù)據(jù)與區(qū)域之間的傳輸帶寬問題，可以利用部署在學(xué)校的設(shè)備完成部分模型訓(xùn)練計(jì)算任務(wù)，再將其與中心云交換模型參數(shù)，由此可以在學(xué)校部署的邊緣計(jì)算處理大量非結(jié)構(gòu)化數(shù)據(jù)；端是指手機(jī)、平板、電腦等終端設(shè)備。

圖2 基于聯(lián)邦學(xué)習(xí)的數(shù)據(jù)共享與安全保護(hù)技術(shù)邏輯架構(gòu)

(一)技術(shù)邏輯的總體思路

首先，根據(jù)國家相關(guān)法律法規(guī)的規(guī)定，在進(jìn)行數(shù)據(jù)交換前獲得數(shù)據(jù)擁有者的授權(quán)和允許后，中心云(主要指具有高可信的高等院校、研究機(jī)構(gòu)、教育主管部門等)將初始的學(xué)生綜合素養(yǎng)聯(lián)邦學(xué)習(xí)全局模型依次下發(fā)送給專門機(jī)構(gòu)(主要指政府所屬相關(guān)事業(yè)單位，如教育部教育技術(shù)與資源發(fā)展中心、學(xué)籍管理中心、科技館等)、區(qū)域、學(xué)校、教育科技企業(yè)、學(xué)生個(gè)體(端)等數(shù)據(jù)擁有者；其次，各數(shù)據(jù)擁有者分別使用各自所擁有的關(guān)于學(xué)生綜合素養(yǎng)數(shù)據(jù)對(duì)該聯(lián)邦學(xué)習(xí)模型進(jìn)行局部訓(xùn)練，并通過使用安全多方計(jì)算、同態(tài)加密以及差分隱私等方法對(duì)模型參數(shù)、梯度信息等進(jìn)行加密，并將加密后的信息發(fā)送給中心云；然后，中心云將各數(shù)據(jù)擁有者訓(xùn)練的模型特征信息進(jìn)行安全聚合，如常使用聯(lián)邦平均算法[14]對(duì)初始的學(xué)生綜合素養(yǎng)聯(lián)邦學(xué)習(xí)全局模型進(jìn)行更新，并加密返回聚合后的模型特征信息至各數(shù)據(jù)擁有者；最后，各數(shù)據(jù)擁有者解密從中心云接收的聚合后的模型特征信息，并使用解密結(jié)果在本地更新模型，進(jìn)入下一輪訓(xùn)練。上述操作會(huì)不斷重復(fù)迭代，直到中心云聚合后的學(xué)生綜合素養(yǎng)聯(lián)邦學(xué)習(xí)全局模型達(dá)到較好的擬合狀態(tài)為止。

(二)“云-云”“云-端”與“云-邊”層次的聯(lián)邦學(xué)習(xí)技術(shù)邏輯

面對(duì)教育應(yīng)用場景，聯(lián)邦學(xué)習(xí)的開展更多會(huì)在“云-云”層次進(jìn)行，由于其技術(shù)邏輯思路與上述論述的總體思路一樣，因此本節(jié)內(nèi)容不再重復(fù)闡述。此外，在上述總體思路指導(dǎo)之下，“云-邊”層次、“云-端”層次同樣也存在開展聯(lián)邦學(xué)習(xí)的可能，具體如下所述。但需要說明的是，在學(xué)生綜合素養(yǎng)評(píng)價(jià)中，由于全局模型需要的數(shù)據(jù)量和計(jì)算能力較大，在學(xué)校部署的 計(jì)算能力通常有限，因此暫不考慮“邊-端”層次應(yīng)用聯(lián)邦學(xué)習(xí)。

1.“云-端”層次

由于“端”基本由教育科技企業(yè)提供，如錄播設(shè)備、智能臺(tái)燈、智能平板等，因此“端”上數(shù)據(jù)除了學(xué)校能夠擁有以外，教育科技企業(yè)也能夠通過“端”進(jìn)行數(shù)據(jù)采集進(jìn)而上傳至企業(yè)云。這種情況下，聯(lián)邦學(xué)習(xí)將會(huì)按照上述總體思路在中心云協(xié)調(diào)下的學(xué)校、企業(yè)、區(qū)域、專門機(jī)構(gòu)之間進(jìn)行展開。然而，由于教育科技企業(yè)通過“端”采集學(xué)生數(shù)據(jù)進(jìn)而傳至企業(yè)云，這在數(shù)據(jù)采集、數(shù)據(jù)傳輸過程中均存在攻擊、學(xué)生隱私信息泄露的風(fēng)險(xiǎn)，因此即便通過這種聯(lián)邦學(xué)習(xí)方式構(gòu)建了學(xué)生綜合素養(yǎng)評(píng)價(jià)模型，但是也不是理想的聯(lián)邦學(xué)習(xí)技術(shù)運(yùn)用。對(duì)于這種情況，“云-端”層次存在兩種解決方案。第一，建立中心云與“端”的直接聯(lián)系，進(jìn)而開展聯(lián)邦學(xué)習(xí)，保障“端”上關(guān)于學(xué)生綜合素養(yǎng)的數(shù)據(jù)不出本地。具體而言，中心云與教育科技企業(yè)達(dá)成協(xié)議，將聯(lián)邦學(xué)習(xí)算法嵌入在“端”上，使得“端”可以直接下載中心云初始的學(xué)生綜合素養(yǎng)聯(lián)邦學(xué)習(xí)全局模型，進(jìn)而利用自己擁有的數(shù)據(jù)進(jìn)行局部模型訓(xùn)練、加密上傳模型特征信息、更新模型等一系列具體操作。第二，建立機(jī)構(gòu)云(主要指教育科技企業(yè))與“端”的直接聯(lián)系。教育科技企業(yè)通過協(xié)議在自研的“端”上嵌入聯(lián)邦學(xué)習(xí)算法，以避免原始數(shù)據(jù)交換而導(dǎo)致隱私泄露的風(fēng)險(xiǎn)，直接在機(jī)構(gòu)云與“端”之間開展聯(lián)邦學(xué)習(xí)。教育科技企業(yè)將中心云下發(fā)初始的學(xué)生綜合素養(yǎng)聯(lián)邦學(xué)習(xí)全局模型與“端”建立聯(lián)邦學(xué)習(xí)模型，執(zhí)行模型訓(xùn)練，“端”更新模型特征信息回傳給機(jī)構(gòu)云，最后中心云采用遷移學(xué)習(xí)的方式實(shí)現(xiàn)全局模型聚合，更新學(xué)生綜合素養(yǎng)聯(lián)邦學(xué)習(xí)全局模型。這兩種解決方案中，其他數(shù)據(jù)擁有者(專門機(jī)構(gòu)、區(qū)域、學(xué)校)仍然會(huì)按照上述總體思路開展聯(lián)邦學(xué)習(xí)，進(jìn)行建模，繼而完善學(xué)生綜合素養(yǎng)評(píng)價(jià)模型，這里不再贅述。

2.“云-邊”層次

聯(lián)邦學(xué)習(xí)與邊緣計(jì)算的結(jié)合與互補(bǔ)是一種必然的趨勢[15]，因?yàn)樵谶吘売?jì)算中，邊緣層服務(wù)器通過邊緣聚合、邊緣緩存、計(jì)算卸載等方式能夠減輕機(jī)構(gòu)云甚至中心云的存儲(chǔ)壓力與計(jì)算壓力，提升整體的服務(wù)性能[16]，尤其是面對(duì)海量非結(jié)構(gòu)化的視頻數(shù)據(jù)分析時(shí)[17]。在學(xué)生綜合素養(yǎng)評(píng)價(jià)過程中，學(xué)校會(huì)產(chǎn)生大量的諸如課堂錄像、體質(zhì)測評(píng)錄像等視頻數(shù)據(jù)，將如此多的視頻數(shù)據(jù)直接上傳云端無疑會(huì)增加不必要的通信成本，同時(shí)數(shù)據(jù)安全風(fēng)險(xiǎn)也大大增加。對(duì)于這種情況，我們可以在學(xué)校部署邊緣計(jì)算開展邊緣聚合，再進(jìn)行學(xué)生綜合素養(yǎng)聯(lián)邦學(xué)習(xí)全局模型的聚合與更新。此時(shí)，“云-邊”層次同樣存在兩種解決方案。第一，建立中心云與“邊”的直接聯(lián)系，進(jìn)而開展聯(lián)邦學(xué)習(xí)。具體而言，中心云將初始的學(xué)生綜合素養(yǎng)聯(lián)邦學(xué)習(xí)模型下發(fā)至學(xué)校邊緣層服務(wù)器，依據(jù)學(xué)校產(chǎn)生的數(shù)據(jù)進(jìn)行模型訓(xùn)練得到模型特征信息，但此時(shí)模型特征信息不會(huì)直接返回至中心云，而是在“邊”上先進(jìn)行模型特征信息的聚合，最后將邊緣聚合后的模型特征信息返回至中心云，繼而進(jìn)行全局模型的聚合與更新。這樣做的優(yōu)點(diǎn)是在極大降低通信成本的同時(shí)保證了學(xué)校數(shù)據(jù)“足不出戶”。第二，在機(jī)構(gòu)云(主要指區(qū)域)與“邊”之間建立聯(lián)邦學(xué)習(xí)模型。聯(lián)邦學(xué)習(xí)開展的思路與中心云與“邊”相似，最后同樣可以采用遷移學(xué)習(xí)的方式將區(qū)域訓(xùn)練的模型，聚合至中心云。在“云-邊”的兩種解決方案中，其他數(shù)據(jù)擁有者(專門機(jī)構(gòu)、教育科技企業(yè)、學(xué)生端)一如既往地按照上述總體思路開展聯(lián)邦學(xué)習(xí)，完成模型構(gòu)建，這里也不再贅述。

四、實(shí)現(xiàn)場景

依據(jù)上述論述可知，聯(lián)邦學(xué)習(xí)可以分為橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)以及聯(lián)邦遷移學(xué)習(xí)，能夠針對(duì)性適應(yīng)不同的數(shù)據(jù)樣本以及數(shù)據(jù)特征分布的場景。因此，為實(shí)現(xiàn)聯(lián)邦學(xué)習(xí)技術(shù)對(duì)我國學(xué)生綜合素養(yǎng)評(píng)價(jià)數(shù)據(jù)共享與安全保護(hù)的支持，本研究以上述技術(shù)邏輯為指導(dǎo)，重點(diǎn)對(duì)三類實(shí)現(xiàn)場景進(jìn)行說明，具體如下所述。

(一)橫向聯(lián)邦學(xué)習(xí)中的學(xué)生自主學(xué)習(xí)素養(yǎng)研究

學(xué)生自主學(xué)習(xí)可以發(fā)生在多個(gè)場域，比如學(xué)校、家庭、科技場館等，相對(duì)應(yīng)形成了校內(nèi)自主學(xué)習(xí)數(shù)據(jù)、家庭自主學(xué)習(xí)數(shù)據(jù)以及科技場館自主探究數(shù)據(jù)，然而由于商業(yè)利益、數(shù)據(jù)安全等原因這些數(shù)據(jù)在共享方面存在一定的困難，影響模型構(gòu)建。事實(shí)上，教育科技企業(yè)A(存有校內(nèi)自主學(xué)習(xí)數(shù)據(jù))、教育科技企業(yè)B(存有家庭自主學(xué)習(xí)數(shù)據(jù))、科技館(存有科技館自主探究數(shù)據(jù))等數(shù)據(jù)擁有者擁有不同體量的自主學(xué)習(xí)數(shù)據(jù)，他們?cè)诓煌貐^(qū)中的學(xué)生樣本不存在交集，甚至在同一地區(qū)中的學(xué)生樣本交集都很小或者不存在交集，但是表征學(xué)生自主學(xué)習(xí)素養(yǎng)的數(shù)據(jù)在特征維度上基本上能夠保持一致(如均有自主學(xué)習(xí)時(shí)長、自主學(xué)習(xí)速度、自主學(xué)習(xí)間隔等數(shù)據(jù)特征維度)，也就是說數(shù)據(jù)特征維度存在較大的重疊。因此，這種情況下需要用學(xué)生自主學(xué)習(xí)素養(yǎng)數(shù)據(jù)特征重疊的教育科技企業(yè)A、教育科技企業(yè)B、科技館的所有學(xué)生樣本數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，進(jìn)而開展基于橫向聯(lián)邦學(xué)習(xí)的學(xué)生自主學(xué)習(xí)素養(yǎng)評(píng)價(jià)模型構(gòu)建，具體如下頁圖3所示。

圖3 基于橫向聯(lián)邦學(xué)習(xí)的學(xué)生自主學(xué)習(xí)素養(yǎng)示例

設(shè){DA}、{DB}、{D科}分別表示是學(xué)生自主學(xué)習(xí)素養(yǎng)數(shù)據(jù)特征重疊的教育科技企業(yè)A、教育科技企業(yè)B以及科技館的學(xué)生樣本集，基于橫向聯(lián)邦學(xué)習(xí)的學(xué)生自主學(xué)習(xí)素養(yǎng)評(píng)價(jià)模型訓(xùn)練過程整體可以概括為：首先，教育科技企業(yè)A、教育科技企業(yè)B以及科技館從中心云下載初始的學(xué)生自主學(xué)習(xí)素養(yǎng)聯(lián)邦學(xué)習(xí)全局模型；其次，各數(shù)據(jù)擁有者分別用各自所屬的學(xué)生樣本集{DA}、{DB}、{D科}在本地獨(dú)立地計(jì)算模型參數(shù)(如自主學(xué)習(xí)時(shí)長、自主學(xué)習(xí)速度、自主學(xué)習(xí)間隔等)或模型梯度，并使用加密技術(shù)對(duì)參數(shù)或梯度信息進(jìn)行加密，進(jìn)而發(fā)送給中心云；然后，中心云可以使用基于同態(tài)加密的加權(quán)平均(梯度平均、模型平均)等算法對(duì)發(fā)送來的參數(shù)或梯度信息進(jìn)行安全聚合，更新學(xué)生自主學(xué)習(xí)素養(yǎng)聯(lián)邦學(xué)習(xí)全局模型，并以加密方式將聚合后的參數(shù)或梯度信息返回各數(shù)據(jù)擁有者；最后，各數(shù)據(jù)擁有者對(duì)收到的新參數(shù)或梯度信息進(jìn)行解密，并使用解密后的參數(shù)或梯度結(jié)果更新本地模型，進(jìn)入下一輪訓(xùn)練，如此迭代循環(huán)，直至損失函數(shù)收斂。中心云將最后一輪本地計(jì)算的參數(shù)或梯度信息進(jìn)行聚合，輸出最終的學(xué)生自主學(xué)習(xí)素養(yǎng)評(píng)價(jià)模型，進(jìn)行測試驗(yàn)證。

(二)縱向聯(lián)邦學(xué)習(xí)中的學(xué)生體質(zhì)健康素養(yǎng)研究

智能時(shí)代，構(gòu)建學(xué)生體質(zhì)健康素養(yǎng)評(píng)價(jià)模型僅僅依靠學(xué)校的日常飲食營養(yǎng)數(shù)據(jù)往往還不夠，還需要定期的、官方的體質(zhì)監(jiān)測數(shù)據(jù)，甚至是家庭運(yùn)動(dòng)數(shù)據(jù)，共同支撐模型構(gòu)建。目前，這些數(shù)據(jù)分別存儲(chǔ)在學(xué)校、教育科技企業(yè)以及教育主管部門，尚未能夠有效匯聚共享。在同一區(qū)域，學(xué)校、教育科技企業(yè)以及教育主管部門等數(shù)據(jù)擁有者的數(shù)據(jù)有著不同的數(shù)據(jù)特征維度，但是他們覆蓋的學(xué)生樣本存在一定的交集，即學(xué)生樣本存在較大的重疊。因此，這種情況下需要用學(xué)校、教育科技企業(yè)以教育主管部門重疊的學(xué)生樣本數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，其數(shù)據(jù)特征維度擴(kuò)展到三方數(shù)據(jù)庫中所涵蓋的所有特征字段，繼而開展基于縱向聯(lián)邦學(xué)習(xí)的學(xué)生體質(zhì)健康素養(yǎng)評(píng)價(jià)模型構(gòu)建，具體如圖4所示。

圖4 基于縱向聯(lián)邦學(xué)習(xí)的學(xué)生體質(zhì)健康素養(yǎng)示例

設(shè){D學(xué)}、{D企}、{D教}分別表示學(xué)校、教育科技企業(yè)以教育主管部門重疊的學(xué)生樣本數(shù)據(jù)集，{D學(xué)}∪{D企}∪{D教}表示擁有共同學(xué)生的數(shù)據(jù)集，基于縱向聯(lián)邦學(xué)習(xí)的學(xué)生體質(zhì)健康素養(yǎng)評(píng)價(jià)模型訓(xùn)練過程一般分為兩部分：第一部分，采用加密的方式進(jìn)行學(xué)生樣本ID對(duì)齊，得到具有共同學(xué)生的涵蓋三方數(shù)據(jù)庫中所有特征字段的數(shù)據(jù)集{D學(xué)}∪{D企}∪{D教}。第二部分，各數(shù)據(jù)擁有者在本地使用數(shù)據(jù)集{D學(xué)}∪{D企}∪{D教}協(xié)同訓(xùn)練學(xué)生體質(zhì)健康素養(yǎng)聯(lián)邦學(xué)習(xí)全局模型。具體步驟為：首先，中心云構(gòu)建的初始學(xué)生體質(zhì)健康素養(yǎng)聯(lián)邦學(xué)習(xí)全局模型下發(fā)學(xué)校、教育科技企業(yè)以及教育主管部門，并分別分發(fā)公共密鑰；其次，各數(shù)據(jù)擁有者使用數(shù)據(jù)集{D學(xué)}∪{D企}∪{D教}在本地進(jìn)行加密模型訓(xùn)練，并通過加密方式兩兩之間交換中間計(jì)算結(jié)果，以加密計(jì)算模型參數(shù)(如每分鐘跳繩數(shù)、步數(shù)、每天蛋白質(zhì)攝入量等)或梯度信息；然后，各數(shù)據(jù)擁有者將加密的計(jì)算結(jié)果上傳至中心云，由中心云進(jìn)行解密，更新學(xué)生體質(zhì)健康素養(yǎng)聯(lián)邦學(xué)習(xí)全局模型；最后，中心云將解密后的計(jì)算結(jié)果以及損失信息返回各數(shù)據(jù)擁有者，用于更新各自本地模型，進(jìn)入下一輪訓(xùn)練。模型收斂同上，這里不再贅述。

(三)聯(lián)邦遷移學(xué)習(xí)中的學(xué)生數(shù)學(xué)素養(yǎng)研究

當(dāng)跨機(jī)構(gòu)、跨區(qū)域開展模型構(gòu)建時(shí)，受不同機(jī)構(gòu)、區(qū)域模型構(gòu)建能力、數(shù)據(jù)體量、數(shù)據(jù)標(biāo)簽、數(shù)據(jù)孤島等影響，有時(shí)需要將聯(lián)邦學(xué)習(xí)與遷移學(xué)習(xí)結(jié)合起來使用，通過利用或者調(diào)適相似任務(wù)、相似領(lǐng)域中的模型，構(gòu)建一個(gè)高性能的機(jī)器學(xué)習(xí)模型[18]，進(jìn)而達(dá)到共同服務(wù)多方的目的。比如，現(xiàn)需要對(duì)區(qū)域A(教育信息化水平較高)和區(qū)域B(教育信息化水平較低)的學(xué)生數(shù)學(xué)素養(yǎng)進(jìn)行評(píng)價(jià)，但是在現(xiàn)實(shí)意義上兩個(gè)區(qū)域所擁有的原始數(shù)據(jù)無法交換，也不輕易能夠匯聚至上一層研究機(jī)構(gòu)等，加之兩個(gè)區(qū)域關(guān)于學(xué)生數(shù)學(xué)素養(yǎng)的數(shù)據(jù)特征存在的交集較小(學(xué)生樣本不存在交集)，因此這種情況下可以在兩個(gè)區(qū)域之間開展聯(lián)邦遷移學(xué)習(xí)，利用雙方數(shù)據(jù)共同構(gòu)建一個(gè)學(xué)生數(shù)學(xué)素養(yǎng)評(píng)價(jià)模型，進(jìn)而開展評(píng)價(jià)，具體如圖5所示。

圖5 基于聯(lián)邦遷移學(xué)習(xí)的學(xué)生數(shù)學(xué)素養(yǎng)示例

區(qū)域A和區(qū)域B與教育主管部門之間開展縱向聯(lián)邦學(xué)習(xí)的思路如前所述，這里不再贅述。設(shè){D區(qū)域A}、{D區(qū)域B}分別表示區(qū)域A和區(qū)域B關(guān)于學(xué)生數(shù)學(xué)素養(yǎng)的數(shù)據(jù)集，區(qū)域A和區(qū)域B之間的聯(lián)邦遷移學(xué)習(xí)過程如下：第一，區(qū)域A與區(qū)域B分別利用{D區(qū)域A}、{D區(qū)域B}構(gòu)建初始學(xué)生數(shù)學(xué)素養(yǎng)評(píng)價(jià)模型(這里是指前述縱向聯(lián)邦學(xué)習(xí)之后得到的學(xué)生數(shù)學(xué)素養(yǎng)評(píng)價(jià)模型)M數(shù)A、M數(shù)B；第二，雙方互發(fā)公共秘鑰，并通過加密方式將各自模型計(jì)算的結(jié)果信息(如學(xué)習(xí)時(shí)長、練習(xí)數(shù)量、訂正頻率、討論頻率等)發(fā)送給對(duì)方，交換中間結(jié)果；第三，雙方在本地計(jì)算接收到的模型特征信息，并加密發(fā)送給對(duì)方；第四，雙方解密結(jié)果信息，更新本地模型，循環(huán)往復(fù)，致使模型收斂，最終得到一個(gè)高性能的學(xué)生數(shù)學(xué)素養(yǎng)評(píng)價(jià)模型M數(shù)FEL。

五、結(jié)語

智能時(shí)代，倘若數(shù)據(jù)共享與數(shù)據(jù)安全保護(hù)沒有得到有效解決，那么理論與技術(shù)雙向驅(qū)動(dòng)的學(xué)生綜合素養(yǎng)評(píng)價(jià)新范式將難以落地，勢必影響學(xué)生綜合素養(yǎng)評(píng)價(jià)工作的開展。具有原始數(shù)據(jù)不出本地、多方協(xié)作構(gòu)建模型、模型特征信息加密傳輸?shù)群诵募夹g(shù)優(yōu)勢的聯(lián)邦學(xué)習(xí)，恰好契合解決這一痛難點(diǎn)的需求。在聯(lián)邦學(xué)習(xí)技術(shù)的核心思路指導(dǎo)下，本研究初步設(shè)計(jì)了“云-邊-端”三層的技術(shù)邏輯架構(gòu)，以解決學(xué)生綜合素養(yǎng)評(píng)價(jià)數(shù)據(jù)難共享、隱私易泄露等難題，并針對(duì)三類實(shí)現(xiàn)場景進(jìn)行了說明，以推進(jìn)聯(lián)邦學(xué)習(xí)技術(shù)在未來的具體應(yīng)用。需要注意的是，聯(lián)邦學(xué)習(xí)作為新興起的機(jī)器學(xué)習(xí)技術(shù)，不可避免具有一些技術(shù)缺陷。第一，雖然聯(lián)邦學(xué)習(xí)通過訓(xùn)練模型參數(shù)而不接觸原始數(shù)據(jù)的方式做到隱私保護(hù)，但是有可能通過推理攻擊等方式反推出部分?jǐn)?shù)據(jù)信息[19]。第二，聯(lián)邦學(xué)習(xí)多輪的模型參數(shù)發(fā)送與迭代，將帶來巨大的通信開銷成本。第三，聯(lián)邦學(xué)習(xí)涉及多方利益主體，且各方數(shù)據(jù)擁有者處于一個(gè)不平衡的狀態(tài)，一旦擁有絕對(duì)優(yōu)勢的相關(guān)主體不愿意參與聯(lián)邦學(xué)習(xí)，中途退出，將改變聯(lián)邦學(xué)習(xí)模型性能，影響聯(lián)邦學(xué)習(xí)的應(yīng)用。因此，未來要實(shí)現(xiàn)大規(guī)模應(yīng)用研究成果，“云-邊-端”之間的安全隱私保護(hù)機(jī)制的加強(qiáng)、通信成本以及激勵(lì)機(jī)制的設(shè)置等問題需要得到重點(diǎn)關(guān)注，并予以逐步解決。