摘要: 作為新一輪科技革命的核心驅(qū)動力,人工智能正在全方位融入并重塑教育生態(tài)系統(tǒng)。《教育強(qiáng)國建設(shè)規(guī)劃綱要(2024—2035年)》在強(qiáng)調(diào)人工智能助力教育變革時,特別指出要強(qiáng)化數(shù)據(jù)安全、人工智能算法和倫理安全。人工智能嵌入教育數(shù)據(jù)治理,雖可賦能教育治理數(shù)智化,但也對公民受教育權(quán)、隱私權(quán)等基本權(quán)利構(gòu)成挑戰(zhàn)甚至威脅。為防范“數(shù)字利維坦”危機(jī),亟須相應(yīng)的法律規(guī)制。歐盟《人工智能法》在教育數(shù)據(jù)治理領(lǐng)域,體現(xiàn)了保障公民受教育權(quán)、促進(jìn)教育數(shù)據(jù)開放共享、鼓勵教育科技負(fù)責(zé)任創(chuàng)新的價值意蘊。其分等級治理、全鏈條治理及契約性治理的多重策略,對我國在人工智能時代教育數(shù)據(jù)治理的法律應(yīng)對有重要的借鑒價值。
關(guān)鍵詞:人工智能;教育數(shù)據(jù)治理;歐盟《人工智能法》;法律規(guī)制
中圖分類號:G434" " " " " 文獻(xiàn)標(biāo)識碼:A " " " 文章編號:1672-0717(2025)02-0088-11
英國哲學(xué)家霍布斯在其經(jīng)典著作《利維坦》中,借用《圣經(jīng)》中上帝創(chuàng)造海上巨獸“利維坦”這一意象,將國家隱喻為人類自己制造的、聯(lián)結(jié)最高主權(quán)的、具有絕對權(quán)威的“利維坦”。“國家利維坦”的誕生,旨在解決人類自身無法解決的問題,避免人類在自然狀態(tài)下走向每個人反對每個人的戰(zhàn)爭[1]。然而,在享受國家保障安全美好生活的同時,如何將“國家利維坦”關(guān)進(jìn)牢籠,約束國家權(quán)力的濫用,也一直是現(xiàn)代社會關(guān)注的核心議題。在以數(shù)據(jù)為新型“血肉”的算法時代,“利維坦”完成數(shù)字化重構(gòu),“數(shù)字利維坦”隨之誕生。人們在對大數(shù)據(jù)、云計算、人工智能等數(shù)字技術(shù)高度依賴和崇拜的同時,也開始警惕“寡頭壟斷”型主體沿循“算法-規(guī)則-權(quán)力”的路徑生成“數(shù)字特權(quán)”[2],以及數(shù)字巨獸對人們隱私空間與數(shù)據(jù)安全的瘋狂侵蝕。人工智能在推動教育深刻變革的同時蘊含著巨大的風(fēng)險,遏制風(fēng)險的關(guān)鍵是要通過法律規(guī)制馴化人工智能這只“數(shù)字利維坦”。作為數(shù)智時代的新型生產(chǎn)要素,教育數(shù)據(jù)是教育數(shù)字化、網(wǎng)格化、智能化的基礎(chǔ)。教育數(shù)據(jù)通常被認(rèn)為是對教育規(guī)劃、教育教學(xué)、教育科研、教育管理等行為過程及輸入輸出的真實反映,涉及大量公共數(shù)據(jù)及個人隱私信息[3]。隨著人工智能與教育領(lǐng)域日益密切的融合,不同類型、體量龐大的教育原始數(shù)據(jù)背后蘊含的復(fù)雜信息被深度挖掘,為教育主體的理性治理提供決策依據(jù),賦能教育高質(zhì)量發(fā)展。與此同時,教育數(shù)據(jù)在采集、傳輸、存儲及應(yīng)用等多個環(huán)節(jié)也面臨著前所未有的挑戰(zhàn)。
面對人工智能治理的嶄新課題,世界各國都重視通過立法予以規(guī)范。歐盟采用統(tǒng)一性專門立法,通過具有法典性質(zhì)的《人工智能法》(Artificial Intelligence Act)統(tǒng)一監(jiān)管規(guī)則,其中明確涉及教育領(lǐng)域;美國積極推動各州自治,通過地方性立法防范人工智能風(fēng)險。我國人工智能立法呈現(xiàn)出“小切口”的特點,對生成式人工智能、自動駕駛汽車及深度合成等問題出臺了相關(guān)部門規(guī)章及地方規(guī)章。雖然國務(wù)院2017年印發(fā)的《新一代人工智能發(fā)展規(guī)劃》中就指出人工智能技術(shù)對法律與社會倫理、個人隱私等問題可能帶來的深刻挑戰(zhàn),第十三屆、十四屆全國人大常委會立法規(guī)劃也均將人工智能立法列入其中,但我國目前尚未實現(xiàn)人工智能的統(tǒng)一立法。學(xué)界提出的《人工智能法示范法1.0(專家建議稿)》、《人工智能示范法2.0(專家建議稿)》(以下簡稱“《專家建議稿2.0》”)及《中華人民共和國人工智能法(學(xué)者建議稿)》(以下簡稱“《學(xué)者建議稿》”)等建言,體現(xiàn)了人工智能風(fēng)險管理的整體治理思路,但均未針對教育領(lǐng)域制定特別條款。此外,我國現(xiàn)行的教育法律法規(guī)尚未將包括人工智能在內(nèi)的數(shù)字技術(shù)納入重點考量范圍。在“教育法典化”進(jìn)展如火如荼的背景下,作為教育領(lǐng)域“根本法”的教育法典有望對人工智能教育應(yīng)用展開最為周延科學(xué)的規(guī)范,助益人工智能教育應(yīng)用的健康發(fā)展[4]。因此,無論在人工智能立法還是教育法典編纂過程中,人工智能在教育領(lǐng)域的使用所引發(fā)的風(fēng)險與挑戰(zhàn)都亟須得到我國法治的回應(yīng)。
《數(shù)字教育合作上海倡議》提出共商共議數(shù)字教育治理,倡導(dǎo)各國共同研發(fā)人工智能應(yīng)用指南和管理規(guī)范,確保數(shù)字教育合乎倫理規(guī)范、安全可信。歐盟是全球教育水平領(lǐng)先的地區(qū)之一,其在推進(jìn)教育數(shù)字化轉(zhuǎn)型戰(zhàn)略方面始終走在世界前沿。2021年4月,歐盟委員會在推進(jìn)“數(shù)字單一市場”建設(shè)的進(jìn)程中,提出了《人工智能法》立法草案;經(jīng)多輪修訂與討論,2023年6月,歐洲議會以多數(shù)票通過了《人工智能法》的談判授權(quán)草案;2023年12月,歐盟理事會、歐洲議會和歐盟委員會就《人工智能法》立法文本達(dá)成三方共識;2024年5月,歐盟理事會批準(zhǔn)通過《人工智能法》[5]。2024年8月1日正式生效的歐盟《人工智能法》是世界范圍內(nèi)最先被提出的人工智能法案,為應(yīng)對人工智能系統(tǒng)風(fēng)險、支持人工智能技術(shù)創(chuàng)新做出了示范,其中涉及教育領(lǐng)域,對人工智能時代我國教育數(shù)據(jù)治理的法律應(yīng)對有重要的研究及參考價值。
一、歐盟《人工智能法》中教育數(shù)據(jù)治理的價值意蘊
“鑒于條款”(whereas clause)是歐盟立法的一個特點,被要求用于說明適用相關(guān)執(zhí)行條款(operative provision)的原因[6]。對歐盟《人工智能法》“鑒于條款”的解讀,有助于理解其具體適用條款蘊含的價值導(dǎo)向。歐盟《人工智能法》“鑒于條款”共180條,第1條對該法的立法目標(biāo)進(jìn)行了總體性闡釋,即為聯(lián)盟內(nèi)部市場中人工智能系統(tǒng)的開發(fā)、投放市場、投入使用及相關(guān)操作制定統(tǒng)一的法律規(guī)范體系。歐盟《人工智能法》的核心目標(biāo)是推動以人為中心、可信賴的人工智能應(yīng)用的廣泛發(fā)展,確保對《歐洲聯(lián)盟基本權(quán)利憲章》(以下簡稱“《憲章》”)中所規(guī)定的健康、安全和基本權(quán)利提供高標(biāo)準(zhǔn)的保護(hù)。此舉旨在防范人工智能系統(tǒng)在聯(lián)盟內(nèi)可能產(chǎn)生的有害影響,同時有效助力創(chuàng)新活動的開展。該條同時指出,《人工智能法》將確保基于人工智能的商品和服務(wù)的跨境自由流動,從而防止成員國對人工智能系統(tǒng)的開發(fā)、營銷和使用無端施加限制。歐盟《人工智能法》“鑒于條款”體現(xiàn)了保障公民受教育權(quán)、促進(jìn)教育數(shù)據(jù)開放共享及鼓勵教育科技負(fù)責(zé)任創(chuàng)新的教育數(shù)據(jù)治理的價值意蘊。
(一)教育數(shù)據(jù)治理是保障公民受教育權(quán)的基礎(chǔ)
在歐盟法體系中,保護(hù)基本權(quán)利原則被認(rèn)為是一項普遍適用的法律原則,具有憲法層面的重要地位。該原則不僅對歐盟各機(jī)構(gòu)的行為起到約束作用,確保其在行使職權(quán)時尊重和保障公民的基本權(quán)利,同時也要求成員國在貫徹執(zhí)行歐盟法時,嚴(yán)格遵循保護(hù)基本權(quán)利的原則[7]。《憲章》第14條對公民的受教育權(quán)進(jìn)行了規(guī)定,賦予每一位歐盟公民接受教育、職業(yè)培訓(xùn)與技能訓(xùn)練的權(quán)利,是非歧視原則在教育領(lǐng)域的體現(xiàn)。
在數(shù)字化嵌入教育活動的過程中,教育主體可能正在遭受算法支配,處于被“控制”的境遇,從而潛藏著對公民受教育權(quán)的挑戰(zhàn)[8]。2020年,受新冠疫情影響,英國學(xué)生“A-level”考試被取消,取而代之的是英格蘭資格與考試監(jiān)督辦公室(Ofqual)通過基于學(xué)生在學(xué)校的排名及學(xué)校歷史表現(xiàn)的新算法進(jìn)行評分,以矯正教師評估普遍偏高的問題[9]。然而,這次評分結(jié)果遭到了大量學(xué)生的抗議,因為近四成學(xué)生的教師評分被新算法下調(diào),且數(shù)據(jù)顯示,學(xué)費不菲的私立學(xué)校不成比例地從所使用的算法中受益,該評級系統(tǒng)因而被指責(zé)為“令人震驚的不公平”。最終,英國政府表示將停止使用基于有爭議的算法生成的考試成績。英國“A-level”考試相當(dāng)于中國的高考,學(xué)生必須達(dá)到一定的成績才能確保自己進(jìn)入理想的大學(xué)。這種選拔性的考試應(yīng)客觀公正地評價每位考生的能力和素質(zhì),為高等教育機(jī)會的分配提供依據(jù),以保障考生平等的受教育權(quán)。學(xué)生的成績、排名本屬于傳統(tǒng)類型的教育數(shù)據(jù),然而對這些教育數(shù)據(jù)疊加新式算法的運用,就有可能使數(shù)字技術(shù)潛藏的“算法歧視”“算法黑洞”影響學(xué)生受教育權(quán)的實現(xiàn)。經(jīng)濟(jì)合作與發(fā)展組織在《2023年數(shù)字教育展望:邁向高效數(shù)字教育生態(tài)系統(tǒng)》中表示,基于各種學(xué)生特征的算法偏見是存在的,但國際研究的缺乏限制了對偏見的理解。如果在數(shù)字時代對教育數(shù)據(jù)治理缺乏必要的警惕,數(shù)字技術(shù)侵害受教育權(quán)的現(xiàn)象可能會越來越普遍,越來越隱蔽,也越來越難以救濟(jì)。
歐盟《人工智能法》“鑒于條款”第56條指出,在教育領(lǐng)域部署人工智能系統(tǒng),對于促進(jìn)高質(zhì)量的數(shù)字教育和培訓(xùn),使學(xué)習(xí)者和教師獲得必要的數(shù)字技能和能力,積極參與經(jīng)濟(jì)、社會和民主進(jìn)程至關(guān)重要。然而,如果設(shè)計或使用不當(dāng),用于教育或職業(yè)培訓(xùn)的人工智能系統(tǒng)在某些情境下會實質(zhì)性影響一個人的教育和職業(yè)道路,進(jìn)而影響公民平等享有的受教育權(quán)。因此,歐盟《人工智能法》將此類人工智能系統(tǒng)視為高風(fēng)險系統(tǒng),劃歸至立法積極干預(yù)的強(qiáng)監(jiān)管領(lǐng)域。
(二)教育數(shù)據(jù)治理是促進(jìn)數(shù)據(jù)開放共享的前提
數(shù)據(jù)的核心價值在于互聯(lián)互通,數(shù)據(jù)的跨境流動已成為各類資源要素交換與共享的關(guān)鍵基礎(chǔ)和重要紐帶。處于割裂狀態(tài)的數(shù)據(jù)將造成數(shù)據(jù)孤島,降低整個社會的運行效率。教育數(shù)據(jù)治理亦要促進(jìn)開放和共享。數(shù)據(jù)采集的樣本數(shù)量越充足、多樣性越豐富,數(shù)據(jù)分析的可行性和準(zhǔn)確度就越高。此外,不同部門、教育機(jī)構(gòu)及平臺之間若能最大限度地打破數(shù)據(jù)壁壘和數(shù)據(jù)壟斷,將極大地提升教育數(shù)據(jù)的使用效能[10]。
在數(shù)智時代,教育數(shù)據(jù)的跨境流動逐漸成為歐盟成員國之間共享教育資源的前提,歐盟面臨著教育數(shù)據(jù)開放共享和互通互聯(lián)方面的巨大需求。歐盟各國的教育體系存在較大差異、教育機(jī)構(gòu)種類繁多且數(shù)量龐大,在一定程度上阻礙了學(xué)生的跨國學(xué)習(xí)。“歐洲高等教育一體化”的概念伴隨博洛尼亞進(jìn)程的推進(jìn)而逐漸深入人心。為了建立互通有無的歐洲高等教育區(qū),歐洲學(xué)分轉(zhuǎn)換系統(tǒng)(European Credit Transfer System,ECTS)應(yīng)運而生。各國教育部部長對“歐洲學(xué)分”推崇備至,稱其為“學(xué)術(shù)歐元”,并試圖通過這種“統(tǒng)一貨幣”打通歐洲各國高等教育體系之間的壁壘[11]。ECTS的關(guān)鍵性文件包括課程目錄、學(xué)生申請表、學(xué)習(xí)協(xié)議及成績記錄單等,記載了關(guān)于學(xué)生跨境學(xué)習(xí)的教育數(shù)據(jù)。歷經(jīng)三十多年的發(fā)展,ECTS已然成為世界范圍內(nèi)學(xué)分積累與轉(zhuǎn)換制度的典范。雖然歐盟各成員國通過ECTS的實踐已在跨境教育數(shù)據(jù)流動與共享方面積累了大量的經(jīng)驗,但在人工智能時代教育數(shù)據(jù)的跨境流動面臨新的挑戰(zhàn),尤其是數(shù)據(jù)隱私與安全方面。
2018年,歐盟《通用數(shù)據(jù)保護(hù)條例》(General Data Protection Regulation,GDPR)正式生效。教育數(shù)據(jù)生命周期長、數(shù)量龐大、涉及大量未成年人隱私信息且包含多樣化的參與者,屬于特殊類型數(shù)據(jù)。法國教育數(shù)據(jù)倫理委員會2020年發(fā)布的《疫情背景下教育數(shù)據(jù)使用的倫理問題》報告討論了教育數(shù)據(jù)跨境流動引發(fā)的潛在問題。該報告指出,教育數(shù)據(jù)具有商業(yè)價值和運作模式,是一種國家戰(zhàn)略資源。然而,由于法國專業(yè)教育軟件缺少其他國家專業(yè)教育軟件的在線人數(shù)兼容力和功能性,一大部分法國教育參與者傾向于使用更便捷的在線教育軟件,而不是更尊重GDPR規(guī)則、更符合法國價值觀的在線教育軟件,導(dǎo)致大量的教育數(shù)據(jù)已經(jīng)掌握在一些國外平臺手中,對于數(shù)據(jù)的使用和處理難以監(jiān)管[12]。無論是出于對個人隱私數(shù)據(jù)的保護(hù),還是對國家數(shù)字主權(quán)和價值觀教育的擔(dān)憂,歐盟已關(guān)注到教育數(shù)據(jù)跨境流動的風(fēng)險。
歐盟《人工智能法》“鑒于條款”第8條指出,需要制定一個歐盟層面的法律框架,制定規(guī)范某些人工智能系統(tǒng)的市場投放與使用的統(tǒng)一規(guī)則,從而確保歐盟內(nèi)部市場的順利運作及對公共利益的高度保護(hù),使歐盟能夠受益于人工智能商品和服務(wù)的自由流動。在教育領(lǐng)域,教育數(shù)據(jù)的跨境自由流動是人工智能教育產(chǎn)品與人工智能教育服務(wù)跨境自由流動的前提。這種“自由流動”不是絕對的,而是在《人工智能法》框架下符合歐盟內(nèi)部市場規(guī)則和價值觀的“自由流動”,其目的是促進(jìn)歐盟內(nèi)部教育資源在安全、可靠、負(fù)責(zé)任的監(jiān)管框架下進(jìn)行共享、融合,提高教育資源利用率。
(三)教育數(shù)據(jù)治理是教育科技負(fù)責(zé)任創(chuàng)新的關(guān)鍵
當(dāng)前,人工智能技術(shù)日益深度融入教育領(lǐng)域,教育科技行業(yè)迅猛發(fā)展。一些傳統(tǒng)跨國教育公司,開始致力于轉(zhuǎn)型為數(shù)據(jù)驅(qū)動、數(shù)字優(yōu)先的全球教育領(lǐng)導(dǎo)者,他們通過收集、分析和使用大量教育數(shù)據(jù)和個人數(shù)據(jù),開發(fā)數(shù)字教育產(chǎn)品,提供數(shù)字教育服務(wù),發(fā)展學(xué)習(xí)平臺等數(shù)據(jù)基礎(chǔ)設(shè)施[13];同時,一些新興科技公司也瞄準(zhǔn)數(shù)字教育市場持續(xù)發(fā)力。根據(jù)全球教育智庫HolonIQ的統(tǒng)計,對教育科技初創(chuàng)企業(yè)的投資從2010年的5億美元飆升到2021年的200億美元;根據(jù)歐洲教育科技風(fēng)投公司Brighteye Ventures的統(tǒng)計,在全球范圍內(nèi),估值超過10億美元的教育科技“獨角獸”公司在2014年還不存在,在2021年就已有62家[14]。科技的創(chuàng)新在賦能教育數(shù)字化轉(zhuǎn)型的同時也帶了風(fēng)險與挑戰(zhàn)。歐盟提出“歐洲地平線計劃”(Horizon Europe),以“負(fù)責(zé)任發(fā)展”“負(fù)責(zé)任研究與創(chuàng)新”為焦點,強(qiáng)調(diào)新興技術(shù)的負(fù)責(zé)任創(chuàng)新對社會的積極貢獻(xiàn)和正向價值,減少新興技術(shù)帶來的負(fù)面影響[15]。在教育科技迅猛發(fā)展的背景下,如何確保負(fù)責(zé)任創(chuàng)新是教育數(shù)據(jù)治理必須考慮并解決的問題。
教育科技的負(fù)責(zé)任創(chuàng)新離不開教育數(shù)據(jù)治理。以O(shè)penAI公司的人工智能產(chǎn)品ChatGPT為例,其作為一款基于8 000億個單詞的語料庫(或45TB的文本數(shù)據(jù))訓(xùn)練的自然語言處理工具,已被測試通過美國執(zhí)業(yè)醫(yī)師考試、沃頓商學(xué)院MBA考試等。歐盟《人工智能法》“鑒于條款”第139條指出,為確保法律框架能促進(jìn)創(chuàng)新、面向未來并能抵御干擾,各成員國需確保本國相關(guān)主管機(jī)關(guān)在國家層面至少設(shè)立一個專門的人工智能“監(jiān)管沙盒”(regulatory sandbox),以便在嚴(yán)格監(jiān)管的環(huán)境下,推動創(chuàng)新性人工智能系統(tǒng)的開發(fā)與測試,待這些系統(tǒng)經(jīng)過充分驗證之后,再正式投放市場或投入實際應(yīng)用。“監(jiān)管沙盒”中的“沙盒”原本指一個可以隨心所欲進(jìn)行創(chuàng)作的裝滿沙子的盒子,就像在沙灘上作畫,只要海浪漫過,沙子就會恢復(fù)如新;后被延伸為計算機(jī)術(shù)語,指在沙盒中的試驗程序不必過分擔(dān)心測試結(jié)果是好是壞,一切都只發(fā)生在盒子當(dāng)中,再大的錯誤都不會影響外部的環(huán)境[16]。“監(jiān)管沙盒”制度最早被英國應(yīng)用于對金融科技的監(jiān)管,指在某種新興的金融科技模式正式進(jìn)入整個行業(yè)之前,先在相對絕緣的場景中進(jìn)行小規(guī)模監(jiān)管測試,既減少新興科技直接引入市場的潛在風(fēng)險,也降低相關(guān)科技創(chuàng)新企業(yè)的合規(guī)成本,進(jìn)而促進(jìn)金融科技的負(fù)責(zé)任發(fā)展與創(chuàng)新。歐盟《人工智能法》將“監(jiān)管沙盒”制度推廣到各個領(lǐng)域,對教育科技的負(fù)責(zé)任創(chuàng)新有積極而深遠(yuǎn)的影響。
二、歐盟《人工智能法》中教育數(shù)據(jù)治理的多重策略
在教育數(shù)字化轉(zhuǎn)型和推進(jìn)治理能力現(xiàn)代化的背景下,教育數(shù)據(jù)治理已不再是單純的教育問題,而是與政治、經(jīng)濟(jì)、科技、倫理等多方面因素密切交織,變得日益復(fù)雜而深刻。為應(yīng)對人工智能時代帶來的重重挑戰(zhàn),適應(yīng)治理范式變革的時代要求,歐盟《人工智能法》通過分等級治理、全鏈條治理及契約性治理,為世界各國作出了重要的制度示范。
(一)分等級治理:依照教育數(shù)據(jù)所屬人工智能系統(tǒng)的不同風(fēng)險等級進(jìn)行治理
歐盟采取“基于風(fēng)險”(risk-based)的規(guī)制進(jìn)路,針對“不可接受的風(fēng)險”(unacceptable risk)、“高風(fēng)險”(high risk)、“有限風(fēng)險”(limited risk)及“最小風(fēng)險”(minimal risk)這四種不同風(fēng)險等級的人工智能系統(tǒng),設(shè)計與其風(fēng)險成比例的約束性規(guī)則,對人工智能系統(tǒng)運作所依賴的數(shù)據(jù)治理同樣適用。
首先,歐盟《人工智能法》禁止可能帶來“不可接受的風(fēng)險”的人工智能系統(tǒng)。在教育領(lǐng)域,“禁止的人工智能實踐”明確列舉了“在教育機(jī)構(gòu)使用人工智能系統(tǒng)識別自然人的情感”這一情境。歐盟《人工智能法》在說明部分解釋了禁止這類情境的原因與教育場景下的權(quán)力不平衡及情感識別類人工智能系統(tǒng)的侵入性有關(guān)。考慮到人工智能技術(shù)識別或推斷情緒的科學(xué)基礎(chǔ)被高度質(zhì)疑,且情緒的表達(dá)在不同的文化、情況下存在顯著差異,情感識別類人工智能系統(tǒng)存在可靠性有限、缺乏特異性和通用性有限等主要缺點,可能導(dǎo)致對某些人或其所屬群體的不利的對待,進(jìn)而產(chǎn)生歧視[17]。
其次,歐盟《人工智能法》對于具有“高風(fēng)險”的人工智能系統(tǒng)予以嚴(yán)格監(jiān)管,其附件三列舉了教育領(lǐng)域中對人們的基本權(quán)利造成不利影響的“高風(fēng)險人工智能系統(tǒng)”的四種情形:一是用于確定自然人進(jìn)入各級教育和職業(yè)培訓(xùn)機(jī)構(gòu)或課程的機(jī)會、錄取或分配的人工智能系統(tǒng);二是擬用于評估學(xué)習(xí)成果的人工智能系統(tǒng),包括當(dāng)這些成果被用于指導(dǎo)各級教育和職業(yè)培訓(xùn)機(jī)構(gòu)中自然人的學(xué)習(xí)過程時;三是在教育和職業(yè)培訓(xùn)機(jī)構(gòu)內(nèi),用于評估個人將接受或能夠接受的適當(dāng)教育水平的人工智能教育系統(tǒng);四是在教育和職業(yè)培訓(xùn)機(jī)構(gòu)內(nèi),用于監(jiān)控和檢測學(xué)生考試違紀(jì)行為的人工智能系統(tǒng)。這幾類情形都與受教育權(quán),尤其是教育機(jī)會平等權(quán)密切相關(guān)。教育機(jī)會作為一種客觀際遇與主觀利用各種教育資源和權(quán)利的可能時限與場景,涉及教育社會生態(tài)體系的方方面面。教育機(jī)會的平等既包括起點機(jī)會平等,也包括教育方式及過程平等[18]。歐盟《人工智能法》尚在草案期間,就有研究者關(guān)注到美國法學(xué)院對歐盟學(xué)生的招生錄取活動將可能受《人工智能法》的沖擊[19]。事實上,早在2021年9月,美國研究員阿列克斯·恩格勒(Alex Engler)撰寫的研究報告《在大學(xué)招生錄取中采用自動化算法或?qū)⒁l(fā)美國高等教育危機(jī)》(Enrollment algorithms are contributing to the crises of higher education)就剖析了大學(xué)招生這一與公民受教育權(quán)高度相關(guān)的活動采用人工智能算法所引發(fā)的諸多風(fēng)險[20]。歐盟《人工智能法》生效后,其適用范圍包括在歐盟境內(nèi)將人工智能系統(tǒng)投放市場或投入使用的各類提供者,無論各提供者是在歐盟設(shè)立還是位于歐盟外。因此,對于歐盟以外的國家,如在招收歐盟成員國學(xué)生的過程中使用人工智能系統(tǒng),就可能被認(rèn)定為歐盟《人工智能法》規(guī)定的“高風(fēng)險”應(yīng)用,并受到嚴(yán)格的監(jiān)管。
再次,歐盟《人工智能法》對“有限風(fēng)險”的人工智能系統(tǒng)規(guī)定了透明度義務(wù),包括用戶告知、內(nèi)容標(biāo)識等。例如,與人類交互的聊天機(jī)器人等人工智能系統(tǒng),應(yīng)不會對決策產(chǎn)生實質(zhì)性影響,或不會對受保護(hù)的法律利益造成實質(zhì)性損害。人工智能系統(tǒng)供應(yīng)商應(yīng)通過編制并更新技術(shù)文件、披露相關(guān)內(nèi)容,確保使用相關(guān)人工智能系統(tǒng)的自然人知悉他們正在與一個人工智能系統(tǒng)互動。
最后,歐盟《人工智能法》對用于娛樂或個人目的等不構(gòu)成風(fēng)險或風(fēng)險可忽略的“最小風(fēng)險”的人工智能系統(tǒng)并無強(qiáng)制性的規(guī)定,鼓勵自愿適用高風(fēng)險人工智能系統(tǒng)的強(qiáng)制性要求。
簡而言之,歐盟《人工智能法》著重防范“不可接受的風(fēng)險”與“高風(fēng)險”的人工智能系統(tǒng)。這種基于風(fēng)險等級的立法模式,通過明確界定的優(yōu)先事項和目標(biāo),使人工智能治理干預(yù)措施符合與預(yù)期損害成比例的原則,有助于監(jiān)督、認(rèn)證等資源和成本的合理、高效分配。
(二)全鏈條治理:通過對教育數(shù)據(jù)價值鏈的參與者規(guī)定法律義務(wù)進(jìn)行治理
當(dāng)代風(fēng)險治理需要引入系統(tǒng)論思想,數(shù)據(jù)治理也不例外。美籍奧地利生物學(xué)家貝特朗菲在20世紀(jì)初提出了系統(tǒng)論思想,主張在分析和解決問題時,應(yīng)從系統(tǒng)的整體性出發(fā),將系統(tǒng)內(nèi)部的各個組成部分、各個環(huán)節(jié),以及系統(tǒng)與外部環(huán)境之間的關(guān)系,視為一種動態(tài)的、相互關(guān)聯(lián)且相互約束的網(wǎng)絡(luò),借助全面視角,尋找使系統(tǒng)達(dá)到最佳狀態(tài)的解決方案[21]。人工智能系統(tǒng)是通過復(fù)雜的價值鏈進(jìn)行開發(fā)和分發(fā)的,多方參與的結(jié)果注定不能只關(guān)注一方參與者。歐盟《人工智能法》重點規(guī)制的對象是“高風(fēng)險人工智能系統(tǒng)”,在構(gòu)建高風(fēng)險人工智能系統(tǒng)的監(jiān)管框架時提出了“人工智能價值鏈”(AI value chain)的概念,對該價值鏈上的提供者、進(jìn)口者、分銷者及部署者配置了不盡相同的法律義務(wù)。
首先,高風(fēng)險人工智能系統(tǒng)提供者的合規(guī)義務(wù)最為嚴(yán)格,須建立、實施、記錄并維護(hù)風(fēng)險管理系統(tǒng)。在此基礎(chǔ)上,須采用符合規(guī)定的方式對數(shù)據(jù)集進(jìn)行訓(xùn)練、驗證及測試,確保所使用的數(shù)據(jù)集達(dá)到既定的質(zhì)量標(biāo)準(zhǔn),再基于這些高質(zhì)量的數(shù)據(jù)集開發(fā)相應(yīng)的應(yīng)用系統(tǒng)。在系統(tǒng)正式投放市場或投入使用之前,需編制詳盡的技術(shù)文件,并在后續(xù)使用過程中對其進(jìn)行持續(xù)更新與完善;在技術(shù)上允許自動記錄系統(tǒng)生命周期內(nèi)的事件,確保其操作具有足夠的透明度且可由自然人進(jìn)行有效監(jiān)督,確保人工智能系統(tǒng)達(dá)到適當(dāng)?shù)臏?zhǔn)確性、穩(wěn)健性和網(wǎng)絡(luò)安全水平。
其次,高風(fēng)險人工智能系統(tǒng)部署者的合規(guī)義務(wù)也應(yīng)被嚴(yán)格規(guī)范。高風(fēng)險人工智能系統(tǒng)的部署者在部署高風(fēng)險人工智能系統(tǒng)之前,須進(jìn)行基本權(quán)利影響評估,采取適當(dāng)?shù)募夹g(shù)和組織措施,進(jìn)行必要的人工監(jiān)督、培訓(xùn)與支持,并持續(xù)監(jiān)測系統(tǒng)的運行情況。如果部署者對系統(tǒng)輸入的數(shù)據(jù)有控制權(quán),應(yīng)確保其輸入的數(shù)據(jù)的相關(guān)性與代表性;如果部署者為雇主,應(yīng)在工作場所投放或使用高風(fēng)險人工智能系統(tǒng)之前,告知工人代表和受影響的工人,確保使其知悉將受到該系統(tǒng)的影響。
最后,高風(fēng)險人工智能系統(tǒng)的進(jìn)口者和分銷者主要承擔(dān)輔助性合規(guī)義務(wù)。這類運營者在通過進(jìn)口或分銷將高風(fēng)險人工智能系統(tǒng)投放市場之前,應(yīng)核實該系統(tǒng)的提供者是否已執(zhí)行相關(guān)法定的合格性評估程序、是否取得所需的合格性標(biāo)識等。在特殊情況下,分銷者、進(jìn)口者、部署者或其他第三方將被等同視為提供者,包括但不限于在已投放市場的高風(fēng)險人工智能系統(tǒng)上冠以自己的名稱或商標(biāo),或?qū)ζ溥M(jìn)行實質(zhì)性修改。此時,分銷者、進(jìn)口者、部署者或其他第三方須對標(biāo)歐盟《人工智能法》第16條履行提供者的所有合規(guī)義務(wù)。
根據(jù)歐洲政策研究中心的研究報告,人工智能價值鏈被定義為“開發(fā)單個人工智能系統(tǒng)然后投入使用(或部署)的組織過程”,其功能是考慮哪些主體可以在人工智能價值鏈的哪些部分發(fā)揮作用,確定哪個主體最符合監(jiān)管要求,以保障人工智能系統(tǒng)的安全性[22]。在教育數(shù)據(jù)治理領(lǐng)域也存在類似的價值鏈,價值鏈上的每一個利益相關(guān)者都應(yīng)是數(shù)據(jù)治理關(guān)注的對象。以各種教育數(shù)據(jù)庫和教育數(shù)字平臺建設(shè)為例,要確保這些教育數(shù)字化終端產(chǎn)品或服務(wù)的質(zhì)量和安全,需要對教育數(shù)據(jù)提供者、教育數(shù)據(jù)部署者、教育數(shù)據(jù)處理者、教育數(shù)據(jù)使用者等多類主體進(jìn)行全鏈條的治理,厘清價值鏈中各個參與者的責(zé)任,避免將過多法律義務(wù)集中于單一主體上,以加強(qiáng)監(jiān)管的整體性、有效性和連貫性。
(三)契約性治理:允許教育數(shù)據(jù)利益相關(guān)者參與監(jiān)管沙盒進(jìn)行教育數(shù)據(jù)治理
“監(jiān)管沙盒”本質(zhì)上是多元主體以“契約”為治理邏輯的新型監(jiān)管模式。不同于以往自上而下的“對抗式”監(jiān)管狀態(tài),“監(jiān)管沙盒”旨在實現(xiàn)一種共治狀態(tài)[23]。歐盟人工智能“監(jiān)管沙盒”的設(shè)立主體為歐盟成員國公共機(jī)關(guān)或歐洲數(shù)據(jù)保護(hù)機(jī)關(guān),具體運行分為申請、參與、監(jiān)測、退出和終止幾個步驟。在教育領(lǐng)域,教育數(shù)據(jù)主體可以自愿提交申請,說明擬進(jìn)入教育類監(jiān)管沙盒的產(chǎn)品的技術(shù)參數(shù)、創(chuàng)新要點等基本情況及進(jìn)入沙盒的必要性。在通過監(jiān)管部門的初期評估后,教育數(shù)據(jù)主體進(jìn)入監(jiān)管沙盒。監(jiān)管部門需與教育數(shù)據(jù)主體就沙盒測試的具體事項展開協(xié)商,包括測試事件、范圍、對象等關(guān)鍵內(nèi)容,并根據(jù)實際需求,制定并提供具有差異化的監(jiān)管措施,以促進(jìn)教育數(shù)據(jù)的創(chuàng)新應(yīng)用[24]。歐盟人工智能“監(jiān)管沙盒”的契約性治理主要表現(xiàn)為參與主體的平等性、參與過程的對話性及參與責(zé)任的有限性。
首先,“監(jiān)管沙盒”治理強(qiáng)調(diào)參與主體的平等性。根據(jù)歐盟《人工智能法》第58條第2款,該法案可促進(jìn)人工智能生態(tài)系統(tǒng)中通知機(jī)關(guān)、標(biāo)準(zhǔn)化組織、企業(yè)、創(chuàng)新者、實驗室等利益相關(guān)者的廣泛而平等的參與,推動公共和私營部門開展合作,促進(jìn)創(chuàng)新及循證的監(jiān)管學(xué)習(xí),有利于人工智能系統(tǒng)快速、安全、穩(wěn)定地進(jìn)入市場。科層式的剛性化管控缺乏容錯糾錯的制度空間,包容審慎的監(jiān)管環(huán)境是當(dāng)前數(shù)據(jù)要素治理的發(fā)展趨勢。面對顛覆性技術(shù)帶來的教育數(shù)字化轉(zhuǎn)型,教育數(shù)據(jù)治理模式亟待創(chuàng)新。在教育領(lǐng)域引入“監(jiān)管沙盒”,便于加強(qiáng)多元主體的參與并吸收跨領(lǐng)域的經(jīng)驗做法,通過扁平化的“契約”組織結(jié)構(gòu)增加制度彈性,在一定程度上可以緩解技術(shù)創(chuàng)新與法律監(jiān)管之間的潛在沖突。
其次,“監(jiān)管沙盒”治理注重參與過程的對話性。歐盟《人工智能法》第58條第4款規(guī)定,當(dāng)國家主管機(jī)關(guān)考慮在人工智能監(jiān)管沙盒框架內(nèi)進(jìn)行真實世界條件下的測試時,應(yīng)和參與者具體商定此類測試的條款和條件,特別是適當(dāng)?shù)谋U洗胧员Wo(hù)基本權(quán)利、健康和安全。這種協(xié)同治理的對話框架增加了監(jiān)管機(jī)構(gòu)與被監(jiān)管對象之間協(xié)商探討與良性互動的可能,保障了話語決策的平等性和多元化,既有利于監(jiān)管機(jī)構(gòu)了解監(jiān)管體制在技術(shù)應(yīng)用進(jìn)程中的具體瓶頸與實踐期待,也有利于被監(jiān)管對象取得監(jiān)管機(jī)構(gòu)的必要支持與有效監(jiān)督,通過實驗過程中的動態(tài)反饋與持續(xù)跟進(jìn),在對技術(shù)治理的行動規(guī)劃中作出及時響應(yīng),能夠更好地解決監(jiān)管錯配的問題。
最后,“監(jiān)管沙盒”治理允許參與責(zé)任的有限性。歐盟《人工智能法》規(guī)定,人工智能監(jiān)管沙盒中的提供者及潛在提供者根據(jù)適用的歐盟和成員國責(zé)任法,仍應(yīng)對在沙盒中進(jìn)行的實驗給第三方造成的損害負(fù)責(zé)。不過,只要提供者或潛在提供者遵守具體計劃及其參與條款和條件,并真誠遵循國家主管機(jī)關(guān)提供的指導(dǎo),機(jī)關(guān)將不會對違反本條例的行為處以行政罰款。類似地,如果負(fù)責(zé)其他歐盟和成員國立法的主管機(jī)關(guān)積極參與了對沙盒中人工智能系統(tǒng)的監(jiān)督,并提供了合規(guī)指導(dǎo),則不得對相關(guān)立法處以行政罰款。這種保護(hù)機(jī)制使原本突破現(xiàn)有法律框架的創(chuàng)新產(chǎn)品和服務(wù),有機(jī)會以較低成本在監(jiān)管測試環(huán)境中進(jìn)行試運行,以便平衡人工智能創(chuàng)新與安全發(fā)展之間的關(guān)系。
目前,歐盟個別國家在教育領(lǐng)域已開始“監(jiān)管沙盒”的適用探索。例如,法國國家信息與自由委員會在教育科技監(jiān)管沙盒計劃就是重點關(guān)注教育科技企業(yè)創(chuàng)新與GDPR合規(guī)義務(wù)之間的潛在矛盾,為致力于分析法國高校學(xué)習(xí)數(shù)據(jù)的DATA、增強(qiáng)家校互動的Klassly與Klassboard、將學(xué)生及其數(shù)字工作空間相連的“個人云平臺”MyToutice、由PowerZ推出的教育視頻游戲以及由Daylindo開發(fā)的教學(xué)實踐實時跟蹤與協(xié)作管理的數(shù)字解決方案等5個教育科技項目,提供數(shù)據(jù)保護(hù)方面的政策及技術(shù)支持,為用于創(chuàng)設(shè)隨機(jī)數(shù)學(xué)教育活動的Eleda、協(xié)助學(xué)習(xí)困難兒童進(jìn)行讀寫的Kaygo DYS、用于管理敏感數(shù)據(jù)的加密多云解決方案Astrachain、基于人工智能提供用戶音樂畫像的Babel以及用于與其他公共和私人平臺實現(xiàn)互操作性更新的Competence Portfolio等5個教育科技項目提供個性化的政策建議[25]。未來,隨著“教育科技監(jiān)管沙盒計劃”的推進(jìn),這項起源于金融領(lǐng)域的監(jiān)管創(chuàng)新機(jī)制有望在教育數(shù)據(jù)治理領(lǐng)域彰顯出更多積極的效用。
三、歐盟《人工智能法》對中國教育數(shù)據(jù)治理的鏡鑒之思
2021年施行的《中華人民共和國數(shù)據(jù)安全法》(以下簡稱“《數(shù)據(jù)安全法》”)作為數(shù)據(jù)領(lǐng)域的基礎(chǔ)性法律,確立了我國數(shù)據(jù)安全保護(hù)管理各項基本制度;2022年印發(fā)的《中共中央 國務(wù)院關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作用的意見》進(jìn)一步構(gòu)建數(shù)據(jù)基礎(chǔ)制度,激活數(shù)據(jù)要素潛能;2023年中共中央、國務(wù)院印發(fā)的《數(shù)字中國建設(shè)整體布局規(guī)劃》強(qiáng)調(diào)暢通數(shù)據(jù)資源大循環(huán),促進(jìn)各行各業(yè)數(shù)字化轉(zhuǎn)型;2024年國家互聯(lián)網(wǎng)信息辦公室公布施行的《促進(jìn)和規(guī)范數(shù)據(jù)跨境流動規(guī)定》通過保障數(shù)據(jù)依法有序自由流動,擴(kuò)大高水平對外開放。我國對于數(shù)據(jù)本身及其流通的重視程度與日俱增,立法規(guī)制也日趨完善,但針對教育數(shù)據(jù)的規(guī)范性治理尚不成熟。我國教育領(lǐng)域利益相關(guān)者對教育數(shù)據(jù)的敏感程度、數(shù)據(jù)權(quán)利意識和數(shù)據(jù)安全意識均有待提升。在人工智能立法領(lǐng)域,2023年出臺的《生成式人工智能服務(wù)管理暫行辦法》支持各行各業(yè)及相關(guān)主體就人工智能數(shù)據(jù)資源建設(shè)及風(fēng)險防范等開展協(xié)作。不過,截至目前,我國在教育領(lǐng)域的人工智能應(yīng)用尚缺乏統(tǒng)一的立法規(guī)制及細(xì)致的操作指引。相較而言,歐盟立法者更早通過具有法典性質(zhì)的《人工智能法》,對不同風(fēng)險等級的人工智能系統(tǒng)構(gòu)建差異化的行為規(guī)范體系,對人工智能系統(tǒng)價值鏈上的不同主體規(guī)定明確的法律義務(wù),通過“監(jiān)管沙盒”機(jī)制引導(dǎo)教育科技企業(yè)開展負(fù)責(zé)任的創(chuàng)新。面對人工智能這只“數(shù)字利維坦”對教育數(shù)據(jù)治理帶來的前所未有的挑戰(zhàn),歐盟的人工智能統(tǒng)一立法對我國教育數(shù)據(jù)治理有重要的借鑒意義。
(一)區(qū)分法律風(fēng)險,差異化治理教育數(shù)據(jù)
從數(shù)據(jù)的生命周期來看,教育數(shù)據(jù)在收集、存儲、傳輸、分析、共享、銷毀等各個環(huán)節(jié)均存在法律風(fēng)險。與其他行業(yè)數(shù)據(jù)相比,教育數(shù)據(jù)具有一定的特殊性,主要表現(xiàn)在四個方面:第一,涉及大量個人隱私,尤其是未成年人隱私;第二,涉及公私多元主體,包括學(xué)校、學(xué)生、家長、教育科技企業(yè)、教育行政部門等;第三,數(shù)據(jù)生命周期長,覆蓋正式教育與非正式教育的全過程;第四,數(shù)據(jù)應(yīng)用與公民的受教育權(quán)、隱私權(quán)、知情權(quán)等基本權(quán)利息息相關(guān)。非線性運行的人工智能技術(shù)在上述任何一個環(huán)節(jié)嵌入教育數(shù)據(jù)治理時所發(fā)揮的效應(yīng)都不只是簡單的“科技+教育”,而是“科技×教育”,因而會進(jìn)一步放大原有風(fēng)險,比傳統(tǒng)教育形態(tài)產(chǎn)生更多難以預(yù)料的“特殊事件”[26]。例如,在教育數(shù)據(jù)收集階段,如果人工智能的訓(xùn)練數(shù)據(jù)在來源處被“污染”,即所謂的“數(shù)據(jù)投毒”,將可能導(dǎo)致大語言模型生成有害內(nèi)容,一旦投入教育領(lǐng)域,將直接影響教育質(zhì)量。而在教育數(shù)據(jù)存儲與傳輸階段,隨著越來越多的數(shù)字科技企業(yè)介入教育領(lǐng)域,其在提供技術(shù)和資源支持的同時,也管控著大量的教育數(shù)據(jù)。若對數(shù)據(jù)的存儲與傳輸超出教育服務(wù)原本授權(quán)的目的與范圍,就會對受教育者的隱私權(quán)、知情權(quán)造成威脅。有研究發(fā)現(xiàn),當(dāng)一名9歲孩子點擊老師通過谷歌課堂提供的播客網(wǎng)站Vimeo的學(xué)習(xí)資源鏈接時,他就從谷歌課堂的高隱私保護(hù)中被帶出,暴露于42個第三方跟蹤服務(wù)中,包括谷歌的廣告服務(wù)和TikTok以及Facebook的分析服務(wù)[27]。當(dāng)上述數(shù)據(jù)進(jìn)入全球數(shù)據(jù)生態(tài)系統(tǒng),學(xué)生便不可避免會遭受隱私風(fēng)險和商業(yè)利用。此外,一些數(shù)字科技企業(yè)在人工智能教育應(yīng)用的開發(fā)過程中,可能會將特定利益取向植入算法,從而在提供教育服務(wù)的過程中謀求不當(dāng)利益。教育是國之大計,教育數(shù)字化轉(zhuǎn)型時代,資本主導(dǎo)的私權(quán)力在“數(shù)字權(quán)力”的助推下,在一定程度上對國家教育權(quán)進(jìn)行分化或削弱[28],應(yīng)引起充分的警惕。
我國已通過《數(shù)據(jù)安全法》確立了數(shù)據(jù)保護(hù)中分級分類的風(fēng)險治理理念,《專家建議稿2.0》設(shè)置了基于負(fù)面清單實施的人工智能許可管理制度,《學(xué)者建議稿》基于技術(shù)發(fā)展、行業(yè)領(lǐng)域、應(yīng)用場景等因素提出可以動態(tài)調(diào)整的人工智能分級分類標(biāo)準(zhǔn),對關(guān)鍵人工智能實施特殊監(jiān)管。然而,具體到教育領(lǐng)域,如何對人工智能嵌入教育數(shù)據(jù)進(jìn)行分級分類治理,哪些人工智能教育應(yīng)用應(yīng)被列入負(fù)面清單或被作為關(guān)鍵人工智能實施特殊監(jiān)管,學(xué)界還缺乏深入的理論研究與充分的實踐探索。
首先,應(yīng)進(jìn)一步明確教育數(shù)據(jù)基于風(fēng)險治理的法律依據(jù)。例如,在《專家建議稿2.0》模式下將涉及高風(fēng)險教育數(shù)據(jù)應(yīng)用的人工智能列入負(fù)面清單實施許可管理;又如,在《學(xué)者建議稿》模式下,在第六章“特殊應(yīng)用場景”中增加教育人工智能,同該章已列舉的國家機(jī)關(guān)使用人工智能、司法人工智能、新聞人工智能、醫(yī)療人工智能等一樣,予以特殊關(guān)注;再如,在教育法典總則“在線教育”章列舉人工智能等數(shù)字技術(shù)應(yīng)用與教育領(lǐng)域的潛在風(fēng)險,引入“基于風(fēng)險”的規(guī)制原則。
其次,應(yīng)確定教育數(shù)據(jù)的法律風(fēng)險等級。歐盟《人工智能法》在對人工智能系統(tǒng)進(jìn)行風(fēng)險定級時借助了情境列舉的形式,因為人工智能所引發(fā)的法律風(fēng)險在很大程度上依賴其使用的特定情境。換言之,歐盟“基于風(fēng)險”的規(guī)制并非針對人工智能系統(tǒng)本身,而是應(yīng)對不同情境下人工智能系統(tǒng)可能引發(fā)的后果。比如,當(dāng)教育類人工智能系統(tǒng)用于監(jiān)控和檢測學(xué)生考試違紀(jì)時,因其可能帶來處分等影響學(xué)生受教育權(quán)的嚴(yán)重后果,應(yīng)作為“高風(fēng)險”人工智能系統(tǒng)被嚴(yán)格監(jiān)管;而當(dāng)其作為不影響實質(zhì)性決策的聊天機(jī)器人時,則可作為“低風(fēng)險”人工智能系統(tǒng),遵守透明度要求即可。我國亦可根據(jù)不同情境下對公民受教育權(quán)、隱私權(quán)、知情權(quán)等基本權(quán)利的影響程度與范圍,將教育數(shù)據(jù)的風(fēng)險等級劃分為“不可接受的風(fēng)險”“高風(fēng)險”“有限風(fēng)險”及“最小風(fēng)險”,將具有“不可接受的風(fēng)險”“高風(fēng)險”的教育數(shù)據(jù)置于人工智能治理的負(fù)面清單,使人工智能在嵌入教育數(shù)據(jù)治理的實際場景中,能夠最大限度地規(guī)避風(fēng)險、發(fā)揮效能。
最后,應(yīng)區(qū)分不同風(fēng)險等級的教育數(shù)據(jù)的法律規(guī)范路徑。一方面,對無需跨境流動的教育數(shù)據(jù),按照風(fēng)險等級,采取無條件共享、有條件共享和不予共享的分類治理思路。具有“不可接受的風(fēng)險”的教育數(shù)據(jù)不予共享;具有“高風(fēng)險”或“有限風(fēng)險”的教育數(shù)據(jù)進(jìn)行有條件共享,且前者在數(shù)據(jù)存儲格式、獲取路徑、共享方式等方面應(yīng)有更為嚴(yán)格的要求;具有“最小風(fēng)險”的教育數(shù)據(jù)可以進(jìn)行無條件共享。另一方面,對有可能跨境流動的教育數(shù)據(jù),可參照《促進(jìn)和規(guī)范數(shù)據(jù)跨境流動規(guī)定》,采取無需不予跨境流動、申報跨境流動及無需申報跨境流動的分類規(guī)制。具有“不可接受的風(fēng)險”的教育數(shù)據(jù)不予跨境流動;具有“高風(fēng)險”的教育數(shù)據(jù)如需跨境流動,需要由數(shù)據(jù)處理者通過所在地省級網(wǎng)信部門及教育行政機(jī)構(gòu)向上一級申報,由國家網(wǎng)信部門與教育部相關(guān)機(jī)構(gòu)共同作出數(shù)據(jù)出境安全評估后,方可跨境流動;具有“有限風(fēng)險”的教育數(shù)據(jù)如需跨境流動,需要由數(shù)據(jù)處理者通過所在地省級網(wǎng)信部門及教育行政機(jī)構(gòu)申報,由同級網(wǎng)信部門與教育相關(guān)機(jī)構(gòu)共同作出數(shù)據(jù)出境安全評估后,方可跨境流動;具有“最小風(fēng)險”的教育數(shù)據(jù)跨境流動無需額外申報。
(二)明確法律義務(wù),系統(tǒng)性治理教育數(shù)據(jù)
數(shù)據(jù)治理要關(guān)注整個數(shù)據(jù)生態(tài)系統(tǒng),以系統(tǒng)思維理解數(shù)字化轉(zhuǎn)型。教育數(shù)據(jù)生態(tài)系統(tǒng)是基于教育領(lǐng)域海量數(shù)字要素,通過云端、邊緣端及終端的教育設(shè)施、平臺或應(yīng)用相互連接而成的復(fù)雜生態(tài)系統(tǒng)。歐盟《人工智能法》對高風(fēng)險人工智能系統(tǒng)價值鏈上的提供者、分銷者、進(jìn)口者、部署者等各個主體規(guī)定了詳細(xì)而明確的法律義務(wù),構(gòu)建了一個覆蓋全鏈條的法律治理框架。相比之下,我國相關(guān)法律法規(guī)中對數(shù)據(jù)鏈上主體的界定略顯粗糙和單薄,相應(yīng)的法律義務(wù)規(guī)定有待進(jìn)一步細(xì)化。
首先,健全教育數(shù)據(jù)治理中的責(zé)任主體概念。我國現(xiàn)有的人工智能治理法律框架尚未明確歐盟《人工智能法》中的“人工智能部署者”這一法律主體。我國《數(shù)據(jù)安全法》提及數(shù)據(jù)處理者、服務(wù)提供者,《促進(jìn)和規(guī)范數(shù)據(jù)跨境流動規(guī)定》僅論及數(shù)據(jù)處理者,《生成式人工智能服務(wù)管理暫行辦法》區(qū)分了生成式人工智能服務(wù)的提供者與使用者,《專家建議稿2.0》及《學(xué)者建議稿》也僅包含了人工智能研發(fā)者及提供者的法律責(zé)任。在教育領(lǐng)域,教育行政部門和學(xué)校都有可能作為教育數(shù)據(jù)應(yīng)用系統(tǒng)的部署者,他們通過自行研發(fā)或借助技術(shù)公司研發(fā)的人工智能系統(tǒng)進(jìn)行教育數(shù)據(jù)治理。自行研發(fā)的部署者與提供者重合;借助技術(shù)公司研發(fā)的情形中,部署者與提供者分離。針對人工智能教育應(yīng)用可能引發(fā)的風(fēng)險,我國在未來的立法中可以適當(dāng)考慮借鑒歐盟對“人工智能部署者”的法律規(guī)制,明確教育數(shù)據(jù)治理價值鏈上的責(zé)任主體包括教育數(shù)據(jù)提供者、教育數(shù)據(jù)部署者、教育數(shù)據(jù)處理者及教育數(shù)據(jù)使用者等,構(gòu)筑更為健全的人工智能法律責(zé)任機(jī)制。
其次,規(guī)范各主體在教育數(shù)據(jù)治理中的法律義務(wù)。與人工智能系統(tǒng)價值鏈上的主體責(zé)任配置相比,教育數(shù)據(jù)部署者可比照人工智能系統(tǒng)提供者,設(shè)置相對其他主體更為嚴(yán)格的合規(guī)義務(wù)。歐盟《人工智能法》與《關(guān)于缺陷產(chǎn)品的責(zé)任的指令的提案》存在諸多關(guān)聯(lián),人工智能系統(tǒng)可被視為產(chǎn)品,提供者可被視為產(chǎn)品的制造商[29]。產(chǎn)品安全的歸責(zé)邏輯使歐盟《人工智能法》對人工智能系統(tǒng)的提供者規(guī)定了比部署者更為嚴(yán)格的法律義務(wù)。然而,在教育領(lǐng)域,受自上而下的傳統(tǒng)行政管理模式影響,在教育數(shù)據(jù)從采集、存儲、加工到使用各個環(huán)節(jié),部署者都起到了關(guān)鍵的作用,有必要在教育數(shù)據(jù)治理中承擔(dān)更多責(zé)任。一方面,教育數(shù)據(jù)部署者須事先就教育數(shù)據(jù)治理涉及的多個環(huán)節(jié)對利益相關(guān)方基本權(quán)利的影響進(jìn)行評估,須采取適當(dāng)?shù)募夹g(shù)和組織措施,進(jìn)行必要的人工監(jiān)督、培訓(xùn)與支持,持續(xù)監(jiān)測運行情況;另一方面,教育部署者應(yīng)明確告知受影響的教師、學(xué)生、家長等主體,使其知悉可能受到的影響。對于教育數(shù)據(jù)提供者而言,應(yīng)重視教育數(shù)據(jù)來源的合法性、準(zhǔn)確性與真實性,尊重相關(guān)主體的隱私權(quán)及知情權(quán),確保所提供的數(shù)據(jù)與所匹配的人工智能系統(tǒng)具有高度的相關(guān)性及充分的代表性。教育數(shù)據(jù)的直接處理者應(yīng)使用符合要求的方式進(jìn)行教育數(shù)據(jù)集的訓(xùn)練、驗證和測試,基于達(dá)到質(zhì)量標(biāo)準(zhǔn)的數(shù)據(jù)集進(jìn)行開發(fā)應(yīng)用,確保其操作具有足夠的透明度;教育數(shù)據(jù)的間接處理者可參考?xì)W盟《人工智能法》對分銷者、進(jìn)口者等運營主體的規(guī)定,承擔(dān)輔助性合規(guī)義務(wù)。只有明確教育數(shù)據(jù)治理價值鏈上的各類主體的法律義務(wù),才能實現(xiàn)對教育數(shù)據(jù)的系統(tǒng)治理,最大限度降低相關(guān)風(fēng)險。
事實上,學(xué)校在選擇教育科技產(chǎn)品時,往往更關(guān)注產(chǎn)品的功能性及其對教學(xué)的適用性,而不是產(chǎn)品功能和操作對數(shù)據(jù)保護(hù)合規(guī)性的影響。由于缺乏預(yù)算、技術(shù)及法律技能,很多學(xué)校對可能侵害受教育者權(quán)利的教育數(shù)據(jù)處置行為并不了解,或者能采取的救濟(jì)措施極為有限,尤其是在應(yīng)對谷歌這類全球范圍的科技巨頭時。在這種情形下,我國教育行政部門應(yīng)協(xié)同數(shù)據(jù)保護(hù)機(jī)構(gòu)、網(wǎng)絡(luò)安全機(jī)構(gòu),更為積極地在教育新樣態(tài)中承擔(dān)評估、指引及監(jiān)督的責(zé)任,注重在特定教育數(shù)據(jù)治理領(lǐng)域部署人工智能前,對使用人工智能的合法性及可能影響的基本權(quán)利進(jìn)行評估,主動公開應(yīng)用場景及決策領(lǐng)域,引導(dǎo)學(xué)校與符合要求的教育科技企業(yè)合作,合法、合規(guī)地使用人工智能開展教育數(shù)據(jù)治理,避免對公民受教育權(quán)及國家教育權(quán)造成侵蝕。
(三)創(chuàng)新法律機(jī)制,多元共治教育數(shù)據(jù)
傳統(tǒng)治理體系具有“規(guī)定性、確定性、穩(wěn)定性”的特征,但并不能滿足數(shù)字時代的治理需求[30]。隨著人工智能技術(shù)飛速發(fā)展,以ChatGPT為代表的生成式人工智能技術(shù)在教育領(lǐng)域得到越來越多的應(yīng)用。教育數(shù)據(jù)治理的利益相關(guān)者日益廣泛,從教育行政部門、學(xué)校、教師到學(xué)生、家長,再到教育科技企業(yè)等。2020年,北京市十五屆人大常委會第二十三次會議中提出,將對“在線教育”等新業(yè)態(tài)新模式探索包容審慎的監(jiān)管沙盒措施。《學(xué)者建議稿》第十三條提出,建立和完善政府主導(dǎo)、社會協(xié)同、公眾參與的人工智能治理體制,構(gòu)建多元共治的人工智能治理格局;《專家建議稿2.0》第六十條提出,國家人工智能主管機(jī)關(guān)應(yīng)建立人工智能監(jiān)管試驗機(jī)制。不難看出,我國對人工智能監(jiān)管沙盒及新形態(tài)教育領(lǐng)域的監(jiān)管沙盒抱有一定熱情,但與歐盟《人工智能法》第53條、第53A條、第54條、第54A條及第54B條等關(guān)于監(jiān)管沙盒的詳盡制度設(shè)計相比,我國的監(jiān)管沙盒機(jī)制還有完善空間。我們可以在人工智能立法或教育法典編纂中對人工智能教育應(yīng)用領(lǐng)域監(jiān)管沙盒的運作及責(zé)任機(jī)制做出更為健全的規(guī)范,匹配更為細(xì)致、周全的操作指引。
首先,應(yīng)明確構(gòu)建監(jiān)管沙盒的準(zhǔn)入程序。監(jiān)管沙盒的準(zhǔn)入對象應(yīng)限定為那些在服務(wù)運行、產(chǎn)品性質(zhì)或潛在后果與現(xiàn)有監(jiān)管規(guī)則方面存在明顯沖突或潛在沖突,以及可能引發(fā)顯著風(fēng)險和不確定性的人工智能教育應(yīng)用。由適格的教育科技企業(yè)自愿向監(jiān)管部門提交書面申請,說明其創(chuàng)新性及進(jìn)入監(jiān)管沙盒的必要性,在通過監(jiān)管部門的評估后,協(xié)商確定沙盒測試時間、測試范圍、測試對象及規(guī)則豁免等事宜。
其次,應(yīng)科學(xué)分配監(jiān)管沙盒中各主體的責(zé)任范圍。在沙盒測試中,監(jiān)管主體進(jìn)行適當(dāng)“放權(quán)”,技術(shù)創(chuàng)新者被適當(dāng)“免責(zé)”。為了保證整體風(fēng)險的可控性,監(jiān)管主體須建立完善有效的監(jiān)測機(jī)制,提前確定測試期間是否對教育數(shù)據(jù)主體的基本權(quán)利產(chǎn)生風(fēng)險,以便在必要時開啟終止測試的響應(yīng)機(jī)制;技術(shù)創(chuàng)新者在沙盒測試階段享有實質(zhì)性的監(jiān)管豁免,其前提是遵守契約,善意遵循監(jiān)管主體提供的指導(dǎo),且應(yīng)注意個人數(shù)據(jù)處理,在終止沙盒參與后,將沙盒中處理的全部教育數(shù)據(jù)刪除。
最后,應(yīng)制定正式的多元主體互動機(jī)制。可以參考?xì)W盟做法,開發(fā)一個包含與監(jiān)管沙盒有關(guān)的所有信息的單一專用界面,使利益相關(guān)方能夠與監(jiān)管沙盒保持密切而持續(xù)的互動。監(jiān)管機(jī)關(guān)可深入了解新型教育服務(wù)/產(chǎn)品的運行風(fēng)險,從而對傳統(tǒng)監(jiān)管規(guī)則予以完善;技術(shù)創(chuàng)新者可以低成本地測試人工智能在教育數(shù)據(jù)治理典型場景中的應(yīng)用,獲取監(jiān)管機(jī)構(gòu)的支持與有效監(jiān)督,并從教師、學(xué)生及家長等利益群體中獲取準(zhǔn)確而詳細(xì)的隱私保護(hù)需求信息。多元主體的積極對話與反饋,有益于預(yù)判潛在風(fēng)險,積累行動經(jīng)驗,更好地發(fā)揮監(jiān)管沙盒“以問題為導(dǎo)向”的前瞻性治理功能。
在人工智能時代,如何構(gòu)建一種既能有效控制總體風(fēng)險又能為創(chuàng)新提供足夠空間的監(jiān)管模式,已成為監(jiān)管者必須面對的挑戰(zhàn)。歐盟《人工智能法》為教育數(shù)據(jù)治理的分等級治理、全鏈條治理與契約性治理提供了思路,以受教育權(quán)保障為根本宗旨,厘清教育數(shù)據(jù)價值鏈上各主體的法律義務(wù),在有效應(yīng)對教育數(shù)據(jù)在采集、傳輸、存儲及應(yīng)用等多個環(huán)節(jié)的潛在風(fēng)險的同時,鼓勵利用顛覆性數(shù)字技術(shù)在教育領(lǐng)域進(jìn)行負(fù)責(zé)任的創(chuàng)新。我國可以此為鑒,在人工智能教育數(shù)據(jù)治理中,區(qū)分法律風(fēng)險,明確法律義務(wù),創(chuàng)新法律機(jī)制,通過法治監(jiān)管馴化人工智能“數(shù)字利維坦”,實現(xiàn)教育數(shù)據(jù)的差異化治理、系統(tǒng)性治理與多元共治。
參考文獻(xiàn)
[1] 尚新建.霍布斯的人性論之人造人——利維坦[J].外國哲學(xué),2019(2):52-74.
[2] 楊寧霞,唐愛民.教育數(shù)字化轉(zhuǎn)型中的“數(shù)字利維坦”風(fēng)險及其規(guī)制:基于風(fēng)險社會理論的視角[J].中國電化教育,2024(9):86-94.
[3] 洪偉,任劍洪,徐麗娜,等.數(shù)據(jù)安全法實施背景下的教育數(shù)據(jù)分類分級研究[J].中國教育信息化,2022(3):41-50.
[4] 劉旭東.人工智能教育立法:基于教育法典的體系化編纂路徑[J].現(xiàn)代遠(yuǎn)程教育研究,2024(5):61-71,82.
[5] 劉子婧.歐盟《人工智能法》:演進(jìn)、規(guī)則與啟示[J].德國研究,2024(3):101-128,151.
[6] Klimas T,Vaiciukaite J.The Law of Recitals in European Community Legislation [J].ILSA Journal of International amp; Comparative Law,2008(15):1-33.
[7] 黃德明,謝垚琪,陳珺.保護(hù)基本權(quán)利原則在《歐盟基本權(quán)利憲章》生效后的前景分析[J].廣西大學(xué)學(xué)報(哲學(xué)社會科學(xué)版),2019(2):127-133.
[8] 杜越,祁占勇.公民教育數(shù)字權(quán)的基本內(nèi)涵與法律屬性[J].中國教育學(xué)刊,2024(1):31-37.
[9] 郝倩.英國高考取消后靠算法“算”成績 近四成考生深感被算法背叛[EB/OL].(2020-08-18)[2025-02-26] http://finance.sina.com.cn/zl/2020-08-18/zl-iivhvpwy1591979.shtml.
[10] 田賢鵬.隱私保護(hù)與開放共享:人工智能時代的教育數(shù)據(jù)治理變革[J].電化教育研究,2020(5):33-38.
[11] 陳濤,劉晶蕾,張寶昆.走向自由、終身學(xué)習(xí)之路:歐洲學(xué)分轉(zhuǎn)換系統(tǒng)的發(fā)展歷程、規(guī)程與前程[J].比較教育研究,2012(9):75-80.
[12] 李軼凡.法國《疫情背景下教育數(shù)據(jù)使用的倫理問題》評述[J].教育傳播與技術(shù),2021(1):55-59.
[13] 王超,孔令帥.跨國教育集團(tuán)參與教育治理的案例研究[J].現(xiàn)代基礎(chǔ)教育研究,2023(3):100-107.
[14] Komljenovic J,Williamson B,Eynon R, et al.When Public Policy‘Fails’and Venture Capital‘Saves’Education:Edtech Investors as Economic and Political Actors[J].Globalisation,Societies and Education,2023:1-16.
[15] 李沖,張婷婷.負(fù)責(zé)任創(chuàng)新的技術(shù)治理何以可能——基于歐盟、美國、中國納米技術(shù)治理的案例分析[J].科技導(dǎo)報,2023(7):37-46.
[16] 李楊.“監(jiān)管沙盒”制度研究[D].北京:北方工業(yè)大學(xué),2023:9.
[17] 皮勇.歐盟《人工智能法》中的風(fēng)險防控機(jī)制及對我國的鏡鑒[J].比較法研究,2024(4):67-85.
[18] 傅松濤,程利思.教育機(jī)會平等元論[J].當(dāng)代教師教育,2015(3):1-6,11.
[19] Troy Lowry.The EU AI Act:A Game-Changer for Law School Admission [EB/OL].(2023-12-21)[2024-04-01] https://www.lsac.org/blog/eu-ai-act-game-changer-law-school-admission.
[20] Alex Engler.Enrollment Algorithms are Contribu-ting to the Crises of Higher Education[EB/OL].(2021-09-14)[2025-02-26]https://www.techpolicy.press/enrollment-algorithms-are-contributing-to-the-crises-of-higher-education.
[21] 謝永珍,王維祝,鐘安石.系統(tǒng)思維與利益相關(guān)者共同治理[J].山東經(jīng)濟(jì),2003(1):54-56.
[22] 萬斌.生成式人工智能規(guī)制中的義務(wù)主體與義務(wù)分配:以ChatGPT為例[J].太原理工大學(xué)學(xué)報(社會科學(xué)版),2024(3):29-35,44.
[23] 黃靜怡.“分級分類”與“契約”風(fēng)險治理并行的人工智能監(jiān)管制度構(gòu)建:以歐盟《人工智能法》為分析對象[J].海南金融,2024(2):76-85.
[24] 陳振其.監(jiān)管沙盒:數(shù)據(jù)要素治理新方案[J].圖書館論壇,2024(4):138-147.
[25] CNIL.EdTech“sandbox”:the CNIL Supports 10 Innovative Projects[EB/OL].(2022-05-25)[2024-08-18]https://www.cnil.fr/en/edtech-sandbox-cnil-supports-10-innovative-projects.
[26] 崔夢雪,熊樟林.智慧教育對受教育權(quán)的沖擊與應(yīng)對[J].湖南師范大學(xué)教育科學(xué)學(xué)報,2023(6):64-75.
[27] Livingstone S,Pothong K,Atabey A,et al.The Googlization of the Classroom:Is the UK in Protecting Children’s Data and Rights?[J].Computersand Education Open,2024(7):1-8.
[28] 申素平,趙赫棟.數(shù)字時代國家教育權(quán)與受教育權(quán)的關(guān)系審視:兼論教育法法典化的底層邏輯[J].教育研究,2024(7):18-29.
[29] 鄭志峰.人工智能產(chǎn)品責(zé)任的立法更新[J].法律科學(xué)(西北政法大學(xué)學(xué)報),2024(4):3-17.
[30] 章忻.以系統(tǒng)思維構(gòu)建數(shù)字治理生態(tài)[N].浙江日報,2022-01-20(4).
The Domestication of the “Digital Leviathan”: Legal Regulation of Artificial Intelligence Embedded in Educational Data Governance ——Based on EU Artificial Intelligence Act
WANG Yijin" QI Zhanyong
Abstract:" Artificial intelligence, as the core driving force behind the new wave of technological revolution, is increasingly integrated into and reshaping the educational ecosystem. When emphasizing the role of artificial intelligence in driving educational transformation, “the 2024-2035 master plan on building China into a leading country in education” specifically highlights the need to strengthen data security, ensure the safety of artificial intelligence algorithms, and reinforce ethical safeguards. The embedding of artificial intelligence into educational data governance has made it more intelligent, but it has also posed challenges, or even threats, to fundamental rights such as citizens’ right to education and privacy. In order to prevent the “digital Leviathan” crisis, it requires appropriate legal regulation. The EU Artificial Intelligence Act demonstrates the value of safeguarding citizens’ right to education, promoting the open sharing of educational data, and encouraging responsible innovation in educational technology within the field of educational data governance. Its multi-layered governance, full-chain governance, and contractual governance strategies provide significant insights for the legal response to educational data governance in the artificial intelligence era in China.
Key words: artificial intelligence; educational data governance; EU Artificial Intelligence Act; legal regulation
(責(zé)任編輯" 陳劍光)
基金項目:國家社會科學(xué)基金教育學(xué)重點課題“國際比較視野下職業(yè)教育社會認(rèn)同的提升策略研究”(AJA220023);陜西師范大學(xué)教育數(shù)字化研究實踐項目“人工智能在高等教育領(lǐng)域的應(yīng)用風(fēng)險及其法治監(jiān)管”(JYSZH201310)。
作者簡介:王伊?xí)x,陜西西安人,陜西師范大學(xué)教育學(xué)部博士研究生,主要從事比較教育政策、教育法學(xué)研究;祁占勇,陜西師范大學(xué)教育學(xué)部教授、博士生導(dǎo)師。西安,710062。