教育人工智能系統的倫理原則與困境突破

錢小龍，張奕瀟，宋子昀，李 強

(1. 南通大學 教育科學學院，江蘇 南通 226019；2. 南寧師范大學 教育科學學院，廣西 南寧 530001)

一、背景分析

隨著云計算、大數據、虛擬現實、深度學習等技術逐漸發展與成熟，人工智能技術也正以超出人們預想的速度發展。人工智能產品逐漸融入社會各領域，引起人們生產生活方式的深刻變革。從人工智能的發展態勢可以發現，教育是受人工智能沖擊最大的行業[1]。“人工智能+教育”也成為世界各國的熱點議題。2017年7月，國務院印發《新一代人工智能發展規劃》明確指出，要促進人工智能與各學科的交叉融合，利用智能技術加快推動人才培養模式、教學方法改革，構建包含智能學習、交互式學習的新型教育體系[2]。2018年4月，教育部關于印發《高等學校人工智能創新行動計劃》的通知也提出，要進一步提升高校人工智能領域科技創新、人才培養和服務國家需求的能力[3]。此外，美國于2019年2月發布《美國人工智能倡議》，歐洲委員會于2018年4月提交《歐洲人工智能》報告，英國于2018年出臺《英國人工智能發展的計劃、能力和志向》并啟動以人工智能技術為核心的“現代工業戰略”等。可見，人工智能教育應用在全球范圍內引起了高度重視，各國紛紛將其提升至國家戰略層面。

人工智能以其智能化、自動化、個性化、多元化和協同化[4]，促進教育變革創新。然而，隨著人工智能與教育的深度融合，人工智能教育的倫理挑戰也逐步凸顯。劉進等人認為，由于人工智能技術在教育中的實現基于海量數據，教育數據被泄露和濫用的風險急劇增加[5]。此外，對技術過度的情感依賴[6]正影響學生獨立思考的能力。因此，有必要制定人工智能在教育應用中的倫理原則，以防止其造成更嚴重的負面影響。人工智能在教育領域的應用場景主要包括語言學習、教學輔助和智適應平臺。這些應用都通過相應的教育人工智能系統來實現。教育人工智能系統就是基于智能算法和大數據技術，實現個性化學習、輔助教師工作[7]、優化教育管理流程的與用戶直接交互的軟硬件系統[8]。例如智能導師系統(ITS)可以模擬教師思維來指導和幫助學生學習、自適應學習系統能夠提供個性化的學習方案、智能問答系統能夠為用戶提供個性化的信息服務。然而在系統的使用過程中，諸如知識產權與誠信的倫理問題也逐步凸顯。此外，智能系統的使用必然會觸及用戶的隱私信息、智力、性格取向等信息，難免存在信息泄露的可能。因此，亟需專門針對教育人工智能系統的倫理原則，進一步促進人工智能教育的有效發展。

二、教育人工智能系統的一般倫理原則

教育人工智能系統是教育人工智能在特定教育場景的具體應用，作為人工智能在特定領域的存在形式，教育人工智能系統必須從宏觀層面遵循一般性的倫理原則。按照逐層深入的邏輯關系，可以分為人工智能倫理原則和教育人工智能倫理原則。

(一)人工智能倫理原則

人工智能倫理通常被視為應用倫理學的一個范例，它關注的是人工智能的設計、開發、實施和應用所引起的規范性問題。過去十年左右人工智能的力量和潛力的爆炸性增長使人們認識到解決人工智能引發的許多倫理問題的重要性。關于人工智能可能會危及人類的工作，被惡意行為人濫用、逃避責任，或無意中傳播偏見歧視、從而破壞公平等倫理問題的擔憂一直是世界各國研究的焦點。

若賓等人(Jobin et al，2019)對全球84份人工智能倫理指南進行梳理和歸納，根據出現頻率統計出11個最為重要的人工智能倫理原則，分別為透明、公平和公正、無害、責任、隱私、福祉、自由和自主、信任、尊嚴、可持續性和團結[9]。2021年9月25日，中國發布了《新一代人工智能倫理規范》，提出了增進人類福祉、促進公平公正、保護隱私安全、確保可控可信、強化責任擔當和提升倫理素養6項基本的人工智能倫理原則[10]。通過將上述政策文件中的原則加以進一步的整合和選擇，將人工智能倫理原則總結為：透明、公正、無害、問責、隱私、福祉和自治。1)透明。透明原則指人工智能可公開、可解釋、可理解、可溯源。具體而言，人工智能的決策原理、數據來源、運作模式和優勢限制等都能予以描述、檢查和再現。2)公正。公正原則指人工智能堅持全納、包容、平等、普惠、公平與正義的理念，促進人工智能的益處無障礙地惠及全體，不分性別、種族、地區、健康和文化等差異。例如，人工智能背后的算法不應存在有意或無意的歧視性，確保人工智能在提供服務時能夠適應各類人群的偏好和能力。3)無害。無害原則指在技術措施和治理策略上，人工智能不能對用戶、資源、環境、社會造成負面影響。因此，應將技術穩健性和安全性[11]作為首要考慮因素，既要保證人工智能正常運行，又要采取技術性措施防止人工智能被惡意利用從而造成損害。4)問責。問責原則指明確人工智能在開發、部署、應用時的責任，明確責任主體與責任分配等問題，其有賴于建立有效的問責機制。5)隱私。隱私原則指人工智能必須確保充分尊重用戶隱私、提供數據保護、建立完善的數據治理機制，同時考慮數據的質量和完整性，并確保對數據的合法訪問。6)福祉。福祉原則指人工智能應堅持以人為本，以促進發展、增加益處為導向，保障人類權益，促進社會可持續發展。例如，避免人工智能的不合理使用對個體的人際關系、社會技能、身心健康帶來的不利影響，以及對資源和環境帶來的危害。7)自治。自治原則指人工智能要尊重用戶的人格尊嚴、保護用戶的基本權利，尤其是保障人類擁有充分的自主決策權，要尋求機器決策和人類決策之間的平衡，促進人工智能可控可信。例如，人工智能應支持用戶自主選擇平臺或技術、與他人建立和發展關系的自由。

(二)教育人工智能倫理原則

當人工智能技術賦能教育之后，如何實現其可持續發展、以及發展中面臨的挑戰是什么等問題都亟待解決[12]。王正平(2017)研究表明，教育倫理原則主要包括明辨是非善惡、保障教育活動相關者的利益、尊重學生并且與學生相互信任、履行教育責任與義務、維護教育公平和教育正義、提高學術水平與教育能力、尊重自由民主和平等、維護師生的基本權利等[13]。如前所述，人工智能倫理原則主要包括透明、公正、無害、問責、隱私、福祉和自治。由此可見，人工智能倫理與教育倫理在很多方面有重疊之處，即福祉、無害、問責、自治、公正[14]。

如果說人工智能倫理原則主要針對的是數據與算法產生的問題，那么教育人工智能的倫理原則更多側重于教育層面的實踐，為教育主體或其他利益相關者制定倫理規約。1)福祉。福祉原則指教育人工智能需保障與教育相關的所有主體的利益，為其帶來教育福利，以及促進教育的可持續發展。例如，能否幫助教育管理者實施最佳的監管；能否使教師將更多的精力投入到學生能力的提升上；能否使所有學習者既發展個性又得到全面和諧發展；能否消除由于經濟水平差異而帶來的數字鴻溝[15]等。2)無害。無害原則主要指教育人工智能需摒棄惡意，消解潛在風險，從而促進教育的向上、向善、向美。例如，需要保護學習者的隱私數據不被非法售賣獲利，從而保障學習者的人身安全。3)問責。問責原則指需要明確教育人工智能的完整供應鏈以及教育中各行為主體的責任擔當[16]，從而增強教育人工智能的可信賴性。因此，需要在人工智能系統透明性和可追溯性的基礎上，建立明確的問責機制[14]。4)自治。自治原則要求教育人工智能充分尊重教師和學生的基本人權，尤其是保障教師和學生的自主決策權。一方面，教育人工智能應尊重教師在教育活動中的主導地位，即教師有權決定利用人工智能教育產品進行教學的方式。另一方面，教育人工智能應尊重學生的主體地位，學生對人工智能教育產品及服務有自由選擇的權利。5)公正。公正原則指教育人工智能需平等地使與教育相關的所有主體獲益，尤其是減弱乃至消除對教師和學生這兩大主要教育主體的邊緣化和歧視化。首先，人工智能算法和數據本身是否對特殊學習群體帶有歧視性；其次，如何提高可訪問性使產品提供的內容與功能讓包括殘障人士在內的所有學習者都能無障礙訪問；最后，教師在使用人工智能進行教學活動時，是否會因教師技能差異導致的“技能鴻溝”[17]而影響教育公平。

三、教育人工智能系統的具體倫理原則

盡管一般性的教育人工智能倫理原則對于教育人工智能系統不可或缺，是教育人工智能系統存在的基礎性條件。不過，教育人工智能系統偏向于教育人工智能的系統層面，教育人工智能系統的倫理原則應針對系統的開發與應用來制定。由于每個教育人工智能系統有其各自的特定功能，因此，除了一般性的倫理原則之外，教育人工智能系統還需要在微觀層面根據自身的特殊性遵循具體的倫理原則，即教育人工智能系統開發與應用的倫理原則，從而更加細致和深入地規范人工智能教育實踐。

(一)教育人工智能系統開發的倫理原則

就教育領域的人工智能系統而言，供應商是開發人工智能軟件的公司或機構，客戶通常是教育機構，用戶則是學生。對于一個教育人工智能系統，供應商有必要理解客戶并遵守對客戶、用戶的相關義務，以減少或避免不良的技術應用對客戶、用戶造成損害。因此需要系統開發者遵守一系列的基本原則，保證系統在不同情況下進行決策時，都能做出既科學合理又符合社會規范、倫理的決定[18]。

那么，教育人工智能系統的發展是否有倫理規范可循？1950年末，阿西莫夫(Isaac Asimov)在其著作《我，機器人》(I, Robot)中首次提及機器人三定律(Three Laws of Robotics)。第一定律：機器人不能傷害人類個體，也不能在目睹人類受到傷害時袖手旁觀；第二定律：機器人必須服從人類的命令，除非這種命令與第一定律相沖突；第三定律：機器人必須盡可能保護自己的生存，只要這種保護不與第一定律或第二定律相沖突[19]。此后，機器人三定律被廣泛運用于教育人工智能系統的倫理分析并不斷修改和補充。1992年，國際計算機學會(Association for Computing Machinery)為其成員制定了道德和職業行為準則，準則包括一般倫理準則和具體倫理準則。其中具體倫理準則與教育人工智能系統的開發人員有關，內容包括努力將專業工作的過程和產品達到最高質量、最高效率；獲得并保持專業能力；了解并尊重與專業工作相關的現行法律；接受并提供適當的專業審查；對計算機系統及其影響進行全面而徹底的評估，包括可能的風險分析；遵守合同、協議和分配的責任；培養公眾對計算相關技術及其后果的理解；只有經過授權才能訪問計算機和通信資源[20]。考慮到教育人工智能系統的核心價值，艾肯(Aiken)提出了兩個元原則，即教育人工智能系統不應削弱學生在任何人類基本維度上的水平；教育人工智能系統至少應該提升學生在其中任意一個人類基本維度上的水平[21]。基于此，可以總結出以下教育人工智能系統開發的倫理原則：1)系統應對學習者起到鼓勵作用，而不是使學習者感到沮喪；2)系統應鼓勵學生之間的協作以及師生之間的互動，以此幫助學生建立健康的人際關系；3)系統應促進學習者樂于助人、富有創造力等積極性格特征的發展；4)系統應能夠篩選出對學習者重要的信息和知識，以避免信息過載影響學生的智力和審美能力；5)系統應創造促進求知欲的環境，使學習者開發自己的興趣和才能并能自主探索；6)系統應考慮人體工程學特征，利用技術手段避免學生在使用時造成的眼疲勞、重復性勞損等傷害；7)系統應能夠幫助教師解決課堂管理問題、提升教學效果；8)系統應避免文化差異、語言差異而使學習者感受到歧視；9)系統應考慮學習者學習風格和技能水平的差異。

(二)教育人工智能系統應用的倫理原則

隨著人工智能技術的廣泛應用和人工智能教育的飛速發展，國內外涌現出諸多具有特色功能的教育人工智能系統，如適用于殘疾學生的智能機器人、研究型自適應學習系統、以“拍照搜題、智能測評、智能錯題本”為主要賣點的智能學習系統，以“精準測評、精準定位、精準提分”見長的自適應學習訓練系統等。在應用過程中，教育人工智能系統中涉及倫理道德方面的隱患引發人們的擔憂，其中包括教育大數據收集、處理等環節中涉及到的學習者隱私和安全問題；學習者年齡、性別、文化差異產生的數字鴻溝；教師教育技術能力差異產生的“技能鴻溝”；網絡傳播、網絡復制[22]導致的知識產權侵權或其他倫理道德方面的隱患[23]。

不同的教育人工智能系統不僅需要遵循一般性的倫理原則，還需要根據自身的特殊性和實際環境制定更加具體的倫理原則。一方面，以紐約時報推廣的人工智能教育系統為例，該系統能夠以紐約時報書評的形式為任意類型的書創建書評，學生通過系統自動生成讀書報告并直接上交。在倫理視角下，這與公然竊取信息略有不同，但實則是侵犯知識產權的行為。另一方面，對于智能監課系統，盡管大多數供應商承諾系統只是記錄學生的表情和動作，不會進行全程錄像。但在學生認知中有攝像頭存在時，難免有一種隱私被侵犯的不適感。并且，基于系統的課堂使教師成為監控者和管理者，學生成為被監控者和被管理者，進而容易導致師生之間的不信任感與疏遠感。學生可能會為了迎合教師而刻意表演、隱藏真實的自我，在一定程度上影響課堂氛圍、降低教學效果。此外，系統的引入容易導致師生交互和生生交互的大幅缺失與迷茫。系統的引入使教師過分關注系統數據的光鮮亮麗，而忽視與學生的交互，并且將學生之間在課堂上討論交流的行為視為不規范行為，進而導致學生積極性被挫、學生思維發展受限和促進求知欲的教學環境缺失等不良后果。同時，由于系統尚未能夠實現情緒情感數據的準確識別與學習干預，教師易忽視學生的情感狀態，造成師生與生生情感交互的缺失，不利于學生建立情感聯系，阻礙學生社會情感能力的發展。因此，需要完善的應用原則以防止教育人工智能系統帶來更多類似的負面影響。根據各教育人工智能系統的特殊功能，在梳理現有人工智能教育倫理指南的基礎上，提出以下教育人工智能系統應用的倫理原則：1)在教育人工智能系統投入使用前，建立針對系統決策的監督機制，保證人類始終參與決策并且能夠推翻系統的不恰當決策；2)制定教育數據訪問協議，協議應包括哪些人員可以訪問學生個人數據，在什么情況下可以訪問學生數據等；3)企業向學校提供人工智能教育產品的同時，應該告知用戶該系統的工作原理和機制，以此保證系統的透明性；4)建立健全的問責制度。一方面，明確系統開發、部署、使用前后的責任主體；另一方面，建立審查機制，確保能夠補救系統可預見的不利影響；5)學校引入產品前，對產品進行包容性測試，避免系統對性別、經濟、文化、社會地位存在差異的學習者產生歧視；6)學校尊重教師的主導作用與學生的主體地位，明確系統始終只起輔助作用；7)營造促進學生求知欲、創造性的教學環境，鼓勵學生進行探索；8)重視教育過程中對情緒和情感的識別和干預，注重情感聯系的建立與連接。

綜上所述，教育人工智能系統的具體倫理原則折射了教育人工智能系統面臨的倫理問題，主要集中于人工智能技術自身、利益相關主體的問責、教育中情感的缺失以及個體的權利和權益四個領域。人工智能技術自身聚焦于支撐技術的數據和算法所面臨的倫理問題，包括數據和(或)算法的可訪問性、隱私邊界、透明性和有意或無意的歧視性等。利益相關主體的問責指供應商、客戶和用戶三大主體間責任的界定和分配問題，即是否承擔責任、承擔什么責任以及承擔多少責任，其依靠專門化的問責機制和審查機制來保障。教育中情感的缺失指由于數據和算法尚未能對情緒和情感進行準確識別，從而使教師和學生未能挖掘情感對教育的價值。個體的權利和權益主要指教育人工智能系統不能侵害個體的知識產權、決策權、隱私權、發展權等，尤其是要尊重和保護教師和學生這兩大教育主體的權利和權益。例如，系統作為技術工具應堅持服務教育而非決定教育的取向、不能因為系統的“預測”功能而忽視教學交互以及阻礙學生的求知和主動探索等自我發展的權利。

四、教育人工智能系統發展的倫理挑戰

當教育人工智能系統在開發和應用的過程中違背倫理原則，便會引發相應的倫理風險與挑戰。面向未來教育人工智能系統的發展，其在人工智能技術自身、利益相關主體的問責、教育中情感的缺失以及個體的權利和權益四大倫理問題上分別面臨數據與算法的缺陷、系統提供商權責不明、教育過程的情感遮蔽和教育主體角色轉變四大挑戰。

(一)數據應用與智能算法存在缺陷

大數據算法是人工智能的核心，人工智能教育應用與人工智能應用一樣，在數據應用和智能算法上存在缺陷。在數據方面，教育人工智能系統收集大量數據以記錄學習過程、推斷情緒狀態、提出應對策略，而這些數據的擁有者、有權訪問者、隱私問題邊界等問題都是亟待解決的。在智能算法方面，首先，智能算法存在難以預知的黑箱風險[24]。由于算法過程的復雜性與不透明性，除少數研究人員之外，算法不被大多數人理解。容易導致算法責任歸屬與監管問題。其次，對算法的過度依賴影響學生能力發展。基于算法對個體作出的分析固然有一定的依據與可靠性，能夠為學生推薦個性化的資源；但頻繁使用算法得出的決策容易使學生產生依賴感，從而對探索新知與創新缺乏主動性與積極性，影響其創新思維與獨立思考的能力。最后，算法本身缺乏精確性。學生是不斷變化發展的個體，智能算法的精準決策需要大量的學生數據，然而算法無法對學生的變化發展做出詳盡的判斷，此外還可能存在其他隱性的數據無法得到計算，從而加劇教育過程的不公平性。

(二)系統提供商權責不明

教育人工智能系統提供商的主要職責是系統的開發與完善。在系統開發和投入使用的整個過程中，其一，需要保證系統結果的可追溯性和可理解性。當客戶對結果產生疑問時，能夠完整再現數據的動態變化并確保用戶易于理解。也要提供系統的限制與缺陷說明，使用戶對系統可能產生的消極影響有充分的把握。其二，需要保證系統為受教育者帶來福祉。謹防系統因種族、性別、文化差異對學生產生歧視或造成其他傷害，尊重學生的主體地位并激發學生的學習積極性與主動性。也就是說，在學生使用系統的過程中，既不會受到任何負面影響，又能夠提升學習效果。其三，需要對系統測試與審查。在系統投入使用前，對系統從安全性、執行效率、執行質量等方面進行測試，保證系統決策科學合理。在系統投入使用后，定期審查系統決策是否符合規范，并根據客戶意見不斷維護和更新系統。

(三)教育過程的情感遮蔽

情感在教學過程中具有重要的教育價值，所有的學習都有情感上的關聯，教育依賴于情感作為學習和個人發展的動力。人工智能為教育過程搭建數字化的虛擬環境，收集大量客觀的教學過程數據并進行分析，然而并非所有數據都可以得到有效度量。教育者與受教育者的情感狀態容易受到忽視，從而產生一系列倫理問題。這種情感遮蔽現象可以理解為對技術的過于關注而導致的師生情緒和感受的屏蔽，教育主體既體會不到自己的情感變化，也無法察覺相互間的情感變化[25]。教師與學生、學生與學生之間的互動受到虛擬世界影響，情感交流被數字符號所取代。盡管現有的技術可以通過監測眼球活動、表情等對學習者的學習狀態進行判斷，但很難進行準確的情感識別。

(四)教育主體角色轉變的認識問題

在現代教育觀念中，教育主體包括教育者與受教育者，摒棄了以往教育者與受教育者主客體相對立的觀念。由于教育人工智能系統的發展與成熟，人工智能教育應用已經能夠扮演教師、學生、同伴、專家等豐富的角色，智能機器人的權利地位[26]影響著教育主體的角色轉變，從而產生一定的倫理風險。因此，需要正確認識教育主體角色轉變，進而及時處理出現的各種問題，以便于將倫理風險降低到最低程度。其一，學習者的角色轉變。其中最突出的是“本我”與“非我”的異位問題。人工智能分析提供的虛擬人格與學習者自身存在“非我”與“本我”的矛盾，盡管兩者受控于同一精神主體，但自我的現實性和虛擬性難以達成主體性的和諧統一[27]。如果難以實現從“非我”到“本我”的角色轉變，將弱化真實情境的學習體驗，降低學習質量。其二，教師的角色轉變。各類教育人工智能系統在教育場景中廣泛應用，盡管減輕了教師大部分的重復性工作，但存在弱化教師職能的倫理風險。現有的人工智能教育應用已經能夠替代診斷、評價、反饋等部分教師職能，如果對其過度依賴，教師的權威地位將遭到消解。此外，如果教師存在倫理素養的缺失，在學生數據的使用過程中容易產生道德失范行為，對學生的隱私安全造成威脅。

五、教育人工智能系統發展的應對策略

審視教育人工智能系統發展的時代挑戰并提出應對策略，對未來教育人工智能系統的發展走向起決定性作用，有利于助推人工智能成為未來教育發展的積極因素。2019年5月16日，國家主席習近平在國際人工智能與教育大會上指出，中國要積極推動人工智能與教育的深度融合，加快發展伴隨每個人一生的教育、平等面向每個人的教育、適合每個人的教育、更加開放靈活的教育[28]。由此可見，教育人工智能系統發展的倫理挑戰需要堅持以人為本，并通過道德素養提升、準則完善、法律規約、人為監管等手段構建應對路徑。

(一)培養具備合格人工智能素養的社會公民

現如今比較典型的以松鼠AI為代表的智能教學系統、以小猿搜題為代表的拍照搜題系統、以句酷批改網為代表的作業評測系統、以好未來GodEye為代表的課堂輔助系統等教育人工智能系統廣泛應用于教育場景中，為教育教學帶來了極大便利。進而，有必要培養具備合格人工智能素養的社會公民以應對人工智能時代的機遇和挑戰。數據應用引發的倫理問題歸因于人們道德素養的缺失，而倫理道德修養是人工智能素養的核心因素。也就是說，在進行人工智能的學科教育時，要注重學生的道德素養培養與提升，將培養需求落實到課程與教學改革中。其一，在中小學階段，除了教授人工智能的基礎知識，還應向學生傳輸平等待人、尊重生命等抽象的道德觀念。其二，在高等教育階段，將倫理道德修養貫穿于人工智能教育應用的實踐之中。既要求教師起正確的示范作用，提升職業道德行為的價值意識，對學生數據的使用遵循規章制度；又要加強學生的道德建設，如在思政教材中增加數據安全相關的法律法規內容。

(二)制定更加切合實際的教育人工智能系統倫理原則

科學的倫理原則是教育人工智能系統更好地服務于教育的制度保障。盡管國外現有的文件《教育中的人工智能：可持續發展的機遇和挑戰》《可信賴的人工智能倫理準則》等都涉及人工智能教育的倫理框架，但仍需要結合我國國情和實際情況進一步細化與完善。從宏觀來看，現有倫理原則并沒有清晰的責權細分，我國倫理規范的建立需要區分所有利益相關者包括教育人工智能系統開發者、供應商、學校、教師等的責任與義務。在微觀角度，可從數字鴻溝、數據隱私、可追溯性、多樣性與非歧視性、人際等諸多方面做出相關規定。以數據隱私為例，系統開發者應利用技術對學習者隱私數據進行加密以防止惡意傳播與使用；供應商應提供包括系統如何采集、保護數據的措施的安全條例；學校在引入系統前進行嚴格的倫理審查；避免學習者對智能系統過度依賴而造成的身體與心理等方面的威脅；教師應遵守學校的相關規定，不隨意訪問、傳播學生數據或利用數據進行科研活動等。

(三)構建教育人工智能系統應用過程的監管機制

一方面，關于數據與智能算法的風險防范，需要以技術研發做支撐、制度做保障。其一，加強中國人工智能教育應用政策的頂層設計。通過借鑒美國《教育法案》(The TEACH Act)、《家庭教育權利和隱私權法案》(FERPA)，在我國《中華人民共和國計算機信息系統安全保護條例》等現有關于數據安全法案的基礎上進一步優化。其二，建立健全系統開發、運用過程的監管與問責機制，供應商、機構、用戶等行為主體都應明確各自的責任分攤。其三，鼓勵各教育機構在教育人工智能系統決策過程中發揮主觀能動性，設置專門的技術部門采取積極措施防止數據泄露，采用的措施從簡單的口令技術(靜態口令、動態口令、口令卡等)、傳統生物鑒別技術、到較復雜的模糊身份鑒別的認證技術，乃至區塊鏈技術。另一方面，針對教育主體角色轉換引發的一系列理論問題，其一，強化教育主體的權責意識。學校加強對教師與學生的培訓，使其明確在教育人工智能系統使用過程中的職責與義務。其二，規范化教育主體的權責劃分。政府及有關部門制定相應的規范或制度，明晰教育主體的權責劃分與倫理失范邊界，并審查教育主體的失范行為，從而及時干預。此外，教育人工智能系統的責任與義務、問責方式都應有明確的界定。

(四)重視人文關懷的情感教育力量

教育環境中的人文關懷即關注學生的情感狀態，是學生成長與發展必不可缺的推動因素。面對教育人工智能系統使用過程中人文關懷缺失的現象，需要對人文關懷的情感教育力量加以重視。其一，堅持育人的教育價值觀導向。目前，我國人工智能技術的教育應用實際上只是淺層次的以認知為導向的人工智能教育應用[29]，為了更好地推進人工智能與教育的深度融合，這就要求人工智能技術不能孤立地影響教育。智能技術的使用應充分考慮學生、教師、知識、教學方法與環境的整體作用，回歸到教育活動育人的根本目標。其二，加強人工智能在情感識別、腦科學領域的研究。利用腦機接口技術和情感識別技術能夠掌握學習者的認知水平、學習狀態與情緒狀態。加強情感識別與腦科學領域的研究，能夠將教學過程有效量化。結合人臉識別等技術，更加全面、科學地監控與評估教學過程，提升教育主體的參與度并促進互動，提升學生的社會情感能力，優化教師的干預效率，從而實現真正意義上的個性化教學。

六、結 語

人工智能為教育改革帶來新的機遇，有助于促進教育個性化、智能化、終身化。本文從教育人工智能系統的發展歷史與現狀出發，梳理教育人工智能系統的一般倫理原則與具體倫理原則，探討了教育人工智能系統發展的倫理挑戰與應對策略。盡管現有的人工智能倫理文件對教育人工智能系統的倫理問題進行了一定程度的制度規約，但現有的倫理原則并不足以覆蓋全部的倫理問題且約束力不足。圍繞數據與算法、權責界定、情感遮蔽以及教育主體角色轉變等倫理挑戰，不僅需要完善倫理框架，還需要從道德素養提升、完善監管機制、重視情感教育等方面探尋教育人工智能系統的發展路徑，以充分挖掘人工智能的巨大潛能，實現育人的最終目標。面向未來的智能時代，人工智能勢必推動教育生態的進一步重塑。我們應始終秉承技術服務論和人本論，并以未來之眼審視教育人工智能系統面臨的倫理問題，對可預見的倫理風險進行防范。此外，關于教育人工智能是否能夠成為教育主體之一，其權利與地位問題還有待進一步思考。