





摘要:當前,以數據驅動為基礎的自適應學習技術在教育領域展現出了巨大的潛力,然而其不透明的“黑箱”屬性引發了教育研究者和實踐者的普遍擔憂。可解釋性人工智能被認為有潛力在自適應學習情境中幫助學習者理解干預決策,從而提升學習成效,但其在教育應用中的實踐效果存在爭議。為此,文章采用元分析方法,對29項實證研究的66個效應量進行分析,發現可解釋性人工智能對自適應學習的學習效果的提升為中等程度,其中對學習者認知和元認知維度的影響更大;可解釋性人工智能的促進作用因受到解釋設計、呈現設計、實驗設計的影響而存在差異。基于研究結果,文章提出未來的自適應學習干預應堅持以學習者為中心,注重學習干預解釋的互動性、可讀性和邊界性等啟示,以促進可解釋性人工智能在教育領域的深度應用。
關鍵詞:自適應學習;可解釋性人工智能;元分析
【中圖分類號】G40-057 【文獻標識碼】A 【論文編號】1009—8097(2024)10—0092—11 【DOI】10.3969/j.issn.1009-8097.2024.10.010
引言
隨著人工智能技術在教育領域中的高速發展,越來越多的研究表明人工智能技術能夠在教、學、評等各個環節體現數據驅動的自適應、個性化的教育價值[1]。然而,智能分析與決策的“黑箱問題”造成了人對機器的“認識缺失”,在教學實踐中也呈現出算法厭惡干擾、推送錯誤風險、教師難以理解等個性化教學信賴危機[2]。為了解決人工智能的可控性問題,可解釋性人工智能(Explainable AI,XAI)方法逐漸受到重視。先前一些研究對XAI的教育內涵進行了分析,體現在教育領域中應用XAI(XAI-ED)的特征包括:①透明性,XAI技術可以對數據處理和決策過程進行透明化展示,使用戶了解每一步操作的邏輯。②可追溯性,XAI的決策過程可以追溯,幫助用戶理解每個決策背后的依據與數據處理流程。③用戶友好性,XAI技術重視用戶交互,可以通過可視化、自然語言解釋等方式,使不同背景的用戶理解和使用人工智能系統[3]。例如,在個性化學習環境中,XAI技術可以提供關于推薦內容或學習路徑選擇的詳細解釋,幫助學習者理解這些推薦是如何產生的,從而增強其對于學習規劃的理解;XAI還可以詳細解釋預測成績或自動反饋背后的依據,協助教師識別哪些因素影響了學習者成績或者評估結果等[4][5]。
此外,過往對XAI在教育情境下的應用研究也指出,XAI的解釋信息本身具有促進學習者自身水平發展的教育功能[6]。Miller[7]指出,在教育情境下,解釋不僅被視為一種信息產出,還被視為學習者和教學對象互動的過程,以及從解釋者到被解釋者的知識轉移過程。因此,從教育實踐上看,XAI的解釋不僅應該增加學習者對系統或系統決策的信任,還應該賦予其更好的學習表現[8][9]。例如,對于自適應學習路徑的解釋性說明能夠幫助學習者適時調整自身的學習策略,對于自適應學習者建模的解釋性說明能夠幫助學習者進行有效的自我監控,等等。然而,當前對于可解釋性人工智能的教育應用效果爭論不一,其中Robbins[10]認為教育應用中人工智能算法的許多用途是低風險的,不需要解釋;但在某些情況下,對自適應決策的解釋信息可能會引入新的不確定性和認知負荷。而Hostetter等[11]支持在人工智能教育應用中對背后的自適應干預決策進行解釋,認為這可以增強學習者對學習過程的控制和自我監控能力,從而提升學業表現。Conati等[12]發現,提供人工智能決策解釋增加了學習者對智能導學系統中提示的信任、感知提示的有用性和再次使用提示的意愿。
綜上所述,盡管已有研究在一定程度上探索了應用可解釋性人工智能與學習者學習效果之間的關系,但“可解釋性人工智能對自適應學習應用的影響”仍存在諸多爭議。目前來看,還未有研究針對可解釋性人工智能教育應用的效果進行定量的證據描述。基于此,本研究采用元分析的方法,梳理了過去二十年國際上可解釋性人工智能相關的教育實證研究,并按照元分析方法的規范要求對這些文獻進行篩選、梳理、分析,以期進一步探明使用可解釋性人工智能對自適應學習中學習成效的影響,為可解釋性人工智能的應用設計與教學實踐提供建議。
圖1 "文獻篩選過程
一 研究設計
1 文獻檢索與篩選
為了盡可能多地收集到可解釋性人工智能在自適應學習研究中的實證文章,本研究在Web of Science和Scopus兩大文獻庫中展開了搜索,以explanation、explainable AI、XAI交叉性組合learner、adaptive、personalized、experiment、education為檢索詞,選取時間為2003年~2023年,最終在Web of Science中獲得628條文獻,在Scopus中獲得432條文獻。本研究按照以下標準對這些文獻進行了篩選:①文獻主題應為應用可解釋性人工智能對學習者學習效果的影響,排除僅簡單介紹可解釋性人工智能算法或應用了可解釋性人工智能算法(如專家規則、決策樹)卻沒有向學習者呈現解釋信息的文獻。②文獻必須是教育實證實驗或準實驗研究。其中,單組實驗需要有前后測的對照,雙組實驗必須包含一個干預下的實驗組,以及與之相對應的對照組。③文獻的數據分析部分有可計算效應量的信息。依據上述篩選標準,兩位研究者和一位研究助理通過篩選復核,最終得到29篇納入分析的樣本文獻,篩選過程如圖1所示。
2 文獻編碼
本研究的自變量為是否使用可解釋性人工智能方法,因變量為學習者的學習效果。由于可解釋性人工智能的相關實證研究關注了學習者學習效果的不同方面,因此本研究基于馬扎諾教育目標分類模型,將學習者的學習效果分為認知發展效果、元認知發展效果和自我發展效果三個維度[13]。從調節變量來看,本研究基于Khosravi等[14]提出的XAI-ED框架,從解釋設計、呈現設計和實驗設計三個維度進行分類:①解釋設計維度重點關注XAI技術對自適應學習中的哪些教育要素進行解釋。其中,交互行為關注解釋的可互動性,分為解釋僅可查看、解釋可協商對話和解釋可編輯;解釋邏輯指對所有的自適應算法決策都進行解釋(全局解釋邏輯),還是針對學習者個體需要進行解釋(局部解釋邏輯);社會比較指學習者是否能夠查看同伴的人工智能解釋;導航行為指人工智能進行解釋的信息是否包含新的學習資源[15]。②呈現設計維度重點關注人工智能教育決策是如何被呈現的。其中,呈現形式指人工智能解釋是用文本、圖片還是表格形式進行呈現;色彩編碼指是否用不同顏色對內容加以標識;應用場域指人工智能解釋所呈現的教育應用形式(智能導學系統、教育游戲等)。③實驗設計維度包括實驗時長、學習材料和學習對象三個調節變量,具體的文獻編碼表如表1所示。研究團隊通過討論后對該編碼內容達成了共識,并基于此編碼表對29篇文獻進行了獨立編碼。通過檢驗可知,整體的編碼一致性為可接受的(Cohen’s Kappa=0.71)。最終,研究團隊對編碼不一致的文獻和變量通過討論達成了一致。
表1 "文獻編碼表
3 數據分析
(1)效應量計算
在元分析中,效應量是衡量單個研究結果的綜合指標,本研究使用標準化平均差(Std. Mean Difference,SMD)作為效應量來評估可解釋性人工智能教育應用對學習者學習效果的影響。由于納入分析的研究中測量學習效果的維度和方式各有不同,故最終納入了66個可用于元分析的效應量,其中部分實驗與準實驗研究包括多個效應量。
(2)偏倚分析與異質性檢驗
為保證元分析結果的科學性和準確性,本研究在進行所有分析之前先進行了發表偏倚檢驗。本研究基于Egger偏倚檢驗方式,計算得到t=1.31,p=0.32>0.05,未達到顯著水平,表明不存在顯著的發表偏倚[16]。隨后,本研究采用失安全系數(Fail-safe N)檢驗發表偏倚,如果失安全系數遠遠大于“5N+10”(N為樣本數),則表明未發表的研究對元分析結果沒有影響[17]。本研究計算得到的失安全系數為2636,遠大于340(5×66+10),再次證明無顯著的發表偏倚。
本研究進一步使用Q統計量和I2值評估異質性,I2值增加表明異質性增強[18]。具體來說,0~25%表示異質性較低,25~75%表示異質性中等,75~100%表示異質性較大[19]。本研究的統計數據(Q=499.667,I2=86.991,p<0.001)證實分析中效應量的異質性顯著,因此可以使用隨機效應模型來計算總體效應量。
4 研究方法和工具
元分析是一種綜合性研究方法,目的是探究獨立研究之間的共同效應或其差異產生的原因,對有爭議甚至矛盾的同類研究進行元分析可得出較為明確的結論[20]。本項研究采用元分析方法探究可解釋性人工智能教育應用對學習者學習效果的影響,借助元分析軟件CMA 3.0,將不同研究的樣本量、實驗的前后測均值以及標準差等原始數據作為輸入,以進行綜合計算和分析。
二 研究結果與分析
1 可解釋性人工智能對于學習者學習效果的總體影響
根據CMA 3.0軟件的計算,整體效應檢驗結果如表2所示,本研究采用隨機效應模型得出的總體效應量為0.426(p<0.001)。Cohen的元分析效應值統計結果認為,當效應量小于等于0.2時,表明影響較小;效應量位于0.2~0.5時,表明具有中等程度的影響;效應量位于0.5~0.8時,表明具有較大影響;效應值大于0.8時,表明影響程度很大[21]。本研究的總體效應量為0.426,表明可解釋性人工智能對學習者的學習效果具有中等的促進作用。
表2 nbsp;整體效應檢驗
注:***p<0.001。
2 可解釋性人工智能對于學習者學習效果的具體影響
根據CMA 3.0軟件的計算,不同類別學習效果的具體影響如表3所示。在認知發展維度,可解釋人工智能對于學習者認知方面的促進作用的合并效應量為0.446(p<0.001),具有顯著的中等程度促進作用。其中,遷移學習表現(SMD=0.570,p<0.05)具有平均水平之上的效應量,表明可解釋性人工智能可以更好地促進學習者的遷移學習表現;而學業表現(SMD=0.405,p<0.001)的促進作用相對較小,表明可解釋性人工智能在教育應用中對學業表現的影響還有待提高。
在元認知發展維度,可解釋性人工智能對于學習者元認知方面的促進作用的合并效應量為0.493(p<0.01),表明其對于學習者元認知水平具有顯著的中等偏上的促進作用。其中,自我評估水平的效應量達到了0.714(p<0.01),表明可解釋性人工智能對于學習者的自我評估表現有著較高的促進作用;但是,可解釋性人工智能對于自我監控水平(SMD=0.280,p<0.05)和自我調節水平(SMD=0.282,p<0.05)具有中等偏低的促進作用。
在自我發展維度,可解釋性人工智能對學習者自我發展的促進作用總體而言并不具有顯著性(SMD=0.272,p>0.05)。具體來看,可解釋性人工智能能夠小幅促進學習者的動機水平(SMD=0.221,p<0.01),但對于參與度水平(SMD=0.230,p>0.05)和自我信念水平(SMD=0.440,p>0.05)都不存在顯著的促進作用,表明可解釋性人工智能對于改善學習者自我發展維度的效果并不充分。
3 "可解釋性人工智能對不同類別學習效果的具體影響
注:***p<0.001,**p<0.01,*p<0.05。下同。
3 不同調節變量對學習者學習效果的影響
由異質性檢驗可知,學習者認知發展、元認知發展和自我發展的效果之間存在異質性,表明對這三個維度的效果分別進行調節效應分析具有可行性,維度效果分離的調節效應分析也能夠更加深入地挖掘調節變量的作用差異。同時,由可解釋性人工智能對學習者學習效果的影響分析可以看出,可解釋性人工智能對于學習者的自我發展維度的作用并不顯著,因此具體分析對學習者的自我發展維度的調節效應意義較小。綜上,本研究基于學習者的認知發展(30個效應量)和元認知發展(16個效應量)分別對調節效應進行分析(如表4、表5所示),以期更加深入地探索可解釋性人工智能對學習者學習效果的調節差異。
(1)不同解釋設計的調節效應分析
從解釋設計維度來看,不同的交互行為對學習者的認知發展和元認知發展有不同的促進作用。其中,僅可查看人工智能的解釋信息能夠中等程度地促進學習者的認知發展(SMD=0.362),而可與人工智能解釋進行可協商對話的學習者體現出了顯著的元認知發展(SMD=0.439)。針對算法整體進行解釋的全局解釋邏輯能夠非常有效地促進學習者的認知表現(SMD=0.933,p<0.001),而針對學習者個體表現進行解釋的局部解釋邏輯能夠顯著地提升學習者的元認知表現(SMD=0.571,p<0.05)。此外,在解釋設計中加入社會比較功能(認知發展SMD=0.192,p<0.001;元認知發展SMD=0.886,p<0.001)和導航行為功能(認知發展SMD=0.744,p<0.001;元認知發展SMD=0.477,p<0.001)都能夠促進學習者認知維度和元認知維度的發展。
表4 "可解釋性人工智能對學習者認知發展的調節效應分析
(2)不同呈現設計的調節效應分析
從呈現設計維度來看,人工智能解釋信息的呈現形式差異也會帶來認知發展和元認知發展的區別。其中,通過圖片解釋能夠更好地促進學習者的元認知發展(SMD=0.625),但對于認知發展(SMD=0.253)的促進效果較弱。解釋信息時采用色彩編碼具有顯著的學習效果促進作用(認知發展SMD=0.477;元認知發展SMD=0.352)。而對于解釋的應用場域,無論是認知發展維度還是元認知發展維度,其異質性檢驗都不顯著,表明教育實踐工具的不同對可解釋性人工智能的應用沒有影響。
表5 "可解釋性人工智能對學習者元認知發展的調節效應分析
(3)不同實驗設計的調節效應分析
從實驗設計維度來看,實驗時長對學習者的認知發展和元認知發展有著不同的促進作用。從認知發展來看,實驗時長越短,可解釋性人工智能應用對于學習者認知發展的促進作用就越顯著,其中實驗時長少于24小時對于學習者的認知發展有著較大的促進作用(SMD=0.789);而從元認知發展來看,實驗時長越長,可解釋性人工智能應用對于學習者元認知發展的促進作用就越顯著。學習材料方面,學習者進行計算機知識學習的人工智能解釋應用具有較好的學習效果(認知發展SMD=0.689;元認知發展SMD=0.789)。學習對象方面,只有大學生及成人學習者能夠從教育應用中的人工智能解釋信息中獲益(認知發展SMD=0.651;元認知發展SMD=0.702)。
三 研究結論
本研究使用CMA 3.0元分析軟件,選取29篇關于可解釋性人工智能教育應用的實驗和準實驗研究進行了元分析,從認知發展、元認知發展和自我發展三個方面探究了可解釋性人工智能對學習者學習效果的影響,同時分析了解釋設計、呈現設計和實驗設計三個調節維度的差異對可解釋性人工智能教育應用效果的影響。通過對結果的分析,本研究得到如下研究結論:
1 整體上可解釋性人工智能的應用顯著促進學習者的認知發展和元認知發展
從總體效果來看,使用可解釋性人工智能的教育應用對學習成效的總體效應為0.426,即具有中等程度的正向促進作用。這一發現回應了“人工智能教育決策的解釋對學習者學習效果有怎樣的影響”這一研究問題。同時,進一步的細分分析發現,可解釋性人工智能能夠有效促進學習者的認知發展和元認知發展,特別是對自我評估維度的影響效果最好。過往的眾多研究關注如何應用智能技術培養學習者的元認知能力,而較少關注智能決策的解釋能否提高學習者的元認知發展水平,本研究的發現為可解釋性人工智能應用提高學習者元認知能力提供了一個證據結果[22]。因此,后續研究可以重點發展和設計富供給的人工智能解釋,增強學習者對于智能學習環境的掌控感,從而促進學習者元認知能力的提升[23]。
2 可解釋性人工智能的應用成效受解釋設計、呈現設計和實驗設計的調節
從調節效應的分析來看,不同的解釋設計、呈現設計和實驗設計會帶來不同的學習者認知發展和元認知發展表現。具體來說:
(1)可協商、可比較、可導航的解釋設計促進元認知發展
解釋設計維度的調節分析結果表明,僅可查看的解釋對學習者的元認知效果并不顯著但能夠促進認知發展,而可協商對話的解釋能夠有效提升學習者的元認知水平。究其原因,可能是具有互動性質的解釋方式可以使學習者成為學習過程的積極參與者。因此,后續研究可以交替使用不同的交互方式,設計分層次的人工智能決策解釋。例如,學習階段前期以可查看的交互方式為主,后期逐步引入可協商對話的交互方式,確保學習者在具備一定的認知能力后,再進行更高層次的元認知提升。本研究還發現,加入社會比較和導航行為兩個功能可以提升學習者的認知水平和元認知水平,表明人工智能的解釋設計應當與同伴比較、學習資源供給相結合,構造可感知、可交互的人工智能解釋,幫助智能算法決策下的學習者主動掌握自己的學習進程。
(2)可視化、易區分、促理解的呈現設計促進認知發展
呈現設計維度的調節分析結果表明,以文本形式構建的人工智能解釋對學習者的影響最弱。究其原因,可能是以文本形式構建的人工智能解釋往往含有計算機領域所定義的抽象概念名詞,不利于教育場景下學習者的理解和掌握;而帶有色彩區分的圖表等可視化形式能夠直觀展現個性化路徑、學習者水平等自適應建模對象,對學習者而言理解難度更低。因此,未來的可解釋性人工智能教育應用可以參考過往成熟的教育設計,提供圖表、色塊等更符合學習者認知理解水平的解釋,突出可視化元素的理解輔助作用。
(3)針對數理知識學習和成人學習者的實驗設計促進認知與元認知的共同發展
實驗設計的調節分析結果表明,在學習材料方面,針對數理學科的人工智能解釋能夠促進認知與元認知的共同發展,這可能是因為利用人工智能跟蹤和建模這些結構化知識點的方法更加成熟[24]。在學習對象方面,小學生和中學生并不是可解釋性人工智能教育應用的理想目標對象。有研究指出,當前K-12水平的人工智能素養(AI Literacy)教育正在處于起步階段,缺乏對人工智能的理解使K-12學生很難從人工智能的可解釋性中受益[25]。本研究發現,只有大學生及成人學習者才能顯著提升學習效果,表明針對大學生及成人學習者的人工智能解釋應是未來重點關注的方向。
四 研究啟示
綜合來看,元分析結果肯定了可解釋性人工智能在自適應學習情境下對學習者認知和元認知方面的發展具有積極的促進作用,但這種作用效果會受到呈現形式、實驗設計等外在因素的影響,因此在自適應學習情境下應用可解釋性人工智能時,應綜合考慮多方要素。
1 注重自適應學習干預解釋的互動性,重視學習者的自主性
在自適應學習環境中,可解釋性人工智能有助于揭開算法驅動教學干預的神秘面紗,從而促進學習者對學習進程的掌控。本研究發現,相較于僅供查看的決策解釋,協商式決策解釋更能增強學習者的元認知表現,這強調了在個性化學習中,學習者主動參與的重要性不可忽視。人類的思考過程不應被機器替代,在應用可解釋性人工智能時,需要考慮學習者生能否對干預解釋進行互動反饋,如提供對智能推薦解釋的“確認”步驟、對智能干預解釋的“報錯”步驟,來激發學習者的主觀能動性,并根據學習者的具體反饋調整和改善干預策略,防止機器“馴化”人的不良現象發生[26]。
2 推動可視化方式創新,完善自適應學習干預解釋的可讀性
當前,可解釋性人工智能的核心在于為自適應教學干預提供易于理解的解釋方法[27]。為了使干預解釋真正為學習者所理解和認識,需要推動計算機科學、教育學、心理學等多學科的交叉融合,共同研究如何更好地設計和呈現解釋信息。例如,利用色彩和圖像來促進學習理解已受到教育心理學研究和人機交互研究的重視[28][29]。本研究也驗證了圖表形式的可視化解釋更有利于促進學習者的學習成效,學習者在接受解釋時還會受到色塊差異的影響。因此,未來實踐中可以關注過往交叉學科研究中提出的可視化創新方式,如動態圖表和交互式可視化工具等,以進一步推動和完善自適應學習干預解釋的可讀性[30]。
3 確立適用邊界,避免自適應學習干預解釋的無效使用與濫用
盡管可解釋性人工智能在自適應學習情境下具有積極的作用,但本研究發現,自適應干預的解釋對于中小學生而言并不能促進學習效果。對于認知發展并不成熟的低年級學生而言,自適應干預的解釋理解并不是其學習的重點,相反還可能帶來更高的認知負荷[31]。因此,未來實踐中必須警惕因不合適的學習對象而導致的不匹配應用,對學習者的年齡、認知水平、學習風格等因素進行充分考慮,以確保所提供的解釋信息能夠滿足他們的實際需求。同時,還需要建立相應的監管機制,嚴格控制自適應干預解釋對學習者個人權限數據的訪問范圍,確保學習者的權益和數據隱私得到有效保障。
參考文獻
[1]賈積有,張譽月.人工智能與教育:機遇、挑戰與對策[J].北京大學教育評論,2023,(1):49-61、188-189.
[2]樂惠驍,汪瓊.人機協作教學:沖突、動機與改進[J].開放教育研究,2022,(6):20-26.
[3][14][27]Khosravi H, Shum S B, Chen G, et al. Explainable artificial intelligence in education[J]. Computers and Education: Artificial Intelligence, 2022,3:100074.
[4]王一巖,鄭永和.可解釋學習者建模:價值意蘊與應用圖景[J].現代遠程教育研究,2023,(5):96-103.
[5]王萍,田小勇,孫僑羽.可解釋教育人工智能研究:系統框架、應用價值與案例分析[J].遠程教育雜志,2021,(6):20-29.
[6]Darvishi A, Khosravi H, Sadiq S, et al. Incorporating ai and learning analytics to build trustworthy peer assessment systems[J]. British Journal of Educational Technology, 2022,(4):844-875.
[7]Miller T. Explanation in artificial intelligence: Insights from the social sciences[J]. Artificial intelligence, 2019,267:1-38.
[8]Ferguson R. Ethical challenges for learning analytics[OL].
lt;https://learning-analytics.info/index.php/JLA/article/view/6587gt;
[9]孫立會.人工智能之于教育決策的主體性信任危機及其規避[J].電化教育研究,2023,(3):21-27、43.
[10]Robbins S. A misdirected principle with a catch: Explicability for AI[J]. Minds and Machines, 2019,(4):495-514.
[11]Hostetter J W, Conati C, Yang X, et al. XAI to increase the effectiveness of an intelligent pedagogical agent[C]. Proceedings of the 23rd ACM International Conference on Intelligent Virtual Agents. New York: Association for Computing Machinery, 2023:1-9.
[12]Conati C, Barral O, Putnam V, et al. Toward personalized xai: A case study in intelligent tutoring systems[J]. Artificial intelligence, 2021,298:103503.
[13]孫立會,王曉倩.基于馬扎諾教育目標新分類學的計算思維評價框架構建[J].電化教育研究,2021,(6):20-26、33.
[15]Bull S. There are open learner models about![J]. IEEE Transactions on Learning Technologies, 2020,(2):425-448.
[16]Egger M, Smith G D, Phillips A N. Meta-analysis: Principles and procedures[J]. BMJ, 1997,7121:1533-1537.
[17]Cohen J. A coefficient of agreement for nominal scales[J]. Educational and Psychological Measurement, 1960,(1):37-46.
[18]Rosenthal R. The file drawer problem and tolerance for 1 results[J]. Psychological Bulletin, 1979,(3):638.
[19]Borenstein M, Hedges L V, Higgins J P, et al. Introduction to meta-analysis[M]. USA: John Wiley amp; Sons, 2021:3-7.
[20]翟雪松,孫玉璉,沈陽,等.“虛擬現實+觸覺反饋”對學習效率的促進機制研究——基于2010-2021年的元分析[J].遠程教育雜志,2021,(5):24-33.
[21]Higgins J P T. Measuring inconsistency in meta-analyses[J]. BMJ, 2003,(7414):557-560.
[22]Aleven V, Roll I, McLaren B M, et al. Help helps, but only so much: Research on help seeking with intelligent tutoring systems[J]. International Journal of Artificial Intelligence in Education, 2016,(1):205-223.
[23]樂惠驍,賈積有.智能的邊界——智能教學系統中的用戶自主度研究[J].中國遠程教育,2021,(9):49-58.
[24]Hooshyar D, Pedaste M, Saks K, et al. Open learner models in supporting self-regulated learning in higher education: A systematic literature review[J]. Computers amp; Education, 2020,154:103878.
[25]Casal-Otero L, Catala A, Fernández-Morante C, et al. AI literacy in k-12: A systematic literature review[J]. International Journal of STEM Education, 2023,(1):29-47.
[26]王一巖,劉淇,鄭永和.人機協同學習:實踐邏輯與典型模式[J].開放教育研究,2024,(1):65-72.
[28]Elliot A J, Maier M A. Color psychology: Effects of perceiving color on psychological functioning in humans[J]. Annual Review of Psychology, 2014,(1):95-120.
[29]Mithun A M, Bakar Z A, Yafooz W M. The impact of web contents color contrast on human psychology in the lens of hci[J]. International Journal of Information Technology and Computer Science, 2019,(10):27-33.
[30]Guo Y, Zhu J, You J, et al. A dynamic visualization based on conceptual graphs to capture the knowledge for disaster education on floods[J]. Natural Hazards, 2023,(1):203-220.
[31]Paas F, Renkl A, Sweller J. Cognitive load theory and instructional design: Recent developments[J]. Educational Psychologist, 2003,(1):1-4.
Does the Explainable Artificial Intelligence Help Enhance the Learning Outcomes of Adaptive Learning?
——Meta-Analysis based on 29 Experiments and Quasi-Experiments
CHEN Ang-Xuan " "JIA Ji-You[Corresponding Author]
(Department of Educational Technology, Graduate School of Education, Peking University, Beijing, China 100871)
Abstract: Currently, data-driven adaptive learning technology has shown tremendous potential in the field of education. However, its opaque “black box” nature has raised widespread concerns among educational researchers and practitioners. Explainable artificial intelligence (XAI) is believed to have the potential to help learners understand intervention decisions in adaptive learning contexts, thereby enhancing learning outcomes, but there is controversy over its practical effects in educational applications. Therefore, the paper employed meta-analysis to analyze 66 effect sizes from 29 empirical studies. It was found that interpretable AI improved the learning effect of adaptive learning to a moderate degree, with a greater impact on learners’ cognitive and metacognitive dimensions. The facilitation effect of XAI varied due to differences in explanation design, presentation design, and experimental design. Based on research results, the paper proposed that future adaptive learning interventions should remain learner-centered, emphasize the interactivity, readability, and boundaries of learning intervention explanations, so as to further promote the in-depth implementation of XAI in education.
Keywords: adaptive learning; explainable artificial intelligence; meta-analysis
*基金項目:本文為國家社會科學基金教育學國家一般課題“基于大數據挖掘的學生智能評測和輔導研究”(項目編號:BCA220208)、東湖高新區國家智能社會治理實驗綜合基地項目“人工智能賦能地方教育高質量發展”的階段性研究成果。
作者簡介:陳昂軒,在讀博士,研究方向為人工智能教育應用,郵箱為angxuan.chen@stu.pku.edu.cn。
收稿日期:2024年3月4日
編輯:小時