融入生成式人工智能反饋的高校協(xié)同論證設(shè)計與應(yīng)用研究

摘要：本研究旨在檢驗融入生成式人工智能反饋對大學(xué)生協(xié)同論證質(zhì)量及學(xué)生認知的影響。研究邀請大學(xué)生參與在線協(xié)作學(xué)習(xí)，采用定量和定性相結(jié)合的研究方法，深度分析AIGC對協(xié)同論證的影響。研究結(jié)果表明，AIGC反饋不僅能促進學(xué)生多角度思考，提升批判思維和組織能力，而且能夠增強學(xué)生的論證信心及動機。同時，本研究驗證了AIGC在協(xié)作論證中的應(yīng)用效果，并為其在教育領(lǐng)域的廣泛應(yīng)用提供了新的見解。

關(guān)鍵詞：生成式人工智能反饋；協(xié)同論證；協(xié)作學(xué)習(xí)；對話反饋

中圖分類號：G434 文獻標(biāo)識碼：A 論文編號：1674-2117（2024）13-0107-06

引言

論證能力是高校學(xué)生學(xué)術(shù)生涯的必備技能，其要求學(xué)生從多種角度收集觀察數(shù)據(jù)，并運用形式邏輯以規(guī)范的形式提出論點。協(xié)同論證促使學(xué)生在論證過程中拓展和深化觀點，比較和評價不同觀點和想法的優(yōu)劣，在思維的交流與碰撞中達成共識。然而，由于先驗知識與知識領(lǐng)域的局限以及缺乏及時反饋等，在傳統(tǒng)論證中，學(xué)生往往難以從多個角度使用證據(jù)來支撐論點，導(dǎo)致出現(xiàn)論證質(zhì)量低下、缺乏邏輯性等問題。而生成式人工智能（AIGC）能夠為學(xué)生創(chuàng)設(shè)個性化學(xué)習(xí)空間，通過提供多角度的及時反饋來拓展學(xué)生思維，顯著提升學(xué)生績效[1]，幫助學(xué)生增強自信，提高論證水平。[2]因此，本研究旨在采用基于生成式人工智能反饋的協(xié)同論證來提升學(xué)生協(xié)同論證的質(zhì)量及認知。

文獻綜述

1.協(xié)同論證相關(guān)研究

論證是指學(xué)習(xí)者明確地構(gòu)建觀點，并提出對應(yīng)佐證內(nèi)容，是促進學(xué)習(xí)者邏輯推理及批判性思維發(fā)展的有效途徑。[3]根據(jù)Walton的定義，論證是以目標(biāo)為導(dǎo)向的交互式對話形式，參與者通過證明或反駁假設(shè)來共同推理以推進論證的進展。協(xié)同論證是小組成員通過相互提問、澄清和解釋，構(gòu)建關(guān)于主題不同方面的理由和證據(jù)的過程，從而拓寬和加深小組成員對主題的共同理解。

研究表明，協(xié)同論證能夠有效提升學(xué)生的論證技能，對其思維發(fā)展具有重要價值。在協(xié)同論證的過程中，學(xué)生的建構(gòu)能力和邏輯推理能力得到提高，且團隊成員的相互合作、共同理解有助于構(gòu)建集體知識。[4]

在協(xié)同論證中，學(xué)生面臨著多種挑戰(zhàn)：第一，由于論證的非線性和復(fù)雜性，很難構(gòu)建有效的論證。[5]第二，由于先驗知識和認知資源的限制，難以從多個角度提出論證。[6]

第三，難以找到相關(guān)且值得信賴的信息來源，有效地使用證據(jù)來支持主張，并根據(jù)證據(jù)反駁論點。[7]第四，觀點表達常常缺乏清晰度和嚴(yán)謹(jǐn)性，缺乏科學(xué)的推理過程。[8]

為應(yīng)對這些挑戰(zhàn)，筆者探索了各種教學(xué)方法及工具，其中，聊天機器人被認為是一種有前景的工具，它可以運用自然語言與學(xué)生互動，有效提升學(xué)生的論證能力和成績。[9]然而，由于語料庫和算法的限制，現(xiàn)有研究中基于檢索的聊天機器人很難適應(yīng)用戶及提示語的變化，可能導(dǎo)致尷尬的響應(yīng)或不響應(yīng)的問題。[10]相比之下，基于生成模型的聊天機器人可以很好地克服這一問題，并能就任何主題進行討論。[11]

2.生成式人工智能在教育中的應(yīng)用

生成式人工智能（AI Generated Content，AIGC）是指憑借自然語言處理（Natural Language Processing，NLP）及機器學(xué)習(xí)算法（Machine Learnning，ML）技術(shù)來模擬人類對話的交互機器人。[12]它借助大規(guī)模語料庫、生成性對抗網(wǎng)絡(luò)（GAN）、大型預(yù)訓(xùn)練模型等技術(shù)來實現(xiàn)創(chuàng)造性生成。

目前，AIGC在學(xué)習(xí)、教學(xué)和管理等方面對教育產(chǎn)生了前所未有的影響。研究表明，AIGC可以通過提供多視角觀點協(xié)助學(xué)生改善議論文寫作。[13]它的實時反饋滿足了學(xué)生的情感、尊嚴(yán)和目標(biāo)實現(xiàn)的需求，提高了學(xué)生的學(xué)習(xí)效率。此外，作為一種新的媒介，AIGC通過提供討論結(jié)構(gòu)、實時反饋和個性化指導(dǎo)，有效促進了小組討論和辯論的開展。[14]因此，本研究的目標(biāo)是探究AIGC在高校協(xié)同論證中的應(yīng)用，從論證結(jié)果和論證過程兩個方面檢驗AIGC在促進學(xué)生辯論方面的效果。

研究設(shè)計

1.研究問題

為了檢驗AIGC反饋融入?yún)f(xié)同論證的作用，研究采用定量的準(zhǔn)實驗研究法和定性的訪談法探討AIGC反饋對于論證質(zhì)量及過程的影響。研究問題主要包括：①在論證結(jié)果方面，與傳統(tǒng)論證相比，融入AIGC反饋的協(xié)同論證是否提高了大學(xué)生的論證質(zhì)量？②在論證過程方面，融入AIGC反饋的協(xié)同論證相比傳統(tǒng)論證是否改善了大學(xué)生論證的認知網(wǎng)絡(luò)？

2.研究對象

本研究在江蘇省一所高校面向教育學(xué)碩士一年級研究生開設(shè)的必修課“信息學(xué)教育理論與實踐”中進行，共有53名學(xué)生參與。該課程由一名在信息教育研究領(lǐng)域有超過10年教學(xué)經(jīng)驗的教師教授。在該學(xué)習(xí)活動中，學(xué)生被隨機分為12組，實驗組（N=27）與對照組（N=26）各6組，每組4～5人。實驗組提供AIGC作為論證指導(dǎo)，允許學(xué)生與其進行對話，對照組未給予任何工具。

3.研究設(shè)計

本研究流程分為三個階段，整個實驗的持續(xù)時間為4周，學(xué)生以小組為單位，采用線上線下結(jié)合的混合模式開展教學(xué)活動，圖1為實驗過程。

第一階段，教師為學(xué)生分配討論主題“你認為人工智能繪畫是藝術(shù)嗎？為什么？”，并培訓(xùn)學(xué)生使用企業(yè)微信進行協(xié)同論證，用在線協(xié)作白板工具小畫桌繪制論證地圖。接著，學(xué)生隨機分組并建立企業(yè)微信群，教師為他們發(fā)送培訓(xùn)材料，幫助他們掌握圖爾敏論證模型并進行可視化論證。

第二階段，所有小組開展論證，學(xué)生需圍繞相同的主題進行協(xié)同論證討論。教師負責(zé)規(guī)定協(xié)同論證活動中各個階段的時間節(jié)點、分發(fā)活動階段所需的學(xué)習(xí)材料和收集小組活動形成的成果。活動流程分為三個環(huán)節(jié)：①組內(nèi)論證階段；

②組內(nèi)綜合階段；③課堂展示階段。前兩個環(huán)節(jié)主要在線上實施，依托企業(yè)微信進行合作辯論，并使用小畫桌繪制論證地圖。最后一個環(huán)節(jié)學(xué)生在線下進行面對面交流與探討。

第三階段，學(xué)生進行自我反思，教師選取15名學(xué)生進行訪談。

4.研究工具

本研究的工具包括論證地圖評價標(biāo)準(zhǔn)、論證要素編碼框架及認知網(wǎng)絡(luò)分析網(wǎng)站。此外，本研究使用ChatGPT 3.5作為AIGC反饋。

（1）論證地圖評價標(biāo)準(zhǔn)

為評價學(xué)生繪制的論證地圖質(zhì)量，本研究采用了Cho K-L等研究者提出的論證地圖評價指標(biāo)。該指標(biāo)基于圖爾敏論證模式，從主張、數(shù)據(jù)、理由、支持、反駁五個維度進行評分，每個維度分為0分、2分、4分、6分四個層次，如表1所示為理由的評價指標(biāo)。為保證評分的可信度和有效性，由兩名研究者分別進行評分，內(nèi)部一致性為0.740。

（2）論證要素編碼框架

為將學(xué)生會話數(shù)據(jù)中表現(xiàn)出的論證要素進行編碼，接著進行認知網(wǎng)絡(luò)分析，本研究采用了Stegmann等人提出的編碼方案。該方案運用于分析在線協(xié)作論證中圖爾敏論證要素（如表2），由兩位研究人員對編碼框架進行驗證，內(nèi)部一致率為0.705。

5.數(shù)據(jù)收集與分析

針對研究問題一，本研究統(tǒng)計了各組論證地圖中論證要素的頻率和復(fù)雜度。夏皮洛-威爾克檢驗顯示，支持頻率（p=0.003＜0.05）、數(shù)據(jù)頻率（p=0.039＜0.05）、主張復(fù)雜度（p=0.002＜0.05）、支持復(fù)雜度（p=0.005＜0.05）不符合正態(tài)分布，采用曼-惠特尼U檢驗比較兩組之間的差異。而其余元素的頻率和復(fù)雜度符合正態(tài)分布，使用獨立樣本t檢驗來比較差異。

針對研究問題二，本研究使用認知網(wǎng)絡(luò)分析比較論證過程中兩組各論證要素共現(xiàn)的差異，共收集185條有效對話數(shù)據(jù)。據(jù)觀察分析，每個對話框中元素相互關(guān)聯(lián)，體現(xiàn)學(xué)生針對某一論點的完整論證，因此每個對話框被視為一個編碼單元。接著，由兩名專業(yè)研究人員在理解及確認編碼框架后，開展了預(yù)編碼。經(jīng)SPSS分析，預(yù)編碼的Kappa系數(shù)大于0.7。接著，研究人員經(jīng)過協(xié)商，統(tǒng)一了編碼中的分歧，并完成余下的編碼。在編碼結(jié)束后，在ENA網(wǎng)頁對數(shù)據(jù)進行了分析。

6.結(jié)果分析

（1）融入AIGC反饋的協(xié)同論證是否提高了學(xué)生的論證質(zhì)量？

在論證結(jié)果上，對照組和實驗組論證要素的獨立樣本t檢驗及曼—惠特尼U檢驗結(jié)果顯示，實驗組與對照組在論證要素的頻率及復(fù)雜度上均不存在顯著差異（p＞0.05）。但實驗組的主張、理由、反駁這三種要素的頻率明顯高于對照組，且在要素質(zhì)量方面，實驗組的主張、數(shù)據(jù)、理由、支持及總要素質(zhì)量均超過對照組，特別是在主張及理由要素上存在巨大差異，說明AIGC反饋能促進學(xué)生更深入理解論題，提出更清晰的主張并進行解釋。

（2）融入AIGC反饋的協(xié)同論證是否改善了學(xué)生論證的認知網(wǎng)絡(luò)？

在產(chǎn)生的認知網(wǎng)絡(luò)模型中，在X維度及Y維度上的共同適配相關(guān)系數(shù)均接近1（Pearson、Spearman），這表明，可視化模型與原始模型及數(shù)據(jù)之間的擬合度很高。圖中每個節(jié)點代表一個認知編碼元素的位置，連線的粗細和飽和度表示認知元素之間的關(guān)聯(lián)強度，兩個要素共現(xiàn)頻率越高，連線則越粗。[15]如圖2所示為對照組與實驗組的論證認知網(wǎng)絡(luò)，可以看出，兩組學(xué)生整體的論證模式在主張、數(shù)據(jù)、理由三個要素上建立起較強的聯(lián)系。

為了進一步辨別出兩組學(xué)生在認知網(wǎng)絡(luò)上的差異，本研究將兩組認知網(wǎng)絡(luò)圖進行疊減發(fā)現(xiàn)，對照組在主張-理由、主張-反駁上的連接性更強，實驗組在理由-數(shù)據(jù)、支持-數(shù)據(jù)、數(shù)據(jù)-反駁上的連接性較強。此外，實驗組學(xué)生能夠在論證中通過AIGC的反饋找出一系列數(shù)據(jù)來支持論點并進行反駁。相比之下，對照組有直接的理由來闡述主張，同時也能直接反駁對方的觀點，但沒有給出對應(yīng)的數(shù)據(jù)及支持。

本研究還對兩組質(zhì)心進行比較，實驗組質(zhì)心向X軸左側(cè)偏移，更靠近數(shù)據(jù)-支持、數(shù)據(jù)-反駁，說明在表述時更注重這些元素的表達。此外，曼-惠特尼U檢驗的結(jié)果顯示，兩組質(zhì)心在X維度上存在顯著差異，具有統(tǒng)計學(xué)意義，如表3所示。

研究結(jié)論與討論

1.AIGC反饋提高論證質(zhì)量，增強論證廣度及深度

在論證結(jié)果方面，研究表明使用AIGC反饋的學(xué)生在制作論證地圖時的整體質(zhì)量得到顯著提升。一方面，實驗組學(xué)生在論證地圖中使用“主張”“理由”及“反駁”的頻率高于對照組。這說明，與AIGC進行討論模擬對話的論證，可以從不同的視角和觀點提示學(xué)生，讓學(xué)生認識到使用理由來捍衛(wèi)自己觀點的重要性，并以更詳細的理由、更全面的數(shù)據(jù)及支持去論述，針對對方意見提出反駁，消除挑戰(zhàn)。另一方面，使用AIGC反饋的學(xué)生提出的論證的組織水平更高。除“反駁”復(fù)雜度之外，使用AIGC會話的學(xué)生在其余四種要素的復(fù)雜度上均高于傳統(tǒng)學(xué)習(xí)任務(wù)的學(xué)生。這一發(fā)現(xiàn)表明，AIGC在提高論證的充分性方面具有積極影響，學(xué)生更加關(guān)注數(shù)據(jù)及資料對論點的支持，并用更為詳盡、清晰的語言表述出來，這與之前的研究結(jié)果類似。[16]

而對于不顯著差異的可能原因如下。一種是，在繪制論證地圖時，學(xué)生可能并未完全理解教師的指導(dǎo)，對論證要素及繪制工具并不熟悉。另一種可能的解釋是，提示詞的質(zhì)量決定了ChatGPT給出答案的質(zhì)量，且答案需要學(xué)生進一步篩選，這對學(xué)生提出了更高的要求。因此，教師可以為學(xué)生提供額外的支架，如模板、提示等幫助學(xué)生進行論證。這些支架可以使學(xué)生在使用AIGC時提高信息檢索和觀點凝練的效率。

2.AIGC改善學(xué)生認知網(wǎng)絡(luò)，促進批判性思維發(fā)展

在論證過程方面，研究發(fā)現(xiàn)，AIGC能顯著改善學(xué)生認知網(wǎng)絡(luò)并促進學(xué)生批判性思維發(fā)展。具體來說，實驗組在各要素與“數(shù)據(jù)”之間表現(xiàn)出較強的共現(xiàn)程度。這說明，在AIGC反饋中學(xué)生得到了更為詳細、權(quán)威的數(shù)據(jù)及支持，這使他們克服了論證過程中知識廣度不足、缺乏權(quán)威資料的障礙，在支撐主張上得到更廣泛的數(shù)據(jù)。相比之下，對照組在未使用ChatGPT的條件下，在認知網(wǎng)絡(luò)圖中的主張-理由、主張-反駁中表現(xiàn)出更顯著的聯(lián)系。這說明，在傳統(tǒng)論證中學(xué)生難以用足夠的證據(jù)和邏輯推理來有效支持他們的主張，并在有限時間內(nèi)檢索到資料進行反駁。[17]AIGC反饋及時為學(xué)生解答疑惑，在一定程度上解決了教師指導(dǎo)不足的問題，為教師在高校課堂設(shè)計的論證活動提供了幫助。

3.AIGC重塑教育形態(tài)，推動教與學(xué)方式變革

本研究發(fā)現(xiàn)，AIGC賦能教與學(xué)，推動著教與學(xué)方式的變革。在“教”的方面，AIGC能夠輔助教師備課，緩解了教師由精力不足導(dǎo)致的指導(dǎo)缺乏問題。在“學(xué)”的方面，它為學(xué)生提供了一個舒適的環(huán)境，提高了他們在辯論時的信心與動力。此外，在與學(xué)生對話的過程中它充當(dāng)了同伴的角色，激發(fā)了學(xué)生在論證過程中思想的產(chǎn)生，增加了他們的興趣及參與度，這與先前的研究是一致的。[18]因此，教師在后續(xù)課堂中可以充分利用其強大的功能進行備課，輔助學(xué)生進行個性化學(xué)習(xí)等。

結(jié)語

本研究通過設(shè)計和實施融入AIGC反饋的協(xié)同論證活動，探討了其在教育領(lǐng)域的應(yīng)用潛能。研究發(fā)現(xiàn)，AIGC反饋能促進學(xué)生多角度思考問題，提升學(xué)生批判性思維和組織能力，同時增強其論證信心及動機，并提出將AIGC與課堂相結(jié)合以增強論證學(xué)習(xí)的可能性，為未來教育中生成式人工智能的廣泛應(yīng)用做出了貢獻。

但本研究同樣也存在一些局限。第一，盡管本研究探究了AIGC反饋在協(xié)同論證中具有一定效果，但未設(shè)計有效的提示詞增強學(xué)生的論證表現(xiàn)，未來的研究可以關(guān)注不同提示詞對論證的影響。第二，由于本研究干預(yù)時間較短，AIGC反饋在提高學(xué)生的論證質(zhì)量和促進學(xué)生思維發(fā)展等方面的長期價值仍需進一步檢驗。此外，由于樣本量相對較小及場景的限制，本研究所得出的結(jié)論尚不能推廣。因此，后續(xù)的研究可以關(guān)注上述問題，通過更大的樣本得出普遍性規(guī)律，進一步為AIGC應(yīng)用于教育場景提供更多的可能性。

參考文獻：

[1]鄭蘭琴，高蕾，黃梓宸.基于生成式人工智能技術(shù)的對話機器人能促進在線協(xié)作學(xué)習(xí)績效嗎？[J].電化教育研究，2024，45（03）：70-76+84.

[2][11][18]Guo K， Zhong Y， Li D， et al. Investigating students’ engagement in chatbot-supported classroom debates[J].Interactive Learning Environments，2023： 1-17.

[3]Noroozi O， Weinberger A， Biemans H J A， et al. Argumentation-based computer supported collaborative learning （abcscl）： a synthesis of 15 years of research[J].Educational Research Review，2012，7（02）：79-106.

[4]謝幼如，宋乃慶，劉鳴.基于網(wǎng)絡(luò)的協(xié)作知識建構(gòu)及其共同體的分析研究[J].電化教育研究，2008（04）：38-42+46.

[5]Noroozi O， Dehghanzadeh H， Talaee E. A systematic review on the impacts of game-based learning on argumentation skills[J].Entertainment Computing，2020（35）：100369.

[6]Crowell， A.， & Kuhn， D. Developing dialogic argumentation skills： A 3-year intervention study[J].Journal of Cognition and Development，2014，15（02）：363-381.

[7]Liu Q T， Liu B W， Lin Y R. The influence of prior knowledge and collaborative online learning environment on students’ argumentation in descriptive and theoretical scientific concept[J].International Journal of Science Education，2019，41（02）：165-187.

[8]袁靜.中學(xué)生在科學(xué)探究中論證能力的初步研究[D].桂林：廣西師范大學(xué)，2011.

[9]Wu R， Yu Z. Do AI chatbots improve students learning outcomes？ Evidence from a meta‐analysis[J].British Journal of Educational Technology，2024，55（01）：10-33.

[10]Le D T， Nguyen C T， Nguyen K A. Dave the debater： a retrieval-based and generative argumentative dialogue agent[C]//Proceedings of the 5th Workshop on Argument Mining.2018：121-130.

[12]荊洲，楊啟光.生成式人工智能賦能教育研究范式變革：機理、風(fēng)險與對策[J].中國電化教育，2024（03）：68-75.

[13]Su，Y.，Lin， Y.， & Lai， C. Collaborating with ChatGPT in argumentative writing classrooms[J].Assessing Writing，2023.

[14]Kasneci E， Se?ler K， Küchemann S， et al. ChatGPT for good？ On opportunities and challenges of large language models for education[J].Learning and individual differences，2023.

[15]吳筱萌，牛芊宇，魏戈，等.小學(xué)教育專業(yè)師范生專業(yè)認知的特征探究——基于認知網(wǎng)絡(luò)分析的途徑[J].中國電化教育，2021（06）：135-143.

[16]Guo K， Zhong Y， Li D， et al. Effects of chatbot-assisted in-class debates on students’ argumentation skills and task motivation[J].Computers & Education，2023.

[17]Hartin P， Birks M， Bodak M， et al. A debate about the merits of debate in nurse education[J].Nurse education in practice，2017（26）：118-120.

作者簡介：劉文平（2003—），女，漢族，河南信陽人，江蘇“互聯(lián)網(wǎng)+教育”研究基地本科生，研究方向為學(xué)習(xí)分析與評價。崔鑫（1996—），通訊作者，女，漢族，山西太原人，江南大學(xué)設(shè)計學(xué)院博士生，研究方向為設(shè)計教育。

基金項目：2023年認知智能國家重點實驗室項目“基于數(shù)字基座的中小學(xué)學(xué)校發(fā)展評價研究”（iED2023-001）。