“文心一言”在計算機編程課程中的應(yīng)用效果研究

關(guān)鍵詞：人工智能；文心一言；計算機編程；對比實驗

中圖分類號：TP18 文獻標識碼：A

文章編號：1009-3044（2024）26-0007-03開放科學（資源服務(wù)）標識碼（OSID） ：

0 引言

隨著以 ChatGPT 為代表的大語言模型（Language Model） 的興起，人工智能（Artificial Intelligence， AI） 在醫(yī)療、金融、電商等多個領(lǐng)域產(chǎn)生了深刻影響，并在教育領(lǐng)域展示出巨大的潛力[1]。AI 技術(shù)和工具可以根據(jù)用戶的需求和問題，提供相應(yīng)的信息和解決方案，從而極大地提高工作和學習的效率。例如，高校學生可以利用 AI 工具完成寫作、文獻綜述、論文撰寫以及編寫計算機代碼等任務(wù)[2-3]。

毋庸置疑，AI技術(shù)為計算機相關(guān)課程帶來了巨大挑戰(zhàn)和變革。計算機學科的教育者正在思考如何將先進的 AI技術(shù)融入教學實踐，以提升學生的編程能力、問題解決能力和創(chuàng)新思維能力。然而，AI技術(shù)并非完美無缺，也面臨技術(shù)和倫理挑戰(zhàn)。例如，學生對 AI 的過度依賴可能導(dǎo)致其失去獨立思考和解決問題的能力，甚至引發(fā)誠信問題，如作弊和抄襲。因此，對 AI 技術(shù)對學生學習能力的影響進行分析是極有必要的。

本文探討AI工具對學生在計算機編程課程學習方面的影響。通過使用百度“文心一言”作為輔助工具，評估其在學生學習過程中提供的幫助以及面臨的挑戰(zhàn)。本研究招募了已完成“數(shù)據(jù)結(jié)構(gòu)和算法”課程的軟件技術(shù)專業(yè)學生參與挑戰(zhàn)。學生被分為 A 組和 B 組。A 組可以查閱教科書和編程筆記，但不能使用互聯(lián)網(wǎng)；B組可以使用“文心一言”來幫助解決編程問題。為模擬真實的編程環(huán)境，挑戰(zhàn)任務(wù)在 ACM 國際大學生程序設(shè)計競賽（ICPC）的編程競賽控制系統(tǒng)Programming Contest Control（PC2） 上完成。學生需要編寫滿足特定要求的可執(zhí)行代碼，并通過測試用例驗證代碼的正確性。學生的表現(xiàn)根據(jù)通過測試用例的數(shù)量進行評分。實驗結(jié)果顯示，B 組學生在得分上相較于 A 組具有顯著優(yōu)勢，表明“文心一言”在輔助學生解決編程問題方面發(fā)揮了積極作用。然而，B 組學生在使用“文心一言”的過程中，缺少深入的討論環(huán)節(jié)，導(dǎo)致提交的代碼存在不一致性和不準確性。

1 相關(guān)研究

1.1 AI工具在高等教育教學中的應(yīng)用

AI工具對高等教育產(chǎn)生了重大影響。文獻[4]通過對高校56名學生的調(diào)查發(fā)現(xiàn)，ChatGPT在學習和工作中表現(xiàn)出色，但也存在準確性低和數(shù)據(jù)依賴等問題。文獻[5]研究了ChatGPT在問題驅(qū)動學習中的應(yīng)用，發(fā)現(xiàn)它對團隊合作和學習動機有積極影響，但也面臨理解語義和信息準確性等挑戰(zhàn)。文獻[6]強調(diào)了ChatGPT對教育的重要影響，但同時指出需要應(yīng)對其帶來的沖擊。AI 工具在高等教育中的作用是顯著的，但也面臨各種挑戰(zhàn)。

1.2 AI工具在計算機相關(guān)課程教學中的應(yīng)用

隨著AI技術(shù)的發(fā)展，傳統(tǒng)的計算機學科教學方式逐漸擁抱人工智能浪潮，實現(xiàn)轉(zhuǎn)型升級，并完成教學工具和教學方法的重構(gòu)。文獻[1]探討了ChatGPT對教學和編程學習的影響，研究內(nèi)容包括如何確保其提供的編程建議準確可靠，以及避免過度使用對學生編程技能掌握的影響。文獻[7]評估了ChatGPT在Java 編程中生成解決方案的能力，結(jié)果顯示其準確性高，為編程教學帶來了新的可能性，但也指出了在處理非結(jié)構(gòu)化信息時面臨的挑戰(zhàn)。文獻[8]探索了“文心一言”在教學中的應(yīng)用，提出了創(chuàng)新設(shè)計和教學方法，并獲得了教師和學生的積極反饋。

上述研究探討了教師和學生對AI 工具如Chat? GPT作為教學輔助工具的接受度，與本研究目的一致。本文旨在補充當前知識庫，深入討論“文心一言”在教學應(yīng)用中的潛力和挑戰(zhàn)。

2 方法設(shè)計

2.1 招募參與者

本文采用配額抽樣方法來確保樣本的代表性和研究的可靠性。配額抽樣是一種非隨機抽樣方法，通過根據(jù)預(yù)先設(shè)定的標準或配額來選擇樣本，以保證樣本在不同維度上的代表性。本研究的關(guān)鍵特征為大二軟件技術(shù)專業(yè)學生，且他們已經(jīng)修完Java課程和數(shù)據(jù)結(jié)構(gòu)與算法課程。這種特征組合旨在選擇具備一定編程基礎(chǔ)和對數(shù)據(jù)結(jié)構(gòu)有深入理解的學生，以代表該目標群體。通過這種精心的樣本選擇，可以提高研究結(jié)果的可靠性和推廣性，從而有助于對目標群體的特定問題進行深入研究和分析。

2.2 研究設(shè)計

1） 研究問題。使用“文心一言”完成編程挑戰(zhàn)的學生與未使用該工具的學生之間的學術(shù)成就水平是否存在統(tǒng)計學上的差異？

2） 程研和究數(shù)條據(jù)件結(jié)。構(gòu)所與有算參法與課挑程，戰(zhàn)并的至學少生獲均已完成Java課程和數(shù)據(jù)結(jié)構(gòu)與算法課程，并至少獲得了B的成最低成績。

3） 實施過程。首先，招募24名學生，將他們均分為A組和B組，每組包含六個團隊，每個團隊有兩名成員。這樣的分組設(shè)計旨在確保研究樣本充足且具有代表性，并在學術(shù)水平和預(yù)測分數(shù)方面保持同質(zhì)性，以消除潛在因素對研究結(jié)果的影響。然后，設(shè)計干預(yù)或挑戰(zhàn)環(huán)節(jié)。在這一環(huán)節(jié)中，A組作為對照組，被授予訪問教科書和編程筆記的權(quán)限，但沒有提供互聯(lián)網(wǎng)使用權(quán)；B組作為實驗組，允許使用“文心一言”來幫助解決編程問題。這樣的設(shè)置旨在對比傳統(tǒng)學習方式與AI輔助學習方式的差異。最后，在評測環(huán)節(jié)，為衡量學生的完成水平，使用后測成績作為評價指標。

參與者需面對一系列編程問題，每個問題根據(jù)難度級別分配相應(yīng)的分值，并在規(guī)定時間內(nèi)解決問題以獲得分值。每個問題都伴隨著一組隱藏的測試用例，團隊的最終得分取決于他們成功通過的測試用例數(shù)量。挑戰(zhàn)任務(wù)包括五個編程問題，每個問題有說明、輸入/輸出和限制。每個問題設(shè)有指定的內(nèi)存和CPU時間限制，以激勵學生在解決方案中使用優(yōu)化的數(shù)據(jù)結(jié)構(gòu)。

2.3 數(shù)據(jù)收集

在任務(wù)結(jié)束后，收集學生的后測成績數(shù)據(jù)，并進行統(tǒng)計分析，采用獨立樣本t 檢驗來驗證兩組之間的差異是否顯著。

A組提交自己撰寫的代碼以及對應(yīng)的測試用例；B組提交給“文心一言”的提示信息、在“文心一言”輔助下生成的代碼及其對應(yīng)的測試用例。在 PC2控制面板上，可以獲得詳盡的數(shù)據(jù)視圖，涵蓋學生在不同任務(wù)中的得分、使用時間等方面的具體信息，還詳細記錄了學生在每個問題上所花費的時間以及通過的測試用例數(shù)量等信息。

2.4 訪談環(huán)節(jié)

為了深入了解學生在此次任務(wù)中對 AI 工具的看法和態(tài)度，我們邀請了參與編程挑戰(zhàn)的學生參加單獨的訪談環(huán)節(jié)。這一設(shè)置旨在確保對話重點突出，不受干擾。我們設(shè)計了五個類別的問題，以探討學生與 AI 工具的互動：AI 工具

1） 對AI工具的了解和使用經(jīng)驗。詢問參與者對AI工具（例如 “文心一言和”） 的了解程度，以及他們之前是否有使用經(jīng)驗；探討他們在學習編程過程中是否使用過 AI工具，使用的頻率和方式是什么。

2） 評估問題。了解學生在使用“文心一言”解決問題的具體情況，例如利用的功能、處理的問題類型、生成代碼的準確性和創(chuàng)新性；詢問使用“文心一言”后編碼效率的提升情況、錯誤減少情況，以及是否激發(fā)了解決問題的新思路。

3） 對 AI 工具在教學或?qū)W習中的應(yīng)用建議和期望。詢問參與者對在教學和學習過程中使用 AI 工具的建議和期望；探討他們對未來 AI 工具開發(fā)的看法及期盼，特別是其在計算機相關(guān)課程中的應(yīng)用。

4） 道德問題。邀請參與者表達他們對“文心一言”的總體印象；討論是否存在如真實性、抄襲、知識產(chǎn)權(quán)侵犯、輸出偏見等倫理問題；探討相關(guān)的道德考量，以及其在教學、學習和社會影響方面的觀點。

3 結(jié)果分析

表1和表2展示了A組和B組在不同任務(wù)中的成績表現(xiàn)。A組團隊在任務(wù)T1（難度一顆星）中取得較高分數(shù)（超過80分），但在T5任務(wù)中表現(xiàn)不佳。通過后續(xù)訪談得知，他們在數(shù)據(jù)結(jié)構(gòu)選擇上未花費太多時間，卻在T4和T5的算法設(shè)計、調(diào)試與修改錯誤上投入大量時間，導(dǎo)致這兩項任務(wù)的分數(shù)偏低。

B組團隊（B1至B6） 使用“文心一言”輔助編寫代碼。分析表2的結(jié)果顯示，除B2外，其他團隊在完成 T1任務(wù)時均獲得滿分（100分）。在“文心一言”的幫助下，B組團隊在完成任務(wù) T1至T3時能獲得滿分，但在T4和T5任務(wù)中，沒有團隊達到滿分。這可能反映出對于較復(fù)雜問題，AI 工具也需改進以滿足高難度任務(wù)的要求。

表3顯示了A組和B組在任務(wù) T1 至 T5 中獲得的均值和標準差。對于所有任務(wù)，B 組團隊的均值均顯著高于 A 組。在任務(wù) T1、T2 和 T3 上，兩組的標準差相似，但在 T4 和 T5 這兩項難度較大的任務(wù)上，差異顯著。

圖1顯示了團隊完成任務(wù) T1至 T5所花費的平均時間。相比之下，A組在完成 T1至T3任務(wù)時花費了更多時間，而 B組在完成T4和T5任務(wù)時花費了更多時間。B組使用了“文心一言”輔助編寫代碼，但由于它生成的部分代碼過于冗長，超出了輸出大小的限制，導(dǎo)致被截斷。此外，通過“文心一言”進行了多次查詢，結(jié)果顯示不一致。因此，B組花費了更多時間來調(diào)試代碼以解決這些問題。

4 討論

研究結(jié)果顯示，“文心一言”在輔助編寫代碼方面展現(xiàn)了卓越的能力。它能夠生成連貫且結(jié)構(gòu)良好的代碼，并針對提出的問題提供優(yōu)化的解決方案。雖然當學生要求“文心一言”為特定內(nèi)容編寫完整代碼時，它通常可以滿足要求，但在終端運行這些代碼時，結(jié)果的質(zhì)量卻參差不齊。

在實際編程任務(wù)中，由于“文心一言”生成的代碼存在不準確性和不一致性問題，導(dǎo)致測試用例失敗。尤其是隨著問題難度的增加，這種情況更加顯著。此外，由于生成文本長度的限制，學生有時無法獲得完整的程序代碼。因此，他們不得不多次向“文心一言”發(fā)出提示，以獲取所需的輸出，這增加了編譯錯誤的風險。

對于學生而言，深入理解內(nèi)在算法的工作原理可能并非必要，但理解影響結(jié)果的變量卻至關(guān)重要。此外，還需要考慮該工具可能存在的隱含偏見和假設(shè)，以確保其輸出的準確性和公正性。

需要善于向 AI 工具提供準確的提示，以生成最佳的內(nèi)容。而制定有效的提示需要對工具及其基礎(chǔ)內(nèi)容有深刻的理解，同時也需要具備批判性思維。雖然基本提示可能足以產(chǎn)生所需的輸出，但通常需要付出大量的努力才能獲得期望的結(jié)果。

5局限和未來的工作

當前研究中存在的問題以及未來研究的設(shè)想如下：

1） 設(shè)計更多的任務(wù)。為了更好地反映參與者的實際編程能力和解決問題的能力，可以設(shè)計多樣化和復(fù)雜的編程任務(wù)，以提供更全面的洞察力，幫助更好地評估參與者的技能和反應(yīng)。

2） 未考慮多種AI工具。當前研究未考慮不同AI工具的使用。在后期研究中可以探索不同AI工具，例如ChatGPT或其他生成式AI工具在編程任務(wù)中的表現(xiàn)差異。比較不同AI工具之間的性能差異可以為工具的進一步優(yōu)化提供重要的線索。

3） 樣本量較小。在定性研究中，樣本量的大小是一個挑戰(zhàn)。未來的研究可以考慮擴大樣本量，以獲得更具代表性和全面性的結(jié)果。此外，可以考慮采用混合方法，結(jié)合定性和定量數(shù)據(jù)，以更好地分析人與人工智能的輸出，并得出更具說服力的研究結(jié)論。