基金項(xiàng)目：國家自然科學(xué)基金2022年度青年項(xiàng)目“在線異步討論中交互深度的智能評(píng)價(jià)與人機(jī)協(xié)同促進(jìn)機(jī)制研究”（項(xiàng)目編號(hào)：62207019）

中圖分類號(hào)：G40-058.1文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-458 x （2025）8-0095-21

一、引言

在線討論是在線學(xué)習(xí)環(huán)境中學(xué)習(xí)者與同伴、教師等圍繞某一問題分享見解、交流觀點(diǎn)的互動(dòng)過程。作為師生、生生交互的重要途徑，高質(zhì)量的討論能夠緩解在線臨場感缺失的問題，削弱學(xué)習(xí)者在線學(xué)習(xí)的孤獨(dú)感，而且對(duì)提高學(xué)習(xí)者批判性思維、知識(shí)建構(gòu)、溝通交流、團(tuán)隊(duì)協(xié)作等能力有著重要的作用（Kentetal.，2016）。通過調(diào)研發(fā)現(xiàn)，大多數(shù)課程在線討論區(qū)學(xué)習(xí)者只是簡單回答問題，師生或生生之間很少有深度互動(dòng)，有些討論區(qū)甚至“形同虛設(shè)”（Cesarenietal.，2016），遠(yuǎn)未發(fā)揮其應(yīng)有潛力和價(jià)值，嚴(yán)重影響了在線學(xué)習(xí)效果。如何提升在線討論交互深度成為提高在線學(xué)習(xí)質(zhì)量的關(guān)鍵問題之一。

有效干預(yù)以提升交互深度的必要前提是對(duì)其進(jìn)行科學(xué)的評(píng)價(jià)。然而在線討論是基于文本進(jìn)行的交流活動(dòng)，學(xué)習(xí)者自由度比較高、表現(xiàn)多樣化，其參與、貢獻(xiàn)、能力發(fā)展等很難通過量表、試題等傳統(tǒng)評(píng)價(jià)方法進(jìn)行判斷。文本內(nèi)容分析雖然能在一定程度上反映交互的深度層次，但是人工編碼需要耗費(fèi)大量的人力和時(shí)間，在實(shí)踐中難以推廣應(yīng)用。受限于當(dāng)前評(píng)價(jià)體系不完善以及評(píng)價(jià)工具的缺乏，在線教學(xué)實(shí)踐中對(duì)討論活動(dòng)的評(píng)價(jià)，大多是不評(píng)價(jià)或基于經(jīng)驗(yàn)簡單評(píng)判或基于發(fā)帖量、閱讀數(shù)、點(diǎn)贊數(shù)、平均發(fā)言字?jǐn)?shù)等評(píng)測指標(biāo)進(jìn)行評(píng)價(jià)，缺乏對(duì)交互意義等深層次指標(biāo)的評(píng)價(jià)（鄭婭峰等，2017）。以上困境已經(jīng)成為在線討論研究與實(shí)踐發(fā)展的瓶頸。

隨著人工智能技術(shù)尤其是自然語言處理技術(shù)的發(fā)展，可以通過對(duì)討論文本、交互關(guān)系等大數(shù)據(jù)的深度挖掘智能識(shí)別學(xué)習(xí)者的情緒狀態(tài)、認(rèn)知水平等信息，這使得對(duì)在線討論的智能自動(dòng)化評(píng)價(jià)成為可能。當(dāng)前已有研究開始嘗試應(yīng)用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等算法對(duì)討論文本進(jìn)行自動(dòng)分類或挖掘（Duanetal.，2014;Zhouetal.，2016），但是這類研究還處于初步探索階段，尚沒有能夠常態(tài)化應(yīng)用的在線討論交互深度自動(dòng)化評(píng)價(jià)工具。因此，本研究針對(duì)“如何科學(xué)有效地評(píng)價(jià)交互深度”這一問題，以在線臨場感框架為理論依據(jù)，以文本挖掘?yàn)榧夹g(shù)支撐，探究在線討論交互深度的智能化評(píng)價(jià)方法。一方面，本研究基于在線臨場感框架，面向基于數(shù)據(jù)挖掘的智能化評(píng)價(jià)，構(gòu)建了交互深度評(píng)價(jià)模型，為評(píng)價(jià)提供依據(jù)；另一方面，本研究采用自然語言處理等技術(shù)，設(shè)計(jì)了語言可讀性、話題相關(guān)性的評(píng)估算法，并基于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、大語言模型等訓(xùn)練了文本情感特征和意義特征的分類算法，實(shí)現(xiàn)對(duì)交互深度的智能自動(dòng)化評(píng)價(jià)，為評(píng)價(jià)在線討論提供可操作的算法和工具支持，以期破除評(píng)價(jià)難的困境。

二、相關(guān)研究

（一）在線討論評(píng)價(jià)相關(guān)研究

已有研究雖然鮮有專門針對(duì)在線討論評(píng)價(jià)的系統(tǒng)化探討，但是研究者和實(shí)踐者進(jìn)行了大量的相關(guān)探索，評(píng)價(jià)維度漸趨多元化，評(píng)價(jià)方法也朝著更加科學(xué)、智能的方向發(fā)展。

從評(píng)價(jià)維度來看，早期部分研究以簡單的行為計(jì)量指標(biāo)（如發(fā)帖數(shù)、回復(fù)數(shù)、點(diǎn)贊數(shù)等）來評(píng)判討論交互的質(zhì)量（Jonassen，1996，p.708;Levinetal.，1990;彭敏軍等，2011）。隨著互動(dòng)分析方法的發(fā)展，大多數(shù)研究以討論過程中的認(rèn)知發(fā)展、社會(huì)關(guān)系、知識(shí)建構(gòu)等某個(gè)或某些方面作為交互效果的衡量指標(biāo)。1）以認(rèn)知水平層次作為帖子質(zhì)量的評(píng)價(jià)標(biāo)準(zhǔn)。通過對(duì)討論發(fā)帖進(jìn)行內(nèi)容分析，以編碼得到的知識(shí)建構(gòu)、批判性思維層次等來評(píng)價(jià)單條帖子的質(zhì)量，常用的內(nèi)容分析編碼框架如交互分析模型（InteractionAnalysis Model，IAM）（Gunawardena etal.，1997）、布魯姆認(rèn)知領(lǐng)域的教育目標(biāo)分類框架、批判性思維過程指標(biāo)體系（Murphy，2004）等。通過不同認(rèn)知水平層次的發(fā)帖數(shù)量占比，進(jìn)一步評(píng)價(jià)個(gè)體或群組的交互水平。2）以社會(huì)關(guān)系結(jié)構(gòu)作為交互質(zhì)量的評(píng)價(jià)標(biāo)準(zhǔn)。此類研究通常以學(xué)習(xí)者個(gè)體作為節(jié)點(diǎn)，基于學(xué)習(xí)者之間的相互回復(fù)、引用等互動(dòng)行為，分析學(xué)習(xí)者之間的交互結(jié)構(gòu)、中心性、核心一邊緣角色的改變等規(guī)律（劉清堂等，2018），并以此評(píng)估群組交互的質(zhì)量。3）以觀點(diǎn)隱含的知識(shí)或主題判斷建構(gòu)狀態(tài)。例如，有研究通過挖掘討論文本中的關(guān)鍵詞并與領(lǐng)域知識(shí)圖譜進(jìn)行相似度計(jì)算，進(jìn)而判斷觀點(diǎn)的詞匯關(guān)聯(lián)程度（馬志強(qiáng)等，2022）；或通過話題挖掘來理解討論內(nèi)容背后的知識(shí)或主題（劉三女牙等，2017）；還有研究提出基于IIS圖的分析方法，通過知識(shí)網(wǎng)絡(luò)圖的不斷建立和更新來判斷群體的知識(shí)建構(gòu)狀態(tài)（Zheng，2017）。此外，也有研究提出應(yīng)綜合多維指標(biāo)來評(píng)價(jià)討論質(zhì)量。如閆寒冰等（2018）指出在線討論質(zhì)量分析框架應(yīng)圍繞話題質(zhì)量、討論參與和討論深度三個(gè)要素進(jìn)行建構(gòu)；衷克定（2005）指出應(yīng)基于學(xué)習(xí)者的精神歸屬感、自律調(diào)節(jié)意識(shí)、道德規(guī)范觀念三個(gè)維度來判定在線討論的質(zhì)量；Liu等（2020）考慮討論內(nèi)容的話題、語言和組織，構(gòu)建了包括相關(guān)度、禮貌度和議論能力三個(gè)維度的標(biāo)準(zhǔn)來描述討論質(zhì)量；王麗英和張義兵（2020）從觀點(diǎn)本身的可讀性、相關(guān)度、內(nèi)聚度、縱深度和探究度五個(gè)維度構(gòu)建了觀點(diǎn)質(zhì)量評(píng)價(jià)模型等。

從評(píng)價(jià)方法來看，實(shí)踐中對(duì)討論活動(dòng)是基本不評(píng)價(jià)、偶有教師憑借經(jīng)驗(yàn)進(jìn)行評(píng)價(jià)或基于發(fā)帖條數(shù)、字?jǐn)?shù)等進(jìn)行簡單評(píng)價(jià)。已有研究中對(duì)在線討論的評(píng)價(jià)一般是通過對(duì)交互過程和交互內(nèi)容數(shù)據(jù)進(jìn)行挖掘分析來實(shí)現(xiàn)的，以事后分析為主，主要采用內(nèi)容分析、社會(huì)網(wǎng)絡(luò)分析、滯后序列分析等方法。自然語言處理、大數(shù)據(jù)等技術(shù)的發(fā)展為智能分析提供了可能，國內(nèi)外研究者已開始了自動(dòng)化分析的初步探索。一些研究者采用機(jī)器學(xué)習(xí)算法訓(xùn)練模型，實(shí)現(xiàn)文本的自動(dòng)分類。例如有研究（Almatrafi etal.，2018）通過樸素貝葉斯（NB）、支持向量機(jī)（SVM）、隨機(jī)森林（RF）、邏輯回歸（LR）等算法構(gòu)建了可以用來識(shí)別討論區(qū)中需要被教師關(guān)注和回應(yīng)的緊急討論帖的預(yù)測模型，幫助教師有效地確定帖子響應(yīng)的優(yōu)先級(jí)；也有研究（Pillutlaetal.，202O）訓(xùn)練了RF、DT、SVM算法用于對(duì)文本的自動(dòng)分類，分析了學(xué)習(xí)者知識(shí)建構(gòu)水平；等等。機(jī)器學(xué)習(xí)算法在復(fù)雜語義理解上常常表現(xiàn)效果一般，而深度學(xué)習(xí)在復(fù)雜語義上的學(xué)習(xí)能力優(yōu)勢明顯，近些年也有研究者開始使用深度學(xué)習(xí)技術(shù)對(duì)協(xié)作交互文本進(jìn)行分析。例如，有研究（Chenetal.，2020）通過訓(xùn)練基于長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（LSTM）的端到端深度學(xué)習(xí)框架以及基于概率的貝葉斯網(wǎng)絡(luò)模型，對(duì)協(xié)作小組語音、姿態(tài)以及文本進(jìn)行分析，進(jìn)而預(yù)測知識(shí)建構(gòu)能力；也有研究（甄園宜amp;鄭蘭琴，2020）采用基于深度神經(jīng)網(wǎng)絡(luò)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）、長短時(shí)記憶（LSTM）、雙向長短時(shí)記憶（Bi-LSTM）等方法，實(shí)現(xiàn)了在線協(xié)作學(xué)習(xí)交互文本的自動(dòng)分類；還有研究（Fiaccoamp;Rosé，2018）針對(duì)當(dāng)前分析模型學(xué)科遷移能力較差的問題，提出了一種可遷移的注意力模型來分析知識(shí)建構(gòu)能力。隨著ChatGPT等生成式大語言模型的出現(xiàn)，也有些學(xué)者探討了大語言模型在文本信息抽取任務(wù)上的有效性，但是大語言模型應(yīng)用于在線教育領(lǐng)域的研究和實(shí)踐還相對(duì)缺乏。

（二）在線討論交互深度相關(guān)研究

已有研究較少探討交互深度的概念，但學(xué)界將其視為衡量交互質(zhì)量的核心指標(biāo)。雖然目前尚無明確的界定，但是已有研究的共識(shí)是交互深度與有意義的交互內(nèi)容密切相關(guān)，與知識(shí)建構(gòu)水平、批判性思維水平、認(rèn)知參與程度等指標(biāo)具有一致性（戴心來amp;劉聰聰，2019;郭玉娟amp;陳麗，2022），且知識(shí)建構(gòu)或批判性思維或認(rèn)知參與水平越高，交互深度層級(jí)越高（梁云真等，2017;陳蓓蕾 等，2019）。同時(shí)，交互深度與深度交互密切相關(guān)，戴心來和劉聰聰（2019）認(rèn)為深度交互是一個(gè)復(fù)合詞語，起源于“交互”延伸于“深度”，具體體現(xiàn)在互動(dòng)形式、互動(dòng)內(nèi)容和互動(dòng)過程上，即互動(dòng)形式上每個(gè)個(gè)體能夠積極主動(dòng)地參與交互，個(gè)體之間緊密互動(dòng)、相互聯(lián)通；互動(dòng)內(nèi)容更加貼近主題、意義豐富、體現(xiàn)更深層次的理解水平；互動(dòng)過程中每個(gè)個(gè)體能夠?qū)Ｐ摹⒓小⒊掷m(xù)創(chuàng)造或參與交互等。可見，深度交互狀態(tài)是交互深度的表征。由此，本研究認(rèn)為交互深度是對(duì)個(gè)體或群體的交互狀態(tài)及質(zhì)量進(jìn)行衡量的標(biāo)準(zhǔn)。相較于交互質(zhì)量、交互效果、交互水平等概念而言，交互深度更關(guān)注交互形式及其基礎(chǔ)上的意義建構(gòu)程度、交互結(jié)果及其基礎(chǔ)上的能力提升等深度學(xué)習(xí)要素。

（三）現(xiàn)狀述評(píng)

已有研究對(duì)交互質(zhì)量或效果的評(píng)價(jià)缺乏系統(tǒng)性的、被廣泛認(rèn)可的、可操作的標(biāo)準(zhǔn)，也尚沒有能夠?qū)υ诰€討論進(jìn)行自動(dòng)化評(píng)價(jià)的工具，而且事后的、人工的內(nèi)容分析難以進(jìn)行常態(tài)化實(shí)踐應(yīng)用。針對(duì)此問題，本研究旨在構(gòu)建交互深度的評(píng)價(jià)模型，并開發(fā)相應(yīng)的自動(dòng)化評(píng)價(jià)工具。

首先，在評(píng)價(jià)對(duì)象和指標(biāo)確立方面，已有研究表明，通過對(duì)討論過程、討論內(nèi)容等數(shù)據(jù)進(jìn)行分析和挖掘，可以揭示學(xué)習(xí)者的興趣話題、情感態(tài)度、社會(huì)關(guān)系、認(rèn)知心理等多維特征。但是，現(xiàn)有的學(xué)習(xí)分析研究更多是揭示討論過程的一些規(guī)律，并不指向評(píng)價(jià)，存在與學(xué)習(xí)評(píng)價(jià)、設(shè)計(jì)割裂的現(xiàn)象，降低了學(xué)習(xí)分析的價(jià)值。加之當(dāng)前的分析對(duì)象多關(guān)注小組或群體層次，忽略學(xué)習(xí)者個(gè)體層次，不利于個(gè)性化學(xué)習(xí)干預(yù)。本研究從評(píng)價(jià)的視角重新梳理這些復(fù)雜要素，關(guān)注學(xué)習(xí)者個(gè)體和群體兩個(gè)層次，深入挖掘交互深度與交互數(shù)據(jù)的關(guān)聯(lián)。

其次，在評(píng)價(jià)模型構(gòu)建方面，目前聚焦在線討論評(píng)價(jià)的系統(tǒng)性研究相對(duì)匱乏，多數(shù)研究是在探究影響交互深度的因素或促進(jìn)策略時(shí)提及以某種指標(biāo)來衡量深度。不同研究者的考慮視角不同，提出的評(píng)價(jià)維度涉及觀點(diǎn)本身、觀點(diǎn)中隱含的建構(gòu)層次、觀點(diǎn)語言的禮貌度、學(xué)習(xí)者的情感態(tài)度等方面。整體上，研究更多關(guān)注的是認(rèn)知層面，對(duì)討論過程中學(xué)習(xí)者能力、情感等的發(fā)展重視程度不夠。在線討論作為一種高階的復(fù)雜學(xué)習(xí)過程，其價(jià)值早已超越單純的認(rèn)知層面，而是對(duì)學(xué)習(xí)者的4C能力、情感價(jià)值觀等方面都有著深刻的影響。因此，本研究在設(shè)計(jì)評(píng)價(jià)模型時(shí)將考慮討論過程中的多維要素，兼顧情感與能力發(fā)展目標(biāo)，同時(shí)將基于對(duì)客觀討論數(shù)據(jù)的挖掘?qū)崿F(xiàn)更為真實(shí)的評(píng)價(jià)，避免主觀量表等替代性評(píng)價(jià)方案可能帶來的偏差。

最后，在評(píng)價(jià)方法層面，目前在線討論交互分析多以事后的、人工的內(nèi)容分析為主，主觀性強(qiáng)，難以準(zhǔn)確評(píng)價(jià)，而且會(huì)耗費(fèi)大量的人力和時(shí)間成本。同時(shí)，其操作難度大，只適用于進(jìn)行小樣本或小規(guī)模的分析，難以實(shí)現(xiàn)持續(xù)跟蹤評(píng)價(jià)，更難以常態(tài)化應(yīng)用。因此，本研究引入自然語言處理技術(shù)，通過機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、大語言模型等算法實(shí)現(xiàn)對(duì)交互深度的智能自動(dòng)化評(píng)價(jià)，為在線討論活動(dòng)的常態(tài)化評(píng)價(jià)提供可操作的方法與工具。

三、基于臨場感理論的交互深度評(píng)價(jià)模型構(gòu)建

科學(xué)、合理的評(píng)價(jià)模型是進(jìn)行有效評(píng)價(jià)的前提。本研究基于對(duì)討論數(shù)據(jù)的挖掘?qū)崿F(xiàn)交互深度的評(píng)價(jià)，如何合理挖掘數(shù)據(jù)特征以反映出交互深度是評(píng)價(jià)的關(guān)鍵。通過對(duì)在線討論過程、交互特點(diǎn)、交互質(zhì)量影響因素、評(píng)價(jià)內(nèi)容和方法等進(jìn)行充分的理論推演，經(jīng)過訪談與專家咨詢，本研究以在線臨場感為評(píng)價(jià)依據(jù)，綜合技術(shù)層面上討論文本等數(shù)據(jù)的特征，面向基于文本挖掘的智能化評(píng)價(jià)，設(shè)計(jì)了如圖1所示的交互深度評(píng)價(jià)模型。模型遵循學(xué)習(xí)分析的邏輯，以在線臨場感為橋梁，建立了交互深度與多維交互數(shù)據(jù)的關(guān)聯(lián)。

圖1基于臨場感的在線討論交互深度評(píng)價(jià)模型

（一）臨場感框架：交互深度評(píng)價(jià)模型的構(gòu)建依據(jù)

在線臨場感框架揭示了深度學(xué)習(xí)所必需的交互過程以及促成良好學(xué)習(xí)體驗(yàn)的核心要素，對(duì)在線教育教學(xué)實(shí)踐與研究產(chǎn)生了重大影響，全球眾多研究者基于在線學(xué)習(xí)、混合學(xué)習(xí)、同步或異步交流等不同情境對(duì)其進(jìn)行了驗(yàn)證（吳祥恩amp;陳曉慧，2017;馮曉英等，2018;Hilliardamp;Stewart，2019）。在在線討論情境中，深度交互的發(fā)生同樣有賴于多維且高水平的臨場感。

一方面，臨場感具有主客觀雙重屬性，存在于個(gè)體和群體之間，可以反映交互的過程和狀態(tài)，進(jìn)而反映交互深度。作為一種客觀存在，臨場感表示當(dāng)某個(gè)人處于某一具體情境，該情境使個(gè)體獲得充分的現(xiàn)場感和存在感，也能讓其他人感知到此個(gè)體的存在（鄭燕林amp;柳海民，2013）。臨場感也常用以表征學(xué)習(xí)者的主觀感受，例如學(xué)習(xí)者感知到教學(xué)指導(dǎo)的存在。臨場感是由學(xué)習(xí)者與教師、學(xué)習(xí)伙伴、學(xué)習(xí)資源之間的交互創(chuàng)設(shè)出來的，也可以反映學(xué)習(xí)者實(shí)施相應(yīng)行動(dòng)或表現(xiàn)的能力。根據(jù)上述分析，臨場感能夠表征學(xué)習(xí)者個(gè)體的交互狀態(tài)和能力，又是學(xué)習(xí)者通過多方面的交互表現(xiàn)出來的。同時(shí)，豐富、深度的交互可以進(jìn)一步增強(qiáng)臨場感，而高臨場感又可以進(jìn)一步推動(dòng)交互走向深入。

另一方面，在線臨場感框架所提出的細(xì)分的臨場感全面涵蓋了促成深度知識(shí)建構(gòu)的交互要素。該框架最早可追溯至D.蘭迪·加里森（Garrison，D.R.）等將探究社區(qū)理論應(yīng)用于在線學(xué)習(xí)領(lǐng)域，認(rèn)為在線學(xué)習(xí)中存在三個(gè)關(guān)鍵要素：社會(huì)臨場感、教學(xué)臨場感、認(rèn)知臨場感（Garrisonet al.，1999）。深層次的學(xué)習(xí)是通過三維臨場的相互作用發(fā)生的，只有當(dāng)這三個(gè)方面的臨場感水平都較高時(shí)，有效的學(xué)習(xí)才會(huì)發(fā)生（Garrisonamp;Cleveland-Innes，20o5）。隨后有研究（Cleve-land-Innesamp;Campbell，2012）指出，學(xué)習(xí)者在情緒、情感等方面的表現(xiàn)應(yīng)進(jìn)行單獨(dú)考察，并由此提出情感臨場感這一要素。這些細(xì)分的臨場感能夠全面反映在線討論過程的多維交互深度，其中，認(rèn)知臨場感能夠衡量學(xué)習(xí)者通過持續(xù)反思與對(duì)話建構(gòu)知識(shí)的能力，能夠反映認(rèn)知發(fā)展的深度（Garrisonetal.，2010）；社會(huì)臨場感反映學(xué)習(xí)者對(duì)討論社區(qū)的認(rèn)同歸屬、對(duì)環(huán)境的信任，反映了群體為知識(shí)建構(gòu)提供社會(huì)性對(duì)話支持的質(zhì)量（Garrison＆Arbaugh，2007）；教學(xué)臨場感則強(qiáng)調(diào)學(xué)習(xí)群體在組織、調(diào)節(jié)、指導(dǎo)交互過程中所起的關(guān)鍵作用，直接關(guān)系到討論活動(dòng)的有效推進(jìn)與方向引領(lǐng)（Andersonetal.，2001）；情感臨場感與任務(wù)完成度、指導(dǎo)接受度以及社會(huì)關(guān)系等均緊密相關(guān)，是認(rèn)知、社會(huì)、教學(xué)等要素與學(xué)習(xí)者感知交互作用的產(chǎn)物，也會(huì)反作用于交互過程，影響協(xié)作氛圍和交互深度。

綜上所述，臨場感框架所強(qiáng)調(diào)的“以交互創(chuàng)設(shè)臨場感進(jìn)而實(shí)現(xiàn)深度學(xué)習(xí)”的理念與交互深度所關(guān)注的“深度交互、意義建構(gòu)、能力發(fā)展”等目標(biāo)有著高度的內(nèi)在一致性。以臨場感作為交互深度評(píng)價(jià)框架的構(gòu)建依據(jù)，可以全面考量交互過程的教學(xué)、認(rèn)知、社會(huì)、情感等多方面的狀態(tài)，使評(píng)價(jià)面向深度學(xué)習(xí)，整合多維交互要素。

（二）多維臨場感的交互數(shù)據(jù)表征

已有研究編制了測量量表及內(nèi)容分析框架用以判斷臨場感水平，以此表征在線學(xué)習(xí)的深度。典型的測量量表如英文版探究社區(qū)量表（Arbaugh et al.，2008）、中文版探究社區(qū)量表（馬志強(qiáng)，2017，p.190）、修訂的中文版探究社區(qū)量表（蘭國帥等，2018）等。典型的內(nèi)容分析框架如臨場感內(nèi)容分析框架（Shea etal.，2010）、在線協(xié)作交互文本編碼體系（劉君玲等，2020）等。已有量表和內(nèi)容分析框架一般是從四維交互（社會(huì)、認(rèn)知、情感、教學(xué)交互）角度進(jìn)行設(shè)計(jì)的，量表法基于學(xué)習(xí)者自我判定進(jìn)行測量，關(guān)注的是學(xué)習(xí)者的主觀體驗(yàn)。內(nèi)容分析法基于對(duì)討論文本內(nèi)容的分析進(jìn)行判斷，更關(guān)注學(xué)習(xí)者在討論過程中的客觀表現(xiàn)。無論是量表法還是內(nèi)容分析法，由于分析數(shù)據(jù)較為單一，難以全面反映學(xué)習(xí)者的臨場感水平

面對(duì)在線討論情境下智能化評(píng)價(jià)的需求，需要建立合理的分析模型，通過多維的交互數(shù)據(jù)系統(tǒng)全面地表征臨場感。在線討論情境中，臨場感是通過教師、學(xué)習(xí)者、學(xué)習(xí)資源之間的交互創(chuàng)設(shè)的，同時(shí)也是由其交互表現(xiàn)出來的，因此，可以通過學(xué)習(xí)者的交互行為和交互內(nèi)容來表征臨場感水平，進(jìn)而反映交互深度。1）教學(xué)臨場感強(qiáng)調(diào)參與者（包括教師和學(xué)習(xí)者）實(shí)施組織和設(shè)計(jì)、促進(jìn)和指導(dǎo)行動(dòng)的能力。一方面，可以通過交互內(nèi)容中所隱含的教學(xué)意義，即文本中所隱含的組織、幫助、指導(dǎo)類的意義表現(xiàn)出來；另一方面，還體現(xiàn)在學(xué)習(xí)者與學(xué)習(xí)伙伴之間的互助關(guān)系（交互關(guān)聯(lián)度）方面等，例如某學(xué)習(xí)者中心性較高，則表明該學(xué)習(xí)者會(huì)對(duì)討論起到一定的主導(dǎo)或組織作用，表現(xiàn)出較高的教學(xué)臨場感。2）社會(huì)臨場感強(qiáng)調(diào)學(xué)習(xí)者有目的地進(jìn)行交流、社會(huì)化地表達(dá)自己、建立人際關(guān)系的能力。作為學(xué)習(xí)者人際交互和社會(huì)氛圍創(chuàng)設(shè)的關(guān)鍵衡量指標(biāo)，主要通過學(xué)習(xí)者的活躍程度（交互頻度、交互持續(xù)度）、學(xué)習(xí)者之間的社會(huì)網(wǎng)絡(luò)關(guān)系（交互關(guān)聯(lián)度）以及交互內(nèi)容中所隱含的社會(huì)意義（社會(huì)交流類話語）等表現(xiàn)出來。3）認(rèn)知臨場感則主要關(guān)注學(xué)習(xí)者通過持續(xù)的協(xié)作與反思活動(dòng)進(jìn)行意義建構(gòu)的能力（Redmondamp;Lock，2006），主要通過交互內(nèi)容的相關(guān)性（是否與主題相關(guān)）、所隱含的認(rèn)知意義（分享、反思等）等表現(xiàn)出來。4）情感臨場感側(cè)重關(guān)注學(xué)習(xí)者通過情感表達(dá)、情感反饋等來創(chuàng)設(shè)社區(qū)精神情感層面的歸屬感、信任感等方面的能力（Derksetal.，2008），主要通過交互內(nèi)容的情感特征及其中隱含的表達(dá)情感的社會(huì)交流表現(xiàn)出來。

（三）交互深度評(píng)價(jià)維度與觀測指標(biāo)

智能化評(píng)價(jià)是基于數(shù)據(jù)和算法做出智能化評(píng)判，綜合上述理論分析、交互數(shù)據(jù)特征等，本研究提出了交互深度評(píng)價(jià)維度與具體觀測指標(biāo)（如表1所示）。

1.交互行為維度

交互深度的行為屬性表現(xiàn)為在線討論是學(xué)習(xí)者與學(xué)習(xí)伙伴、教師等通過文本進(jìn)行的一系列互動(dòng)行為。正是這些復(fù)雜的互動(dòng)行為為信息流通與深度交互提供了渠道，是深度學(xué)習(xí)發(fā)生的基礎(chǔ)。交互行為動(dòng)態(tài)揭示了學(xué)習(xí)者在討論過程中的外顯行為，反映出學(xué)習(xí)者在討論中的活躍程度、關(guān)聯(lián)程度、尋求互動(dòng)的程度等。交互行為可以通過交互頻度、持續(xù)度和關(guān)聯(lián)度來刻畫。

表1在線討論交互深度評(píng)價(jià)維度與觀測指標(biāo)

第一，交互頻度主要通過學(xué)習(xí)者的發(fā)言數(shù)量情況分析其是否積極參與了交互，對(duì)應(yīng)的觀測指標(biāo)如參與人數(shù)、發(fā)言數(shù)量、人均發(fā)帖量等，數(shù)量越多表示頻度越高，學(xué)習(xí)者越積極。

第二，交互持續(xù)度主要通過討論的持續(xù)情況和集中程度分析學(xué)習(xí)者是否專注、持續(xù)地參與交互，可以通過討論的響應(yīng)時(shí)間、持續(xù)時(shí)間、發(fā)言間隔等指標(biāo)觀測，響應(yīng)時(shí)間短、發(fā)言間隔短、持續(xù)時(shí)間長，表示發(fā)言密集且持續(xù)，代表群體持續(xù)專注地參與了交互。

第三，交互關(guān)聯(lián)度主要通過社會(huì)網(wǎng)絡(luò)分析挖掘?qū)W習(xí)群體的社會(huì)網(wǎng)絡(luò)情況、學(xué)習(xí)者在交互網(wǎng)絡(luò)的位置和貢獻(xiàn)，從而判斷交互結(jié)構(gòu)和社會(huì)關(guān)系緊密程度，一般通過網(wǎng)絡(luò)密度、點(diǎn)度中心度、中介中心度等指標(biāo)來衡量。點(diǎn)度中心度高，代表此個(gè)體與其他個(gè)體的連接更緊密，其在社會(huì)網(wǎng)絡(luò)中的影響力也越大；中介中心度越大，表示該節(jié)點(diǎn)的控制能力越強(qiáng)，節(jié)點(diǎn)對(duì)應(yīng)的學(xué)習(xí)者在引導(dǎo)其他成員進(jìn)行知識(shí)共享和建構(gòu)方面的話語權(quán)越大；網(wǎng)絡(luò)密度高，代表群體成員之間聯(lián)系緊密，成員之間的協(xié)作知識(shí)建構(gòu)水平通常更高。

2.交互內(nèi)容維度

交互深度的內(nèi)容屬性表現(xiàn)為在線討論是基于文本的互動(dòng)交流過程，個(gè)體的觀點(diǎn)、思想等均會(huì)表現(xiàn)或隱含在文本內(nèi)容中，可以通過對(duì)文本內(nèi)容的挖掘來判斷交互的深度水平。本研究認(rèn)為，交互內(nèi)容維度可以通過討論文本的話題特征、語言特征、情感特征和意義特征四個(gè)方面進(jìn)行評(píng)價(jià)。首先以單條觀點(diǎn)為意義單元進(jìn)行分析，進(jìn)而基于統(tǒng)計(jì)結(jié)果判斷個(gè)體、小組和群體的交互內(nèi)容深度。1）話題特征：主要判斷觀點(diǎn)與討論問題的相關(guān)性，是評(píng)判交互內(nèi)容質(zhì)量的最基礎(chǔ)的指標(biāo)。相關(guān)性低表明觀點(diǎn)偏離主題，視為無意義發(fā)帖。2）語言特征：主要判斷觀點(diǎn)的可讀性，即觀點(diǎn)易于閱讀和理解的程度。從字詞句難度等語言特征的角度評(píng)判觀點(diǎn)表達(dá)是否易于理解，可讀性差的帖子也視為無意義發(fā)帖。3）情感特征：主要判斷觀點(diǎn)中所隱含的情感類型，一般分為積極、消極和中性三類。其中，積極情感指文本中隱藏著期待、愉快、放松、自信、滿足、興奮等正向情緒；消極情感指文本中隱含著焦慮、無助、羞愧、緊張、挫敗、沮喪、憤怒、厭倦、失望、悲傷等負(fù)向情緒；中性情感指文本中隱藏著專注、好奇等中性情緒（林銘煒 等，2024）。4）意義特征：主要判斷討論文本中的信息內(nèi)容在深度交互中所起的作用，包括作用類型與層次。討論過程中基于文本的交流活動(dòng)處于教學(xué)交互層次塔中的信息交互層（陳麗，2004），發(fā)帖中隱含的信息意義對(duì)于促進(jìn)深度交互起著不同的作用，可以劃分為認(rèn)知、社會(huì)、教學(xué)三類（李彤彤等，2023）。其中，認(rèn)知意義是發(fā)帖所反映的對(duì)討論主題或內(nèi)容的認(rèn)知思考程度，是判斷發(fā)言質(zhì)量或深度的直接依據(jù)，是在線討論認(rèn)知目標(biāo)達(dá)成的最關(guān)鍵要素（Kozanamp;Caskurlu，2018）；社會(huì)意義是發(fā)帖所具有的促進(jìn)社會(huì)聯(lián)系、增強(qiáng)凝聚力和歸屬感的作用；教學(xué)意義是指發(fā)帖所隱含的對(duì)討論交互過程進(jìn)行的設(shè)計(jì)、組織、促進(jìn)和指導(dǎo)等作用（Garrison＆Arbaugh，2007）。需要特別說明的是，此處的教學(xué)意義和社會(huì)意義都是微觀層面發(fā)帖內(nèi)容所隱含的信息意義，而且具有教學(xué)和社會(huì)意義的發(fā)帖對(duì)于促進(jìn)學(xué)習(xí)者的認(rèn)知深度有著顯著的正向影響（盧國慶等，2021;張屹等，2019）。僅靠認(rèn)知單一要素難以維持高質(zhì)量的討論，只有當(dāng)教學(xué)、社會(huì)、認(rèn)知等各要素都達(dá)到較高水平時(shí)，深度交互才能發(fā)生（Gar-rison etal.，2010）。因此，可以通過帖子內(nèi)容所隱含的教學(xué)意義、社會(huì)意義、認(rèn)知意義的類型與層次水平來刻畫帖子文本的意義特征。

（四）交互文本編碼體系

在交互內(nèi)容維度的評(píng)價(jià)上，文本情感特征和意義特征的識(shí)別與評(píng)判是以文本編碼體系為依據(jù)，采用機(jī)器學(xué)習(xí)或深度學(xué)習(xí)算法進(jìn)行文本挖掘來實(shí)現(xiàn)的。因此，可信度較高的編碼體系至關(guān)重要。本研究基于如前所述的交互深度評(píng)價(jià)維度，結(jié)合已有的編碼框架，經(jīng)理論論證、實(shí)踐觀察、專家咨詢，構(gòu)建了如表2所示的編碼體系。在意義特征中，最為直接體現(xiàn)交互水平的是認(rèn)知意義。參考引用最為廣泛的交互分析模型（InteractionAnalysisModel，IAM）（Gunawardena etal.，1997），本研究將認(rèn)知意義特征按認(rèn)知水平從低到高分為共享、分析、協(xié)商、整合和反思五個(gè)層次，并將共享和分析歸為低層次認(rèn)知，協(xié)商、整合和反思?xì)w為高層次認(rèn)知。高層次發(fā)言的數(shù)量越多代表學(xué)習(xí)者的反思程度和知識(shí)建構(gòu)水平越高，交互深度也越深。教學(xué)意義和社會(huì)意義是反映交互深度的間接特征，以其對(duì)應(yīng)的帖子數(shù)量多少來反映相應(yīng)交互水平，例如某學(xué)習(xí)者教學(xué)意義類發(fā)帖多，則表明該學(xué)習(xí)者具有更高的組織管理能力，起到類似助學(xué)者的作用，其教學(xué)意義水平則相對(duì)較高。參考探究社區(qū)理論，將教學(xué)意義維度編碼為促進(jìn)交流、設(shè)計(jì)組織和直接指導(dǎo)三類；社會(huì)意義維度編碼為凝聚和互助兩類（Garri-sonamp;Akyol，2013）。需要特別說明的是，一條帖子可能具備三種意義中的一種或多種類型，不是所有帖子都具備三種意義類型。情感特征編碼依據(jù)文本中所表現(xiàn)出來的情緒類型將其分為積極、中性和消極三類，而且一般認(rèn)為積極的情緒對(duì)交互的促進(jìn)效果更好。

表2意義特征和情感特征分析編碼

四、交互深度智能化評(píng)價(jià)算法設(shè)計(jì)

（一）基于自動(dòng)統(tǒng)計(jì)計(jì)算的交互行為維度評(píng)價(jià)算法

交互行為維度的數(shù)據(jù)大多是頻次、時(shí)間等結(jié)構(gòu)化數(shù)據(jù)，算法上采用統(tǒng)計(jì)計(jì)算來實(shí)現(xiàn)，針對(duì)個(gè)體和群體分別計(jì)算。

第一，交互頻度計(jì)算。個(gè)體維度上主要統(tǒng)計(jì)個(gè)體發(fā)言數(shù)量和發(fā)言貢獻(xiàn)，群體維度上主要統(tǒng)計(jì)小組或群體內(nèi)參與人數(shù)、發(fā)言數(shù)量、人均發(fā)帖等指標(biāo)。其中，參與人數(shù)指某個(gè)時(shí)間周期內(nèi)某個(gè)群體中的發(fā)言人數(shù)；發(fā)言數(shù)量指個(gè)體或群體在某個(gè)時(shí)間周期內(nèi)發(fā)言累計(jì)條數(shù)；人均發(fā)帖指某個(gè)時(shí)間周期內(nèi)某討論群體的人均發(fā)帖條數(shù)；發(fā)言貢獻(xiàn)指個(gè)體為其所在群體的發(fā)言所做的貢獻(xiàn)，用某個(gè)時(shí)間周期內(nèi)該個(gè)體在某群體的發(fā)言條數(shù)占整個(gè)討論群體總發(fā)言條數(shù)的比例來衡量。

第二，交互持續(xù)度計(jì)算。交互持續(xù)度主要通過討論的持續(xù)時(shí)間、發(fā)言間隔、響應(yīng)時(shí)間來刻畫，基于平臺(tái)所記錄的每條帖子的發(fā)言時(shí)間進(jìn)行計(jì)算。持續(xù)時(shí)間指個(gè)體或群體參與某時(shí)間周期內(nèi)討論的實(shí)際時(shí)長；發(fā)言間隔指兩條帖子之間的時(shí)間間隔平均值；響應(yīng)時(shí)間指發(fā)布討論問題的時(shí)間與成員首次發(fā)帖回應(yīng)時(shí)間之間的時(shí)間間隔。

第三，交互關(guān)聯(lián)度計(jì)算。交互關(guān)聯(lián)度主要用于測算參與者互動(dòng)所建構(gòu)的社會(huì)網(wǎng)絡(luò)特征，由于個(gè)體和群體在社會(huì)網(wǎng)絡(luò)中所展現(xiàn)的屬性和側(cè)重點(diǎn)有所不同，因此研究選擇網(wǎng)絡(luò)密度作為群體交互關(guān)聯(lián)度的測算指標(biāo)，選取中介中心度和點(diǎn)度中心度測算個(gè)體的交互關(guān)聯(lián)度。

網(wǎng)絡(luò)密度是衡量網(wǎng)絡(luò)中節(jié)點(diǎn)間連接緊湊程度的指標(biāo)，指特定網(wǎng)絡(luò)內(nèi)實(shí)際存在的連接數(shù)與潛在的最大連接數(shù)的比率，計(jì)算公式為：

式中， N 表示當(dāng)前社會(huì)網(wǎng)絡(luò)所含節(jié)點(diǎn)數(shù)，即群體學(xué)習(xí)者數(shù)量； L 指實(shí)際存在的關(guān)系（邊）的數(shù)量，即成員間的互動(dòng)次數(shù)。

點(diǎn)度中心度指網(wǎng)絡(luò)中某節(jié)點(diǎn)連接的其他節(jié)點(diǎn)的數(shù)量，反映了該節(jié)點(diǎn)與其他節(jié)點(diǎn)連接的緊密程度，由出度和入度來決定。出度代表一個(gè)成員評(píng)論他人的數(shù)目，人度代表他人評(píng)論該成員的數(shù)目。本研究采用斯坦利·沃瑟曼（Wasserman，S.）和凱瑟琳·福斯特（Faust，K.）（1994，p.180）提出的標(biāo)準(zhǔn)化度量方法，即用現(xiàn)有的點(diǎn)度中心度與該節(jié)點(diǎn)可能的最大連接數(shù)的比率來計(jì)算。公式如下：

式中， 是點(diǎn) v_i 的入度，即網(wǎng)絡(luò)中指向該節(jié)點(diǎn)的節(jié)點(diǎn)數(shù)量； 是點(diǎn) v_i 的出度，即該節(jié)點(diǎn)所指向的其他節(jié)點(diǎn)的數(shù)量； Cd_（vi） 是點(diǎn)度中心度， n 表示網(wǎng)絡(luò)中的節(jié)點(diǎn)總數(shù)，即討論群體的總?cè)藬?shù)。

中介中心度用于衡量一個(gè)節(jié)點(diǎn)在網(wǎng)絡(luò)中能夠連接其他節(jié)點(diǎn)對(duì)的能力，能夠反映出該節(jié)點(diǎn)的橋梁作用和影響力，可以通過計(jì)算該節(jié)點(diǎn)出現(xiàn)在其他兩個(gè)節(jié)點(diǎn)對(duì)最短路徑上的次數(shù)得出。本研究計(jì)算相對(duì)中介中心度，即絕對(duì)中介中心度除以最大中介中心度，公式如下：

式中， DB（S_i） 指節(jié)點(diǎn) i 的絕對(duì)中介中心度； b_jk 表示節(jié)點(diǎn) j 到節(jié)點(diǎn) k 的最短路徑數(shù)量； b_jk（i） 表示這些路徑中經(jīng)過節(jié)點(diǎn) i 的數(shù)量； C_RBi 表示節(jié)點(diǎn) i 的相對(duì)中介中心度， n 表示網(wǎng)絡(luò)中的節(jié)點(diǎn)總數(shù)，即討論群體總?cè)藬?shù)。

（二）基于人工智能的交互內(nèi)容維度評(píng)價(jià)算法

交互內(nèi)容維度的數(shù)據(jù)就是學(xué)習(xí)者發(fā)帖的文本內(nèi)容，其評(píng)價(jià)采用文本挖掘技術(shù)實(shí)現(xiàn)。首先以單條發(fā)帖為意義單元進(jìn)行評(píng)價(jià)，進(jìn)而基于統(tǒng)計(jì)計(jì)算來分析個(gè)體或群體的交互狀態(tài)。其中，話題特征相關(guān)性的定量判定采用向量空間模型與余弦相似度算法；語言特征的可讀性評(píng)估采用基于多層級(jí)語言特征融合和BERT的文本可讀性分級(jí)模型（MLF-BERT）實(shí)現(xiàn)；情感特征和意義特征的分析，采用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、大語言模型算法進(jìn)行自動(dòng)文本分類來實(shí)現(xiàn)。

1.話題特征的相關(guān)性評(píng)價(jià)：余弦相似度算法

本研究參考劉金嶺和錢升華（2021，pp.52-53）提出的文本相似度計(jì)算方法，以向量在方向上的相似度表示學(xué)習(xí)者發(fā)帖與討論問題之間的相關(guān)程度，利用向量空間模型以及余弦相似度進(jìn)行計(jì)算。向量空間模型的核心在于將文本映射到向量空間中，其中每段文本被表示為一個(gè)向量，利用這些向量之間的夾角余弦值來量化文本間的相似性。通過計(jì)算向量空間中代表討論問題和學(xué)習(xí)者發(fā)帖的兩向量間夾角的余弦值，來量化兩段文本的相似程度。兩向量方向越接近，其夾角度數(shù)越小，余弦值越高，代表文本相似度越高。余弦值為0一1之間的小數(shù)，通常通過計(jì)算向量內(nèi)積得出。計(jì)算公式如下：

式中， 代表向量內(nèi)積； D_i 和 D_j 分別代表討論問題向量和學(xué)習(xí)者發(fā)言向量； t_ik 和 t_jk 分別代表兩個(gè)向量中第 k 個(gè)詞項(xiàng)的權(quán)重值； θ 代表討論問題向量與學(xué)習(xí)者發(fā)言向量夾角度數(shù)。

本研究采用余弦值作為該條發(fā)言在話題相關(guān)性維度的得分，而個(gè)體、小組或群體的相關(guān)性評(píng)價(jià)則以帖子的相關(guān)性平均分進(jìn)行計(jì)算。

2.語言特征的可讀性評(píng)價(jià)：MLF-BERT算法

可讀性一般指文本閱讀的難易程度（陳潔，2013）。已有研究提出了融合多層級(jí)語言特征（Multi-level Linguistic featureFusion，MLF）的BERT模型，通過對(duì)文本難度等級(jí)的分類處理來預(yù)測文本的可讀性水平，模型準(zhǔn)確率達(dá) 94.2% （譚可人等，2024）。本研究借鑒此模型進(jìn)行可讀性評(píng)價(jià)，該模型采用深度學(xué)習(xí)架構(gòu)，綜合考慮漢字、詞匯以及語法難度等多層次語言特征，其算法結(jié)構(gòu)如圖2所示。

圖2 MLF-BERT模型架構(gòu)

第一，特征層：言語等級(jí)特征抽取。模型根據(jù)《國際中文教育中文水平等級(jí)標(biāo)準(zhǔn)》（以下簡稱《標(biāo)準(zhǔn)》）中的中文難度等級(jí)大綱，對(duì)文本中的漢字、詞匯和語法進(jìn)行難度評(píng)級(jí)，分別構(gòu)建特征向量。一是漢字等級(jí)特征抽取，通過算法自動(dòng)遍歷文本中的每個(gè)漢字，依據(jù)《標(biāo)準(zhǔn)》中的漢字難度等級(jí)大綱來匹配相應(yīng)的難度等級(jí)，為每個(gè)漢字賦予難度等級(jí)值；二是詞匯等級(jí)特征抽取，通過分詞算法和匹配算法來實(shí)現(xiàn)，將每個(gè)分詞后的詞匯與《標(biāo)準(zhǔn)》中的詞匯難度等級(jí)大綱進(jìn)行匹配，為每一個(gè)詞賦予難度等級(jí)值；三是語法等級(jí)特征抽取，使用正則表達(dá)式和依存約束規(guī)則來識(shí)別文本中的語法點(diǎn)，依據(jù)《標(biāo)準(zhǔn)》中的語法難度等級(jí)大綱，為每一個(gè)語法點(diǎn)賦予難度等級(jí)值。依據(jù)匹配的結(jié)構(gòu)，分別構(gòu)建字、詞和語法的難度等級(jí)特征向量。

第二，融合層：言語等級(jí)與深度語義特征融合。基于多層級(jí)語言特征融合策略，將抽取的語言等級(jí)特征與BERT模型的深度語義特征進(jìn)行融合，在嵌入層融合漢字和詞匯特征，在自注意力層融合語法特征，使得模型兼顧文本的表層語言特征和深層語義信息。

第三，輸出層：難度等級(jí)輸出。通過softmax函數(shù)輸出文本在各個(gè)難度等級(jí)上的概率分布，選擇概率最高的等級(jí)，作為預(yù)測文本的最終難度等級(jí)，共1—6六個(gè)難度等級(jí)，難度等級(jí)越高，可讀性越低。這是單條帖子的可讀性得分，而個(gè)體、小組或群體的可讀性評(píng)價(jià)則以帖子的可讀性平均分進(jìn)行計(jì)算。

3.情感特征和意義特征：基于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、大語言模型的文本分類算法

情感特征和意義特征的判定采用文本分類算法來實(shí)現(xiàn)，算法的訓(xùn)練過程包括數(shù)據(jù)采集與標(biāo)注、文本預(yù)處理與向量化、模型訓(xùn)練與選擇三個(gè)階段，我們基于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)以及大語言模型算法訓(xùn)練了相應(yīng)的分類模型。

第一，數(shù)據(jù)采集與標(biāo)注。本研究數(shù)據(jù)主要來源于中國大學(xué)MOOC、學(xué)習(xí)通平臺(tái)的課程討論區(qū)，采用Python數(shù)據(jù)采集程序共獲取22.362條在線討論文本數(shù)據(jù)，其中來自中國大學(xué)M00C的有14.235條，學(xué)習(xí)通平臺(tái)有8.127條。本研究將單條帖子作為分析單元進(jìn)行編碼，基于所構(gòu)建的編碼表，借助課題組自主構(gòu)建的標(biāo)注系統(tǒng)，由兩位非常熟悉編碼規(guī)則的研究者背對(duì)背進(jìn)行人工標(biāo)注。對(duì)于編碼結(jié)果不一致或無法分類的數(shù)據(jù)通過討論確認(rèn)其所屬類別，提升標(biāo)注準(zhǔn)確性，這對(duì)于保障算法的準(zhǔn)確率至關(guān)重要。標(biāo)注完成后，利用SPSS軟件對(duì)編碼結(jié)果進(jìn)行一致性分析，得到Kappa系數(shù)大于0.7，表明編碼結(jié)果基本一致。需要說明的是，對(duì)于情感特征，同一條帖子只具備三類屬性中的一種；而對(duì)于意義特征，同一條帖子可能具備認(rèn)知、社會(huì)、教學(xué)意義中的一種或多種屬性。標(biāo)注得到的情感特征數(shù)據(jù)集含文本22.362條，意義特征數(shù)據(jù)集中含認(rèn)知意義文本12，247條，教學(xué)意義文本7，876條，社會(huì)意義文本4，565條。

第二，文本預(yù)處理與向量化。文本預(yù)處理是指過濾掉低質(zhì)量和重復(fù)的文本數(shù)據(jù)，降低數(shù)據(jù)噪聲，為建模做準(zhǔn)備，主要工作包括數(shù)據(jù)清洗、去停用詞等。本研究通過Python編程環(huán)境使用哈爾濱工業(yè)大學(xué)相關(guān)團(tuán)隊(duì)構(gòu)建的停用詞表完成去停用詞任務(wù)。經(jīng)過預(yù)處理后，得到情感特征數(shù)據(jù)集19，303條，意義特征數(shù)據(jù)集共22，716條（其中，認(rèn)知意義文本10，443條，教學(xué)意義文本7，751條，社會(huì)意義文本4，522條）。文本向量化是自然語言處理中的關(guān)鍵步驟，它涉及將文本表示成一系列能夠表達(dá)文本語義的數(shù)值向量，以便于計(jì)算機(jī)處理和理解。為解決文本缺乏上下文信息導(dǎo)致的特征不足問題，本研究從字和詞層面進(jìn)行特征提取。利用Python環(huán)境下的gensim庫，基于Word2Vec神經(jīng)網(wǎng)絡(luò)模型實(shí)施了向量訓(xùn)練，成功構(gòu)建了維度為300的字向量和詞向量模型。

第三，基于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、大語言模型的模型訓(xùn)練。由于需要通過實(shí)驗(yàn)測試來評(píng)估學(xué)習(xí)模型的泛化誤差，因此，在實(shí)際訓(xùn)練過程中，將文本數(shù)據(jù)集劃分為訓(xùn)練集和測試集，其中訓(xùn)練集用于對(duì)交互文本分類模型的訓(xùn)練評(píng)估，測試集用來測試分類模型對(duì)新樣本的判別能力，以測試集上的測試誤差作為泛化誤差的近似。本研究采用分層采樣的方法，將每個(gè)類別數(shù)據(jù)按照訓(xùn)練集和測試集 7：3 的比例劃分，利用Python編寫算法并進(jìn)行模型訓(xùn)練。一是機(jī)器學(xué)習(xí)算法。本研究選取了支持向量機(jī)（SVM）、樸素貝葉斯（NB）、K-近鄰（KNN）和決策樹（DT）這幾種常用的、表現(xiàn)優(yōu)異的機(jī)器學(xué)習(xí)算法進(jìn)行了模型訓(xùn)練。二是深度學(xué)習(xí)算法。本研究選取了長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（LSTM）、深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN），以及本團(tuán)隊(duì)改進(jìn)設(shè)計(jì)的“雙向長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（Bi-LSTM） + 自注意力機(jī)制（Self-Attention）”深度學(xué)習(xí)算法進(jìn)行了模型訓(xùn)練。深度學(xué)習(xí)算法執(zhí)行文本分類任務(wù)的重點(diǎn)在于自動(dòng)提取文本特征，這些特征反映了文本的內(nèi)容、語義和情感傾向等，對(duì)于分類任務(wù)至關(guān)重要。不同深度學(xué)習(xí)算法最主要的區(qū)別在于特征提取方法的差異，相當(dāng)于不同的特征提取器，它們以不同的方式學(xué)習(xí)和表示文本數(shù)據(jù)。LSTM算法通過結(jié)合當(dāng)前輸人和上一個(gè)時(shí)間步長（即詞序）的信息來更新其內(nèi)部狀態(tài)，從而有效地捕捉文本序列中的依賴關(guān)系。DCNN算法則主要利用卷積操作和層次化的網(wǎng)絡(luò)結(jié)構(gòu)來捕捉文本特征，通過堆疊多個(gè)卷積層和池化層，逐層提取出文本中從低級(jí)到高級(jí)的特征表示。本團(tuán)隊(duì)改進(jìn)的\"Bi-LSTM + Self-Attention”算法則結(jié)合了多種方法和技術(shù)的優(yōu)勢，在利用知識(shí)圖譜補(bǔ)充話語知識(shí)背景信息的基礎(chǔ)上，通過前向LSTM和后向LSTM的組合，同時(shí)捕捉文本序列中的前向和后向上下文信息，在每個(gè)時(shí)間步長上同時(shí)考慮序列兩端的信息，從而更全面地理解文本的上下文。Self-Attention機(jī)制則關(guān)注句子內(nèi)部元素間的關(guān)聯(lián)，通過計(jì)算序列中每個(gè)元素（token）與所有其他元素的相似性，得到該位置的注意力權(quán)重，使得模型能夠依此聚焦于序列中的關(guān)鍵信息。三是大語言模型。大語言模型本質(zhì)上是一種深度學(xué)習(xí)算法，其核心優(yōu)勢在于能夠通過多次迭代來優(yōu)化模型，精準(zhǔn)捕捉文本中長距離的依賴關(guān)系和上下文信息，從而能夠?qū)ξ谋竞x進(jìn)行更為深刻的解讀和分析。本研究基于文心一言大語言模型，運(yùn)用ERNIE3.0的框架結(jié)構(gòu)，借助EasyDL服務(wù)平臺(tái)訓(xùn)練了相應(yīng)的算法模型，通過其模型迭代方式，多次調(diào)整訓(xùn)練大語言模型，提高模型的準(zhǔn)確率。

第四，模型效果評(píng)估與選擇。本研究采用準(zhǔn)確率（Accuracy）作為文本分類模型評(píng)估的標(biāo)準(zhǔn)，其是指模型預(yù)測正確的樣本數(shù)占總樣本數(shù)的比例，各模型訓(xùn)練的準(zhǔn)確率如表3所示。可見，“雙向長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（Bi-LSTM） + 自注意力機(jī)制（Self-Attention）”深度學(xué)習(xí)算法表現(xiàn)最佳，因此選擇此算法作為意義特征和情感特征的分類識(shí)別算法。

表3情感特征與意義特征文本分類模型性能

通過算法可以自動(dòng)對(duì)發(fā)帖進(jìn)行分類，以相應(yīng)類型對(duì)應(yīng)的表2中編碼對(duì)應(yīng)的數(shù)值進(jìn)行賦分，例如若歸類為認(rèn)知意義維度的共享類發(fā)帖，其對(duì)應(yīng)編碼“C1”，那么其認(rèn)知意義維度得分為1分，其余類型依此類推。而對(duì)于個(gè)體和群體來說，則以其各意義維度上得分的平均分來判斷其相對(duì)水平。

五、交互深度智能化評(píng)價(jià)工具的實(shí)踐應(yīng)用

本研究基于上述算法開發(fā)了智能化評(píng)價(jià)工具并嵌人團(tuán)隊(duì)前期開發(fā)的在線討論平臺(tái)，開展了實(shí)踐應(yīng)用，在單條帖子、個(gè)體、小組或群體層次的評(píng)價(jià)功能與效果如下。

第一，針對(duì)單條帖子，該工具能夠?qū)崿F(xiàn)對(duì)其話題特征、語言特征、情感特征、意義特征實(shí)時(shí)評(píng)價(jià)與可視化呈現(xiàn)（如圖3所示），基于此還可以進(jìn)一步比較不同帖子的交互質(zhì)量，也可用于篩選不同維度上的精華帖，如認(rèn)知意義精華帖等。

圖3單條帖子交互深度評(píng)價(jià)結(jié)果

第二，針對(duì)個(gè)體，該工具可以實(shí)時(shí)統(tǒng)計(jì)個(gè)體在某次討論或某時(shí)間段內(nèi)的交互深度狀態(tài)。交互行為方面，通過統(tǒng)計(jì)得出個(gè)體在當(dāng)前討論中的交互頻度（如發(fā)言條數(shù)等）、交互持續(xù)度（如參與時(shí)長等）、交互關(guān)聯(lián)度（個(gè)體在社交網(wǎng)絡(luò)中的點(diǎn)度中心度、中介中心度等）。交互內(nèi)容方面，則實(shí)時(shí)統(tǒng)計(jì)出個(gè)體發(fā)帖在各個(gè)維度上的平均值，以此表征個(gè)體在各個(gè)維度上的表現(xiàn)，其評(píng)價(jià)結(jié)果部分示例如圖4所示。

第三，針對(duì)小組或群體，該工具可以實(shí)時(shí)統(tǒng)計(jì)小組在某次討論或某時(shí)間段內(nèi)的交互深度狀態(tài)。交互行為方面，實(shí)時(shí)統(tǒng)計(jì)小組發(fā)帖總量、討論持續(xù)時(shí)長、響應(yīng)時(shí)間、網(wǎng)絡(luò)密度等；交互內(nèi)容方面，可統(tǒng)計(jì)小組內(nèi)所有發(fā)帖相應(yīng)維度得分的平均值。同時(shí)，通過個(gè)體或小組之間的比較，可以發(fā)現(xiàn)不同個(gè)體或小組在不同維度上的相對(duì)水平、優(yōu)勢及劣勢等，這些都可以為教師的個(gè)性化干預(yù)提供依據(jù)。針對(duì)小組或班級(jí)群體的評(píng)價(jià)結(jié)果部分示例如圖5所示。

圖4個(gè)體交互深度評(píng)價(jià)結(jié)果示例

圖5小組交互深度評(píng)價(jià)結(jié)果示例

六、總結(jié)

評(píng)價(jià)難的困境已經(jīng)成為在線討論研究與實(shí)踐發(fā)展的瓶頸。隨著人工智能技術(shù)的發(fā)展，智能化評(píng)價(jià)越來越必要且可行。本研究針對(duì)“如何科學(xué)有效地評(píng)價(jià)交互深度”的問題，構(gòu)建了評(píng)價(jià)模型，設(shè)計(jì)了相應(yīng)算法，開發(fā)了相應(yīng)工具，其中的創(chuàng)新性體現(xiàn)在三個(gè)方面：1）以臨場感為依據(jù)確立相應(yīng)評(píng)價(jià)維度與指標(biāo)，綜合考慮討論過程中的多維要素，使得評(píng)價(jià)指向深度學(xué)習(xí)，符合以評(píng)促學(xué)（以討論促進(jìn)高階思維）的目標(biāo)；2）基于學(xué)習(xí)分析的邏輯構(gòu)建評(píng)價(jià)模型，全面考量交互行為和交互內(nèi)容等客觀數(shù)據(jù)，使評(píng)價(jià)更為真實(shí)、客觀；3）評(píng)價(jià)算法上基于智能化技術(shù)實(shí)現(xiàn)自動(dòng)化評(píng)價(jià)，解決了人工評(píng)價(jià)難的問題，使得評(píng)價(jià)能夠真正走向常態(tài)化實(shí)踐。本研究評(píng)價(jià)對(duì)象是單條帖子、個(gè)體、小組、群體不同層次，能夠?qū)崿F(xiàn)分維度的相對(duì)評(píng)價(jià)和自動(dòng)實(shí)時(shí)評(píng)價(jià)，為在線討論活動(dòng)的評(píng)價(jià)提供了科學(xué)可靠的方法。團(tuán)隊(duì)已自主開發(fā)平臺(tái)并將相應(yīng)算法嵌人實(shí)現(xiàn)，該評(píng)價(jià)方案能夠幫助發(fā)現(xiàn)高質(zhì)量帖子，以及甄別不同學(xué)習(xí)者的思維水平或不同小組的討論氛圍和表現(xiàn)，進(jìn)而為教師有針對(duì)性地干預(yù)提供了有效參考。但由于數(shù)據(jù)源大多來自教育技術(shù)學(xué)相關(guān)的課程，數(shù)據(jù)的學(xué)科覆蓋范圍和數(shù)據(jù)量還有待進(jìn)一步改進(jìn)，模型的可遷移性還有待進(jìn)一步驗(yàn)證。后續(xù)研究將關(guān)注抽樣范圍的擴(kuò)大、數(shù)據(jù)量的擴(kuò)充以及大語言模型的應(yīng)用，進(jìn)一步修正和完善模型，以更好地服務(wù)在線教學(xué)。

參考文獻(xiàn)

陳蓓蕾，張屹，楊兵，范福蘭，郭強(qiáng)，amp;周平紅.（2019）.技術(shù)支持的教學(xué)交互策略促進(jìn)交互深度研究.中 國電化教育（8），99-107.

陳潔.（2013）.國內(nèi)可讀性研究概述.黑龍江史志（9），212-213.

陳麗.（2004）.遠(yuǎn)程學(xué)習(xí)的教學(xué)交互模型和教學(xué)交互層次塔.中國遠(yuǎn)程教育（5），24-28，78.

戴心來，amp;劉聰聰.（2019）.基于學(xué)習(xí)分析的虛擬學(xué)習(xí)社區(qū)深度交互研究.現(xiàn)代遠(yuǎn)距離教育（5），51-58.

馮曉英，劉月，amp;吳怡君.（2018）.學(xué)習(xí)者在線學(xué)習(xí)水平的學(xué)習(xí)分析模型研究——臨場感學(xué)習(xí)分析模型 構(gòu)建與方法探索.電化教育研究（7），40-48.

郭玉娟，amp;陳麗.（2022）.如何設(shè)計(jì)問題支架促進(jìn)深度聯(lián)通——基于問題支架類型與交互深度關(guān)系的研 究.中國遠(yuǎn)程教育（1），52-59，93.

蘭國帥，鐘秋菊，呂彩杰，宋亞婷，amp;魏家財(cái).（2018）.探究社區(qū)量表中文版的編制——基于探索性和驗(yàn) 證性因素分析.開放教育研究（3），68-76.

李彤彤，周彥麗，邊雨迎，李國濤，amp;郭栩?qū)?（2023）.面向有效交互的在線教育視頻課程彈幕智能實(shí)時(shí) 管理機(jī)制設(shè)計(jì).電化教育研究（1），61-69.

梁云真，朱珂，amp;趙呈領(lǐng).（2017）.協(xié)作問題解決學(xué)習(xí)活動(dòng)促進(jìn)交互深度的實(shí)證研究.電化教育研究 （10），87-92，99.

林銘煒，許江松，林佳胤，劉健，amp;徐澤水.（2024）.面向在線教育的學(xué)習(xí)者情感識(shí)別綜述.控制與決策 （4），1057-1074.

劉金嶺，amp;錢升華.（2021）.文本數(shù)據(jù)挖掘與Python應(yīng)用.清華大學(xué)出版社.

劉君玲，張文蘭，amp;劉斌.（2020）.在線協(xié)作交互文本編碼體系的設(shè)計(jì)與應(yīng)用——基于情緒交互視角的 研究.電化教育研究（6），53-59.

劉清堂，張妮，amp;朱姣姣.（2018）.教師工作坊中協(xié)作知識(shí)建構(gòu)的社會(huì)網(wǎng)絡(luò)分析.中國遠(yuǎn)程教育（11）， 61-69，80.

劉三女牙，彭睨，劉智，孫建文，amp;劉海.（2017）.面向M00C課程評(píng)論的學(xué)習(xí)者話題挖掘研究.電化教育 研究（10），30-36.

盧國慶，劉清堂，鄭清，amp;謝魁. （2021）.智能教室中環(huán)境感知及自我效能感對(duì)個(gè)體認(rèn)知投入的影響研 究.遠(yuǎn)程教育雜志（3），84-93.

馬志強(qiáng).（2017）.在線學(xué)習(xí)評(píng)價(jià)研究與發(fā)展.中國社會(huì)科學(xué)出版社

馬志強(qiáng)，郭文欣，amp;王萌.（2022）.面向協(xié)作知識(shí)建構(gòu)會(huì)話內(nèi)容的智能挖掘分析.現(xiàn)代遠(yuǎn)距離教育（1），3-13.

彭敏軍，陸新生，amp;劉引紅.（2011）.基于數(shù)量和質(zhì)量的在線學(xué)習(xí)參與度考量方法研究.現(xiàn)代教育技術(shù) （1），103-106.

譚可人，蘭韻詩，張楊，amp;丁安琪.（2024）.基于多層級(jí)語言特征融合的中文文本可讀性分級(jí)模型.中文 信息學(xué)報(bào)（5），41-52.

王麗英，amp;張義兵.（2020）.融合知識(shí)建構(gòu)和機(jī)器學(xué)習(xí)的觀點(diǎn)質(zhì)量評(píng)價(jià).現(xiàn)代教育技術(shù)（11），62-69.

吳祥恩，amp;陳曉慧.（2017）.混合學(xué)習(xí)視角下在線臨場感教學(xué)模型研究.中國電化教育（8），66-73.

閆寒冰，段春雨，amp;王文嬌.（2018）.在線討論質(zhì)量分析工具的研發(fā)與實(shí)效驗(yàn)證.現(xiàn)代遠(yuǎn)程教育研究（1）， 88-97，112.

張屹，郝琪，陳蓓蕾，于海恩，范福蘭，amp;陳珍.（2019）.智慧教室環(huán)境下大學(xué)生課堂學(xué)習(xí)投入度及影響因 素研究——以\"教育技術(shù)學(xué)研究方法課\"為例.中國電化教育（1），106-115.

甄園宜，amp;鄭蘭琴.（2020）.基于深度神經(jīng)網(wǎng)絡(luò)的在線協(xié)作學(xué)習(xí)交互文本分類方法.現(xiàn)代遠(yuǎn)程教育研究 （3），104-112.

鄭婭峰，徐唱，amp;李艷燕.（2017）.計(jì)算機(jī)支持的協(xié)作學(xué)習(xí)分析模型及可視化研究.電化教育研究（4），47-52.

鄭燕林，amp;柳海民.（2013）.論網(wǎng)絡(luò)教師在師生互動(dòng)中的印象管理.現(xiàn)代遠(yuǎn)程教育研究（3），34-39，71.

衷克定.（2005）.基于人格結(jié)構(gòu)理論的在線討論質(zhì)量評(píng)價(jià)之研究.開放教育研究（4），74-78.

Almatrafi， O.，Johri，A.， amp; Rangwala，H. （2O18）. Needleina haystack： Identifying learner posts that require urgent response in MOOC discussion forums. Computers amp; Education（118），1-9.

Anderson，T.， Rourke，L.，Garrison，R.， amp; Archer， W. （2Oo1）. Assessing teaching presence in acomputer conferencing context. Journal of Asynchronous Learning Networks，5（2），2-17.

Arbaugh，J.B.，Cleveland-Innes，M.，Diaz，S.R.，Garison，D.R.，Ice，P.，Richardson，J.C.，amp; Swan，K.P. （2008）.Developing a community of inquiry instrument： Testing a measure of the community of inquiry framework using a multi-institutional sample.The Internet and Higher Education，11（3-4），133-136.

Cesareni，D.， Cacciamani，S.，amp;Fujita，N. （2O16）.Role taking and knowledge building ina blendeduniversity course.International Journal ofComputer Supported Collaborative Learning， II（1） ，9-39.

Chen，H.，Tan，E.，Lee，Y.，Praharaj，S.，Specht，M.，amp; Zhao，G.（202O）. Developing AI into explanatory supporting models： An explanation-visualized deep learning prototype. ICLS 2020 Proceedings，1133-1140.

Cleveland-Innes，M.，amp; Campbell，P. （2O12）.Emotional presence，learning，and the online learning environment. International Review of Research in Open amp; Distance Learning，13（4），269-292.

Derks，D.，F(xiàn)ischer，A.H.，amp; Bos，A.E.R.（2Oo8）.The role of emotion in computer-mediated communication： A review.Computers in Human Behavior， 24（3），766-785.

Duan，L.G.，Di，P.，amp;Li，A.P.（2O14）.A new naive Bayes text classification algorithm.TELKOMNIKA： Indo nesian Journal of Electrical Engineering， I2（2） ，947-952.

Fiacco，J.，amp; Rosé，C.（2O18）.Towards domain general detectionof transactive knowledge building behavior. In Proceedings of the Fifth Annual ACM Conference on Learning at Scale （L@S'18）（pp.1-11）. Association for Computing Machinery.

Garrison，D.R.，amp;Akyol，Z.（2013）.The communityof inquiry theoretical framework.InD.Seaman，amp;J.G. Gagliardi （Eds.）， Handbook of distance education （pp.104-120）. Routledge.

Garrison， D.R.，Anderson，T.，amp; Archer，W.（1999）. Critical inquiry in a text-based environment： Computer conferencing in higher education. The Internet and Higher Education，2（2-3），87-105.

Garrison， D.R.，amp; Arbaugh，J.B. （2Oo7）. Researching the community of inquiry framework： Review，issues， and future directions.The Internet and Hgher Education，10（3），157-172.

Garrison，D.R.，amp; Cleveland-Innes，M. （2Oo5）.Facilitating cognitive presence inonline learning： Interaction is not enough.American Journal of Distance Education，19（3），133-148.

Garrison，D.R.， Cleveland-Innes，M.，amp;Fung，T.S.（2010）. Exploring causalrelationships among teaching，cognitive and social presence： Student perceptions of the community of inquiry framework. The Internet and HigherEducation，13（1-2），31-36.

Gunawardena， C.N.，Lowe， C.A.，amp; Anderson，T.（1997）.Analysis of a global online debate and the development of an interaction analysis model for examining social construction of knowledge in computer conferencing. Journal of Educational Computing Research，17（4），397-431.

Hilliard，L.P.，amp; Stewart，M.K.（2019）.Time well spent： Creating acommunity of inquiry in blended first-year writing courses.The Internet and Higher Education， 41，11-24.

Jonassen，D.H.（1996）. Computers in the clasroom： Mindtools forcritical thinking.Prentice-Hall Inc.

Kent， C.，Laslo，E.，amp;Rafaeli， S. （2O16）. Interactivity inonline discussionsand learning outcomes.Computers amp; Education，97，116-128.

Kozan，K.，amp; Caskurlu， S. （2018）. On the N ?^th presence for the community of inquiry framework. Computers amp; Education， 122，104-118.

Levin，J. A.， Kim，H.，amp; Riel， M. M. （199O）.Analyzing instructional interactions on electronic message networks. In L. M. Harasim （Ed.），Online education： Perspectives on a new environment （pp.185-214）. Greenwood Publishing Group Inc.

Liu，J.，Gao，Z.，amp; Zhang，P.（2O2O）.Exploring how topic characteristics influence online discusson quality. Proceedings of the Association for Information Science and Technology， 57（1）， e376.

Murphy，E.（2OO4）.An instrument to support thinking criticaly about critical thinking inonline asynchronous discussions.Australasian Journal ofEducational Technology，20（3），295-315.

Pillutla，V.S.，Tawfik，A.A.，amp; Giabbanelli，P.J.（2O2O）.Detecting the depth and progressionof learning in masive open online courses by mining discusson data. Technology， Knowledge and Learning， 25， 881-898.

Redmond，P.，amp; Lock，J.V.（2Oo6）.A flexible framework foronline collaborative learning.The Internet and Higher Education， 9（4），267-276.

Shea，P.，Hayes，S.，Vickers，J.，Gozza-Cohen，M.，Uzuner，S.，Mehta，R.，Valchova，A.，amp;Rangan，P. （2010）. A re-examination of the community of inquiry framework： Social network and content analysis.The Internet and Higher Education，13（1-2），10-21.

Waserman，S.，amp;Faust，K.（1994）.Social network analysis： Methods and applications. Cambridge UniversityPress.

Zheng，L. （2O17）.A knowledge map approach to analyzing knowledge elaboration in collaborative learning. In L. Zheng （Ed.）， Knowledge building and regulation in computer-supported collaborative learning （pp. 19-31）. Springer.

Zhou，P.，Shi， W.， Tian，J.， Qi， Z.，Li，B.，Hao，H.，amp; Xu，B.（2016）.Atention-based bidirectional long short-term memory networks for relation clasification.In K.Erk，amp;N.A.Smith （Eds.），Proceedings of the 54th Annual Meeting of the Asociation for Computational Linguistics （Volume 2： Short Papers） （pp. 207-212）. Association for Computational Linguistics.

Resolving the Evaluation Dilemma of Online Discussions： Exploring Intelligent Evaluation Methods of Interaction Dept.

Li Tongtong， Li Guotao，Liu Jinyou， Ma Mengchun，Bian Yuying， Zhou Yanli and Guo Xuning

Abstract：How to effectively evaluate and promote interaction depth is the key to improving the quality of online asynchronous discussion. However， the current evaluation of the depth of interaction lacks systematic studies and operational evaluation methods or tools.Therefore， focusing on the issue of“how to evaluate the depth of interaction scientifically and effectively\"，this research builds an evaluation model suitable for intelligent evaluation based on the online presence framework and three-dimensional goals of cognition， ability and emotion. With text mining as the main technical support， it integrates various methods such as statistical computing，machine learning，deep learning and large language model. The statistical calculation algorithm of interaction frequency， duration and correlation in the interactive behavior dimension is designed， and the intelligent calculation algorithm of text language readability， topic correlation，emotional characteristics and meaning characteristics in the interactive content dimension is designed，which can realize real-time，automatic，and relative evaluation of the performance of a single post， individuals，and groups in different dimensions. The evaluation scheme proposed by the research comprehensively considers multi-dimensional indicators，and realizes automatic evaluation of interaction depth based on real-time mining and discussion of objective data by intelligent technology，so that the evaluation goal is oriented to deep learning and normalized practice，providing effective and feasible support for the optimization of online discussion activities.

Keywords： online discussion; interaction depth； intelligent evaluation; sense ofpresence

Authors：Li Tongtong，associate professor， director of the Department of Educational Technology in the Faculuty of Education， Tianjin Normal University （Corresponding Author： sdltt@126.com Tianjin 300387）； Li Guotao， graduate student of theFaculty of Education， Tianjin Normal University （Tianjin 300387）;Liu Jinyou， graduate student of the Faculty of Education，Tianjin Normal University （Tianjin 300387）;Ma Mengchun，graduate student of the Faculty of Education， Tianjin Normal University （Tianjin 3Oo387）； Bian Yuying，graduate student of the Faculty of Education，Tianjin Normal University （Tianjin 3Oo387）；Zhou Yanli， teacher of the Lvliang Shuixi Primary School （Lvliang O33ooO）；Guo Xuning， teacher of the Beihai Health School （Beihai 536007）