基于G-DINA 模型的大學(xué)生英語聽力的認(rèn)知診斷研究

張美玲 王化雪

(東北石油大學(xué)，黑龍江 大慶 163000)

一、 引言

2020 年中共中央國務(wù)院印發(fā)的《深化新時(shí)代教育評價(jià)改革總體方案》明確要求“充分利用信息技術(shù)，提高教育評價(jià)的科學(xué)性、專業(yè)性和客觀性”。 傳統(tǒng)的語言測試往往只提供一個(gè)籠統(tǒng)的考試分?jǐn)?shù)或語言能力估值，對“具有相同分?jǐn)?shù)或相同語言能力的學(xué)生具有不同的知識狀態(tài)及不同的認(rèn)知結(jié)構(gòu)”這一現(xiàn)象無法做出解釋，相同分?jǐn)?shù)的個(gè)體間差異無法區(qū)分，是什么因素導(dǎo)致學(xué)生試題做錯(cuò)，學(xué)生掌握了什么語言技能、未掌握什么語言技能等信息無法獲取。 語言測試研究的發(fā)展已不滿足于研究側(cè)重整體語言能力的水平測試和成就測試，語言測試專家們更希望語言測試能夠提供診斷信息，能夠報(bào)告學(xué)生的認(rèn)知結(jié)構(gòu)[1]。 認(rèn)知診斷通過分析學(xué)生內(nèi)部的心理加工過程，不僅能夠得到宏觀的分?jǐn)?shù)，還能評估學(xué)生的認(rèn)知結(jié)構(gòu)以挖掘其不足之處，并提供給師生具有診斷功能的反饋報(bào)告和補(bǔ)救性的學(xué)習(xí)建議，突破了以“分?jǐn)?shù)”為維度的評價(jià)方式，能夠達(dá)到“診斷—反饋—補(bǔ)救”為一體的目標(biāo)，與國家正需要的教育評價(jià)方式不謀而合。

二、 概念界定

(一)認(rèn)知診斷

廣義的認(rèn)知診斷指測驗(yàn)所得的分?jǐn)?shù)與內(nèi)部認(rèn)知結(jié)構(gòu)之間的關(guān)系，包括了在心理學(xué)、醫(yī)學(xué)和教育學(xué)中的應(yīng)用。 而狹義的認(rèn)知診斷僅指在教育教學(xué)中的應(yīng)用，通過實(shí)施測驗(yàn)來檢查學(xué)生是否掌握了本次測驗(yàn)所要求的技能、知識以及掌握的程度，并根據(jù)測試的結(jié)果給予教師反饋，從而幫助教師調(diào)整教學(xué)方式。 本研究中采用狹義的認(rèn)知診斷概念。

(二)認(rèn)知屬性及屬性層級關(guān)系

認(rèn)知屬性是被試正確完成任務(wù)所需要的知識、技能、策略等，它是對被試問題解決心理內(nèi)部加工過程的一種描述。

認(rèn)知屬性之間是相互關(guān)聯(lián)的，它們可能存在一定的邏輯順序、心理順序和層級關(guān)系[2]，雷頓由此總結(jié)提出了屬性層級關(guān)系模型，并將屬性層級關(guān)系劃分為5 種基本類型，分別是線性型、收縮型、分支型、無結(jié)構(gòu)型和獨(dú)立型。

(三)G-DINA 模型

G-DINA 模型的假設(shè)是試題所考查的各屬性的掌握與否都會(huì)對回答正確的概率產(chǎn)生影響，即該模型考慮到了屬性之間相互作用對正確率的影響。該模型有兩個(gè)特征:第一是補(bǔ)償性，即某個(gè)屬性的掌握過剩能夠彌補(bǔ)其他屬性的掌握不足；第二是飽和性，即不僅包含所有單一屬性參數(shù)，還包含多屬性間的交互參數(shù)[3]。 其數(shù)學(xué)表達(dá)式為:

即正確回答試題的概率是在不同屬性掌握情況下的答對概率的累加。P(Xij＝1 ｜a*lk)是指被試對項(xiàng)目j的答對概率；＆j0是指被試未掌握項(xiàng)目測量的所有屬性而答對項(xiàng)目的概率，即猜測答對的概率，＆j0≥0；＆jk是指被試掌握單一屬性alk時(shí)，對答對項(xiàng)目j的概率的貢獻(xiàn)；＆jkk′代表被試掌握屬性alk和alk′對項(xiàng)目j作答正確率的交互作用；＆j12…k*j是指被試掌握項(xiàng)目j所測量的全部屬性對作答正確率的交互作用。

進(jìn)行認(rèn)知診斷分析需要借助認(rèn)知診斷模型，不同的模型有不同的假設(shè)和適用條件，所以要根據(jù)實(shí)際情況選擇恰當(dāng)?shù)哪Ｐ汀?語言能力的各組成部分之間不是簡單的線性關(guān)系，而是一種互動(dòng)關(guān)系，即交際活動(dòng)中的各種知識、技能、心理活動(dòng)以及場景因素相互作用、相互影響且不可分割[4]。 聽力技能具有抽象、綜合的特征，對認(rèn)知診斷模型要求高，補(bǔ)償型模型契合了聽力技能的綜合性和多元性，飽和型模型比較理想地對應(yīng)聽力能力的抽象性和難區(qū)分性[5]，因此文章選擇補(bǔ)償飽和模型——G-DINA模型進(jìn)行診斷分析。

三、 文獻(xiàn)綜述

(一)國外研究

Buck 和Tatsuoka 曾經(jīng)利用規(guī)則空間模型診斷了TOEFL 的聽力部分[6]，但是該套試題的題型極其單一，只有簡答題，且規(guī)則空間模型對認(rèn)知屬性的劃分及屬性層級關(guān)系合理性的要求非常高，并不適合診斷抽象、多元和復(fù)雜的語言技能。

Lee 和Sawaki 開展了對TOEFL IBT 聽力部分的研究。 在該研究中，聽力認(rèn)知屬性被劃分為理解主旨大義、理解文本結(jié)構(gòu)、理解說話者的意圖、連接信息[7]，但是認(rèn)知屬性的劃分過于粗暴簡單，沒有考慮到聽力的認(rèn)知加工特征。

Farchad 對目前應(yīng)用最廣泛的6 種認(rèn)知診斷模型做了比較，分析聽力技能的交互關(guān)系。 從擬合度來看，G-DINA 模型對聽力測試能夠生成最佳擬合度[8]。 隨后，研究者利用G-DINA 模型診斷被試聽力認(rèn)知屬性掌握情況，發(fā)現(xiàn)詞匯和句法理解這兩個(gè)認(rèn)知屬性對學(xué)生的聽力技能掌握程度影響最大。

(二)國內(nèi)研究

孟亞茹將聽力認(rèn)知屬性按照語言語篇能力和策略能力兩個(gè)維度劃分出7 個(gè)認(rèn)知屬性:辨音語調(diào)和重音、詞匯和口語表達(dá)、語法結(jié)構(gòu)、細(xì)節(jié)捕獲、主旨的抓取、上下文和文化背景推測、記憶和記筆記能力[9]。

肖云南和羅娟利用G-DINA 模型診斷了湖南大學(xué)2017 級新生的聽力能力。 研究者從語言學(xué)與認(rèn)知心理學(xué)的角度劃分了7 個(gè)認(rèn)知屬性，與其他聽力認(rèn)知屬性劃分不同的是，該研究的聽力認(rèn)知屬性在組成成分上更加具體明確[10]，且能準(zhǔn)確理解聽力的認(rèn)知過程，有助于認(rèn)知診斷分析。

趙亮在其博士論文里，對比分析了常用的認(rèn)知診斷模型(G-DINA、DINA、DINO、ACDM、RRUM 和LLM)哪一個(gè)對聽力測試的診斷擬合度更高，結(jié)果表明G-DINA 模型的各項(xiàng)指標(biāo)優(yōu)于其他模型[11]。

四、 研究設(shè)計(jì)

(一)研究問題

本研究利用G-DINA 模型分析非英語專業(yè)大一學(xué)生的聽力認(rèn)知屬性掌握情況，重點(diǎn)探究以下兩個(gè)問題:

1. 被試的聽力認(rèn)知屬性掌握概率如何?2. 被試的聽力認(rèn)知屬性掌握模式如何?

(二)研究對象

本研究選取東北D 大學(xué)1109 名非英語專業(yè)大一學(xué)生作為被試，參與大學(xué)英語聽力認(rèn)知診斷測試。

(三)研究方法

作者在《中國英語能力等級量表》的基礎(chǔ)上，參考《大學(xué)英語教學(xué)指南(2020 版)》、《大學(xué)英語》教學(xué)大綱、《大學(xué)英語四六級》考試大綱和已有文獻(xiàn)，利用專家確定法和口語報(bào)告法確定了7 個(gè)影響非英語專業(yè)大一學(xué)生的聽力認(rèn)知屬性，分別是:辨音(A1)、詞匯知識(A2)、語法知識(A3)、概括主旨大意(A4)、上下文推理(A5)、捕捉細(xì)節(jié)(A6)和短時(shí)記憶(A7)。 A1、A2、A3 和A4 屬于基礎(chǔ)聽力認(rèn)知屬性，而A5、A6、A7 屬于高階認(rèn)知屬性，這7 個(gè)認(rèn)知屬性的層級關(guān)系屬于獨(dú)立型。

(四)研究工具

本研究的研究工具是由作者自主編制的大學(xué)英語聽力認(rèn)知診斷測試卷。 作者通過上文所確定的聽力認(rèn)知屬性和屬性層級關(guān)系，構(gòu)建了Q 矩陣。在Q 矩陣的指導(dǎo)下廣泛搜索聽力真題，組合形成了大學(xué)英語聽力認(rèn)知診斷測驗(yàn)卷，共計(jì)19 道題，全部為選擇題。 經(jīng)過量化檢驗(yàn)，該試卷信度、效度良好，可用于施測。

五、 分析與討論

(一)聽力認(rèn)知屬性掌握概率分析

通過分析聽力認(rèn)知屬性掌握概率我們能夠清楚地獲知被試對每一個(gè)認(rèn)知屬性的掌握情況，如果被試答對的考查了某一屬性的測驗(yàn)題目越多，則說明被試對這一屬性的掌握情況越好。 利用G-DINA模型對1109 名被試的作答數(shù)據(jù)進(jìn)行分析，可以得到被試整體的聽力認(rèn)知屬性掌握概率。

通過表1 發(fā)現(xiàn)，被試整體對A1、A2 屬性掌握情況比較好，這說明被試在平時(shí)的學(xué)習(xí)中注重做辨音的練習(xí)，對詞匯的掌握也比較熟練。 但是對A3 和A4 屬性掌握情況比不上A1 和A2 屬性，這可能是因?yàn)楸辉嚻綍r(shí)多在閱讀或者寫作中比較注重語法概念，但是在聽力練習(xí)中更多關(guān)注了是否聽懂大義的問題，而沒有精聽語法細(xì)節(jié)。 被試的推理能力需要在綜合所聽到的所有信息基礎(chǔ)上才能做出正確的選擇，所以難度較大，導(dǎo)致A5 掌握概率較低。 A6與其他屬性綜合考查的次數(shù)多，被試需要更加復(fù)雜的心理加工技能，因此該屬性的掌握概率不高。 被試對A7 屬性的掌握概率只有32%，有很大的提升空間，平時(shí)可以做一些note-taking 的練習(xí)。

表1 被試整體聽力認(rèn)知屬性掌握概率

(二)聽力認(rèn)知屬性掌握模式分析

通過分析聽力認(rèn)知屬性掌握模式，可以精準(zhǔn)地獲得被試對聽力認(rèn)知屬性的掌握類型、被試當(dāng)前知識狀態(tài)處于什么位置以及下一步努力的方向。 這些信息有利于幫助教師針對被試的知識漏洞精準(zhǔn)地開展補(bǔ)救教學(xué)。 通過極大后驗(yàn)估計(jì)法能夠得到每一個(gè)被試的聽力認(rèn)知屬性掌握模式，將G-DINA模型測算出的被試的聽力認(rèn)知屬性掌握模式歸入到理想屬性掌握模式，獲得被試整體的聽力認(rèn)知屬性掌握模式比例分布。 標(biāo)識聽力認(rèn)知屬性掌握模式的7 位數(shù)字分別代表A1 到A7 這7 個(gè)屬性，用“1”表示掌握了該屬性，用“0”表示未掌握該屬性，由此能夠形成27＝128 種理想屬性掌握模式。 在此只列舉占比較大的7 種理想屬性掌握模式。

從表2 可知，有72.75%的被試認(rèn)知屬性掌握模式可以歸入到理想屬性掌握模式里，歸入率較高。一方面，說明G-DINA 模型與聽力測試的擬合度較高；另一方面，驗(yàn)證了屬性劃分較為合理。 此外，被試的聽力認(rèn)知屬性掌握模式進(jìn)一步證明了被試對A5、A6 和A7 這三個(gè)高階認(rèn)知屬性掌握的情況較差。 因此，教師應(yīng)該著重補(bǔ)救這三個(gè)屬性，提高被試的高階聽力能力。 值得注意的是，還有將近三成的被試屬性掌握模式無法歸入到理想屬性掌握模式中，這部分被試應(yīng)該是重點(diǎn)需要補(bǔ)救的對象。

表2 被試整體的理想屬性掌握模式比例分布

六、 結(jié)語

本研究利用G-DINA 模型分析非英語專業(yè)大一學(xué)生的聽力認(rèn)知屬性掌握情況。 首先確定了影響非英語專業(yè)大一學(xué)生聽力的認(rèn)知屬性和屬性層級關(guān)系，而后建立Q 矩陣，并在Q 矩陣的指導(dǎo)下編制了包含19 道題目的認(rèn)知診斷測試卷用于施測。研究發(fā)現(xiàn)，非英語專業(yè)大一學(xué)生對辨音、詞匯知識、語法知識、概括主旨大意掌握程度較好，對上下文推理、捕捉細(xì)節(jié)和短時(shí)記憶的掌握程度較差；另外，有七成的被試聽力認(rèn)知屬性掌握模式可歸入到理想屬性掌握模式中，說明被試當(dāng)前的聽力認(rèn)知結(jié)構(gòu)良好。 本研究雖然生成了詳細(xì)的診斷結(jié)果，但是由于條件限制，并沒有根據(jù)診斷結(jié)果開展補(bǔ)救教學(xué)，后續(xù)研究可在此方面著手。