口語報告法及其在數(shù)學教育研究中的應用述評

張 勇熊 斌

口語報告法及其在數(shù)學教育研究中的應用述評

張 勇1，2，熊 斌1，2

（1．華東師范大學 數(shù)學科學學院，上海 200241；2．上海市核心數(shù)學與實踐重點實驗室，上海 200241）

口語報告法是研究認知過程的基本方法．口語報告法的實施一般包括任務設計、記錄口語報告、編碼分析和結果匯報．口語報告反應性的元分析表明：出聲思考不改變思維過程，與其它類型的口語報告性質(zhì)不同，出聲思考口語報告的客觀性更強．口語報告法可廣泛用于旨在探求規(guī)律或解釋現(xiàn)象的基礎研究和旨在解決實踐問題的應用研究；國內(nèi)數(shù)學教育研究者對口語報告法的研究成果相對零散孤立；國內(nèi)外已有研究存在用出聲思考泛指同時性口語報告、口語報告的收集和分析不嚴謹?shù)葐栴}．今后的研究應詳細說明口語報告的程序和編碼信度的建立過程．

認知過程；口語報告；口語記錄分析；出聲思考；數(shù)學教育

1 問題提出

記錄被試在實驗時或?qū)嶒炛髮ψ约核季S活動進程的口頭報告（verbal reports），并將其作為數(shù)據(jù)資料加以分析的口語報告法（verbal protocol analysis，也譯作口語報告分析法、口語記錄分析法等）是認知心理學的基本研究方法，被廣泛用于各個領域認知過程的研究[1]．國內(nèi)學者在相關教材中大都提及該法[2–4]，對方法進展和應用也做了一定程度的述評[5–8]．然而，細讀可發(fā)現(xiàn)已有文獻對口語報告法的介紹失之簡略，并且存在一些混淆和誤解．

混淆和誤解主要包括以下幾種情況．（1）混淆口語報告與出聲思考，將兩者等同[3]．然而，口語報告有不同的方式和類別[9]，出聲思考只是其中一種．（2）混淆口語報告與內(nèi)省，認為“口語報告法從其實質(zhì)而言，仍是一種內(nèi)省法”[5]．而口語報告理論的創(chuàng)立者指出“獲取口語報告的出聲思考法與內(nèi)省法性質(zhì)不同”[10]．（3）誤解出聲思考法的首創(chuàng)者．王甦和汪安圣編著的《認知心理學》是國內(nèi)早期頗有影響的教材，書中指出“這種出聲思考的方法是由德國心理學家Duncker（1945）首先發(fā)展出來的，后來Newell和Simon（1972）在研究問題解決時，把它當作一個重要的方法加以應用”[2]．研究者多直接援引此說法或?qū)⑶鞍刖湔`解為Duncker于1945年首先提出該方法．事實上，Duncker于1940年離世[11]，1945年的說法源于其影響廣泛的英譯本著作[12]．Duncker（1926）已運用該法[13]，反對內(nèi)省的行為主義心理學家Watson（1920）就對出聲思考做過探討[14]．出現(xiàn)上述現(xiàn)象的原因可能是當時難以檢索原始文獻，建立口語報告理論基礎的文獻[1]曾是西方心理學權威期刊《心理學評論》（）刊載的引用率最高的20篇論文之一[15]，并未列入前述教材的參考文獻之中．另外，口語報告法雖被廣泛應用，國外學者卻對其效度一直存在爭議，對其與內(nèi)省的關系的認識亦有分歧，需要不斷積累實證數(shù)據(jù)以考察口語報告法的有效性．

鑒于上述分析，研究者從方法本身和方法應用兩個方面總結口語報告法的研究進展，為其他研究者正確認識和使用方法提供參考．其中方法本身部分主要參考權威的心理學研究，概述口語報告的發(fā)展歷史、原理與類型、爭議與進展、適用范圍與實施程序；方法應用部分偏重數(shù)學教育研究，梳理口語報告法在數(shù)學教育研究各個領域的應用，總結已有研究在方法應用上存在的分歧和問題，并對方法應用和未來研究提出建議．

2 口語報告法概述

2.1 方法發(fā)展的歷史回顧

口語報告法源于心理學研究中的內(nèi)省（introspection，又叫“自我觀察法”）．德國心理學家Wundt率先把實驗法引進心理學，將經(jīng)驗性、日常生活性的內(nèi)省發(fā)展為實驗內(nèi)省．在這個方法中，經(jīng)過充分訓練的觀察者在嚴格控制的條件下報告自己的意識內(nèi)容．內(nèi)省研究在取得成功的同時也不斷遇到麻煩，不同的實驗室相繼提出不同類型的內(nèi)省．由于作為研究數(shù)據(jù)的意識內(nèi)容只有執(zhí)行思維過程的觀察者本人可以訪問，這導致無法重復實證研究，削弱了研究結果的可靠性．內(nèi)省法的局限導致了行為主義的興起，心理學的主流研究從聚焦內(nèi)省觀察轉(zhuǎn)向關注外在行為．與此同時，仍有研究者繼續(xù)使用內(nèi)省法的各種變體，主要的方法論進展是把口語報告而不是意識內(nèi)容當作數(shù)據(jù)[16]．這些數(shù)據(jù)可供其他研究者檢查和解釋，提高了研究的客觀性和可重復性．“讓被試在解決問題或執(zhí)行任務的同時大聲說出頭腦中想法的”的出聲思考法（think aloud method）作為收集口語報告的技術之一，被Duncker等學者使用并取得系列成果．

20世紀六七十年代，認知心理學迅速發(fā)展，研究者們對提供認知過程數(shù)據(jù)的方法重新產(chǎn)生興趣，促進了口語報告理論基礎的發(fā)展．其中，Newell和Simon把出聲思考法作為數(shù)據(jù)收集的基本方法，通過對被試口語報告的縱向分析，歸納出解決問題者所應用的過程，并能據(jù)此編制計算機可執(zhí)行的程序，推動了口語報告方法的合法化．Nisbett和Wilson（1977）對高級心理過程口語報告準確性的經(jīng)典述評[17]引發(fā)了對口語報告效度的廣泛討論，亟待確定在何種條件下可以獲得可靠和有效的口頭報告數(shù)據(jù)．之后，Ericsson和Simon（1980）利用信息加工理論闡釋口語報告的生成機制和不同類型口語報告對被試思維過程的影響，并在詳盡述評相關文獻的基礎上將論文擴充為著作[18]．至此，口語報告的方法論基礎得以確立．

2.2 口語報告的原理與類型

先通過一個簡化的人類記憶模型解釋口語報告的工作原理，然后介紹口語報告的不同類型及其差異．

圖1是基于人類認知系統(tǒng)的一個簡單模型，解釋了外界信息從感覺系統(tǒng)轉(zhuǎn)移到內(nèi)在系統(tǒng)，以及內(nèi)在信息言語化的過程[16]．模型右端的長時記憶是知識被永久儲存的部分，左端是將環(huán)境中的信息轉(zhuǎn)化為內(nèi)在形式的感覺系統(tǒng)，工作記憶是當前“活躍”信息駐留的部分．模型中有5個過程．①感知，信息從感覺緩沖區(qū)進入工作記憶．②檢索，信息從長時記憶檢索到工作記憶中．③建構，工作記憶中的信息可以建構新的信息．例如，解題時在概念之間建立新的聯(lián)系并將其作為一個對象存儲在工作記憶中．④存儲，將工作記憶中的信息存儲到長時記憶中．⑤言語化，工作記憶中的信息被轉(zhuǎn)換成話語，輸出口語記錄．

圖1 口語報告的記憶模型

根據(jù)過程⑤發(fā)生的時間可將口語報告分為：任務解決過程中收集的同時性口語報告，任務完成后收集的追述性口語報告．兩類口語報告的性質(zhì)存在差異，同時性口語報告的內(nèi)容是工作記憶中信息的子集，而追述性口語報告涉及過程④和②，即信息的存儲和檢索，容易因記憶錯誤導致無效和不完整的數(shù)據(jù)．

同時性口語報告可能是工作記憶中當前正在執(zhí)行的任務信息的直接表達，也可能是對這些信息進行中間處理后的產(chǎn)物．Ericsson和Simon[1，18]將同時性口語報告劃分為3種水平．水平1的言語化（level 1 verbalization）指直接表達存儲在語言代碼中的信息；水平2的言語化（level 2 verbalization）指無需額外處理過程的信息的表達，對其進行語言編碼后即可表達為口語；水平3的言語化（level 3 verbalization）指對信息經(jīng)過掃描、過濾、推理或生成過程后的口語表達，主試通常會在任務執(zhí)行過程中給予被試不同程度的提問或提示．

2.3 口語報告的爭議與進展

口語報告的爭議主要圍繞3個重要問題[19]：（1）口語報告是否能夠準確反映被試的思維過程——效度問題；（2）要求被試報告自己的想法是否會改變其思維過程——反應性問題；（3）口語報告是否能像其它行為數(shù)據(jù)一樣被客觀對待．Ericsson等研究者解決爭議的基本思路是基于信息加工理論，區(qū)分各種類型的口語報告，并對其有效性做出預測，進一步的發(fā)展則依賴于實證研究提供證據(jù)，以檢驗預測的可靠性．下面簡要介紹有關研究進展．

首先看追述性口語報告．Nisbett和Wilson[17]已經(jīng)證明，在識別決定行為的重要情境因素時，被試對自己行為動機的追述并不比外在觀察者更準確．事后解釋行為動機往往摻雜了對已發(fā)生事件的回憶和額外推理，難以保證效度．另外，要求被試給出規(guī)定類型的口語報告也會引發(fā)額外推理，甚至對回憶具有破壞性．言語遮蔽（verbal overshadowing）的研究[20]表明，明確告知被試如何口頭描述先前看到的視覺刺激（如人臉）會損害之后對刺激的識別．理想情況下，追述性口語報告由被試完成任務后立刻給出，常用指導語是“報告你記住的有關任務的所有想法”．只要求被試回憶想法得到的信息與完成任務過程的其它觀察數(shù)據(jù)相吻合，并且對于用時很短（1~5秒）的任務，回憶甚至比出聲思考更完整[21]．

其次看同時性口語報告．Ericsson和Simon[1，18]指出：水平1和水平2的言語化是被試在集中精力完成任務時頭腦中并發(fā)想法的直接表達，不會改變被試的認知過程，兩者可統(tǒng)稱為出聲思考口語報告；水平3的言語化要求解釋或描述特定信息，會引起被試對原有想法的進一步加工，從而改變思維過程和行為表現(xiàn)．因理論提出之初實證研究較少，對上述預測的論證是舉例式的．建立口語報告理論基礎的文獻[1]發(fā)表30年之后，研究者得以對積累的實驗研究作系統(tǒng)的元分析．Ericsson等[22]對包含近3?500名被試的94項研究的元分析表明：出聲思考組和沉默控制組執(zhí)行任務的表現(xiàn)無顯著差異，即便對任務類型等因素作統(tǒng)計控制后依然如此；相比之下，要求被試解釋或描述想法和行為具有顯著的反應性，導致比沉默控制組更好的表現(xiàn)；所有的口頭報告程序都傾向于增加完成任務的時間．有研究者明確指出“出聲思考不是內(nèi)省法的一種表現(xiàn)形式，而是與其性質(zhì)不同的方法”[10]，建議今后的研究將出聲思考與其它口語報告方法區(qū)別對待．

綜上可得：出聲思考口語報告的客觀性更強，能反映被試即時經(jīng)歷的思維過程，適合從信息加工的視角對思維進行純認知的研究；僅要求被試回憶思維過程的追述性口語報告退而次之，在任務耗時較短時更可靠；需要被試解釋或描述想法和行為的其它類型的口語報告具有反應性，對發(fā)展學生思維和改進教學實踐具有重要啟示．

2.4 適用范圍與實施要點

口語報告法有其局限性與適用的任務范圍．由圖1的記憶模型可知，被試注意到的信息是直接發(fā)聲的或者是進行言語編碼后發(fā)聲的．因此，口語報告無法揭示以下兩種認知類型：已經(jīng)變得自動化的過程，不以言語編碼或難以轉(zhuǎn)變?yōu)檠哉Z編碼的思維．口語報告法最適合研究定義良好的任務．這類任務大多可作任務分析，即基于被試的已有知識和技能，對獲得答案的可能的中介過程進行正式的理論分析．

口語報告法的實施一般包括任務設計、記錄口語報告、編碼分析和結果匯報4個方面，具體流程見圖2[23]．除Ericsson和Simon外，其他研究者使用口語報告法的經(jīng)驗也值得借鑒，詳細信息可進一步查閱原文[16，24]．下面簡要介紹圖2各個階段的實施要點．

圖2 口語報告的分析流程

設計編碼方案（階段0）：建立有效和可靠的編碼方案是口語報告分析的核心，編碼方案可以是事先確定的非語境編碼或基于口語報告構建的語境編碼．編碼方案的開發(fā)通常是一個高度迭代的過程，不論在研究的哪個階段，都要仔細考量或改進編碼方案，以符合研究的具體情況．

記錄口語報告（階段1）：應詳細說明口語報告的程序——包括指導語、提示的類型、主試和被試的互動以及口語報告組和沉默控制組之間的差異[22]．若采用出聲思考法，應對被試進行充分的培訓（培訓任務可與目標任務相近或無關，具體差異有待考查），當被試沉默超過預定時間，應提示被試“繼續(xù)說”而不是“你正在想什么”．

口語報告編碼（階段2~4）：轉(zhuǎn)寫（階段2）必須忠實客觀，避免任何重組、風格和語法的改進．切分（階段3）的依據(jù)是句子的意思，所分的每一段都應有一個獨立的思維主題，而不管這些句子是否都完整及合乎語法．經(jīng)驗表明，邊聽邊切分口語報告的人之間存在高度的一致性．切分的片段常常組合成情節(jié)（階段4），一個情節(jié)就是一個片段序列．

口語報告編碼（階段4a~6）：口語報告若包含很多情節(jié)，可先對情節(jié)取樣，再由兩位編碼人員獨立編碼，并計算編碼者信度．取樣情節(jié)應具有代表性，取樣比例取決于轉(zhuǎn)寫文本的特點和編碼方案．若代碼在轉(zhuǎn)寫文本中出現(xiàn)頻繁，可選擇較小比例（20%~25%）的情節(jié)雙編碼，反之應擴大取樣比例[23]．

編碼者信度（inter-coder reliability）是指不同編碼者分配給同一數(shù)據(jù)的代碼之間的相關性．常用方法是計算編碼一致的實例數(shù)占所有代碼實例的百分比．這種度量對不同類別代碼所占比例的差異很敏感，易導致編碼一致性的夸大，建議用Cohen[25]的kappa系數(shù)校正，并匯報兩種指標．若信度不理想，應完善編碼方案，重新進行階段4a~6．下面以一個簡化的例子說明兩種指標的計算方法及差異，更復雜的例子和分析參見文獻[16]．

例 一份較短的口語報告被劃分為8個情節(jié)，編碼方案包含A、B兩個代碼，甲、乙二人對8個情節(jié)獨立編碼的結果如表1所示．

表1 甲乙的編碼情況

由表1可知，甲、乙將5個情節(jié)共同編碼為A，將一個情節(jié)共同編碼為B．故二人編碼的實際一致率為(5+1)/8=0.75．由表1也可看出，甲、乙對代碼A的使用更頻繁，這意味著一個情節(jié)被編碼為A的幾率更大．為校正不同代碼所占比例差異較大造成的影響，可進一步計算kappa系數(shù)，公式如下：

p為兩人編碼的實際一致率，即0.75；p為兩人編碼的機遇一致率，即將情節(jié)共同編碼為A或B的幾率之和，p=7/8×5/8+1/8×3/8≈0.60．故

結果分析與報告（階段7）：建立編碼信度并對所有數(shù)據(jù)進行編碼后，根據(jù)研究問題和目標，可以用定量或定性方法繼續(xù)對數(shù)據(jù)進行分析．分析結果應以何種方式在論文中報告，尚無完全一致的意見．應盡量在其他研究者能夠重復分析結果的程度和期刊的版面限制之間取得平衡．

3 數(shù)學教育研究中的口語報告法

顧泠沅、楊玉東[26]將數(shù)學教育研究的各種目的歸結為兩類：理論的目的和實踐的目的．前者旨在探求規(guī)律或解釋現(xiàn)象，后者以解決實踐中的問題為直接目的．據(jù)此，將口語報告的有關研究粗略分為理論導向的基礎研究和實踐導向的應用研究．基礎研究重在描述認知過程及個體差異，試圖建構認知模型以揭示思維規(guī)律；應用研究旨在開發(fā)服務教學的產(chǎn)品（如測評工具、課程材料等），或者為改進數(shù)學教學提供直接指導．下面對兩類研究涵蓋的主題、研究成果及近期發(fā)展作簡要述評；結合口語報告的方法學研究，指出已有研究在方法應用上存在的分歧和問題，對方法應用和未來研究提出建議．

3.1 口語報告法的基礎研究

數(shù)學問題解決是口語報告法應用最頻繁的領域之一．口語報告法可用來調(diào)查問題解決能力的個體差異、任務難度的差異、教學效果和影響問題解決的因素．代表性成果當屬克魯捷茨基對數(shù)學能力結構的研究和20世紀80年代的西方數(shù)學問題解決研究．克魯捷茨基[27]研究數(shù)學能力的實驗方法是編制一些專為實驗用的數(shù)學題，讓具有不同數(shù)學能力的學生以出聲思考的方式解答，然后進行質(zhì)和量的分析．Lester[28]回顧了1970—1994年間的數(shù)學問題解決研究，概括出各階段研究的關注點和方法論（見表2）．

表2 數(shù)學問題解決研究的關注點與方法論

由表2可知，“出聲思考”口語報告分析是20世紀80年代問題解決研究的主流方法，90年代中期后，問題解決研究的熱潮退卻．口語報告法仍是研究問題解決及相關主題的重要方法．“證明”即是一個重要領域，有研究者利用口語報告法對不同被試群體構建、閱讀、理解、評價證明的思維過程作了大量研究[29]．

口語報告法是研究教師認知與決策的重要方法．教師認知與決策研究興起于20世紀70年代，到90年代成為教學研究最重要的領域之一[30]．其中，教師在教學計劃階段的思維和教學中的交互思維是研究者普遍關注的兩類問題．為回答“當教師在進行教學設計時，他們在想些什么”這一問題，出聲思考技術被廣泛應用．教師對教學計劃的出聲思考口語報告是主要的證據(jù)來源．大量研究發(fā)現(xiàn)：許多教師在教學設計時集中于內(nèi)容和教學活動，而不是集中于目標和學生的個體差異．教學實踐和教學計劃之間的矛盾的揭示對教學改進有重要啟示．對教學中交互思維的研究常采用刺激回憶和錄像帶分析等技術，被研究的教師通過觀察錄像帶和回憶來描述產(chǎn)生特定教學行為的思維過程．教師此時的口頭報告可歸為回憶和解釋并存的追述性口語報告．

除數(shù)學問題解決、證明、教師認知與決策等重要研究外，口語報告法可對數(shù)學教育各方面的議題展開研究．由于這些議題尚未像數(shù)學問題解決那樣取得系統(tǒng)成果，研究者僅對近年來發(fā)展較快的數(shù)學問題提出研究作簡要介紹．蔡金法等[31]梳理出問題提出研究的十大問題，其中第四個問題為“我們對數(shù)學問題提出的認知過程了解多少”．以出聲思考為主的口語報告法是回答該問題的基本方法，但相關研究很少．“臺球任務”是一個典型案例．蔡金法等[32]分析了兩位本科生在臺球任務中提出和解決數(shù)學問題的口語報告，揭示出被試在開放的問題情境中進行數(shù)學探究的若干特點．Kontorovich等[33]以臺球任務為刺激情境，讓一位數(shù)學競賽命題專家以出聲思考的方式提出盡可能多的數(shù)學問題，對專家提出系列題目的組織原則作了探討．回顧數(shù)學問題解決研究的歷史，可以預期口語報告法將在不同被試群體完成各類問題提出任務的研究中得到廣泛應用．

認知心理學在20世紀80年代初被介紹到中國，中科院心理所的朱新明[34]與Simon有過合作研究，是國內(nèi)使用出聲思考法研究幾何問題解決的先驅(qū)，推動了口語報告法在中國的傳播和應用．與國外同行及國內(nèi)的心理學研究者相比，國內(nèi)數(shù)學教育研究者對口語報告法的使用明顯較少，研究成果相對零散孤立．相關基礎研究主要有：青浦縣數(shù)學教改實驗小組[35]對180名學生開展的問題探究的出聲思考實驗；連四清[36]對學生解題思維障礙排除的研究；李祥兆[37]對數(shù)學歸納推理認知過程的研究；李明振等[38]對數(shù)學建模認知過程及特點的研究；楊豫暉[39]對數(shù)學教師教學決策的研究；何憶捷[40]對高中資優(yōu)生利用構造法解決數(shù)學問題特點的研究．另外，國內(nèi)學者對出聲思考的使用不嚴格，國外相關研究也存在類似問題．相關問題及改進建議將在3.3節(jié)作具體闡述．

3.2 口語報告法的應用研究

本節(jié)主要介紹口語報告法在數(shù)學教育評價和數(shù)學教學實踐中的應用．數(shù)學教育評價部分涉及元認知測評、問卷和測試改進、課程材料的使用和開發(fā)；數(shù)學教學實踐部分將口語報告法作為教學手段和學習策略，揭示其對改進數(shù)學教學的應用價值．

從20世紀80年代早期開始，元認知作為影響問題解決和數(shù)學表現(xiàn)的關鍵因素日益受到關注．元認知測評是研究熱點之一，測評方式包括離線（off-line）測量和在線（on-line）測量[41]．前者指任務執(zhí)行之前或之后進行的問卷和訪談，后者通過任務執(zhí)行期間的觀察、出聲思考口語報告等過程數(shù)據(jù)做出評估．然而，人們對兩類評估方法的有效性知之甚少．Veenman等[42]最近的研究表明，對元認知技能的測評，在線方法優(yōu)于離線方法，回顧性問卷比前瞻性問卷稍好．國內(nèi)學者在元認知的“離線”測評方面做了許多工作，開發(fā)了適合不同年齡階段的問卷[43–45]．進一步可采用出聲思考在內(nèi)的多元方法檢驗和改進已有測評工具．

口語報告法是設計和改進問卷的重要工具．目前被廣泛引用的問題——作答模型包括4個階段：理解、檢索、判斷和作答．該模型有助于理解問卷作答過程的復雜性以及作答誤差的大量可能性[46]．Anderson[47]以一個演繹推理任務為例，說明同時性口語報告可揭示被試對任務的理解以及通過錯誤推理得出正確回答的情況．Güss[48]總結了出聲思考在提高跨文化調(diào)查問卷效度中的應用．出聲思考數(shù)據(jù)可使問題更明確易懂，改進敏感話題的題項表述．類似地，口語報告法也有助于改進命題工作．讓學生出聲思考完成測試既可發(fā)現(xiàn)試題背景、語言表述等方面存在的問題，也能深化對特定題型考查功能的認識．Roth等[49]使用專家分析和出聲思考兩種方法探討PISA數(shù)學試題的語言背景對少數(shù)民族學生答題的影響，指出學生的出聲思考口語報告可為解釋成績差異提供新的見解．口語報告法也用于研究評分過程[50]，有利于提高閱卷的科學性和公平性．

口語報告法亦被用于課程或教學材料的開發(fā)．Svenson等[51]調(diào)查了兩名本科生和一名研究生如何使用課程材料完成數(shù)學習題，出聲思考口語報告揭示出學生使用課程材料的差異（查找例證vs查找定義）以及學習中存在的問題．Shepherd等[52]調(diào)查了11名學生閱讀數(shù)學教材新篇章時的行為和困難，學生被要求在積極閱讀的間隙出聲思考，研究結果表明：學生對教材的閱讀和使用并不理想．Cowan[53]以令人信服的證據(jù)表明出聲思考技術可以揭示出學生對課程材料的反常使用（相對編者的預期而言）和材料中存在的問題，從而有助于教師和課程設計者開發(fā)學生友好型的課程資源．另外，口語報告法很早就被用于人機互動界面的改進以及產(chǎn)品的可用性測試．信息技術的快速發(fā)展驅(qū)動了電子教科書及其平臺的開發(fā)，各種在線學習平臺和APP層出不窮．收集用戶在平臺或軟件中實施任務的出聲思考口語報告有助于產(chǎn)品的迭代改進．

讓學生口頭報告思考過程并給予相應提示或指導的有效性，已被學習策略訓練的實驗研究證實[54]．除用于專門的實驗干預，口語報告法也可作為日常的教學手段和學習策略[55]，貫徹“讓學生看到思維過程”的主體性教學原則[56]．一方面教師可結合典型內(nèi)容給學生示范如何出聲思考，甚至對學生的疑問現(xiàn)想現(xiàn)推，把自己的解題思路包括失敗的思路暴露給學生，讓學生看到教師的思維過程；另一方面，在教學中可通過適當?shù)奶釂柡吞崾?，引導學生生成描述和解釋思維過程的口語報告，這樣既能提高學生的元認知水平，也有助于教師基于學生理解做出教學決策．口語報告法在數(shù)學教學中的應用有待細化和深化，不同水平和類型的口語報告都有用武之地．比如，與水平3言語化關系密切的自我解釋[57]（為自己生成解釋以試圖理解新信息）可有效促進理解，是一個值得關注的研究方向．

3.3 方法應用的問題與建議

數(shù)學教育研究者應用口語報告法的分歧和問題主要體現(xiàn)在對出聲思考的界定和使用上．

Ericsson等[1]將被試在集中精力完成任務時頭腦中并發(fā)想法的直接表達稱作出聲思考．研究者有時擴大其范圍，用出聲思考泛指同時性口語報告．表2中的“出聲思考”即是如此，合作解題和基于任務的訪談情景下獲得的口語報告也被涵蓋在內(nèi)．比如：（1）Schoenfeld[58]的研究中，學生多為兩人一組合作解題．具有對話性質(zhì)的合作解題容易引發(fā)解釋或描述想法的水平3的言語化，顯然不同于單個被試的出聲思考．（2）Clement[59]研究經(jīng)典的學生—教授問題時將出聲思考整合進臨床訪談（原文方法部分有如下措辭：研究者對15名大學新生進行臨床訪談，要求他們在解決學生—教授問題和類似問題時出聲思考，并錄音和錄像），這種情況下主試會依被試表現(xiàn)靈活提問，也有別于非干預性的出聲思考．

一些研究者雖援引Ericsson對出聲思考的界定，但方法的使用存在不規(guī)范和不嚴謹之處．指導語和提示語方面的主要問題有：論文方法部分過于簡略，只是提及讓被試出聲思考，未報告具體的指導語和如何培訓被試；被試停止出聲思考時，提問“你正在想什么”，這樣的提示語可能引發(fā)被試自我觀察或者生成面向他人的想法描述，從而改變后續(xù)的思維過程．口語報告編碼方面的主要問題是：沒有清晰的編碼方案，主要以舉例的形式使用口語記錄；未進行雙重編碼或者未匯報編碼信度．

對同時性口語報告的反應性作元分析時，Ericsson等[22]將納入文獻的口頭報告程序分為4類：出聲思考（think- aloud）、解釋的（explanatory）、定向的（directed）、不明確的（unspecified）．照此標準，大部分運用口語報告法的數(shù)學教育研究將歸入后3類．元分析的結果表明：要求被試解釋或描述想法和行為具有顯著的反應性，導致比沉默控制組更好的表現(xiàn)．據(jù)此，應審慎看待已有研究數(shù)據(jù)的可靠性，當研究目的是基于口語報告建立解釋被試行為的認知模型時更應如此．出聲思考技術獲得的數(shù)據(jù)準確但不夠完整，不同程度的提問探測可使數(shù)據(jù)更豐富，但面臨著數(shù)據(jù)失真的風險．建議研究者在使用口語報告法時通盤考慮研究目的、被試背景和任務特征，在數(shù)據(jù)的豐富性和準確性之間取得平衡．運用口語報告法時，研究者應詳細說明口語報告的程序和編碼過程（詳見2.4節(jié)的實施要點）．若采用出聲思考法，建議遵循Ericsson等[18，22]提出的標準化程序或近似版本．

4 總結與展望

方法部分概述口語報告方法論的歷史進展，通過信息加工理論中的記憶模型說明口語報告的產(chǎn)生機制及不同類型，介紹有關口語報告的爭議與進展，總結口語報告法的適用范圍和實施要點．主要結果是：被試集中精力完成任務時的出聲思考不具有反應性；要求被試解釋或描述想法和行為具有顯著的反應性；應將出聲思考與其它口語報告方法區(qū)別對待．第二部分述評口語報告法在數(shù)學教育研究中的應用、存在的問題與改進建議．主要結果是：口語報告法可廣泛用于旨在探求規(guī)律或解釋現(xiàn)象的基礎研究和旨在解決實踐問題的應用研究；國內(nèi)數(shù)學教育研究者對口語報告法的使用不足，研究成果相對零散孤立；國內(nèi)外已有研究存在用出聲思考泛指同時性口語報告、口語報告的收集和分析不嚴謹?shù)葐栴}．建議遵循Ericsson等學者對出聲思考的界定及其推薦的口頭報告程序．

未來需要繼續(xù)加強口語報告的方法學研究，為研究不同被試群體和任務類型提供方法指南．當前比較明確的結論是出聲思考口語報告反應性低、準確性高．應進一步探究出聲思考的操作細節(jié)對數(shù)據(jù)質(zhì)量的影響（比如在培訓被試熟悉出聲思考時，有研究者使用與實驗任務相近的任務，而Ericsson推薦的是無關任務，兩者差異何在）和通用編碼方案的開發(fā)，以促進方法操作的標準化和研究成果的交流．基于任務的訪談源自皮亞杰的臨床訪談[60]，主試根據(jù)被試表現(xiàn)給出提問和提示可獲得比出聲思考更豐富的數(shù)據(jù)，但難以判斷數(shù)據(jù)的準確性．如何在數(shù)據(jù)的可靠性和豐富性之間取得平衡值得深入研究．鑒于已有方法學研究以西方被試為主，不可想當然地將相關結論推廣到其它文化背景的被試中．國內(nèi)數(shù)學教育研究者不僅要關注口語報告方法學的研究進展，更要加強方法的本土研究，不斷積累可靠的研究數(shù)據(jù)，爭取對相關爭議做出自己的元分析．

口語報告法在數(shù)學教育研究中的應用也有待進一步加強．未來基礎研究的重點是使用口語報告法對各個數(shù)學專題的學習過程作深入細致的調(diào)查，為數(shù)學學習理論的歸納奠定可靠基礎；至于應用研究，一方面應加強口語報告法在數(shù)學教育評價中的應用，比如數(shù)學核心素養(yǎng)測評、在線教學資源的開發(fā)與改進．另一方面應深化作為教學手段和學習策略的口語報告法的研究．比如，進一步厘清解釋或描述想法的各類口語報告對改善學生數(shù)學表現(xiàn)的差異，幫助教師改進課堂提問，讓師生的交流更具思維含量；設計可引發(fā)自我解釋的課堂任務或課后練習以提高學生的反思和理解水平．總之，口語報告法具有研究工具和教學工具的雙重價值．雖然收集、處理和分析口語報告耗時耗力，但其提供的有關思維過程的豐富數(shù)據(jù)值得這種付出．對口語報告法的耐心使用有助于理解數(shù)學教學涉及的各種現(xiàn)象和過程，研究成果的不斷積累最終將促成理論的歸納和實踐的改進．

[1] ERICSSON K A, SIMON H A. Verbal reports as data [J]. Psychological Review, 1980, 87 (3): 215–251.

[2] 王甦，汪安圣．認知心理學[M]．北京：北京大學出版社，1992：14–16．

[3] 張慶林，邱江．思維心理學[M]．重慶：西南師范大學出版社，2007：14–15．

[4] 邵志芳．思維心理學[M]．2版．上海：華東師范大學出版社，2007：25–30．

[5] 任潔，許尚俠．當代心理學對口語報告的研究評述[J]．心理科學，1998，21（1）：77–78．

[6] 李亦菲，朱新明．一種通用的口語報告編碼方案[J]．心理學動態(tài)，1998，6（4）：47–51．

[7] 李賢，余嘉元．國內(nèi)外學者視角中的口語報告方法[J]．蘇州大學學報（哲學社會科學版），2006（1）：119–121．

[8] 陳英和，王治國．口語報告法在閱讀策略研究中的應用[J]．心理科學，2006（6）：25–27，38．

[9] 司馬賀．人類的認知：思維的信息加工理論[M]．荊其誠，張厚粲，譯．北京：科學出版社，1986：85–89．

[10] ERICSSON K A, FOX M C. Thinking aloud is not a form of introspection but a qualitatively different methodology: Reply to Schooler (2011) [J]. Psychological Bulletin, 2011, 137 (2): 351–354.

[11] SCHNALL S. Life as the problem: Karl Dunckers’ context [J]. Papers on the History of Psychology, 1999, 1 (2): 13–28.

[12] DUNCKER K. On problem-solving (Lees L S, Trans.) [J]. Psychological Monographs, 1945, 58 (5): 1–113.

[13] DUNCKER K. A qualitative (experimental and theoretical) study of productive thinking (solving of comprehensible problems) [J]. The Pedagogical Seminary and Journal of Genetic Psychology, 1926, 33 (4): 642–708.

[14] WATSON J B. Is thinking merely the action of language mechanisms? [J]. British Journal of Psychology, 1920 (11): 87–104.

[15] KINTSCH W, CACIOPPO J T. Introduction to the 100th anniversary issue of the[J]. Psychological Review, 1994, 101 (2): 195–199.

[16] van SOMEREN M W, BARNARD Y F, SANDBERG J A. The think aloud method: A practical guide to modeling cognitive processes [M]. London: Academic Press, 1994: 29–33.

[17] NISBETT R E, WILSON T D. Telling more than we can know: Verbal reports on mental processes [J]. Psychological Review, 1977, 84 (3): 231–259.

[18] ERICSSON K A, SIMON H A. Protocol analysis: Verbal reports as data (Rev. ed.) [M]. Cambridge, MA: MIT Press, 1993: 1.

[19] CRUTCHER R J. Telling what we know: The use of verbal report methodologies in psychological research [J]. Psychological Science, 1994, 5 (5): 241–244.

[20] SCHOOLER J W, ENGSTLER-SCHOOLER T Y. Verbal overshadowing of visual memories: Some things are better left unsaid [J]. Cognitive Psychology, 1990, 22 (1): 36–71.

[21] ERICSSON K A. Valid and non-reactive verbalization of thoughts during performance of tasks: Towards a solution to the central problems of introspection as a source of scientific data [J]. Journal of Consciousness Studies, 2003, 10 (9–10): 1–18.

[22] FOX M C, Ericsson K A, Best R. Do procedures for verbal reporting of thinking have to be reactive? A meta-analysis and recommendations for best reporting methods [J]. Psychological Bulletin, 2011, 137 (2): 316–344.

[23] HUGHES J, PARKES S. Trends in the use of verbal protocol analysis in software engineering research [J]. Behaviour & Information Technology, 2003, 22 (2): 127–140.

[24] CHI M T. Quantifying qualitative analyses of verbal data: A practical guide [J]. The Journal of the Learning Sciences, 1997, 6 (3): 271–315.

[25] ?COHEN J. A coefficient of agreement for nominal scales [J]. Educational and Psychological Measurement, 1960, 20 (1): 37–46.

[26] 顧泠沅，楊玉東．反思數(shù)學教育研究的目的與方法[J]．數(shù)學教育學報，2003，12（2）：10–12．

[27] 克魯捷茨基．中小學生數(shù)學能力心理學[M]．李伯黍，洪寶林，譯．上海：上海教育出版社，1983：103．

[28] LESTER F K. Musings about mathematical problem-solving research: 1970—1994 [J]. Journal for Research in Mathematics Education, 1994, 25 (6): 660–675.

[29] STYLIANIDES G, STYLIANIDES A, WEBER K. Research on the teaching and learning of proof: Taking stock and moving forward [M] // CAI J. Compendium for research in mathematics education. Reston: National Council of Teachers of Mathematics, 2017: 237–266.

[30] 顧泠沅，易凌峰，聶必凱．尋找中間地帶：國際數(shù)學教育改革的大趨勢[M]．上海：上海教育出版社，2003：154–161．

[31] CAI J, HWANG S, JIANG C, et al. Problem posing research in mathematics: Some answered and unanswered questions [M] // SINGER F M, ALLERTON N, CAI J. Mathematical problem posing: From research to effective practice. New York: Springer, 2015: 3–34.

[32] CAI J, CIFARELLI V V. Exploring mathematical exploration: How two college students formulated and solved their own mathematical problems [J]. Focus on Learning Problems in Mathematics, 2005, 27 (3): 43–72.

[33] KONTOROVICH I, KOICU B. A case study of an expert problem poser for mathematics competitions [J]. International Journal of Science & Mathematics Education, 2016, 14 (1): 81–99.

[34] 朱新明．解決幾何問題的思維過程[J]．心理學報，1983（1）：11–20．

[35] 青浦縣數(shù)學教改實驗小組．數(shù)學教改實驗的基本過程及其研究方法[J]．數(shù)學教育學報，1992，1（1）：1–10．

[36] 連四清．思維障礙的排除[J]．中國教育學刊，2000（2）：47–49．

[37] 李祥兆．數(shù)學歸納推理的認知過程研究[J]．數(shù)學教育學報，2005，14（2）：67–70．

[38] 李明振，喻平，宋乃慶．數(shù)學建模的一般認知過程研究[J]．數(shù)學教育學報，2008，17（6）：45–48．

[39] 楊豫暉．數(shù)學教師教學決策研究[D]．重慶：西南大學，2009：1．

[40] 何憶捷．高中數(shù)學資優(yōu)生運用構造法解決數(shù)學問題的個案研究[D]．上海：華東師范大學，2017：1．

[41] SCHNEIDER W, ARTELT C. Metacognition and mathematics education [J]. ZDM, 2010, 42 (2): 149–161.

[42] VEENMAN M V, CLEEF D V. Measuring metacognitive skills for mathematics: students’ self-reports versus on-line assessment methods [J]. ZDM, 2019, 51 (4): 691–701.

[43] 唐劍嵐，周瑩，湯服成．數(shù)學問題解決中的元認知問卷量表的設計[J]．數(shù)學教育學報，2005，14（4）：44–48．

[44] 王光明，佘文娟，王兆云．高中生數(shù)學元認知水平調(diào)查問卷的設計與編制[J]．心理與行為研究，2016（2）：152–161．

[45] 崔寶蕊，李健，王光明．初中生數(shù)學元認知水平調(diào)查問卷的設計與編制[J]．數(shù)學教育學報，2018，27（3）：45–51．

[46] ?MILLER K, CHEPP V, WILLSON S. Cognitive interviewing methodology [M]. New York: John Wiley and Sons, 2014: 1–2.

[47] ANDERSON M A. Protocol analysis: A methodology for exploring the information processing of gifted children [J]. Gifted Child Quarterly, 1986, 30 (1): 28–32.

[48] GüSS C D. What is going through your mind? Thinking aloud as a method in cross-cultural psychology [J]. Frontiers in Psychology, 2018 (9): 1?292.

[49] ROTH W M, ERCIKAN K, SIMON M, et al. The assessment of mathematical literacy of linguistic minority students: Results of a multi-method investigation [J]. The Journal of Mathematical Behavior, 2015 (40): 88–105.

[50] SUTO W M, GREATOREX J. What goes through an examiner’s mind? Using verbal protocols to gain insights into the GCSE marking process [J]. British Educational Research Journal, 2008, 34 (2): 213–233.

[51] SVENSON I F, LAWRENCE J A, WILLIS S G. Distance university students’ processing of mathematics exercises [J]. Educational Studies in Mathematics, 1983, 14 (1): 73–85.

[52] SHEPHERD M D, SELDEN A, SELDEN J. University students’ reading of their first-year mathematics textbooks [J]. Mathematical Thinking and Learning, 2012, 14 (3): 226–256.

[53] COWAN J. The potential of cognitive think-aloud protocols for educational action-research [J]. Active Learning in Higher Education, 2019, 20 (3): 219–232.

[54] 方平，郭春彥，汪玲，等．數(shù)學學習策略的實驗研究[J]．心理發(fā)展與教育，2000（1）：44–48．

[55] 星宇．出聲思考在教學中的應用[J]．中國教育學刊，2008（8）：54–56．

[56] 胡炯濤．數(shù)學教學論[M]．南寧：廣西教育出版社，1996：12．

[57] RITTLE-JOHNSON B, LOEHR A M, DURKIN K. Promoting self-explanation to improve mathematics learning: A meta-analysis and instructional design principles [J]. ZDM, 2017, 49 (4): 599–611.

[58] ?SCHOENFELD A H. Making sense of “out loud” problem-solving protocols [J]. The Journal of Mathematical Behavior, 1985, 4 (2): 171–191.

[59] CLEMENT J. Algebra word problem solutions: Thought processes underlying a common misconception [J]. Journal for Research in Mathematics Education, 1982, 13 (1): 16–30.

[60] MAHER C A, SIGLEY R. Task-based interviews in mathematics education [M] // LERNMAN S. Encyclopedia of mathematics education. Dordrecht: Springer, 2014: 579–582.

A Review of Verbal Protocol Analysis and Its Application in Mathematics Education Research

ZHANG Yong1, 2, XIONG Bin1, 2

(1. School of Mathematical Sciences, East China Normal University, Shanghai 200241, China;2. Shanghai Key Laboratory of Pure Mathematics and Mathematical Practice, Shanghai 200241, China)

Verbal protocol analysis is a basic research methodology for studying cognitive processes. To promote its application, this paper reviews the methodological process of verbal protocol analysis and related mathematical education research. The first part outlines its historical development, principles and types, disadvantages and advantages, scope of application, and implementation procedure. Meta-analysis of the reactivity of verbal reports shows that think-aloud does not change thought processes and is different from other types of verbal reports. It is suggested that future studies should explain verbalization procedures and how to determine inter-coder reliability in detail. The second part of the paper gives a profile of its use within mathematics education research.The existing research is divided into theory-oriented pure research and practice-oriented applied research. Based on the methodological review of verbal reports, this article points out inconsistencies and problems in previous studies and provides suggestions for methodological applications and future research.

cognitive processes; verbal reports; verbal protocol analysis; think aloud; mathematics education

G632.4

A

1004–9894（2021）02–0083–07

張勇，熊斌．口語報告法及其在數(shù)學教育研究中的應用述評[J]．數(shù)學教育學報，2021，30（2）：83-89．

2020–10–07

上海市核心數(shù)學與實踐重點實驗室課題——數(shù)學實踐（18DZ2271000）

張勇（1988—），男，山東泰安人，博士生，主要從事數(shù)學方法論與數(shù)學教育研究．

[責任編校：陳漢君、陳雋]