《聽力測試設計：實用方法介紹》評介

孫桐

一、引言

聽力理解測量是一項復雜的技術， 優質的任務設計是測試效度的重要保障（Field，2013），是聽力測試開發和使用過程中的核心問題。 盡管21 世紀以來，學界已圍繞聽力理解理論模型、聽力理解策略、相關效度驗證框架、 特定任務特征及后效作用等話題開展了一定數量的研究（Buck，2001；Field，2008；Rost，2002，2011；Vandergrift and Goh，2012；Geranpayeh and Taylor，2013；Wagner，2014；Goh and Aryadoust，2016）， 但尚未有文獻針對聽力測試設計與開發的實踐技術提供全面且深入細致的指導。 針對這一空缺，Rita Green 憑借多年語言測試設計開發及培訓的經驗，撰寫了《聽力測試設計：實用方法介紹》（Designing Listening Tests：A Practical Approach）一書，介紹聽力測試設計的科學原則、方法、步驟和流程， 由 Palgrave Macmillan 出版社于 2017 年正式發行。 該專著針對聽力測試的設計與開發進行了全面系統的介紹，搭建了理論和實踐之間的橋梁，為語言測試的開發者、 使用者及研究人員的工作帶來了便利。 本文將介紹這一著作主要內容，總結其主要特色及不足之處，并提出改進建議。

二、內容簡介

該著作共分七章， 每章分別由一個簡潔的問題作為標題引導， 各章編排以嚴謹的邏輯順序完整呈現了聽力測試設計與開發的重要理念、 步驟和程序等相關內容。 第一章為全書引言和對聽力測試開發流程的簡介。 第二章和第三章分別從測試設計細則（test specifications）和語音文件的開發利用等方面細致講解了任務設計之前的準備工作。 第四章和第五章詳細介紹了不同聽力測試任務類型設計中的注意事項、方法與原則：首先收集總結相關理念，其后通過實例分析，展示任務設計實踐。 第六章和第七章聚焦于聽力測試的結果分析和使用方法， 包括對聽力任務試測及改進的探討， 以及測試分數的報告和解讀方式。

第一章名為 “聽力測試涉及哪些問題 （What is involved assessing listening?）”，是該書的引言，言簡意賅地介紹了聽力測試的基本問題， 作為其余章節的基礎。 作者首先追隨聽力理解研究的最新成果，基于Field（2013）的理論模型探討了聽力理解過程的本質和特點。 其后，分別從聽力的目的、聽者特征、聽覺輸入的特點以及口頭和書面用語的差異等方面介紹了聽力理解的多樣性。 在此基礎上，該章總結了影響聽力理解難度的主要因素， 包括與語音材料的性質、信息加工的復雜性、聽力輸入、聽力任務、收聽環境以及說話者和聽者自身相關的一系列特征。 最后該章解釋了聽力的用途及聽力測試的重要意義，并在小結中完整介紹了聽力測試開發的循環性流程。該流程從測試開發者培訓、 試題設計的準備工作開始，直到測試實施后的結果分析，共16 個主要步驟，各步驟之間存在較為錯綜復雜的聯系。

第二章名為 “測試設計細則有何助益（How can test specifications help?）”，全面介紹了 “測試設計細則” 的概念、涵蓋的內容及使用原因，并在小結中為讀者提供了普適的測試設計細則模板。 這一章開篇指出，測試設計細則應在測試正式設計之前撰寫，它是考試設計的綱領、規劃和藍圖，在測試開發全程中都發揮著關鍵作用。 隨后描述了聽力測試設計細則中應包含的各方面信息，包括測試目的、考生特征、測試構念、 聽力材料以及任務設計等方面的詳細規劃。 作者指出，測試設計細則是聽力測試質量的重要保障，有利于構念界定的明確性、任務與測量目標對應的合理性， 還可有效促進測試開發團隊的合作成效。 最后，第二章以一個表格（表2.6）作為測試設計細則的模板，并將該章主要內容在表中作了總結。

第三章名為 “如何開發聲音文件（How do we exploit sound files?）”， 詳細講解了幫助聽力測試科學選材的 “語篇制圖（textmapping）” 技術。 該章在介紹了 “語篇制圖” 技術的緣起之后，對這一概念進行了界定，并描述了其基本特征。 語篇制圖是測試開發中對音頻材料或文本內容集體意義構建的系統性流程。 在聽力測試中，語篇制圖必須以音頻文件為分析和判斷的基礎。 參與者應將自己視為真實語境中的聽者，而非測試設計者，并在收聽語音文件后根據特定要求匯報自己真實理解的內容。 對于每個獨立的聽力語篇， 測試開發者需要至少與3 位工作人員合作，并確定大多數人對特定內容理解一致，該材料才能進入任務設計環節。 其后，這一章詳細探討了三種不同的語篇制圖流程， 分別基于測量主旨要義（gist）、細節性信息（specific information and important detail，簡稱SIID）以及主要觀點和支撐性細節（main ideas and supporting details， 簡稱 MISD） 的聽力材料。 這三種流程雖然在細節上有所差異，但都涵蓋五個主要步驟：（1）合理選材并組織相關人員；（2）介紹語篇制圖的目的和具體任務要求；（3）播放聽力錄音并記錄聽者收集的信息；（4）整理、分析相關信息，并以表格歸納多數人共同理解的意義；（5）根據語篇制圖分析的結果， 決定聽力材料是否直接進入任務設計環節。 第三章進一步指出，某些首次無法通過的聽力材料， 可以改變測量目標， 并重復語篇制圖的流程。 在進行結果分析前，測試開發者還可調查聽者對聽力材料的難度、 話題適切性及語篇長度等方面的感受，作為材料適用與否的輔助性證據。

第四章名為 “如何設計聽力任務（How do we develop a listening task?）”， 主要介紹聽力測試試題編寫中的實用方法和原則。 這一章首先介紹了一種制作 “任務名片（task identifier）” 的實用方法，以便收集有關任務的重要信息。 其后，探討了任務設計中需重點考慮的因素，包括任務說明、測試方法、聽力材料、輸入和輸出形式、 外觀設計以及評分等多個方面的問題。 作者重點總結了聽力測試中常見任務類型如多項選擇題 （Multiple Choice Questions）、 簡答題（Short Answer Questions） 和 多 項 匹 配 題 （Multiple Matching）的特點，并詳盡列舉了任務編寫的各個方面及同行審查（peer review）中的注意事項，為試題設計的實踐工作提供了實用參考。

第五章名為 “何謂優質的聽力任務（What makes a good listening task?）”，對一系列典型的聽力測試任務設計進行了細致的評析。 該章共選擇了八個聽力任務，涵蓋了第四章中提及的多項選擇題、簡答題和多項匹配題全部三種任務類型。 前三個任務為不同形式的多項匹配題（問題與答案的匹配、圖片匹配題和句子首尾匹配），任務四和任務五為問答形式的簡答題， 任務六為填空類簡答題， 任務七為圖片選擇題，任務八是四選項的多項選擇題。 對于每個任務，作者主要從語音文件和任務特征等方面對其設計進行評價；對于任務特征，從聽力能力（listening behavior）、測試方法的適切性和外觀形式等三個方面分別評析。 最后，該章總結了一個合格的聽力任務所具備的五種特征：任務構念的有效測量、清晰明確的任務說明、合理的測試方法、適切的選材以及合適的語音材料。

第六章名為 “如何知曉聽力任務的效果（How do we know if the listening task works?）”，詳細介紹了聽力測試試測階段的實踐工作。 這一章首先指出了試測的重要意義， 并討論了其對測試開發各個環節以及任務設計不同方面的益處。 其后，詳細說明了聽力測試試測準備和實施過程中需注意的問題。 最后，介紹了試測結果的處理方法。 在講解數據分析的用途之后， 作者列舉了試測需匯報的量化指標 （作答頻率、區分度、信度和難度系數等），并講解了基于數據分析結果的不同決策（測試項目的棄用、改進及存檔）。

第七章名為 “如何報告分數并設置合格標準（How do we report scores and set pass marks?）”，主要介紹了聽力測試分數匯報和標準設定（standard setting）的方法與原則。該章首先介紹了測試分數報告的不同形式和主要方法。 其后，對標準設定的概念、意義及過程進行了詳細的講解。 所謂標準設定是測試通過科學的方法和流程設立其分數線的過程， 該章以CEFR 中的聽力水平等級為參照標準，描述了對相關人員進行培訓的方法以及設定分數線的操作程序。 此外，這一章介紹了 “測試人員會議（stakeholder meetings）”， 作為在條件有限的情況下，標準設定的另一種形式；還建議以提供任務樣例和網站建設等形式，作為標準設定的補充性信息的來源。 最后，該章還簡明地論述了測試結束后項目分析的必要性，并指明了相關的統計方法。

三、主要特色

《聽力測試設計：實用方法介紹》是學界首部系統全面地介紹聽力測試設計與開發的著作，為聽力理解研究、聽力教學及測評的理論和實踐之間搭建了橋梁。 在現有的經典著作中，Buck（2001）對聽力測試的理論和實踐進行了綜合性介紹，Rost（2002，2011）和 Field（2008）主要關注聽力理解過程的本質以及聽力教學中的重點問題，Vandergrift和Goh （2012） 聚焦于聽力測試中的元認知策略，Geranpayeh 和Taylor（2013）的著作則圍繞聽力測試的 “社會認知效度驗證框架（Socio-Cognitive Validation Framework）” 進行。 這些著作雖然或多或少地包含了聽力測試研發的問題， 但從未面面俱到、細致入微地講解過測試任務設計和開發的步驟、流程及原則。 Rita Green 的著作填補了學界對聽力測試設計與開發實踐性指導的空缺，使得眾多語言測試開發人員、研究者、教師以及教材開發者能夠遵循系統規范的流程， 設計出高質量的聽力測試任務。相關程序按照其邏輯順序， 貫穿于全書各章節中，具體步驟經過串聯，形成了一套清晰、嚴謹、精密的循環性的流程（見著作1.7.1 小節），便于讀者學習參考。

該著作的具體內容也獨具特色，主要體現在聽力材料的選擇、多樣化的任務設計和全面的典型案例分析等三個方面。 首先，對于聽力測試的選材，該著作在第三章中主張以 “語篇制圖” 的方法，盡可能還原真實的聽力理解語境，并通過征求大多數聽者的統一解讀方式，科學嚴謹地判斷候選語音材料是否適合測量選定的聽力技能。 這一輪篩選注重聽力材料的真實性和實用性，可以為后續的任務設計環節節省時間和精力，是著作中的一大亮點。 其次，該著作還對不同任務類型在設計方法和原則方面的差異進行了細致的辨析和探討。 第四、五兩章中，聽力任務被分為三個主要類別， 分別為多項匹配題、簡答題和多項選擇題。 特別值得稱贊的是，聽力多項匹配題在該著作中被視為獨立的任務類型，其獨有的特色也得到了充分重視，這比起認為該任務類型是 “多項選擇題的一種變體” 的傳統觀點（Elliott and Wilson 2013：166）無疑是一種進步。 再次，針對三個主要類別的聽力測試任務，該著作在第五章中以八個鮮明生動的任務實例分析，展示了豐富多彩且科學嚴謹的任務設計，彰顯了語言測試的科學與藝術。 這些任務用途廣泛，在不同水平的標準化測試、聽力教學、課堂評價以及教材開發中都可應用。

四、有待改進之處

這一專著當前內容為2017 年發行的第一版，難免存在一些不足之處，有待在未來版本中不斷改進。 本文在此提出四個針對細節性內容的建議。

首先，該著作中涵蓋的測評形式和內容尚且比較局限，現實中的聽力測試任務設計開發往往較之更為復雜。 例如，聽力測試中的視覺元素研究當前頗受關注，學界一直在探索視頻和圖片輔助型聽力任務的理論價值及應用效果 （如 Batty，2015；Suvorov，2015），相關研究反映了聽力評價研究的一種未來發展趨勢（Wagner，2014）。 遺憾的是，視覺元素雖然在Green 的著作中有所涉及，但并未作為重點深入探討（Yang and Wu，2017）。 建議該著作在未來版本中詳細介紹聽力測試的配套視頻、靜態照片及圖表等內容的設計方法和使用原則。

其次，該著作對多項匹配題的設計原則和任務特征的部分認識還有待商榷。 第四章中提到匹配任務在試測中應設置干擾項，以避免 “完美匹配（perfect matching）” 的情況（Nitko and Brookhart，2011），降低考生以排除法猜對答案的可能性。 但在多項匹配題任務設計的實踐中， 干擾項的設置主要針對每個選項只能使用一次的匹配任務， 而對于每個選項可使用不止一次的情況， 干擾項的設置就并非是必需的。 如CPE 聽力測試2013 年以前曾經使用的 “三項匹配題（3-way matching）”，全部項目共享三個可允許多次選擇的共同選項（Boroughs，2003；Elliott and Wilson，2013）；以及 FCE 測試“閱讀和語言運用” 部分沿用至今的段落匹配題，實質上是一種 “四項匹配題（4-way matching）”，比三項匹配題多一個選項， 同樣不設干擾項 （ 孫桐，2019）。 此外，第五章任務三的句子首尾匹配題（名為A Diplomat Speaks）中，由于很多句子開頭和結尾的語法結構和內容差別較大， 可能會導致考生容易根據題干和選項的內容猜對答案， 這一問題必將損害該任務的效度。 新版著作可考慮改進任務設計或更換案例。

再次，該書對 “簡答題” 的分類似乎有欠精準，因其囊括了直接回答問題以及句子填空等多種形式。在一些標準化聽力測試中，簡答題的界定十分明確具體，如 Field（2013）、Elliott 和 Wilson（2013）都將Green 所指的“簡答題” 稱為“建構性作答方式 （constructed response format）” 的 任 務 ， 包 括 “ 句子及摘要填空題”、“圖表填空題” 和 “筆記填空題” 等類別。 在 IELTS 中，“簡答題” 僅限直接以簡短的文字回答問題的任務， 獨立于與另外幾種填空任務 （Cambridge English Language Assessment，2016）。 因此，建議該書選用 “建構性作答方式” 這一概念，或對 “簡答題” 的概念及分類做出明確、清晰的闡釋。

最后，第二章末尾處提供的測試設計細則模板內容太過籠統，真實性有限。 建議使用一個標準化聽力測試的實例，并置于附錄中。 此外，可考慮在表格中總結詳細的任務特征，并呈現具體任務與測試構念之間的對應，如此可增強內容的指導性。

五、結語

作為首部全面系統介紹聽力測試設計開發的著作，該書雖然存在不足之處，但其重要價值不容忽視，可為標準化聽力測試、聽力課堂測評設計與應用、聽力教材開發以及聽力測試學術研究提供理論支持和實踐指導。 可將該著作作為重要參考，評價和反思我國聽力測試設計與開發的實踐工作，提高測試開發者和使用者的評價素養，促進相關領域的發展。