基于Bachman的測試使用論證理論的外語寫作能力研究

孫琪，張威

（東北大學，遼寧沈陽 110819）

Lyle Bachman教授是語言測試方面的專家，他的測試使用論證理論（Assessment-use-argument）為外語測試提供了指導，具有里程碑式的意義。外語教師在設計外語測試時，應該具備一定的測試素養（test literacy）。AUA理論可以用來指導外語教學測試，為受試者的外語水平提供更加科學的評估。該研究設計選取在通過大學英語四級后進行學術英語寫作訓練的大學二年級學生作為研究對象，通過將學期初和學期末的寫作測試中的構念對比，發現了學術英語寫作過程（procedure）對英語寫作能力的提高。

1 研究背景

學術英語是大學英語教學轉型的重要內容之一，其目的在于培養學生的學術素養，提高學術論文的寫作水平。學術英語教學包括幾個模塊，其中包括學術寫作的過程、學術閱讀技巧、聽講座的能力，做筆記（Note-taking）的技巧等內容。其中涉及聽說讀寫譯的相關能力，以及由通用英語向學術英語過渡的認知和比較 （孫琪，2017）。這樣一個龐雜的系統的核心是什么？是學術英語寫作。教學的大部分的內容圍繞著學術英語寫作的過程而進行。另外，學術英語寫作和雅思寫作從內容和形式上極為相似。其中的圖表寫作和雅思寫作的Task1完全一致。學術英語寫作的過程包括對題目進行分析、找出關鍵詞、閱讀相關的文獻、主旨閱讀、做閱讀筆記、組織觀點、列提綱、起草論點論據、修改內容等步驟。其中還夾雜著使用正確的時態、典型表達、從句等語法內容。該研究是基于在學術英語教學的過程中進行的一項歷時研究。歷時研究是語言研究中常用的一種研究方法。

2 理論依據

Bachman&Palmer于2010年提出測試使用論證（AUA）的理論框架。此理論是Bachman吸收Messicak等人的“效驗即舉證”的思想，并擴展Kane等人基于論證的效驗方法，提出了適用于行為測評及其他測試或測量的“基于論證的效度構建框架”這一框架把測評行為和基于測評結果做出的決策聯系在一起，形成一個AUA框架鏈（徐啟龍，2012）。測試效度論證包括如何運用質化和量化的各種方法，運用恰當、有效的測試工具對受試的語言能力進行測量，并能對測試表現做出合理的解釋和使用，即效驗理論。效度論證主要包括六大要素:主張(claim)：對受試能力的解釋;依據(data):受試在測評過程中的行為及測評過程的特征;理據(warrant):陳述基于數據的觀點的合理性;支撐依據(backing):用來支撐根據的理論或現有的證據；反駁(rebuttal):與預期結論相反的解釋;反駁依據(rebuttals):用于反證的證據。

在《語言測評實踐：現實世界中的測試開發與使用論證》一書中提到，測試的主要目的是收集信息用于決策，這些決策一定對測試利益攸關者帶來影響。衡量一項測試的使用是否達到了預期目的，無非就是衡量測試使用者所做的決策能否為相關人員帶來“有益影響”這些決策依照什么得出？要依照對考生語言能力的“解讀”，這些解讀要參照測試記錄，二測試記錄由考生的完成的語言測試任務的作答表現得出，因此，形成了一個完整的鏈條。這就是AUA理論的雛形（韓寶成、羅凱洲，2015）。這五個環節之間的關系是逐層推理、緊密聯系的，每一層都需要經過“主張-證據”論證，上一輪推理過程的“主張”經過理據與反駁的驗證即成為下一輪推理的“證據”，其中測試表現本身不需要論證，只是為測試論證過程提供證據(戴瑜、李廉，2018）。

辜向東（2008）用圖表解釋了測試使用論證和測試效度論證之間的關系。測試的設計與開發要建立在受試的能力之上，這種主張要有一定的理據，測試的結果是對考生能力的解釋，這種解釋也要有意義性、關聯性、充分性、無偏性、概括性，然后測試能夠推廣到目標語言使用域（TLU）。

3 研究設計

該研究在設計時，以Bachman使用論證理論為設計依據，考慮到理論指導實踐的原則，指出了AUA理論的六要素在該文中的應用。該部分由研究問題、受試、研究材料的收集以及研究步驟幾部分組成。

3.1 研究問題

（1）學術英語寫作過程中的要素是否在此次考試中得以考查？我們對學生的學術英語寫作能力的推斷是什么？

（2）受試對測評任務反應的交互性如何？測評任務在多大程度上涉及了擬測能力？

（3）測試結果的概化域是什么？測試能夠推廣到目標語言使用域？

（4）受試者在接受測評任務時的反應是否是真實的？與接受現實世界任務是的反應是否是一致的？

3.2 受試

東北大學學術英語一授課對象來自不同專業四個班級的175名大學二年級本科生，在此之前他們都通過了大學英語四級測試，且分數都在425～560分之間。根據前測的成績分別將一高一低的組合組成了實驗班和對照班，使實驗對象處于同一水平，同時，由于基于寫作平臺iwrite 2.0進行了水平前測，因此測試的結果比較可信（主張）。

3.3 研究材料的收集

通過收集學期初的基于iwrite平臺中的寫作語料對比期末考試系統中學生寫作的語料，并對比主要客觀因素的差異包括：平均分、錯誤類型統計（主謂一致錯誤，拼寫錯誤，搭配錯誤，語用錯誤）、客觀特征統計:（型符（token）、字符(type)、詞群(family)，TTR(Type Token Ratio)，LTTR(Local Type Token Ratio)，Lemma(詞型還原)作為衡量學生寫作水平的要素。平臺自動標記錯誤數量，并得出所占百分比。主謂一致錯誤是指，主語的單復數搭配動詞原型第三人稱單復數的錯誤，例如And the lowest percentage are between 18 and 25 at about 16%。主語單詞應該搭配系動詞的單數形式is。搭配（collocation）是學術英語教學中的語法重點，學術寫作中的搭配包括動詞副詞的搭配和形容詞名詞的搭配。如圖表作文中用于描述圖形變化的短語：rise sharply，steady rise，drop slightly，slow decrease etc.語用錯誤包括連詞缺失、慣用語錯誤等。客觀特征統計中Lemma指英文單詞的權威、詞典及引用形式。如went的詞元是go.這一統計量，常用于語料庫研究中的頻率統計；TTR:類符/形符比，它是衡量文本中詞匯密度的常用方法；LTTR:Local TTR，本地化的類符/形符比（依據）。

3.4 研究步驟

步驟一：筆者布置兩篇作文，一篇為圖表作文，題目是British People Giving Money to Charity by Age Range for the Years 1990 and 2010。另外一篇是Describe the Process of Writing Academic Essay.這兩篇作文一篇在學期初完成，一篇在學期中完成。作為前測研究，分析學生在寫作方面的水平，是歷時研究的起點。筆者選取外研社的iwrite2.0寫作平臺進行寫作測試，讓四個班分別通過兩種方式進行，其中的實驗班要求使用學術英語的寫作步驟進行，而對照班的學生則不提出任何具體的要求。觀測學生寫作水平的差異（理據）。

步驟二：通過一個學期的學術英語水平訓練，讓學生在期末考試中再完成一篇作文，以觀測學生的期末寫作成績的變化。通過比較研究和歷時研究追蹤學生的英語寫作水平的變化。

4 研究結果

兩次作文通過iwrite寫作平臺得到的實驗班和對照班的平均成績都為10.5分 （滿分15分）。因此將錯誤統計中的拼寫錯誤和標點錯誤作為主要統計量，拼寫錯誤和標點錯誤占比越高說明犯得低級錯誤越多，則表明寫作水平較差。研究結果表明實驗一班的拼寫錯誤和標點錯誤占比72%，實驗二班82%，對照班則為70%和71%。因此，通過寫作指導并不能拉開學生之間的分數差距（反駁）。

期末測試的寫作是基于學術英語一題庫中出現的一系列寫作題目展開的，其中的題目圍繞著科學、教育、社科、生活等熱點話題如government overspending of space exploration;addiction to online shopping。但是出現差異的原因是什么還有待于進一步探索。例如，筆者在課堂教學中發現對照班的課堂氛圍并不是很活躍，相反實驗班有較好的課堂氣氛和學習熱情（反駁的理由）。因此，下一步的研究應該包括學習熱情或學習氣氛對英語成績的影響。測試過程中的交互性較好，通過對寫作文本的觀察，所有的受試均能較好地完成任務，測試內容與教學實際高度趨同，因此并在很大程度上測試了擬測能力。

根據學生的期末成績分數統計表明學生經過一個學期的學術英語訓練，成績都有所提高，但是提高的幅度稍有差異，對照班成績明顯高于實驗班，證明學術英語的各個學習環節能夠有效地提高學生的寫作水平。測試內容與測試構念高度相關，測試的內容和形式不偏袒任何考生，每個考生的機會均等。測試反應的交互性良好，所有考生都完成了測試，考試平臺的反饋真實。測評反映和現實世界任務中的反應一致，測試有可能推廣到目標語言使用域。