英文寫作測試中選題的實證研究

喬丹丹

摘 要： 英文寫作測試中，因話題難度無固定評估模式，故選題的相關研究在語言測試設計者的研究成果中為數不多。作者通過問卷調查、深度訪談及測試的方式進行了實證研究，分別找出了學生對不同類型話題的看法、話題難度感知影響因素，對一般和專業話題難度進行了比較，并提出了寫作測試選題難度評估框架，對今后實施正式測試前的難度評估論證環節提出了建議，以期對命題公平性作一實證探索。

關鍵詞： 選題 英文寫作測試 難度評估

一、引言

寫作話題（Writing topic）盡管對英文寫作測試表現和評分有影響，但話題本身只有少數測試設計者和研究者進行研究。Ruth & Murphy（1988）認為，話題是寫作和評分可靠性之間的橋梁，適當的話題能在某種程度上保證書面測試的有效性。一些研究者（Irmscher，1979；Conlan1982）意識到了話題選擇的重要性，他們的研究顯示，可以選擇非特定話題降低話題對考生寫作的負面影響，個人話題和社會話題都應該被考慮，對于具有相似學術背景的學生來說，與他們的專業相關的話題可以成為一種選擇。盡管受試者對寫作成績的關注相對較少，但一些主要國際語言評估的機構做出了一些努力以確保寫作的質量。雅思（IELTS）寫作測試公開了話題選擇范圍。托福（TOEFL）在其網站上公開了任務庫，且測試者被明確告知“以下列表中的話題可能出現在您的實際測試中。在進行托福考試之前，你應該熟悉這份清單”。

二、文獻回顧

1903年，Scott富于開創性地強調了寫作測試中選擇話題時興趣的重要性，把寫作命題分為話題的公告、話題的興趣激發、寫作欲望的喚起、寫作方法的建議、無謂努力的防止五個步驟。六十多年后，加拿大教育委員會的寫作命題準則中既強調了興趣又強調了能力，Clark等人（1968）提出了作文命題的準則和四個標準，提出了“一個好的問題應該建立在學生的興趣和能力上”。Irmscher（1979）提出確保命題質量的原則，即好的話題應該是有目的、有意義的體驗、具體的、在學生掌握之內、鼓勵寫作的話題。他還提出，提出先驗知識、社會文化背景、文化偏好、情感反應、資源等話題選擇指導方針。Conlan（1980）提出要避免政治、種族、煽動和無聊話題。Ruth & Murphy（1988）指出，一些個人話題，如對某政治或宗教人物的看法可能過于敏感或煽動，如個人觀看電視或環境保護的觀點可能引出一些陳詞濫調。Irmscher（1979）提出“指派寫作題目是作文老師最重要的事情之一”，他反對給考生一些個人話題，因為他們可能在某種程度上不能真正展示學生的寫作能力。他認為寫作話題應該是有意義的，并提出以下五點確保這一質量：好的話題應該有目的、有意義的體驗、傾向于具體即時的情況、在學生掌握之內、鼓勵學生寫作。Kitao等人（1990）列出了可答性、知識、動機和寬泛等因素。Bachman（1990）指出，測試得分只有當話題難度合適時才真正有意義。Douglas（2000）建議在寫作測試中設置分專業子話題。Hamp-Lyons等人（2004）指出，被專家評分員判定為較難的話題，考生并不一定表現較差。Salimi & Fatollahnejad（2012）研究得出，學習者對話題的熟悉度影響談判含義的傾向性。

國內的情況和英語國家相似。在寫作評價研究中，很少有涉及寫作話題的系統研究。英語專業考試（TEM）為了避免負面影響，主要關注學校和社會等話題，并利用“情境+標題”構成話題模式。大學英語考試（CET）通過實施大范圍的預測、使用一般性話題和提供大綱以避免話題偏頗。值得注意的是，CET寫作能力的構建與TEM的不同。在CET中，發現和組織信息的能力不如書面英語表達思想的能力那么重要。在大多數情況下，學生只需要為給定的大綱提供簡單的信息。但是在TEM中，產生和組織思想的能力和書面英語表達思想的能力都是至關重要的。Chen（1998）認為，1995年的話題（兼職工作的優點和缺點）比1994年更簡單（電視：好事還是件壞事），因為它更接近學生的生活。徐永（2006）認為，寫作題目的難度影響因素為語言能力、話題知識、篇章知識、試題的指示語、考試時間等。

三、實證研究

為找到評估話題難度的方法，本研究以問卷調查、深度訪談及測試的方式，在山西省太原學院、太原工業學院、山西建筑職業技術學院、山西藝術職業學院4所高校的100名英語專業（英語教育專業和翻譯專業共31名）及非英語專業（環境與安全工程專業、設計藝術專業、播音主持專業、裝飾技術專業、電氣工程專業共69名）在校大學生中進行了實證研究。該研究分為三組。

第一組。Ruth & Murphy（1988）認為寫作話題分三類：個人話題、社會話題和專業話題（即關于學生研習領域的話題）。以問卷調查方式向100名學生（英語和非英語專業）提出10個問題，旨在尋找這三類話題的相對難度。采用SPSS對學生應答進行分析的結論是：話題熟悉度和抽象性是影響話題難度的主要因素；沒有證據表明個人話題比社會話題更容易，也不能表明專業話題比其他兩個更難；話題熟悉度在確定話題難度方面比內容本身發揮更大的作用。

第二組。本組研究旨在深入探討話題難度是否僅受話題熟悉度和話題抽象性這兩個因素的影響，使用問卷和統計的方式進行研究。我們共提供4對寫作題目，69名來自環境與安全工程專業、設計藝術專業等非英語專業的學生參加了這組研究，他們被要求選出在一對話題中較難的一個并陳述原因。在分析他們的應答后，我們看出，話題特性因素及其影響占比為：話題熟悉度（40.8%）、話題抽象性（29.6%）、話題相關性（14.5%）、話題范圍（8.4%）、情感反應（6.7%）。數據顯示，前兩項因素的影響力遠高于其他三項。

第三組。本組研究試圖找出一般話題和專業話題之間是否存在顯著差異，使用測試和深度訪談的方式進行研究。測試環節之前實施了評分員培訓以提高三位教師的評分員信度，為了避免評分的干擾，三位教師使用分析評分法評分，在內容、結構和語言方面分別給分。通過評分員培訓，內容、結構和語言的評分信度分別為8492、8513、8843，三名評分者的總分信度為8912，三個評分者的平均得分應能反映學生寫作能力的差異。在測試環節中，在英語教育專業和翻譯專業兩個英語專業學生寫作測試中，31名學生被要求從三個話題中擇一較易者應答。話題1是一般性話題，話題2和3與學生的主修科目有關。數據顯示，17人選擇了專業話題，14人選擇了一般話題，內容分與總分有明顯差異，結構分和語言分很相似。為了更好地理解學生在這兩類題目上的表現差異，筆者對三個評分因子和總分進行T檢驗，分析表明，學生在內容方面存在統計學上的差異，但結構上的表現卻沒有這種差異，而結構和語言因素可能會使內容不同。總之，專業話題的內容分較低，但總分沒有顯著差異。深度訪談環節中在測試之后立即進行，對參加測試的所有31名學生進行訪談，詢問并記錄學生在選擇話題和寫作時的想法。數據表明，學生在選擇專業話題還是一般話題時，可能會產生不同的想法（如一般話題比主要話題的分數更高），但結合測試分析，在寫作的最終評分中沒有發現與此想法相對應的顯著差異，專業話題的內容分較低可能是因為學生提到的“很少被允許在寫作測試中使用專業知識”。

研究小結。綜上所述，本研究第一組找出了學生對不同類型話題的看法，發現話題難度受話題熟悉度和抽象性兩個因素的影響。第二組進一步找出了話題難度不僅受第一組提到的因素影響，影響學生對話題難度感知的因素有五個，其中話題熟悉度和抽象性的影響力遠高于其他因素。第三組比較了一般話題和專業話題的難度。結論是：五個影響話題的因素其影響力占比得到數據支持，可用于難度評估；一般話題與專業話題沒有明顯難度差異。

四、寫作話題難度評估建議

基于以上研究結果，筆者提出了以下評估框架及公式，以幫助命題者更好地評估話題知識難度。話題知識難度（Topic Knowledge Difficulty）評估框架包含話題特性因素及其權重，參考分值及得分。五個因素分別是話題熟悉度（Topic familiarity）、話題抽象性（Topic abstractness）、話題相關性（Topic relevance）、話題范圍（Topic scope）、情感反應（Emotional reaction），權重依次為2/2/1/1/1，參考值按因素影響程度分為1/2/3三個分值。具體公式為：P（TKD）=P（TF）*2+P（TA）*2+P（TR）+P（TS）+P（ER）。

在五個話題特性中，因TF和TA的影響力幾乎成倍，故他們的權重是其他因素的兩倍。根據這個公式，TKD最小值為7，最大為21。評估參考范圍：TKD<14，話題容易；TKD=14，話題適合；TKD>14，話題難。作為應用檢驗，在實證研究第二組中，公式可以用來評價4對話題中的其中1對。話題A要求考生討論高等教育的目的，話題B要求提出改變所在城市的建議。經計算話題A難度為12，B為14。結論為：這對話題不會給考生帶來很大挑戰，B比A更難。

五、選題應用建議

本研究提出的寫作話題難度評估框架雖較為粗略，但它既有理論分析又有實證證據，在一定程度上反映了寫作話題的真實難度。然而，該框架僅在命題者使用話題前的判斷提供參考，在具體選題應用中仍需進一步論證后方可正式使用。論證方式可以幾個專家命題者一起討論，提出難度相近的幾個子話題，再通過問卷調查、面試或試測獲得學生的反饋意見。當判斷子話題難度和試測論證這兩步全部實施后，所選話題經過嚴密的證實，可用于正式測試，這樣的話題通常對學生提出挑戰，使其發揮真實的寫作水平，有助于提高寫作命題的公平性。

參考文獻：

[1]Ruth， L. & S. Murphy. Designing tasks for the assessment of writing[M]. Ablex， 1988.

[2]Salimi， A. & Fatollahnejad， S.. Iranian Intermediate EFL Learners Written Performance in TBLT[J]. Theory & Practice in Language Studies， 2012.

[3]Bachman L.F. & Palmer Adrian S.. 語言測試實踐[M].上海：上海外語教育出版社，1999.