外語寫作思辨能力評價指標構建
——一項基于德爾菲法的研究

馬利紅

(北京科技大學外國語學院，北京)

1.問題提出

作為英語學科核心素養之一，近年來思辨能力的培養和評價引起學界高度重視。外語學習者的思辨能力主要通過口語或寫作等輸出型活動進行展現，而寫作可經過深思熟慮，反映寫作者的多個視角，具有評價思辨能力的天然優勢。外語寫作中的思辨能力是伴隨寫作過程并指導寫作過程的高層次思維，既具有思辨能力的共性，又具有外語寫作的特性。在外語寫作中評價思辨能力的有效性逐漸得到國內外學者認可，比如Stapleton(2001)從結論表達、論點數量、證據充分性、識別反駁、回應反駁、謬誤數量等方面評價日本大學生在外語寫作中體現的思辨能力，穆從軍(2016)和董焱寧(2017)主要從清晰性、相關性、精確性、邏輯性、深度、寬度等思辨標準評價外語寫作思辨能力。上述研究分別基于思辨技能和思辨標準評價外語寫作思辨能力，在某種程度上是將思辨技能與思辨標準割裂開來。

誠然，有些研究者嘗試將思辨技能和思辨標準結合起來，比如Connors(2008)提出外語寫作中的思辨能力多步分析標準包括問題的完整性、答案的精確性、結論的嚴謹性，MacLaughlin和Moore(2012)提出在寫作中評價思辨能力的標準包括主題聚焦性、思維邏輯性、內容完整性、語言恰當性、表達準確性，余繼英(2014)提出從觀點清晰性、論述切題性、論證邏輯性等角度構建寫作思辨一體化評價標準。上述研究融合了思辨技能和思辨標準，是外語寫作中評價思辨能力的重要進展，但是多采用思辨的方法構建評價指標，采用德爾菲法構建外語寫作思辨能力評價指標的研究較少。德爾菲法又稱作專家調查法，主要指研究者組織若干專家，按照規定程序，背靠背征詢專家對某一主題的意見，然后對每一輪意見進行匯總，并反饋給專家繼續進行分析，經過多次循環，直至專家意見趨于一致(Skulmoski等，2007)。作為收集專家效度的一種方式，德爾菲法在評價指標構建中被廣泛應用。因此，本研究嘗試基于德爾菲法構建外語寫作思辨能力評價指標，試圖回答以下問題：

(1)外語寫作思辨能力評價指標包括哪些方面？這些指標的具體內涵是什么?

(2)外語寫作思辨能力評價指標包括幾個評分等級，每個評分等級的具體內涵是什么？

2.評價指標的初步篩選

在思辨能力理論模型中，三元結構模型融合思辨技能、思辨傾向和思辨標準，是較全面闡釋思辨能力且在實踐領域廣泛應用的理論模型(Paul& Elder，2006)。分析思辨技能是評估思辨能力的必要但非充分條件，評估思辨能力還需依據思辨標準，思辨標準可從不同側面評估思辨能力的有效性和科學性。因此，本研究擬以思辨能力三元結構模型為理論基礎，將思辨技能和思辨標準融入外語寫作過程，構建外語寫作思辨能力評價指標，這不僅對外語教學中的思辨能力培養和評價研究具有借鑒意義，而且對外語學科核心素養的培養和評價研究具有啟示作用。

由于思辨能力具有領域特殊性，不同領域的思辨能力存在差異(Moore，2011)，相應地，外語寫作思辨能力必然兼顧思辨能力和外語寫作的特性。首先，我們以思辨能力三元結構模型為基礎，將目的、問題、觀點、信息、推理、概念、假設、啟示等思辨技能融入外語寫作過程。具體講，思辨能力是有目的的反思性判斷過程(Facione，2011)，而外語寫作首先需要辨別寫作目的；思辨能力是基于具體問題情境的思維技能(Moore，2011)，而寫作過程包括提出問題和定義問題；思辨能力需要合乎邏輯地分析、論證和評價觀點(Facione，2011)，而寫作也需要表達觀點或立場；思辨能力強調基于證據捍衛立場、做出推理、得出結論并解釋結論(Facione，2011)，而寫作同樣強調證據的作用；思辨能力既包括推理能力和推理意愿，又包括語言推理和論證分析(Ennis，1993)，而外語寫作思維模式的最高級別就是推理式(秦曉晴 文秋芳，2007)；思辨能力是基于證據得出邏輯性結論的過程(Ennis，1993)，而外語寫作模型關注能否得出結論以及結論表達的清晰性和嚴謹性(Connors，2008)；思辨能力是提出假設并驗證假設的過程(Ennis，1993)，而寫作過程包括檢驗假設、避免個人偏見等(Wade，1995)。綜合思辨技能和外語寫作過程，我們發現明確目的、提出問題、表達觀點、提供證據、推理論證、得出結論、提出并驗證假設、反思評價是外語寫作思辨能力的主要表現。對于上述基于文獻分析構建的外語寫作思辨能力評價指標的合理性和科學性，本文將通過德爾菲法進一步修訂和完善。

3.研究設計

3.1 專家團隊構成

本研究選擇在外語教學以及思辨能力培養和評價領域具有一定理論知識和實踐經驗，并且有參與調查研究能力、意愿和時間的專家，最終確定的專家團隊包括16位高校英語教師，符合德爾菲法通常選擇15-35人組成專家團隊的基本要求(Skulmoski等，2007)。專家團隊的具體信息如表1所示。

表1 專家團隊信息

3.2 咨詢流程及工具

本研究基于《外語寫作思辨能力評價指標咨詢問卷》(以下簡稱《咨詢問卷》)，征求專家對評價指標及其內涵和評價等級的意見和建議，每輪咨詢內容根據專家意見做相應修改。《咨詢問卷》借鑒同類調查問卷的編制方法，包括背景信息、權威程度自評、對評價指標的意見和對指標內涵的意見(馬利紅 王彩霞，2019)。

專家咨詢以電子郵件形式進行，共包括三輪。首先請專家對初步構建的評價指標進行判斷并說明修改意見。第一輪調查結果返回后，通過數據統計和語義分析對專家意見進行凝練，再將分析結果發送給各位專家，進行第二輪專家咨詢，請專家參考上輪分析結果對修訂后的評價指標進行判斷，并寫出修改意見。第三輪重復第二輪專家咨詢的程序，以期提高專家對評價指標判斷的一致性。

3.3 指標篩選標準

本研究根據專家意見的均值、滿分率和差異系數篩選評價指標，并根據專家提出的修改意見修訂評價指標。通常均值(M)得分達到滿分的75%時，說明該指標具有較好的適切性；滿分率(K)達到0.5時，表示評價指標得到一半以上的專家認可，可予以保留或適當修改后保留；差異系數(CV)是標準差與均值的比值，CV≤0.2時，表示專家意見趨于一致(Hsu & Sandford，2007)。

4.研究結果

4.1 第一輪專家咨詢結果

第一輪專家咨詢發放問卷16份，回收有效問卷16份。數據分析結果顯示，第一輪專家咨詢意見均值M=2.22，滿分率K=22.2%，差異系數CV=0.19(見表2)，這表明初擬指標結構適切程度較低，僅有1/4的專家認可。根據第一輪專家建議，研究者將“提出假設”和“提出問題”合并，將“反思評價”拆分，刪除“反思”，突出評價能力。

表2 三輪專家咨詢結果

4.2 第二輪專家咨詢結果

第二輪咨詢問卷增加了第一輪咨詢結果反饋和指標內涵闡釋，其余內容和作答方式與第一輪咨詢問卷相同。結果表明，第二輪專家意見的均值M=2.59，滿分率K=58.8%，差異系數CV=0.19(見表2)。與第一輪咨詢結果相比，第二輪專家咨詢意見均值和滿分率均有所增加，表明修改后的評價指標適切性和專家一致性提高。根據第二輪專家建議，研究者進一步查閱文獻，修訂了“提出問題”和“表達觀點”的內涵，并進一步根據思辨標準明確各項指標的評價標準。

4.3 第三輪專家咨詢結果

第三輪咨詢問卷增加了第二輪咨詢結果反饋和評價等級描述。根據三元結構模型中的思辨標準和評價等級(Paul & Elder，2006)，每項思辨技能分為4、3、2、1四個水平，4表現為思辨的清晰度、準確性、精度、深度、廣度、邏輯性、公平性較高；3表現為思辨具有準確性和清晰性，但缺乏深度、精度和廣度；2表現為思辨的清晰度、精準度、深度不夠；1表現為思辨缺乏準確性、清晰性、公平性、邏輯性。考慮到外語寫作文本難以同時反映所有指標，本研究設置了0水平。借鑒穆從軍(2016)的寫作思辨質量評價標準和Connors(2008)的思辨能力分析框架，本研究對評價指標設置相同權重。第三輪專家咨詢意見的均值M=2.89，滿分率K=88.9%，差異系數CV= 0.11(見表2)，表明專家對第二次修訂后的指標結構以及評價等級較為認可。最終確定的外語寫作思辨能力評價指標體系包括提出問題、表達觀點、提供證據、推理論證、得出結論和闡釋評價，每個指標包括0、1、2、

表3 外語寫作思辨能力評價框架

對于提出問題的評價，Paul和Elder(2006)認為問題是思辨的前提，已有外語寫作思辨能力分析框架從問題的完整性(Connors，2008)和提出問題的深度(穆從軍，2016)進行評分。鑒于已有研究和三元結構模型中的思辨標準，本研究主要從是否提出問題、問題是否有深度、是否對問題進行分析三個角度評價提出問題。

對于表達觀點的評價，以往研究多根據觀點表達的精確性和簡潔性(Connors，2008)、觀點與主題的相關性和觀點表達的清晰性評分(穆從軍，2016)。思辨需要合乎邏輯地分析、論證和評價觀點(Facione，2011)。鑒于以往研究和思辨標準，本研究主要從是否表達觀點、表達觀點的清晰性和邏輯性、能否辯證地表達觀點三個角度評價表達觀點。

對于提供證據的評價，以往研究根據證據的充分性(Qin & Karabacak，2010)，證據的時效性、代表性、客觀性和可信度(Stapleton，2001)，證據的精確性和相關性(余繼英，2014)，論點后是否有證據(曹寧，2018)等標準進行評價。鑒于以往研究和思辨標準，本研究主要從是否提供證據、證據是否與主題有關、證據是否充分、證據是否有說服力四個角度評價并提供證據。

對于論證的評價，Qin和Karabacak(2010)認為論證是對有爭議的問題進行回應，以往研究往往從整體論證質量進行評分，比如論證是否與問題相關(Connors，2008)、論證的邏輯性和準確性如何(余繼英，2014)等。基于以往研究和思辨標準，本研究對論證能力的評價主要從是否進行論證、論證的邏輯性、論證是否基于一定理由三個角度進行。

對于得出結論的評價，以往研究常常根據結論的嚴謹性進行評分(Connors，2008；Stapleton，2001)。基于以往研究和三元結構模型中的思辨標準，本研究主要從是否得出結論、結論是否有邏輯缺陷、是否能多角度考慮問題并得出結論三個方面評價并得出結論。

對于評價能力，以往研究常常根據評價的說服力進行考核(Paul & Elder，2008)。本研究中，評價是對整體論證質量的評價，主要從是否進行評價、評價立場的客觀公正性、評價的寬度和深度三個方面考慮。

以往研究多采用文獻法構建外語寫作思辨能力評價指標，缺少充分的專家效度。與前人研究相比，本研究基于思辨能力三元結構模型，綜合思辨技能、思辨標準和外語寫作過程初步構建外語寫作思辨能力評價指標，并經過三輪專家咨詢，進一步對評價指標進行修改和完善。本研究構建的評價指標基于一定的理論基礎，并經過充分的專家論證，在一定程度上提高了研究結果的可信度。

5.討論與結論

本研究基于思辨能力三元結構模型，采用德爾菲法構建外語寫作思辨能力評價指標，既有堅實的理論基礎，又經過專家效度驗證，不僅可以作為教育測評工具，也可以作為思辨能力理論模型，對外語寫作質量和思辨能力評價研究具有一定的啟示意義。

5.1 評價指標具有科學性

研究結果表明，提出問題、表達觀點、提供證據、推理論證、得出結論和闡釋評價是反映外語寫作思辨能力的核心指標。問題是思辨的起點，提出問題的水平，如問題的復雜性和多角度(穆從軍，2016)，對評價思辨能力意義重大。思辨能力側重通過邏輯分析表達觀點，并以證據支撐自己的觀點，并且思辨能力需要的證據必須真實、充分，證據來源必須可靠(Facione，2011)。作為思辨能力的關鍵技能，論證是基于分析推理而逐步推斷出結論的過程，強調通過強有力的論證來理性監控、評估和反思人們的思維和行動(武宏志，2016)。思辨能力的核心是通過對問題、思想、事實的綜合分析和推理形成結論，而得出結論的嚴謹性和邏輯性常常是評價思辨能力的重要標準(Connors，2008；Stapleton，2001)。思辨者常常能自覺反思并評價自己的認知活動，尤其是站在質疑、舉證、分析、論證的立場上，多角度審視自己的論證過程(Ennis，1993)。因此，從學理上講，作為評價外語寫作思辨能力的核心指標，提出問題、表達觀點、提供證據、推理論證、得出結論和闡釋評價契合思辨能力的內涵。

5.2 對外語寫作質量評價具有啟示意義

從思辨能力的視角對外語寫作質量進行詮釋，將有助于完善外語寫作理論體系，拓展外語寫作評價的廣度和深度。以往外語寫作教學側重通過講授審題、立意、篇章、表達、語言等基礎寫作知識，以及敘述、議論、描寫、說明等基本表現手法，讓學生掌握遣詞造句、謀篇布局、文稿格式、書寫規范等方面技巧，重視單項語言技能訓練，但忽略了思辨能力培養。研究表明思辨能力和外語寫作相互作用、相互影響，作者的思2017)。寫作過程既是提出觀點、組織證據、寫作論證和修改的過程，也是分析、推理、評價和自我調控的思維過程(Chaffee，2012)。通過寫作教學可以培養學生的思辨能力，比如記敘文寫作時，可從不同角度描述同一語境。寫作可以促進思辨能力發展，相反，思辨能力不足會導致寫作低效(高霄 文秋芳，2017)。可見，外語寫作與思辨能力是相互作用、相互影響的統一體，本研究構建的外語寫作思辨能力評價指標可以為外語教師開展思辨能力培養和評價研究提供參考和借鑒，外語教師可基于評價指標引導學生在寫作中進行思辨訓練，綜合運用語言能力和思辨能力評價標準評價學生的外語寫作水平。

5.3 對思辨能力評價研究具有啟示意義

在國內外高度重視思辨能力發展的背景下，本研究吸收和借鑒外語寫作與思辨能力評價的相關研究成果，基于思辨能力三元結構模型，系統分析和深入挖掘外語寫作思辨技能，通過三輪專家評議構建外語寫作思辨能力評價指標，是迄今為止為數不多的系統采用德爾菲法構建思辨能力評價指標的研究之一，對落實《普通高中英語課程標準(2017年版)》中思維品質的培養和評價以及對《英語專業本科教學質量國家標準》和《大學英語教學指南(2020版)》提出的思辨能力培養和評價具有借鑒意義。

思辨能力具有領域特殊性，特定領域的思辨能力測評效度更好。一項對國際語言學領域SSCI期刊的可視化分析表明，通過寫作評價思辨能力是未來語言學領域開展思辨能力評價研究的發展方向(馬利紅 劉堅，2018)。本研究通過外語寫作評價思辨能力是特定學科領域開展思辨能力評價研究的有益嘗試，可以為其它學科領域開展思辨能力評價研究提供參考和借鑒；采用德爾菲法構建思辨能力評價指標的研究方法也可為英語學科核心素養評價研究提供方法論層面的借鑒和參考。