語言測試的效度本質觀

馮巨瀾　宋德云

摘要：對效度本質的不同認識，導致了不同的效度理論，產生了不同的效度驗證實踐。實證主義效度本質觀強調相關關系和因果關系，注重確定性和普遍性。自然主義效度本質觀強調研究結果和研究的其他部分之間的一致性，注重主體間不斷互動的活動和過程。效度理論和效度驗證實踐研究中存在的爭議主要有：效度與信度、效度的整體性與可分性、效度與效度驗證等。在探討實證主義和自然主義研究方法以及應用于語言教學研究的理論和實踐時，應該盡力弄清潛在的研究假設，應該意識到確定研究證據的依據的不同。

關鍵詞：語言測試；效度；本質觀；研究范式

中圖分類號：H310.4

文獻標志碼：A

文章編號：1008－5831(2009)05－0129－06

效度與效度驗證是語言測試研究中最為關注的問題之一。綜觀語言測試發展的歷史可以發現，語言測試走向科學化、合理化是其必然趨勢。這就必然對測試的信度、效度等概念和操作提出更加科學化、精確化的要求。應當指出的是，語言測試中測量方面的方法和理論幾乎都是從心理測驗中移植過來的，語言測試實際上是心理學、心理測量學、教學理論及某種語言理論的綜合。語言測試本身并沒有獨立的效度理論，或者也可以說，語言測試界對效度理論的發展并無自己的貢獻。語言測試在信、效度理論方面全面繼承了心理測量的衣缽。所以，我們在研究效度問題時必須把眼光擴展到整個的心理、教育教學及語言測驗領域。

效度在其長期的發展過程中，自身也經歷了十分復雜的演變歷程。效度研究發展至今，其中的問題仍然很多，如效度概念的本質、含義、特點、作用等問題，都存在著爭論甚至混亂。同時，人們似乎更專注于對效度一時一事的靜態研究，而著眼于效度發展動態的相關研究并不是很多。對效度本質的認識和理解，是研究效度問題的基礎。為此，筆者嘗試從本體論和認識論角度，對效度本質的不同理解進行分析，以及對效度研究中的一些爭議問題進行梳理和探討，以期為語言測試的效度研究提供參考。

一、范式之爭與對話

在教育學和心理學界，直到現在仍然存在著兩大主要陣營：實證主義的、量化研究方法論(實證主義范式)的擁護者和自然主義的、質化研究方法論(自然主義范式)的提倡者。這一爭論的核心是對研究的認識論基礎的討論，而它對語言教學研究理論發展的關聯在于，當我們強調某種證據優于另一證據時，我們所提出的假設是不同的。實證主義范式的思想基礎是力圖用自然科學的研究方法來研究社會科學問題，認為社會科學問題能夠客觀測量，它們獨立于觀察者的價值觀和自我感覺。相反，自然主義范式認為，社會科學領域人們觀察的結果永遠不可能獨立于觀察者的價值觀和經驗。在語言教學研究界，無論采用何種觀點，關鍵是要重視研究的本體論基礎(要了解什么)和認識論基礎(如何去了解)，重視他們(本體論和認識論)是如何對研究方法的選擇產生影響的。

一些語言測試研究者認為范式之間的對話是有可能的。例如，Reichardt和Cook就指出，早期的評估研究就是假定一個設計好的實驗可以產生特定的、希望得到的結果。在這種假定下，評估的目的就是確認預期的效果會發生。當發現一些社會干預不能夠完全達到，而且會出現一些難以預料的副作用時，評估者就會利用自然主義研究方法來幫助他們發現和描述這些現象。Reichardt和Cook認為，研究范式的選擇不能夠決定研究方法的選擇。你可以認為社會現象是客觀現實，不依賴于個人的主觀意志(也就是采用實證主義觀點)，而同樣可以選擇自然主義研究的質性研究方法(如參與式觀察)來調查那些現象。自然主義范式的研究者同樣可以利用像頻數以及其他實證主義量化研究的方法。而另一方面，選擇量化的方法并不意味著一定是實證主義范式。量化方法有時也用“主觀”的手段，如涉及到人們感情和信仰等方面的民意調查(通常被認為是主觀的)。僅僅以量化來表示并不能保證其具有客觀性。

如果一種研究范式與一些研究方法沒有必然的聯系，那么還有沒有必要在兩種范式之間進行選擇呢?為何不同時選擇兩者，使之互補?這種觀點類似于Denzin提出的術語“三角測量法”，即為了避免單一渠道或單一方法的片面性，而采取多渠道、多方法收集信息。當然，同時采用兩種范式，既使用實證主義的方法又使用自然主義的方法，可能會費時費力。大多數研究者很難接受同時使用兩種不同的研究范式。正如Trend指出，“大多數研究者都不能夠自如地處理兩種類型的數據，而且也沒有關于糅合兩種數據的過程技術描述”。

反對將實證主義和自然主義方法結合使用，不僅僅是因為費時費力和“缺乏過程技術描述”。對一些研究者來說，兩種范式的哲學基礎的不同才是反對將實證主義和自然主義方法結合使用的根本原因。Smith和Heshusius指出，兩種方法的結合使用會混淆兩種范式的重要區別，從而導致方法定義的混亂，因為兩種范式不只是單方面地探討有關研究的程序和技巧等方法，而且還要討論關于驗證邏輯(logic of justifieation)的方法。驗證邏輯主要側重于判斷哪些因素應該作為研究的證據，而研究證據的確定是由較高水平的假設決定的，即本體論表明要了解什么，而認識論則確定如何去了解。盡管這些術語似乎具有濃厚的哲學色彩，但卻有利于我們進一步了解語言教學研究是如何受其影響的。

二、實證主義范式的效度本質觀

實證主義范式的證據觀來自于實證主義哲學。該范式的主要觀點是，人們所要了解的事物特性是獨立于人們的看法的，而且其真實性是可以被了解的。人們對自己的研究和評價，可以通過協調觀察或測量等手段來與獨立的現實世界之間建立有效的聯系?！霸谶@種情況下，對有效性的判斷，限定了方法和技術的選擇。實際上，為確?？陀^性等，從而強制使用了一定的程序。如不使用這樣的程序，就會被批評，被認為非理性和主觀性”。受此觀點影響，語言教學研究領域很長一段時間都是采用傳統的、定量數據實驗方法來進行研究。這類方法有兩種，真實的實驗和半實驗。在真實的實驗測評方法中，學生被隨機分為實驗組和控制組。通過對實驗組和控制組學業成就測試的比較，來判定課程與教學的有效性(也就是實驗組勝過控制組)。半實驗也可以比較實驗組和控制組學業成就，但有些因素并非隨機。也就是，學生與學校可能是自愿加入，也可能是由別人選定(如學校領導)，而不是完全的隨機取樣。非隨機取樣的問題是，能否僅從體系的不同中獲得實驗的結果?如果實施一段教學過后，再去比較兩組的成績，我們無法確定兩組的不同是實驗的結果還是根本與實驗無關。例如，成績好的學生也許會自愿參加實驗。他們比控制組的學生表現得好可能是他們自身的原因而并非實驗的因素。好在，相關的統計和設計程序考慮到了學生的先前差異。

實證主義的另一個重要觀念是因果關系。Cor-

drayt總結了這一關系的要求：“第一，原因x先于結果Y；第二，x的變化引起Y的變化；第三，除此以外的其他解釋均不可信。”他們認為，可以通過證偽的方法接近現實，這樣“至少可以讓我們知道還有哪些錯誤沒有被排除”。Campbell首次提出了教育實驗研究中的實驗有效性問題，并與Stanley將有效性分為內部有效性和外部有效性。內部有效性是指實驗中的自變量和因變量之間的因果關系的明確程度。外部有效性是指實驗結果能夠推廣到樣本的總體中和同類現象中的程度，即是實驗結果的代表性和適用性。后來，Cook和Campbell從內部有效性中分化出一部分命名為統計結論有效性，即統計方法適切性所引起的統計結論的有效程度，主要反應統計量與總體參數之間的關系；又從外部有效性中分化出一部分稱為構想有效性，指出變量之間關系構想的準確性以及實驗變量操作定義與推論時的定義一致性程度。他們還探討了影響有效性的因素，指出影響教育實驗研究內部有效性的因素有12種：(1)歷史；(2)成熟；(3)測試；(4)測試工具；(5)統計回歸；(6)差異性選擇；(7)實驗者流失；(8)選擇一成熟的相互影響；(9)實驗處理擴散；(10)控制組的補償性競爭；(11)處理的補償性均等；(12)控制組的不滿而士氣低落。

實證主義范式及其本質觀主要注重兩大方面：確定性和普遍性。內部效度主要關注確定性。在語言教學研究中，內部有效性主要研究教學的結果與教學任務之間的相關程度。而外部有效性主要關注普遍性，即主要研究教學結果的代表性和適用性。實際上，確定性與普遍性是一對相悖的概念。因此，一些語言教學研究家們對外部有效性提出了質疑。Cronbach對因果關系和有效性概念的描述已經超出了傳統的邏輯實證主義的范疇了：“有效性不僅僅依賴于對數據的收集和分析，同時它還需要有一套對結果的陳述和交流的方法。有效性與其說是客觀的，不如說是主觀的?！?/p>

三、自然主義范式的效度本質觀

Cronbach對有效性的描述，代表了一些自然主義范式研究者的證據觀。自然主義范式起源于19世紀后半期的現象學及對社會探究的解釋主義方法。通常，自然主義者信奉的現實世界不是客觀的，實事與價值是緊密相連的，以及“現象只能放到周圍環境中才能被真正地理解”。自然主義范式對實證主義研究的傳統權威提出了挑戰。自然主義研究追求一種自然發生的、變數的設計，與實證主義研究事先安排的或建構的設計相反。也就是說，研究設計在研究者的調查中會隨時出現，允許在調查實驗過程中改變信息收集方式和想法。同時，自然主義研究不希望控制條件和變量。重點放在觀察、描述、解釋和理解在真實世界而不是控制條件下事件是如何發生的。這種方法視被實驗的項目為一個不斷變化的動態過程，而不是靜止的、無變化的處理。自然主義實驗者收集數據主要是通過諸如深度訪談、參與式觀察以及日志等形式進行的。

一些更加激進的建構主義者和批判理論者則認為，不論是“效度”還是其他類似的概念都不適合自然主義范式的研究。這類概念以事物是獨立的、自足的客觀存在為前提，認為研究者可以識別并驗證其客觀真實性。而自然主義范式研究的一個重要理論前提是：“客體”不是一個固定不變的實體，它是一個與主體相互配合、適應、轉換和變化的另外一個“主體”。研究者對事物的理解不是簡單的主體對客體的認知，而是主體與主體在一定社會文化環境中的重新相互建構。這是一個復雜的運動過程，主體間的理解受制于各自所處的研究情境。

盡管自然主義范式對是否應該使用和如何使用“效度”這一概念有不同的意見，但是絕大部分研究者(尤其是后實證主義觀的研究者)仍舊沿用“效度”這一詞語來討論研究結果的真實性問題。然而，大家都同意，自然主義范式所使用的“效度”這一詞語不論是在概念定義、分類方法還是使用范疇上都和實證主義范式的研究很不一樣。前者使用的“效度”所指的“關系”，是研究結果和研究的其他部分(包括研究者、研究的問題、目的、對象、方法和情境)之間的一種“一致性”。當我們說某一研究結果是“真實可靠的”時候，我們不是將這一結果與某一個可以辨認的、外在的客觀存在相比較(事實上這一“存在”并不存在)，而是指對這個結果的“表述”是否“真實”地反映了在某一特定條件下某一研究人員為了達到某一特定目的而使用某一研究問題以及與其相適應的方法對某一事物進行研究這一活動(或過程)。

自然主義范式中對語言測試影響較大的是Max-well的效度觀。作為一個后實證主義者，Maxwell認為，自然主義范式的研究可以繼續使用“效度”這個詞語，但是其定義和分類必須采取與實證主義范式不同的研究思路。自然主義范式的研究者應該從自己從事研究的經驗出發，介紹自己在研究的過程中是如何思考、甄別和處理效度問題的。他強調考察在具體研究中通常會出現什么類型的效度問題(他稱之為“效度威脅”，即對研究的真實性可能形成威脅的因素)，然后反省自己是如何處理這些問題的。從研究者自己的角度來探討效度問題比站在這之外或之上評頭論足更具有可信度和說服力，因為這樣更加貼近研究的具體實踐。Maxwell將研究中的效度問題分成五種類型：(1)描述型；(2)解釋型；(3)理論型；(4)推論型；(5)評估型。對語言測試效度理論產生類似影響的還有Messick的效度觀和Henning對效度的定義。Messick認為，效度就是“對在測試分數基礎上所做出的推斷或所采取的行動是否充分地、適合地支持經驗證據和理論基礎這一問題的綜合評價性判斷”。此定義涉及到了效度理論層面的關系，即認為效度是一個整體的概念。Henning也提出，“效度一般指某個測試或其任何一個組成部分是否恰當地測量了預期測量的內容”。此定義實際上提出了效度與效度驗證的關系問題。

綜上所述，自然主義范式中的“效度”這一概念是用來評價研究報告與實際研究的相符程度，而不是像實證主義范式那樣對研究方法本身的評估。實證主義范式假設研究對象是一個客觀的實體，只要研究者遵循一定的方法和操作程序就可以保證獲得可靠的數據和研究結果。而自然主義范式認為，客觀的、固定不變的實體是不存在的，研究是一個主體間不斷互動的過程。因此，“效度不是一個商品。可以用方法買到……效度就好像是品質、性格和質量，只能在與一定的目的和環境的關系之中加以測查”?！靶Ф取辈豢赡馨凑漳撤N嚴格的、預定的程序被生產出來，只可能依賴研究中存在的各種關系因素。當我們說某一結果的效度比較“高”時，我們不僅僅指該研究使用的方法有效，而是指對該結果的表述再現了研究過程中的所有部分、方面、層次和環節之間的協調性、一致性和契合性。

四、效度研究中的一些爭議問題

對效度本質的不同認識和理解，必然會帶來實

踐研究中的不同觀點和方法。即使是相同的效度本質觀，在具體的研究中也會有一些爭議問題。下面對一些主要的爭議問題進行梳理。

(一)效度與信度

信度與效度是語言測試的兩大基本屬性，效度體現的是測試的真實性，而信度則體現了測試的一致性。效度研究側重探尋某測量工具在多大程度上反映所要測量對象的真正特征，而信度研究基本以相關分析為技術，以組間相關系數(interclass cot-relation coefficient)為基礎，研究測量結果的信度系數估計問題現代語言測試著重研究它們之間相互補充的關系。正如Bachman所指出，“很多有關信度與效度的論述強調兩者之間的區別，而不是他們的相同之處。但我認為，如果把兩者看成是同一個問題的兩個方面將能使人們更好地理解它們”。Davies認為，語言研究中的信度與效度就像形式(指信度)與內容(指效度)的關系。內容即意義所在；然而沒有形式，內容就會消失。同樣，效度給測試帶來了生命力，但作為一個整體，測試也需要信度。

現代語言測試研究中的另一個觀點是，把信度看作是效度的一部分”。即信度是效度的必要條件，但不是充分條件；一個有效度的考試一定有信度，而一個信度很高的考試不一定有效度。信度可以獨立存在，而效度與信度共存，即有效度就有信度。對統計學家來說，效度與信度有一種固定的關系，即一項測試的最大效度是其測試信度的平方根。同時，在有關解釋學方法對測試效度的討論中，有學者宣稱信度并不像傳統上所認為的那么重要了。

(二)效度的整體性與可分性

多年來，效度研究的焦點逐漸演變。最初，其焦點放在具體參照標準的預測上，正如Guilford的描述：“概括地說，一個測量總是需要相對于它所關聯的那個東西有效?！敝?，效度研究的焦點漸漸轉移到有限幾種效度類型上，即內容效度、效標關聯效度和構想效度。然而在使用這些不同標準和方式對語言測試的效度進行多方面的探索時，人們逐漸發現，盡管不同種類的證據的相對重要性因測試而異，但根據其中任何一種標準所得到的信息本身都不足以表明對測試的某種特定解釋或使用的效度，效度只有通過收集一切有關的信息并給以解釋才能證明。Cronbaeh強調，“三種效度證明的類型(即內容、效標關聯和構想效度)并不是可以任意選擇的，對于幾乎所有的測驗都應該結合這三種方式共同建立一種解釋，分開來任何一種都無法代表”。于是，專家們開始傾向于把不同類型的效度看成是包含在這個整體性效度概念中的不同的方面。

Messick提出的構想效度概念，是整體性效度理論中影響最大的一種，語言測試學界也對此倍加關注。Messick用漸進矩陣(progressive matrix)的概念表達了自己的效度思想，認為效度的概念還應該涵蓋測驗結果的詮釋與使用兩方面，應擴展到影響后果之層面，因此這個2X2的矩陣包含兩個維度：詮釋及使用為一個維度(interpretation and use)，證據基礎及后果基礎(evidential basis and consequential ba-sis)為另一個維度。二者交互后便形成四種情況，這四種情況就是效度應該涵蓋的層面。

與此同時，堅持效度可分性的理論也在不斷涌現。Maxwell將研究中的效度問題分成五種類型(見自然主義范式的效度本質觀)。Hammersley認為效度應該是多元的，而不是只有一種“效度”。他提出了“復雜的現實主義”的觀點，認為“知識”是一些具有合理效度的信念；知識是人的建構，具有豐富多樣的形態。所謂的“知識宣稱”必須建立在可信和可能的基礎之上，與研究者關于世界的假設具有一定的相容性。而研究者的假設是多元的，對于同一個現象往往有相互不矛盾的多種說明，因此其效度也應該是多樣的。因此，我們應該拋棄對唯一“效度”的堅持，承認效度的可分性、多樣性、豐富性和變化性。

(三)效度與效度驗證

效度與效度驗證的關系問題實際上就是理論觀念與實際操作的問題。有研究者將效度驗證歸納為對“效度威脅”的排除。在實證主義范式的研究中，研究者可以在研究設計中通過隨機抽樣和控制組等手段事先將所有的“威脅”全部排除。在語言測試中，與此相對應的是“基于論證的效度驗證法”(an argument－based approach)。這一方法基于效度驗證即論證(假設檢驗)的思想，認為效度驗證包括兩個步驟：首先，提出效度驗證觀點，包括兩方面的問題，試圖對測試分數做哪些解釋和使用?還有哪些與預期相反的解釋和使用?其次，收集有關證據支持所提議的解釋與使用，反駁相反的觀點。

而在自然主義范式的研究中，“效度威脅”不可能事先被識別并通過統一的技術手段而加以排除。這是因為自然主義范式的研究者認為，自己所研究的事物不是一個脫離主體而單獨存在的客觀實體，不能單方面地被認知或證實，只能被主體在與其互動的關系中重新構建。因此，其效度也只可能在這一過程中得到此時此地的、逐步的檢驗。由于自然主義范式的研究將“效度”看作是某一特定條件下的產物，其“效度威脅”也是具體、個別和動態的，因不同情況而有所不同。在語言測試中，相對應的效度驗證方法是基于證據(evidence－based approach)的效度驗證。這一方法進一步發展(而不是否定)了“基于論證的效度驗證法”，認為效度驗證即收集效度證據的過程。收集效度證據的方法主要有：(1)內容分析；(2)項目或任務的實驗分析；(3)維度分析；(4)測試分數與其他測試和行為的關系；(5)測試行為的差異；(6)測試后果。這種基于論證的效度驗證比較適用于各種測試的解釋和使用。同時，盡管解釋性論證不能對效度做出任何絕對性決定，但可以在整體上提高該分數解釋的合理性。

五、結語

應用語言學曾經一度鐘情于實證主義范式的最有可能的原因是，實證主義范式對要了解什么和如何去了解，給予了明確的相關方法和意義標準。使用確定的、規范的、客觀的、較少需要解釋的研究程序確實會引人注目。如果在研究中總帶有講故事似的、主觀的以及猜測的詞語或概念，會使讀者覺得較為隨意或不真實。然而，即使是最客觀的研究程序，如量化方法的構想效度研究，也可能需要主觀的解釋。而且，一些專用的統計模式，像Pearson積矩相關等，也會顯示出研究者的社會偏見。在承認了這些副作用的情況下，實證主義的研究方法確實有他的權威性和方便之處。

當然，自然主義研究也可以成為應用語言學的主要方法之一。如果現實世界不是客觀的，如果沒有確定的標準，那么我們的研究和評估就不能拒絕有意義的自然主義方法的可能性，就不能放棄探究理性的其他方法。Feyerabend曾提出，任何研究必

須允許智慧的自由，避免任何預先的、固定的方法的觀念和唯理性。

從研究程序和技巧角度將實證主義研究和自然主義研究結合起來是有可能的，但卻不可能融合他們各自的驗證邏輯。這兩種范式，對要了解什么和如何去了解的看法是完全不同的。Smith和Heshu-siustsj認為，自然主義(質性)研究者和實證主義(量化)研究者之間已經“停止了對話”，部分原因是由于一些研究者如LeCompte和Goet等為質性研究“創造了具有同樣的客觀性的方法，而且對量化研究也會適用”。從這一點來看，并不是兩種范式的相互適應，而是自然主義的技術和程序被實證主義范式所采納，但對所要了解的事物特性以及什么是證據的觀點卻各自為政。

范式對話，使得應用語言學家在進行效度研究時，不得不考慮一些重要的問題。研究者們如Gu—ba、Lincoln、Smith和Heshusius等的爭論，使我們清楚地了解到，在效度驗證方法中哪些應該成為證據，我們必須清楚研究的哲學基礎。為了嘗試實證主義和自然主義兩種范式的方法，我們需要清楚地知道哪些可以成為證據。從實證主義的角度，用自然主義方法來進行效度驗證就會有問題，因為自然主義分析的是沒有建立在預定的程序中的發現。同樣，從自然主義的角度，傳統的依賴量化數據和實驗設計也是不合適的，因為從隨機的試驗數據來匯報意義推論數據，本身就不能確定發現的效度。最后，如果我們打算混合應用實證主義和自然主義的方法，我們的結果肯定會被與其他的效度驗證(可能是完全的實證主義或完全的自然主義)進行比較，在應用語言學領域內建立自己的可接受性。

這種討論不是要解決實證主義研究者和自然主義研究者之間的爭論，也不是提倡結束這場范式的對話。在此，筆者建議要了解這樣的爭論，而不是盲目地將量化的和質性的數據和方法揉和起來，似乎兩種范式的哲學假設是相同的。盡管多數研究者也許會接受現實世界是依賴于感覺的以及“任何事物都是相對的”主張，但這一領域的文獻資料表明，直到最近，大多數效度理論研究包括效度驗證所追求的仍然是實證主義觀念中認為是有效的和可靠的效度理論。因此，我們在探討實證主義和自然主義研究方法以及應用于效度理論和效度驗證時，應該盡力弄清潛在的研究假設。也就是說，如果采用實證主義范式，則需要強調相關關系和因果關系，注重確定性和普遍性；如果采用自然主義范式，則需要強調研究結果和研究的其他部分之間的一致性，注重主體間不斷互動的活動和過程；或者混合實證主義和自然主義的方法，那么則需要在應用語言學領域內建立自己的可接受性，需要確立驗證證據有效性的標準和依據。