機械法與印象法對翻譯測試評分信度的影響

徐麗娜

摘要：本文結(jié)論建立在一項測試性研究基礎(chǔ)之上，測試對象為德語系大三學(xué)生，本實驗對這些學(xué)生進(jìn)行漢譯德測試，在翻譯測試評分中對抽樣試卷分別使用機械法和印象法進(jìn)行評分，旨在測試不同評分方法對評分結(jié)果的影響。其結(jié)論為：對于篇章類翻譯來說印象評分法的信度相對較低，不同評分員之間評分差距較大；而機械評分法相對來說信度較高，不同評分員之間的評分差距相對較小。

關(guān)鍵詞：翻譯測試；信度；機械評分法；印象評分法

中圖分類號：G642.0 文獻(xiàn)標(biāo)志碼：A 文章編號：1674-9324（2016）28-0086-02

現(xiàn)今我國翻譯理論研究蓬勃發(fā)展，有關(guān)翻譯理論的文章和書籍浩瀚如煙，然而翻譯測試研究卻一路跛行，遠(yuǎn)遠(yuǎn)落后于翻譯理論研究的發(fā)展。目前我國對于翻譯測試研究較為深入，全面的當(dāng)屬廣東外語外貿(mào)大學(xué)高級翻譯學(xué)院的穆雷教授。針對國內(nèi)學(xué)術(shù)界對翻譯評估、翻譯評價、翻譯批評和翻譯測試這幾個概念不加區(qū)分、互相換用的情況，穆雷在總結(jié)了國外學(xué)者定義的基礎(chǔ)上結(jié)合教育測量學(xué)，并參閱英語辭典及現(xiàn)代漢語詞典等，對這幾個概念的關(guān)系進(jìn)行了梳理。她認(rèn)為翻譯測試是被測對象所掌握的翻譯知識、翻譯技巧和翻譯能力的測量，它是翻譯評估和翻譯評價的一個步驟或者說是一種手段，也屬于翻譯批評過程的一部分。我國高校外語專業(yè)絕大部分都開設(shè)了翻譯課，旨在培養(yǎng)學(xué)生的翻譯能力，讓他們熟練掌握翻譯知識和翻譯技巧。對學(xué)生進(jìn)行翻譯測試是檢驗翻譯課授課效果的重要手段之一，然而如何使測試更加客觀并且達(dá)到測試的目的，這是一個值得討論的問題。翻譯測試的一方面是對翻譯能力的測試。何為翻譯能力？翻譯能力的構(gòu)成要素是什么？這些概念到目前為止國內(nèi)外學(xué)者都未達(dá)成過共識。PACTE提出的翻譯能力模式是唯一一個建立在實證基礎(chǔ)研究上提出的多能力構(gòu)成要素。PACTE把翻譯能力分解成轉(zhuǎn)換能力、兩種語言中的交際能力、言外能力、專業(yè)操作能力、心理—生理能力和策劃能力。國內(nèi)的學(xué)者對于翻譯要素的構(gòu)成也各抒己見，然而無論如何對翻譯能力界定和劃分，這些能力都很難被量化，很難在翻譯測試中明確的體現(xiàn)出來。目前常用于教學(xué)翻譯測試的方法有機械法和印象法，機械法的基礎(chǔ)是翻譯質(zhì)量評估中的錯誤性質(zhì)分類，對每類錯誤按照它的嚴(yán)重性予以賦值，最后得出整體數(shù)值。印象法則是評分員直接給出一個分?jǐn)?shù)，但它一般有較為具體的評分量表作為依據(jù)。筆者將用這兩種方法分別對相同試卷進(jìn)行評分，通過比對實驗結(jié)果，考查不同方法對試卷評分結(jié)果的影響。

一、實驗對象

該測試的對象為筆者所在學(xué)校德語專業(yè)2012級學(xué)生（已修滿2個學(xué)期的翻譯課），即大四學(xué)生，入學(xué)均為德語語言零基礎(chǔ)，參加考試的考生共43名，考試內(nèi)容為有關(guān)家庭教育的一篇漢語短文，要求學(xué)生把其翻譯成德文，全文共732個字。試題的內(nèi)容符合本科教學(xué)大綱的要求，專業(yè)性不強。考試時長為1小時，滿分50分。學(xué)生可攜帶字典，本次調(diào)研選取完整答卷36份。

二、實驗內(nèi)容

實驗共有三名評分人員，甲、乙、丙均為經(jīng)驗豐富的翻譯教師。評分員將對全部抽樣試卷分別按照以下評分標(biāo)準(zhǔn)采用機械法和印象法進(jìn)行評分。

評卷教師甲、乙、丙根據(jù)以上評分標(biāo)準(zhǔn)首先采用機械法對試卷進(jìn)行評分，為了避免第一次的評卷結(jié)果干擾到第二次評卷結(jié)果，一個星期后評分教師再采用印象法對試卷進(jìn)行評分。兩次評分完成之后，項目組對評分結(jié)果進(jìn)行統(tǒng)計，記錄各位教師評分的最高分、最低分以及平均分。

三、結(jié)果分析

從以上數(shù)據(jù)中可以看出，甲、乙、丙采用機械法進(jìn)行評分時，最低分分別為33、34、33；最高分分別為42.5、42、43，平均分分別為37、38、38，分?jǐn)?shù)之間的差距并不大，且只有甲評出的最低分與乙和丙不是同一試卷，三人評出的最高分均為同一試卷。而甲、乙、丙采用印象法進(jìn)行評分時，最低分分別為31、33、37；最高分分別為44、43、45，平均分分別為39、36、41，分?jǐn)?shù)之間的差距相對較大，且三人評出的最高分與最低分均非同一試卷。這種結(jié)果并非在意料之外，因為機械法相對客觀，有明確的扣分依據(jù)，因此三位閱卷教師評出的分?jǐn)?shù)差距較小。而印象法偏向主觀，因此不同評分員對評分標(biāo)準(zhǔn)的理解有所不同，且沒有明確的采分點或扣分依據(jù)，所以三位閱卷教師得出的最終分?jǐn)?shù)就會差距較大。筆者認(rèn)為，對于篇章類的翻譯來說，采用更加客觀的機械評分法較好，這種評分方法更加嚴(yán)謹(jǐn)和細(xì)致，評分教師更容易找到評分依據(jù)，主觀影響因素小，尤其在多個教師評卷的情況下，這樣的評分方法偏差更小，但這種評分方法也有其弊端，即對文章的整體沒有把握，篇章是否連貫依據(jù)以及語言是否優(yōu)美未被放在考察點之內(nèi)。而對于較短的文章以及分值較小的測試題，印象法較為適合，同時印象法評分也可以結(jié)合分項評分的方法，進(jìn)一步細(xì)化評分規(guī)則，這樣的評分結(jié)果就會更加客觀。另外，在一個教師對全部試卷進(jìn)行評分的情況下，印象評分法的測試效度會相對提高。

四、測試對學(xué)生的反撥作用

部分從事翻譯培訓(xùn)的教師并未意識到，翻譯評估標(biāo)準(zhǔn)具有多樣性。他們中的一些人在評估翻譯質(zhì)量時，往往不假思索，甚至于不參考評分標(biāo)準(zhǔn)，以他們的權(quán)威來替代對于翻譯情境復(fù)雜性的思考。這就導(dǎo)致了比較嚴(yán)重的結(jié)果：學(xué)生認(rèn)為對于其成績的評估具有很大的主觀性和專斷性，因此學(xué)生用大部分時間來努力適應(yīng)這樣具有專斷性的標(biāo)準(zhǔn)，然而由于這些標(biāo)準(zhǔn)不存在系統(tǒng)化的聯(lián)系，事實證明學(xué)生們的這種嘗試很難達(dá)到預(yù)期的效果，因此在翻譯教學(xué)中，學(xué)生較難建立起為以后在真正的實踐中取得成功所需的自信。

翻譯能力的培養(yǎng)并非一蹴而就的事情，翻譯測試對學(xué)生翻譯能力的培養(yǎng)有一定的反撥作用，但并非決定性因素，培養(yǎng)學(xué)生的翻譯能力教師還需在課堂中多注重對學(xué)生語言能力的培養(yǎng)以及翻譯技巧的傳授。

在翻譯測試的過程中無論是采用機械法還是印象法都有其利弊，教師應(yīng)該結(jié)合具體情況來選擇評分方法，也可采用將兩種評分方法結(jié)合在一起的方式，盡可能提高測試的信度，讓測試結(jié)果更有說服力，更加能真實的反映學(xué)生的翻譯能力和教師的教學(xué)效果。

參考文獻(xiàn)：

[1]穆雷.建設(shè)完整的翻譯教學(xué)體系[M].上海外語教育出版社，2009.

[2]王京平.德語翻譯教學(xué)新理念——翻譯課程的設(shè)計與實施[M].北京：外國教育與研究出版社，2005.

[3]鄒申.語言測試[M].上海外語教育出版社，2005.

[4]李家春.翻譯測試中的能力界定與信度效度評估[J].西安外國語大學(xué)學(xué)報，2013，（6）.