基于模擬測試的泰國高考漢語PAT7.4效度分析

陳善美 宋春陽

摘 要：本文基于大樣本的模擬測試并以真實的泰國漢語高考PAT7.4成績作為效標(biāo)，對泰國高考漢語PAT7.4的效度進行了研究。

關(guān)鍵詞：泰國漢語高考PAT7.4 信度 效度

一、引言

有關(guān)泰國高考漢語PAT7.4效度問題，已經(jīng)有若干研究成果。但由于歷年考生的答卷都是保密的，不能對測試的成績進行統(tǒng)計，所以前人研究結(jié)果基本都是基于試卷的內(nèi)容、題型、試卷結(jié)構(gòu)、時間或部分考生考試的感受及反饋的問卷，并結(jié)合某種測試?yán)碚摶蛘Z言教學(xué)理論對其效度做出推斷和提出改進建議，如：春麗娟（2012）、周國鵑和春麗娟（2013）、泰宗（2013）、萬惜春（2014）、李穎（2015）、楊凱（2016）等。這些論文由于缺乏大樣本的答卷統(tǒng)計數(shù)據(jù)的支持，顯得不夠客觀。為此，本文基于大規(guī)模模擬測試被試的成績統(tǒng)計，對泰國高考漢語PAT7.4的效度進行研究。

二、被試、試卷及測試的實施

（一）被試

本次泰國高考漢語PAT7.4的模擬考試一共有120人參加，考試模擬被試為泰國文科漢語班的高中三年級學(xué)生以及考過泰國漢語高考PAT7.4考試的大學(xué)生。參加模擬泰國漢語高考PAT7.4考試的學(xué)生分為三組，這三組學(xué)生分別來自泰國不同的地方：玫瑰園中學(xué)是在首都曼谷的學(xué)校、宋卡沃拉娜麗查棱學(xué)校是在宋卡南方的學(xué)校、考過泰國漢語高考PAT7.4考試的大學(xué)生是宋卡王子大學(xué)的學(xué)生。這些學(xué)生年齡一般在18～20歲之間。

（二）試卷

模擬試卷是根據(jù)課程教學(xué)大綱高中階段六個學(xué)期內(nèi)的知識能力的要求進行的模擬命題。泰國高考漢語的命題內(nèi)容和要求如下：

1.泰國高考漢語試題分為兩部分，一部分用簡體字，另一部分用繁體字，學(xué)生可以任意選擇其中一個部分。

2.所有的試題均是100道題目，分?jǐn)?shù)為300分，考試的時間是180分鐘，每道題的平均使用時間是1分鐘30秒。

3.泰國高考漢語試題的內(nèi)容所占比重：語法知識占40%，詞匯知識占40%，語音知識占5%，文字知識占5%，文化知識占10%。

4.泰國高考漢語試題只測試“閱讀能力”，沒有測試聽力能力、寫作能力、說話能力。

5.泰國高考漢語試題分為七個部分：正確選擇詞語的位置、詞語辨析、判斷正確、同義詞替換、閱讀理解、選詞填空、句子的排列。

總體來說，模擬測試的內(nèi)容與真題涉及的考查內(nèi)容一致，對學(xué)生的語音、語法、詞匯等語言知識和語言運用能力進行了綜合性的考察，同時也對學(xué)生關(guān)于中國文化歷史風(fēng)俗等的了解情況進行了測試，試題難易結(jié)合，由淺入深。

（三）測試的實施

本次測試分三次進行：第一次在宋卡沃拉娜麗查棱學(xué)校進行，宋卡位于泰國南部，是一個港口城市，沃拉娜麗查棱學(xué)校是宋卡王子大學(xué)孔子學(xué)院簽署合作教學(xué)點的三所學(xué)校之一；第二次在玫瑰園中學(xué)進行，玫瑰園中學(xué)坐落于曼谷的唐人街，該校建于一百二十七年前，已經(jīng)成立孔子學(xué)堂，這是泰國第三家正式的孔子學(xué)堂；第三次在宋卡王子大學(xué)，對象是參加泰國漢語高考PAT7.4考試的大學(xué)生。此次調(diào)查選取的三所學(xué)校都是具有濃厚的中華文化氛圍的學(xué)校。

在正式測試開始的前一周，我們會通知學(xué)生進行PAT 7.4模擬考試的日期，并且告訴學(xué)生可以就測試的項目有意識地進行必要的考前準(zhǔn)備，在指定的日期參加模擬考試。雖然已經(jīng)告訴學(xué)生這只是模擬考試，但有些學(xué)生在模擬考試過程中依然比較緊張，這說明了學(xué)生對模擬測試的重視程度很高。

三、PAT7.4模擬測試質(zhì)量分析

（一）試卷結(jié)構(gòu)效度分析

這次泰國高考漢語PAT7.4的模擬考試試卷分為八個部分：選擇詞語正確答案（判斷正誤）、選擇填空、同義詞替代、詞語辨析、完成對話、理解句子、閱讀理解、按要求選擇、句子排列。具體情況見表1。

表1：泰國高考漢語PAT7.4的模擬考試試卷題型及得分率

題型 題量 分值 總計 得分率

一、判斷詞語正誤 10 3 30 56.25%

二、選擇詞填空 10 3 30 57.08%

三、同義詞替代 10 3 30 59.25%

四、詞語辨析 27 3 81 45.49%

五、理解句子 8 3 24 55.83%

六、指定詞語完成對話 7 3 21 49.40%

七、按要求選擇 10 3 30 47.41%

八、句子排列 3 3 9 53.88%

九、閱讀理解 15 3 45 53.66%

合計 100 300 53.14%

從表1可以看出，本次泰國高考漢語PAT7.4的模擬考試試卷的題量總數(shù)為100題。其中讓考生從事先擬定的答案中辨認(rèn)出正確答案的客觀題為82題，包括第一部分選擇詞語正確答案、第二部分選詞填空、第三部分同義詞替代、第四部分詞語辨析、第七部分按要求選擇、第九部分閱讀理解，共計246分；考察考生理解能力的主觀題共18題，包括第五部分理解句子、第六部分完成對話、第八部分句子排列，共計54分。這次試題題量適中，主客觀題比例分布處于比較合理的范圍。

（二）考試總體成績分布

120名考生的考試成績中，最高分是279分，最低分是54分，平均分是151.6分。

表2：泰國高考漢語PAT7.4的模擬考試成績分?jǐn)?shù)段人數(shù)及比重統(tǒng)計

分?jǐn)?shù)段 0～30 31～60 61～90 91～120 121～150 151～180 181～210 211～240 241～270 271～300

人數(shù) 0 2 29 13 14 19 17 20 5 1

得分率 0% 1.6% 24.1% 10.8% 11.6% 15.8% 14.1% 16.6% 4.1% 0.8%

由表2可以看出，考生分?jǐn)?shù)基本上集中在30～180分，211～300分的人數(shù)明顯減少，150分以上的人數(shù)為62人，占整個考生人數(shù)的51.67%。本次泰國高考漢語PAT7.4的模擬考試考生平均成績?yōu)?51.6分，說明本次模擬考試考生的成績不太理想，大多數(shù)考生成績在61～90分，因而拉低了平均成績。

（三）試卷各題型的難度

難度（得分率）是測試質(zhì)量的一個重要指標(biāo)。本次試卷的五種題型的得分率從表1可以看出：本次泰國高考漢語PAT7.4的模擬考試各題型得分率很低，說明簡單題目較少，難題很多，該試卷偏難。從卷面分析和反饋看，學(xué)生的考試成績呈兩極分化狀態(tài)，其中失分最嚴(yán)重的是完成會話與改錯句等主觀寫作題，這說明學(xué)生漢語綜合運用能力較低，尤其是對漢語的語感與寫作還處在較低水平上。

（四）試卷的內(nèi)部信度分析

根據(jù)表3的相關(guān)數(shù)據(jù)，利用SPSS軟件，從語音、文字、詞匯、語法、文化、閱讀六個方面以及與總分之間的相關(guān)性進行數(shù)據(jù)分析，結(jié)果如下：

表3：試卷測試內(nèi)容相關(guān)性分析 Inter-Item Correlation Matrix

語音 文字 詞匯 語法 文化 閱讀 總分

語音 1.000 .348 .454 .485 .437 .489 .566

文字 .348 1.000 .441 .421 .389 .431 .504

詞匯 .454 .441 1.000 .860 .673 .798 .920

語法 .485 .421 .860 1.000 .704 .792 .928

文化 .437 .389 .673 .704 1.000 .871 .824

閱讀 .489 .431 .798 .792 .871 1.000 .945

總分 .566 .504 .920 .928 .824 .945 1.000

根據(jù)教育測量學(xué)家的研究，相關(guān)值介于0.71～0.99屬于高度相關(guān)，0.5～0.7屬于中度相關(guān)，0.3～0.49屬于低度相關(guān)，低于0.3說明相關(guān)性過低。通過相關(guān)性的分析，可以得出下列結(jié)論：

1.在本次泰國高考漢語PAT7.4的模擬考試中，閱讀和總分的相關(guān)性最高，達0.945。閱讀、詞匯、語法、文化與總分都呈高度相關(guān)。

2.語音、文字和總分相關(guān)性為0.566和0.504，屬于中度相關(guān)。

3.詞匯、語法、文化與閱讀的相關(guān)度分別為0.798、0.792和0.871，屬于高度相關(guān)。

4.語音、文字和閱讀的相關(guān)度分別為0.489和0.431，屬于低度相關(guān)。

（五）模擬成績與PAT7.4真實成績比較

120名考生的模擬考試成績與泰國高考漢語PAT7.4真實成績之間的相關(guān)性數(shù)據(jù)表如下：

表4：模擬考試成績與真實考試成績的相關(guān)性數(shù)據(jù)表

Paired Samples Statistics

Mean N Std. Deviation Std. Error Mean

Pair 1 模擬成績 151.6000 120 61.18074 5.58501

高考成績 120.9333 120 52.20028 4.76521

表4給出了泰國高考漢語PAT7.4模擬考試成績與泰國高考漢語PAT7.4真實成績的平均分（Mean）、參考數(shù)目（N）、標(biāo)準(zhǔn)差及標(biāo)準(zhǔn)誤差（Std.Deviation&Std.Error; Mean）這四項基本的描述統(tǒng)計指標(biāo)。

表5：模擬成績與PAT7.4真實成績相關(guān)檢驗

Paired Samples Correlations

N Correlation Sig.

Pair 1 模擬成績&高考成績 120 .948 .000

表5是泰國高考漢語PAT7.4模擬考試成績與泰國高考漢語PAT7.4真實成績相關(guān)檢驗表。該表顯示共有120對參考值，相關(guān)系數(shù)為0.948。

表6：Paired Samples Test

Paired Differences

95% Confidence Interval of the Difference

Lower Upper t df Sig.（2-tailed）

Pair 1 模擬成績—高考成績 27.00411 34.32923 16.579 119 .000

從表6可以看出標(biāo)準(zhǔn)差及95%的置信區(qū)間。配對成績T測試結(jié)果表明，t值為16.579，雙側(cè)顯著值為0.000。0.000小于0.05，顯示差異具有顯著意義，這說明泰國高考漢語PAT7.4模擬考試成績高的考生，其泰國高考漢語PAT7.4的真實成績也比較高。

四、結(jié)語

本次泰國高考漢語PAT7.4的模擬考試，盡管總體分?jǐn)?shù)與真實測試的總體分?jǐn)?shù)具有較大差異，但二者在平均分、標(biāo)準(zhǔn)差等指標(biāo)方面具有較高的相關(guān)性。這說明模擬測試具有較高的質(zhì)量，可以將其作為PAT7.4的一個樣本分析。從題型角度分析，各題型得分率比較接近，說明題型沒有對難度造成較大影響。從試卷各部分的內(nèi)容構(gòu)成看，漢語詞匯量、漢語語法、閱讀理解能力與文化知識這四個部分的內(nèi)容相關(guān)性也較高。這說明試卷各部分內(nèi)容內(nèi)部一致性信度較高，考察對象具有同質(zhì)性。例如第一大題中的選擇詞語正確答案，既有對學(xué)生漢語詞匯量的考察又有對其閱讀理解能力的考察，可以看出泰國高考漢語PAT7.4的模擬考試的首要目的是考查考生綜合運用漢語的能力。

綜上所述，就本次模擬測試成績統(tǒng)計而言，2015年的泰國高考漢語PAT7.4考試較好地考查了學(xué)生的漢語應(yīng)用能力。

參考文獻：

[1]春麗娟.泰國漢語高考PAT7.4調(diào)查[D].蘇州：蘇州大學(xué)碩士學(xué)位論文，2012.

[2]泰宗.泰國高考漢語研究[D].哈爾濱：黑龍江大學(xué)碩士學(xué)位論文，2013.

[3]周國鵑，春麗娟.泰國漢語高考PAT7.4分析調(diào)查[J]海外華文教育，2013，（1）.

[4]萬惜春.泰國高考漢語試題研究[D].天津：天津師范大學(xué)碩士學(xué)位論文，2014.

[5]李穎.泰國漢語高考PAT7.4試題分析研究[D].昆明：云南大學(xué)碩士學(xué)位論文，2015.

[6]楊凱.對泰國漢語高考試題PAT7.4的研究分析[D].西安：西安外國語大學(xué)碩士學(xué)位論文，2016.

[7]楊瑞和.語言研究應(yīng)用SPSS軟件實例大全[M].北京：中國社會科學(xué)出版社，2004.

[8]趙金銘.語言測試?yán)碚摷皾h語測試研究[M].北京：商務(wù)印書館，2006.

（陳善美（[泰]KANITHA JUTUNCHUN） 宋春陽 上海交通大學(xué)人文學(xué)院漢語國際教育中心 200030）