高校課程機(jī)考改革的信效度研究
——以會(huì)計(jì)電算化課程為例

（武漢工程大學(xué)管理學(xué)院湖北武漢430205）

近年來，隨著高校考試改革的推進(jìn)，傳統(tǒng)的筆試模式由于在考查學(xué)生應(yīng)用能力方面存在局限性，逐漸受到師生詬病。機(jī)考作為一種與時(shí)俱進(jìn)的考試模式在越來越多的高校中受到青睞，主要應(yīng)用于高校英語考試和部分專業(yè)課考試。這種考試形式以自動(dòng)組卷、自動(dòng)閱卷、無紙化為特征實(shí)現(xiàn)教考分離，在很大程度上保證了考試的公平有效，減少了舞弊行為，且節(jié)省人力物力，綠色環(huán)保。作為會(huì)計(jì)學(xué)科專業(yè)課程的會(huì)計(jì)電算化課程強(qiáng)調(diào)的是學(xué)生對(duì)財(cái)務(wù)軟件的應(yīng)用能力，對(duì)該課程的考試形式進(jìn)行改革已迫在眉睫。信度與效度是衡量一項(xiàng)考試最重要的指標(biāo)，對(duì)信度與效度進(jìn)行評(píng)估是推出機(jī)考這種新型考試形式首先需要關(guān)注的問題。

一、研究設(shè)計(jì)與結(jié)果分析

（一）被試對(duì)象。會(huì)計(jì)電算化機(jī)考的被試對(duì)象是高校會(huì)計(jì)專業(yè)學(xué)生。筆者采取整群抽樣的方法，集中抽取了武漢工程大學(xué)某級(jí)會(huì)計(jì)專業(yè)的學(xué)生共142人，其中男生21人，女生121人。由于會(huì)計(jì)專業(yè)女生居多，該測(cè)試及調(diào)查結(jié)果具有普遍性，能夠代表會(huì)計(jì)專業(yè)學(xué)生對(duì)會(huì)計(jì)電算化課程機(jī)考改革的認(rèn)知，故以下研究不對(duì)測(cè)試成績做性別差異檢驗(yàn)。

（二）數(shù)據(jù)收集。會(huì)計(jì)電算化機(jī)考試題采用的是用友教考平臺(tái)考試系統(tǒng)，該系統(tǒng)提供了10套測(cè)試題，本次機(jī)考選擇了其中與課程教學(xué)內(nèi)容及大綱相匹配的一套試題對(duì)被試對(duì)象進(jìn)行測(cè)試。試題由四部分構(gòu)成：（1）企業(yè)背景資料；（2）系統(tǒng)初始化；（3）業(yè)務(wù)處理與會(huì)計(jì)核算；（4）報(bào)表編制與財(cái)務(wù)指標(biāo)分析。其中第一部分企業(yè)背景資料是為測(cè)試提供基礎(chǔ)信息和指定業(yè)務(wù)處理具體規(guī)則，不作為研究內(nèi)容。測(cè)試結(jié)束后，通過問卷的形式調(diào)查了被試者對(duì)本次機(jī)考的感受與意見。

（三）數(shù)據(jù)結(jié)果與分析。

1.測(cè)試難易度分析。本文使用難度系數(shù)L表示難易度，計(jì)算公式為：

其中，X：所有測(cè)試者平均分，W：試卷總分（100分）。一般來說，計(jì)算結(jié)果L＞0.3說明試題略難，L＜0.2說明試題略易，0.2＜L＜0.3說明試題難度適中。根據(jù)所有被試對(duì)象的成績計(jì)算出的L為0.21，故本次機(jī)考測(cè)試難度適中。

2.測(cè)試區(qū)分度分析。區(qū)分度可以反映測(cè)試對(duì)不同受試者水平的鑒別程度，計(jì)算公式為：

其中，Xh：高分組平均得分，Xl：低分組平均得分。高分組是指把成績由高到低排序后，前面50%的那一部分；低分組是指后面50%的那一部分。一般來說，D＞0.25說明區(qū)分度較好，D＜0.2說明區(qū)分度較差，D在0.20—0.25之間說明區(qū)分度適中。根據(jù)所有被試對(duì)象的成績計(jì)算出的D為0.58，說明本次機(jī)考測(cè)試有著很高的區(qū)分度。

3.測(cè)試的效度分析。美國教育研究協(xié)會(huì)制定的“教育與心理測(cè)驗(yàn)標(biāo)準(zhǔn)”把效度區(qū)分為三種類型：內(nèi)容效度、結(jié)構(gòu)效度、校標(biāo)關(guān)聯(lián)效度。其中內(nèi)容效度主要適用于成績測(cè)驗(yàn)，該測(cè)驗(yàn)主要測(cè)量被試對(duì)象掌握會(huì)計(jì)電算化知識(shí)和技能的程度。通過對(duì)比本次機(jī)考的測(cè)試題目與課程內(nèi)容范圍發(fā)現(xiàn)，二者具有較高的吻合度，即上文所述考試系統(tǒng)的第2至第4部分測(cè)試完整覆蓋了課程教學(xué)大綱內(nèi)容，并能抓取重點(diǎn)經(jīng)濟(jì)業(yè)務(wù)處理和報(bào)表編制，說明本次機(jī)考測(cè)試具有可靠的內(nèi)容效度。筆者同時(shí)收集了上屆考生的筆試成績，計(jì)算得到二者的相關(guān)系數(shù)為0.802，即總體上，以筆試成績?yōu)樾?biāo)，本次機(jī)考的校標(biāo)關(guān)聯(lián)效度較好。

4.測(cè)試的信度分析。本文在肯定機(jī)考效度的同時(shí)，對(duì)機(jī)考信度也做了測(cè)算。筆者用再測(cè)法即用同一組被試對(duì)象對(duì)同一種測(cè)驗(yàn)前后兩次施測(cè)的測(cè)驗(yàn)得分的相關(guān)系數(shù)表示信度，測(cè)算得到的信度系數(shù)為0.83，即該機(jī)考結(jié)果具有較高的一致性、穩(wěn)定性和可靠性。

二、對(duì)參加機(jī)考學(xué)生的問卷調(diào)查與分析

測(cè)試結(jié)束后，筆者通過紙質(zhì)問卷的形式調(diào)查了被試對(duì)象對(duì)會(huì)計(jì)電算化課程采用不同考試形式的偏好以及其他相關(guān)方面的感受與意見。

（一）調(diào)查問卷。針對(duì)學(xué)生對(duì)機(jī)考形式的感受與建議，由會(huì)計(jì)專業(yè)本科學(xué)生采用不記名方式回答問卷。本次調(diào)查共發(fā)放問卷142份，收回問卷140份，剔除部分無效問卷，剩余有效問卷136份。部分調(diào)查內(nèi)容見下表：

關(guān)于會(huì)計(jì)電算化課程考試改革的調(diào)查問卷（部分）

（二）問卷分析。問卷第1項(xiàng)調(diào)查中，認(rèn)為機(jī)考形式合理的占比85%，說明大多數(shù)學(xué)生認(rèn)識(shí)到該課程實(shí)踐性較強(qiáng)，認(rèn)可這種考試形式改革；問卷第2項(xiàng)調(diào)查中，認(rèn)為機(jī)考可以減少作弊，提升成績公平度的比例最高，達(dá)到了90%以上，說明學(xué)生對(duì)機(jī)考公平度的認(rèn)知較統(tǒng)一；問卷第3項(xiàng)認(rèn)為機(jī)考測(cè)試的可信度很高和較高的比例合計(jì)為82%，表明學(xué)生對(duì)機(jī)考信度的滿意度較高，這與前文測(cè)算的信度系數(shù)高，機(jī)考結(jié)果具有較高的一致性、穩(wěn)定性和可靠性的結(jié)論相一致；問卷第4項(xiàng)對(duì)于機(jī)考效度的調(diào)查，回答很有效和比較有效的比例為80%，也驗(yàn)證了前文關(guān)于機(jī)考效度高的分析，說明該課程的機(jī)考效度是被學(xué)生所接納的。對(duì)于試題難易度的回答比較分散，該項(xiàng)調(diào)查感受主要取決于被試對(duì)象個(gè)人的學(xué)習(xí)能力和對(duì)知識(shí)的掌握程度。

三、目前高校推行機(jī)考存在的問題

（一）考務(wù)實(shí)施難度較大。機(jī)考形式對(duì)場(chǎng)地、機(jī)房硬件、軟件、網(wǎng)絡(luò)建設(shè)和維護(hù)都提出了較高要求。由于機(jī)房設(shè)備有限，而考生人數(shù)眾多，服務(wù)器端壓力較大，通常會(huì)出現(xiàn)試題下載速度緩慢、死機(jī)、試卷無法提交等各種問題。期末進(jìn)行集中大規(guī)模測(cè)試有一定難度，若各專業(yè)課程同時(shí)開展機(jī)考測(cè)試則更難實(shí)現(xiàn)。能否解決網(wǎng)絡(luò)擁堵問題，保證服務(wù)器的正常運(yùn)行，是機(jī)考能否順利開展的先決條件。

（二）題庫建設(shè)是瓶頸。目前各高校采用的機(jī)考軟件大多是外購商品化軟件，試題是隨軟件一同購買或贈(zèng)送的。因此這些試題已經(jīng)固化統(tǒng)一，不能完全適應(yīng)不同學(xué)校、不同層次、不同學(xué)時(shí)和不同教學(xué)計(jì)劃的考試需求，缺乏靈活性。

（三）自動(dòng)評(píng)分技術(shù)亟需完善。會(huì)計(jì)電算化機(jī)考軟件中的一個(gè)操作可對(duì)應(yīng)一個(gè)或者多個(gè)評(píng)分點(diǎn)，評(píng)分點(diǎn)是評(píng)分約定中的一個(gè)采分點(diǎn)。在一個(gè)評(píng)分點(diǎn)中可以有多個(gè)評(píng)判對(duì)象，只有多個(gè)評(píng)判對(duì)象都滿足預(yù)定義的結(jié)果時(shí)，該評(píng)分點(diǎn)才能得分。有時(shí)考生正確完成了經(jīng)濟(jì)業(yè)務(wù)處理，但操作過程或步驟與評(píng)分系統(tǒng)預(yù)設(shè)置的標(biāo)準(zhǔn)不完全一致，不是所有評(píng)判對(duì)象都滿足預(yù)定義結(jié)果，此時(shí)不能得分，這顯然不符合會(huì)計(jì)電算化機(jī)考的應(yīng)用初衷，也在一定程度上降低了測(cè)評(píng)的公正性。

四、結(jié)論與建議

本研究重點(diǎn)關(guān)注的是會(huì)計(jì)電算化課程機(jī)考的信度、效度、公平度等方面，研究結(jié)果表明：本次機(jī)考難度適中，區(qū)分度較高，具有較好的信度、內(nèi)容效度和校標(biāo)關(guān)聯(lián)效度。雖然這種考試形式改革有其先進(jìn)性和合理性，并且在近年來的考試形式改革中成為主流趨勢(shì)，但對(duì)存在的問題也不可忽視，本文建議如下：

（一）增強(qiáng)考試實(shí)施的靈活性，降低組織難度。高?？稍O(shè)置專門的考試改革項(xiàng)目，建立激勵(lì)機(jī)制并投入專項(xiàng)資金，定期更換硬件設(shè)備和更新軟件，并安排專人維護(hù)，以保障期中、期末的大規(guī)模集中測(cè)試需要；亦可采取更靈活的考試安排，即確定若干考試時(shí)間，由學(xué)生根據(jù)自身需要預(yù)約，如此可以對(duì)考試時(shí)間進(jìn)行分散，降低一次考試規(guī)模。

（二）實(shí)行試題差異化，完善自動(dòng)評(píng)分技術(shù)。目前市場(chǎng)上的機(jī)考軟件質(zhì)量良莠不齊，因此可由高校通過市場(chǎng)需求倒逼軟件開發(fā)商提高題庫質(zhì)量和靈活性，開發(fā)可由教師自主編輯、組題、確定分值的試題庫，通過計(jì)算機(jī)系統(tǒng)實(shí)現(xiàn)對(duì)試題的智能化組織，而不僅僅是提供一套套固化的“成品”試題。甚至可以由教師在服務(wù)器上通過組卷等操作控制使相鄰座位的考生試題差異化，杜絕舞弊以達(dá)到更高的公平性。具有這種題庫制作甚至是二次開發(fā)功能的軟件通常對(duì)使用者要求較高，可由軟件銷售方提供售后服務(wù)，對(duì)高校教師進(jìn)行培訓(xùn)，使教師掌握題庫制作和完善評(píng)分系統(tǒng)的方法，以適應(yīng)不同層次不同學(xué)時(shí)的考核要求。