基于學生體驗的大學公選課學習質量評價工具的編制*

黃 娟 黃 磊 袁天光

?

基于學生體驗的大學公選課學習質量評價工具的編制*

黃 娟 黃 磊 袁天光

本研究探討大學公選課教學質量的測量工具及應用。在前期深入訪談的基礎上，以廣受好評的美國大學生體驗問卷、大學生參與度調查問卷、澳大利亞課程體驗問卷為參考，設計了基于學習體驗的大學公選課教學質量評價問卷。問卷包含學習過程體驗和學習結果體驗2個子問卷，通過探索性因子分析和驗證性因子分析對問卷的信度和效度進行了驗證。結果驗證了學習過程體驗問卷包含5個因素：良好教學、課程中的交流反饋、清晰的目標和標準、適當的難度和課業負擔、恰當的考核。學習結果體驗問卷包含2個因素：能力改變和收獲、課程總體感受。經過信度、效度的研究，問卷可作為普通高校大學公選課的質量評價工具，進行課程的評價。

大學公選課;課程體驗評價法;問卷編制;因子分析

一、 問題提出

1999年6月13日由中共中央辦公廳頒發的《中共中央國務院關于深化教育改革全面推進素質教育的決定》指出，高等教育要重視培養大學生的創新能力、實踐能力和創業精神，普遍提高大學生的人文素養和科學素質。20世紀90年代末起，在加強大學生素質教育、實施通識教育的推動下，公共選修課(以下簡稱“公選課”)開始成為我國大學課程體系中重要的組成部分[1]，國內高校都要求大學生選擇一定數量(6-16學時)的文理科公選課進行學習，且要求跨學科課程占一定比例。[2]這種以人文素質與科學素質教育為核心的基本課程和專業課程之外的課程，囊括了自然科學、文史哲、經濟管理、外語、心理、醫學及生命科學等眾多門類。

開設公選課的理念可歸納為三個要點:“興趣、思維方式和綜合素質”[3]，目的是要“促進學生發展”。即，優化學生的知識結構，改變傳統的思維方式，提高學生的綜合素質與能力。那么，作為占國內高校課程體系相當比重的公選課，能否達到上述目的，課程質量如何評價，確實需要認真研究探討。目前國內外學者就此已進行了有益的探索。

學生的學習行為(如學生在有意義的教學活動上投入的時間和精力，包括學生課堂內外時間的分配利用、課堂提問、與同學合作和討論、課外閱讀等行為)被證實與學習結果、學生發展積極相關。[4]被廣泛使用于美國高校學習質量測評的2個典型問卷即美國印第安納大學中學后研究與規劃中心設計的大學生經驗調查問卷(CSEQ)和美國大學生參與度調查(NSSE)，都關注學生在整個學校學習中的投入度或參與度，其調查結果就是促進大學生的發展。[5]CSEQ和NSSE主要指標包括：學生參與學習活動的程度、學生對學習目標收獲的估計、自主學習與協作學習、師生互動、支持性的學校學習環境(與不同背景的人交流、使用技術、見習等)、總體滿意度等。[6]美國大學教學質量評價表關注焦點的次序分布比率由高到低分別為：教學熱情、師生互動、學習/價值感、人際和諧。[7]可見，美國本科學習階段的教學質量評價工具中的問題非常具體，指向目標達成、能力提高、具體方法等方面，美國的問卷更傾向于“學生學習行為”的調查。

關于高校課程質量調查，澳大利亞的課程體驗問卷(CEQ)也是在高等教育評估中廣泛施行的一種調查問卷。[8][9]問卷面向所有完成課業的畢業生發放，目的是尋求學生對教學質量的反饋，常常以課程為調查對象。大多數澳洲大學通過此項問卷的內部調查，實現自我評估與不斷完善。課程體驗問卷CEQ包括五個維度：良好教學、清晰的目標與標準、適當的難度和課業負擔、恰當的考核、基本技能提高情況。澳大利亞課程體驗問卷中的前4項是針對教師的“教”，而“基本技能提高情況”則是針對“學習結果”的測量，著重考察“教”和“學”的關系。

國內高校關于促進學生學習發展的課程質量評價，主要代表是肖貽杰對清華大學、北京師范大學、湖南大學、天津職業技術學院等幾個高校的學生進行的調查研究。該研究的評價涉及到與學生發展息息相關的“學習行為”、“基本技能提高情況”等內容，具體指標包括教學內容、良好教學策略、學習方法指導、鼓勵交流、培養學生能力等。研究發現，學生得分低的項目主要表現在學習方法指導、問題解決能力提高、創新能力培養、學習方法指導、促進課程理解等方面，這些方面有待高校和教師的進一步重視。[10]

國內更多的關于高校公選課質量的評價，主要集中在大學生對課程及教學的滿意度調查，主要指標為教學管理、教學內容、教學方法、考試等方面的學習滿意度。研究結果表明：大學生對我國高校公選課的滿意度低[11][12][13][14]，具體表現在外部因素和內部因素兩方面。外部因素包括：(1)學校對選修課的監管不到位；(2)教師和學生對公選課的重要性認識不夠。內部因素包括:(1)教學內容一般或偏窄、不系統；(2)教學方法陳舊、單一，缺乏實踐和互動的情況[15]；(3)公選課的考試形式比較多的是論文，大量的選課學生抄襲情況嚴重，教師也難以反饋[16]。

從學生體驗方面來說，國內高校公選課整體滿意度不高。具體可以歸因于兩點：(1)我國高校教師普遍重視“教”，不重視“學”，重視“知識傳授”，不重視“能力培養”“方法指導”，也不重視學生“是否理解”。(2)我國的學生評教也僅僅注重評價教師的“教”，而不重視學生的“學”，不重視學生的“學習結果”，不重視“教”和“學”的關系，即“教”是否能促進“學”，缺乏關于學生學習行為方面的真實體驗和感受，以及這些學習行為和學習結果的關系，缺乏能否達到“提高學生的綜合素質與能力，促進學生發展”的教學目標的有效評估。

比較美國和我國高校的課程評價，發現國內關于大學課程質量評價的研究存在以下問題：(1)與培養目標相關的課程質量評價研究較少；(2)評價指標不全面，缺乏與學生發展有關的相關指標，如教學目標、學生學習行為、學習投入時間、教學互動情況、基本技能提高情況。

可見，我國高校公選課課程評估缺乏促進學生發展的相關策略和有效評價工具，缺乏通過質量評估促進學生發展，從而使得大學公選課目標達成的機制。比如說，“什么樣的教學”能帶來比較好的學習體驗，能達到培養綜合素質和能力的目標？我們需要更為清晰和具體的指標去測量課堂活動和學生體驗，進而了解“良好教學”和“學習效果”的關系。

作為以培養學生綜合素質和能力為目標的大學公選課來說，既需要反映教師“教”的依據，也需要反映學生“學”的指標，更需要能檢測學習結果的“能”的測量工具。尤其是需要能真實反映學生學習情況的評價工具去衡量，才能更好地監控教學質量，促進學生發展。因此，非常有必要借助國外較為先進的質量評價工具，設計適合國內學生的測量工具，調查學生的學習行為和學習結果，診斷課程和學習過程中的問題，進而為改善課程和促進學生發展提供依據。

此研究中，我們借鑒了澳大利亞的課程體驗問卷中良好教學和學習結果的部分，又借鑒了美國調查問卷中學生學習行為的部分，設計了基于學生學習體驗的大學公選課課程評價工具，用來檢測大學生公選課學習效果。

二、 研究方法與結果(基于學習體驗的大學公選課教學質量評估問卷的編制)

本研究包括兩個部分：第一部分是編制問卷題目、收集數據，對各問卷進行探索性因子分析，以確定正式研究的問卷項目；第二部分利用調查數據對問卷做驗證性因子分析，驗證問卷的理論結構。

結合我國大學以教為主的特征，筆者主要參考了澳大利亞的課程體驗問卷(CEQ)中關于教學、總體效果的部分，另筆者參考美國大學生經驗調查問卷(CSEQ)、參與度調查問卷(NSSE)中關于學生投入、學習行為參與等因素，結合筆者前期研究公選課的結論[17]，編制了基于學習體驗的大學公選課教學質量評估問卷，主要包括課程體驗問卷和課程效果問卷。課程體驗問卷主要包括以下維度：良好教學，課程中的交流反饋，清晰的目標和標準，適當的難度和課業負擔，恰當的考核。課程效果問卷的主要維度包括：學生的改變和收獲，課程總體感受。問卷共計56題，以“很符合、符合、中立、不符合、很不符合”5點作為選項。

問卷制定好之后，在2015年初學期結束的考試期間，筆者對所在高校各學院大二、大三學生進行了問卷調查，發放問卷750份，回收620份，有效問卷562份。

之后用excel中的隨機數函數將562人隨機分為兩組，其中探索性因子分析組280人，驗證性因子分析組282人(因數據缺失，實為281人)，驗證了問卷的適用性和合理性，檢驗了課程體驗問卷和課程效果問卷之間的關系。數據處理工具用的是SPSS20和lisrel8.70。

(一) 項目區分度

項目區分度是指測驗項目對被試所測量心理特征的區分能力或鑒別能力，是反映項目優劣的一個重要指標。 本研究采取臨界比率法(CR 值)進行項目分析，通過對總分進行高低排序后，進行高低分組，前 27%為高分組，后 27%為低分組，求兩組在每個項目上的顯著性差異系數t，即為CR值。CR值顯著則說明項目具有鑒別力。結果表明，所編制的56個項目中，所有項目均達到顯著性水平，項目具有較高鑒別力，可以進行下一步分析。

(二) 關于學習過程問卷的探索性因素分析

在因子分析過程中，采用主成分分析法，并以正交法(Varimax)進行因子旋轉，抽取特征值大于1的因子。通過第一次因子分析，刪除第19、30題，KMO值為0.918，抽取8個因子，累計解釋方差65.2%。KMO值越大，表明變量間共同因素越多，越適合因素分析。然后繼續做第二次分析，刪除第20、21題，KMO值為0.916，抽取7個因子，累計解釋方差63.7%。第三次分析，刪除第26、27題，KMO值為0.917，抽取7個因子，累計解釋方差65.1%。第四次分析，刪除第20、21題，KMO值為0.918；刪除第9、18題，抽取6個因子，累計解釋方差63.7%。第五次分析，刪除第20、21題，KMO值為0.912，抽取5個因子，累計解釋方差61.2%。將之前刪除的第26、27、19、20、21題依次單獨或組合加入，都會提取出6個因子，每個因子包含的題目含義難以解釋，而且因增加題目而增加的累計方差解釋比例并沒有明顯提高。因此，選取5個因子作為公共因子，各項目的因素負荷見表1。

表1 學習體驗過程問卷的因子負荷

采用Vmarimax法轉軸之后，第1-8題在第一個因子上負荷較高，因此命名為“良好教學”，內部一致性系數α=0.886；第10-17題在第二個因子上負荷較高，命名為“課程中的交流反饋”，內部一致性系數α=0.881；第22-25題在第三個因子上負荷較高，命名為“清晰的目標和標準”，內部一致性系數α=0.860；第28-30題在第四個因子上負荷較高，命名為“適當的難度和課業負擔”，內部一致性系數α=0.881；第32-37題在第五個因子上負荷較高，命名為“恰當的考核”，內部一致性系數α=0.772。

依據本次因子分析結果，確定最終的問卷結構見表2，整個問卷的內部一致性系數α=0.917。

表2 學習體驗過程問卷的題目

(三) 學習過程問卷的驗證性因素分析

根據前面探索性因子分析的結果，將學習過程問卷保留為29個題目、5維度的問卷。利用另一半數據進行驗證性因子分析。模型指標擬合程度如表3。

表3 學習體驗過程問卷的結構擬合指數

其中，x2/df是直接檢驗樣本協方差矩陣和估計協方差矩陣間的相似程度的統計量，它的理論期望值是1，x2/df約接近1，表示協方差矩陣和估計的協方差矩陣之間的相似程度越大，模型的擬合性越好。實際研究中，x2/df在2～5之間表示模型可以接受，若大于10表明整體模型非常差。NFI(Normed Fit Index)、IFI(Incremental Fit Index)、CFI(Comparative Fit Index)等指標的值均在0～1之間，也是越接近1越好。RMSEA(Root Mean Square Error of Approximation)受樣本容量影響較少，是比較理想的絕對擬合指數。它在0.05以下表示模型擬合得很好；在0.08或以下，模型的擬合仍是可以接受的；超過0.1則表明擬合不佳。根據上述數據，可以看到模型擬合良好，說明本問卷具有良好的結構效度。圖1為學習體驗問卷的驗證性因子分析結構圖。

圖1 學習體驗問卷的驗證性因子分析結構圖

(四) 學習結果問卷的因子分析

在因子分析過程中，采用主成分分析法。根據一個題目不能在2個及以上因子上有超過0.4的高負荷的原則，依次刪除t52，t39，t38，t41,t42,t50,t56。KMO=0.911，提取2個因子，累計解釋方差63.528%。因子分析結果如表4。

表4 學習結果問卷的因子負載

最終保留的題目如表5所示。

四季柚苗木定值后半個月即可長出嫩芽，意味著新根開始生長，此期開始追肥，以薄稀人糞尿（10%濃度）進行澆根，每15天澆一次，也可以用水溶性肥澆根。幼苗期，用10%碳銨、過鈣液（碳銨：過鈣液=1：1）澆根，幼苗生長快。當新稍長到20 cm左右時，注意摘心，促使新稍老熟，萌發二次梢。新芽長出后要及時噴施農藥，防治病蟲害。九月份之后不施肥，以防促長嫩梢，避免凍害。

表5 學習結果問卷的題目

所以問卷2可以抽取2個因子，分別是：維度1：40，43-50題，在第一個因子上負荷較高，命名為“課程總體感受”，內部一致性系數α=0.915；維度2：53-55題，在第二個因子上負荷較高，命名為“改變和收獲”，內部一致性系數α=0.818。整個問卷內部一致性系數α=0.911。

(五) 學習結果問卷的驗證性因子分析

表6 學習體驗結果問卷的結構擬合指數

Chi-Square=142.70，df=53，P-value=0.00000，RMSEA=0.078

模型x2dfx2/dfNFICFIIFIRMSEA142.70532.690.970.980.980.078

根據表6數據，可以看到模型擬合良好，說明本問卷具有良好的結構效度。

該問卷的結構模型為圖2所示。

圖2 學習結果問卷的驗證性因子分析結構圖

(六) 學習過程體驗問卷與學習結果體驗問卷的信度分析

根據驗證性因素分析的問卷結構，計算各維度的內部一致性信度。從表7可以看出，問卷的各維度的信度均很高，表明本問卷的心理測量指標非常好，可以用作評價工具使用。

表7 各因子的信度

三、 討論與建議

筆者所在的研究團隊利用質性研究的方法深入研究了“切塊拼接法”學習策略公選課中的應用情況，深入研究了大學生在公選課中的課程體驗。研究表明，切塊拼接法協作學習方式通過“任務分割”“角色互換”“認知學徒”“多種互動”等方式增加了學生的凝聚力和學習體驗，確保了公選課的出勤率、任務的參與度，加深了對相關知識的理解，提升了學生能力。[18]很顯然，通過質性研究能夠更好地了解學生的真實體驗。在此基礎上，為了再從量的角度去尋找和發現“良好教學”的指標和實現“綜合素質和能力培養”為主的學習效果的關系，因此，筆者提出了站在促進學生發展的角度去編制大學生公選課學習體驗評估問卷的課題，并進行了調查問卷的設計和研究。下面對上述研究結果進行討論。

本研究在前期質性研究的基礎上，借鑒基于學生體驗和學生發展的澳、美課程質量評價工具，設計了基于學習體驗的大學公選課教學質量評價問卷，包含學習過程體驗和學習結果體驗2個子問卷，并對問卷的信度和效度進行了驗證。依據數據分析結果，依次剔除刪掉第9、18、19、20、21、26、27、31、38、39、41、42、51、52、56等問題，剩41題，結果顯示問卷的信度和效度良好。

探索性因素分析結果基本驗證了學習過程體驗問卷最初設定的5個因素，即良好教學、課程中的交流反饋、清晰的目標和標準、適當的難度和課業負擔、恰當的考核；也驗證了學習結果體驗問卷包含的2個因素，即能力改變和收獲、課程價值總體感受。驗證性因子分析確認了學習體驗過程問卷和結果問卷的結構良好。

研究表明，本研究所設計的基于學習體驗的大學生公選課問卷，適合作為大學生公選課質量評價工具來使用，可進一步調查各類課程的質量評測。

(二) 關于檢驗過程中刪除一些調查題目的討論

在對“學習過程體驗問卷”的探索性因子分析過程中，課程中交流反饋的2個相關題目，即Q9“教師上課時會關注學生的狀況并隨時調整教學”、Q10“學生在課外獲得了教師的指導”被刪除，可能的原因是，教師對公選課的態度不是很積極，授課方式比較死板，以講授為主，課外基本上也不再對學生進行指導。

對于清晰的目標和標準方面的幾個問題，如Q19“課程目標主要是知識獲取”，Q20“課程目標主要是操作技能提供”，Q21“課程目標主要是綜合能力提升”，Q27“評價(測驗、作業等)反映課程目標”，Q31“考核內容對記憶力要求很高，教師似乎對我記住什么更感興趣”，從題目內容看，題目相關度不高，所以被刪除。可能的原因正如在訪談研究中學生所提及的，大部分公選課較為注重“知識傳遞”，以“技能培養”和“能力培養”為目標的課程很少，課程的考試和評價基本上是學期末的“小論文”，且考核也難以體現對學生“綜合水平”的要求。教師和學生對公選課的付出都相對較少，教師“對學生的期望”也較為含糊，可見在本校的公選課教學中，學生在“作業和反饋”“能力評價”“評價反映目標”這方面學習行為的體驗較少，課程較少注意到學生發展方面的培養。

適當的難度和課業負擔部分，Q26“作業的數量和性質適宜”，Q27“評價(測驗、作業等)反映課程目標”被刪除，從訪談中可以了解到，教師對公選課不是很重視，對作業的反饋時間和反饋質量，以及課外指導都很少涉及，因此學生在這方面的打分應該是比較含糊，沒有代表性，因此將這幾個題目刪除。但筆者認為這幾個項目非常重要，因為作業的數量和難度是學生投入學習的重要指標，在澳洲和美國的問卷中都是必要項目，但這幾個問題必須是在整個大學對學生作業反饋和指導方面的要求提高和實際教學質量提升之后，相關項目的調查才有意義。

學生能力改變和收獲方面，部分能力提升的相關題目被刪除。如：Q38“我的學習態度從被動變得主動了”， Q39“我的自主學習能力得到了提高”，Q41“我的溝通交流能力得到了提高”，Q42“我的自信心得到加強”，Q51“我的思維得到了發展”，Q52“我對公選課的認識有了改變”。分析其原因，這幾個題目是在筆者訪談研究的基礎上而設定的，筆者開展切塊拼接法實驗過程中，使用新方法進行課堂教學改革，因學習策略的有效，使得學生在談及學習效果時頻頻提到這幾方面的能力改變，而這些方面都是學生參與的重要指標，參與式、體驗式學習使得學生的能力得到發展。而在此次的調查中，大部分課程因不具備充分的體驗學習的機會，而使得問題不具代表性而被刪除。

對課程價值的總體感受，筆者認為很重要的題目Q56“我在本課程中的收獲很大”居然無法歸類，探索性因子分析56題是負載在因子2上的，但這個結果進行驗證性因子分析時擬合不好，RMSEA=0.102>0.08，多次更改要素，擬合都不好，RMSEA都比較高，大于0.08，最終決定刪除Q56。可能的原因是，“收獲”應是體現在上述的Q40-Q50的很多具體方面，因此這個總體感受方面的“收獲”就不必要了。

(三) 關于大學公選課問卷編制過程的思考

美國基于學生發展的策略工具NSSE主要包括“學校投入”、“學生學習行為”，尤其是“自身發展程度”幾個調查，其中與課堂教學有關的具體指標包括“創造性的學習”、“積極與合作學習的數量”、“師生互動的質量”等方面。反觀我們的調查結果，與師生互動、作業反饋、“能力提高”等挑戰性學習活動、師生投入較多的互動行為、高質量學習行為有關的一些問題竟然因數據結果不好而被剔除。部分原因可能是，我國高校公選課的設置和具體實施，很少基于學生能力發展方面去考慮。學校和教師在管理和制定關于公選課的教學目標、具體學習策略和學習評價等方面，要更多地站在學生發展的角度去設計和考慮。縱觀關于中國高校教學現狀的研究文獻，基于學生發展的教學及研究非常之少，這將是一個長期努力的過程。

另外，因本研究側重的是問卷編制，因此關注更多的是問題的信度、效度分析。通過更詳細的差異分析，可揭示更為深刻的關系。比如說，學生對不同課程的體驗狀況如何？體驗好的課程到底有哪些特質？還比如，不同學院的學生在公選課的體驗方面是否存在差異？這些我們將另一篇論文中詳述。

本文的研究局限性為：所調查的對象來自于同一所高校，因此大學生公選課體驗問卷的具體項目，是否大面積適合于其他高校，進而是否適用于專業課學習等其他課程，還需做進一步的研究驗證。

[1]靳娟,司楊.高校公共選修課建設與管理中存在的問題及對策2011——以北京郵電大學公共選修課為例[J].教育研究，2011(2):24-26.

[2]鄧責夢.高校公共選修課教學管理中存在的問題及對策[J].黑龍江教育(高教研究與評估)，2009(1-2):158-159.

[3]趙存生,關海庭,金頂兵. 通選課——素質教育的一項重要舉措[J]. 中國高等教育,2003(21):31-32.

[4]羅曉燕, 陳潔瑜.以學生學習為中心的高等教育質量評估[J].比較教育研究，2007(10).

[5]邵娟，大學生課程體驗調查工具在澳、英兩國的發展與改良[J].黑龍江教育(高教研究與評估), 2012(8).

[6]李奇.試析美國本科教育質量評估中的問卷調查[J]. 比較教育研究,2008(3):70-75.

[7]盧家婧. 基于內容分析法的中美大學教學質量評價比較研究[J]. 繼續教育研究,2008(5):87-89.

[8]李曉東,黃娟,焦璨.課程體驗問卷在中小學教師遠程繼續教育教學質量評估中的應用[J].遠程教育雜志,2013(6):103-109.

[9]邵娟.高等教育質量管理中學生參與評價的研究述評[J].中國高等教育評估,2008(4):50-52.

[10]肖貽杰. 大學教師有效教學研究[D].湖南大學,2003.

[11]吳錦程,傅清全,蘇慧玲.高校公共選修課質量管理問題探討——基于福建農林大學公選課教學的調查[J].福建農林大學學報(哲學社會科學版),2009,(4):76-80.

[12]熊匡漢.關于大學選修課質量及其影響因素的調查研究[J]高教探索，2006(6):51-54.

[13]黃漢芬.高校提高公共選修課教學質量的路徑選擇[J].廣西民族大學學報(哲學社會科學),2010(6):173-176.

[14]劉建勇,李依叡.高校公共選修課現狀調查及對策研究[J].煤炭經濟研究,2008(5):84-85.

[15]魏銀霞,凌惜勤.大學公共選修課程的調查與改革建議[J].桂林電子科技大學學報,2008(4)：79-382.

[16]魏寶剛,劉理.從公共選修課考試方式探析高校教學問題[J].中國高教研究,2006(5):79-80.

[17][18]黃娟,袁智斌,傅霖. 大學公選課中運用“切塊拼接法”改善學習效果的探索[J]. 高教探索,2014(2):113-118.

2016-07-15

黃娟，深圳大學師范學院教師，高級工程師；黃磊，華中師范大學信息技術系講師；袁天光，深圳市羅芳中學高級教師。(廣東深圳/518060)

*本文系教育部人文社會科學研究青年基金項目“基于大學公選課的混合式Jigsaw協作學習模式的構建與實踐研究”(項目號10YJC880050)的成果。