穆蘭蘭,魏 紅
(北京師范大學 高等教育研究所,北京 100875)
由精英教育到大眾化教育,高等教育的質量保障從重視學院特征指標轉向強調學生學習結果的證據[1]。以美國為參照,20世紀80年代之后,只重輸入和資源的高等教育質量評估標準受到外界的質疑,學生的學習結果成為新的評估標準關注的重點[2]。“學生學習結果是學生在一段高等教育體驗之后獲得的知識、技能和能力”[3]。對學習結果的直接測量不易取得,因此學生的學業成績、自我評價、滿意度、畢業率以及畢業后的發展情況都可以作為評價一所大學教學質量的參考標準[4]。
從現有使用范圍較廣的問卷內容看(如美國的全國大學生參與度調查及其前身大學生就讀經驗問卷,加州大學洛杉磯分校的合作院校研究項目問卷調查等),自我報告的學習結果和滿意度量表是這類問卷的主要組成部分。隨著高等教育個體成本投入的增加,讓學生(作為教育的“產品”)在各方面得到完滿的發展與讓學生(作為教育的“顧客”)滿意,越來越成為高校和社會關心的熱點問題。從測量方法的角度看,學生自我報告的學習結果和滿意度均屬心理層面的數據證據[5]。
20世紀80年代,關于學生學習結果和滿意度關系的研究就已出現。1982年,艾特肯(Aitken)通過平均成績、課程滿意度、專業滿意度等作為自變量對學業滿意度進行回歸分析,發現學生自我報告的平均成績是預測學業滿意度的最重要變量。此外,他還考察了住宿滿意度、學業滿意度對第二年退學決定的影響。其結果表明,學業滿意度和住宿滿意度都對退學有顯著影響,但后者的影響較大[6]。而不久之后,比恩(Bean)和布拉德利(Bradley)認為學生個體對學生身份的滿意度是高等教育的“心理產出”。他們將學生身份滿意度和學業成績分別作為因變量進行考察。結果顯示,學生身份滿意度對平均成績的影響強于平均成績對滿意度的影響[7]。諾克斯(Knox)、琳賽(Lindsay)和科爾布(Kolb)分析了滿意度與學院特征、學生就讀經驗、平均成績等之間的關系,發現學業成績與學業滿意度之間呈顯著正相關,與社交生活、娛樂活動、學校聲譽的滿意度之間的關系不顯著。他們認為,學習成績高的學生會覺得課程有趣,進而學業滿意度水平也高。同時研究者也指出,這種滿意度和學習成績之間的因果關系是不明確的,也有可能是學生專注于學習過程的積極方面產生了較好的學習成績[8]。與以往研究相比,派克(Pike)在研究變量、方法和設計上均取得了較大突破,他運用結構方程模型,引入了桑代克的光暈效應(halo effect)理論,通過分析學生自我報告的學習結果和滿意度實質相關模型和光暈效應模型來研究兩者之間的關系。結果表明光暈效應模型對數據擬合更好,但他并不認為光暈效應模型可以取代相關關系模型[9]。阿斯廷(Astin)也認為滿意度不從屬于其他教育結果,而且,他認為相比其他教育結果,學生對學校的滿意度更依賴于院校特征和學生融入校園環境的程度[5]。托馬斯(Thomas)和加蘭博斯(Galambos)通過回歸分析發現學生自我報告的智力發展與學生對教育質量的滿意度之間顯著相關,與對學校的整體滿意度和是否愿意再次選擇這所學校之間沒有顯著關系[10]。他們通過決策分析樹分析發現,學生的滿意度和學習結果的數據可以將學生分為三類:第一類學生占學生總數的20%,他們學習成績好,對學校也非常滿意;第二類學生對學校比較滿意,成績中等,這類學生占40%;另有40%的學生的成績和滿意度都較低,但這并不能回答滿意度和學習結果之間的因果關系問題。
那么,我國大學生自我評價的“完滿的發展”與對高校教育教學質量和教學環境的“滿意度”之間存在怎樣關系呢?當前,我國學者多是分別對學生學習結果和學生滿意度進行研究。從已有文獻掌握的情況看,國內學者對大學生滿意度和學習結果關系的探討僅見于翟洪江和孫立群所做的“高校畢業生滿意度調查實證研究”。他們以學生評價的總體滿意度為因變量,以教師評價均值、課程評價均值、德育工作評價均值、圖書館評價均值、硬件設施評價均值、校園文化評價均值、后勤服務評價均值以及自我評價均值為自變量進行一元線性回歸,自我評價的回歸系數不顯著。他們認為“學生并沒有將個人的成長作為考察學校滿意度的一個方面,而是更希望成為一名顧客,得到更好的服務”[11],因此其“自我評價”主要是學生對在校獲得的知識和能力的滿意度的測量,而非對學生學習結果的測量。
結合國外學者的研究成果和我國高等教育的實際,探討學生的學習結果與滿意度的關系將對高校教學管理工作更好地為教學和社會服務提供有力依據,也將為我國高等教育質量評估提供證據基礎。為此,本文將以“滿意度”和“學生自我報告學習結果”為研究對象,依據在某研究型大學進行的本科畢業生調查所得數據,探討我國高校學生滿意度和自我報告學習結果的關系。
研究表明,師生互動和同伴互動對學習結果的影響只有到大三、大四才會比較明顯[12]。尤厄爾(Ewell)認為,應當在所有結果和有關的事件發生之后對學生進行問卷調查,這樣學生比較容易全面回憶他們的感受、態度、一些決定的緣由等,因此他建議畢業生調查應當在畢業之前2-4個星期進行[13]。為了充分了解高校學生對學校的總體滿意情況,本研究選擇畢業生為調查對象以考察學生滿意度和學生學習結果的關系。本研究于學生畢業前三周(2012年6月12日至6月16日)對北京師范大學的2012屆本科畢業生進行了問卷調查。
研究所用問卷的學習結果部分改編自美國ACT公司的“大學成果調查”(College Outcome Survey)。在試測之后,刪除了不符合中國高校實際的3道題目,并加入了1道問題調查學生的“外語發展”情況。學生自我報告學習結果量表包括兩個部分:認知學習結果和非認知學習結果。其中認知學習結果分為6個維度,由28道題目測量;非認知學習結果分為5個維度,由32道題目測量。滿意度量表改編自《北京大學畢業生調查》[14]。量表分為2個維度,包括12道問題,分別測量學生對教學水平和教學環境的滿意程度。所有題項均為五點量表,并對原問卷中的賦值略加調整①,以期選項中的數字能夠起到更好提示被試的作用。預測階段,認知學習結果、非認知學習結果、滿意度三個分量表的內部一致性α系數分別為:0.89,0.93,0.87。在進行調整后,正式調查數據得出的三個部分的內部一致性α系數為:0.92,0.96,0.92,表明問卷各部分信度良好,調查所得結果穩定、一致。
鑒于大四學生畢業前流動性強、聯絡不便的實際,本研究未采用嚴格的抽樣方法,而是在獲得大四學生住宿宿舍分布情況的數據后,選擇每天的21∶00-23∶00到每個宿舍進行發放,除個別宿舍外,95%以上的宿舍都有問卷回收。獲得問卷較為理想,涵蓋了學校現有的全部院系所。北京師范大學2012屆畢業生總數為2186人,我們共發放問卷410份,回收問卷352份,其中有效問卷322份,有效問卷占發放問卷的78.54%,其中男生占有效樣本的比例為35.09%。
采用SPSS1 6.0 和Mplus 6.12 軟件對數據進行統計處理和分析。
統計分析的過程:首先運用Mplus 6.12分析滿意度和學習結果的測量模型,獲得量表的構念效度和概念關系。由于所有題項均為5點量表,故觀察變量被視作順序分類數據,并采用WLSMV方法進行分析[15]。然后,在高階因子模型的基礎上,運用Mplus 6.12分析滿意度兩個一階因子“教學水平滿意度”、“教學環境滿意度”和學習結果高階因子“認知學習結果”和“非認知學習結果”的相互作用。最后,使用SPSS16.0進行方差分析,比較不同滿意度水平畢業生在學習結果各方面的差異情況。
結合相關研究,構建學習結果和滿意度的測量模型:認知學習結果、非認知學習結果、滿意度三個分量表共13個一階因子,認知學習結果分量表的6個一階因子分別為“言語表達能力”、“數理能力”、“認知策略”、“實踐能力”、“職業發展”、“現代文明通識”;非認知學習結果分量表的5個一階因子分別為“自我認識”、“情感態度與價值觀”、“成就動機”、“公民品格”、“人際交往”;滿意度分量表的2個一階因子為“教學水平滿意度”、“教學環境滿意度”。除“數理能力”外,每個因子均有超過3道題項測量。數據分析結果顯示,模型擬合良好。模型的擬合指標:χ2=3656.58,df=2406,p<0.001;CFI=0.95,TLI=0.94;RMSEA=0.04,RMSEA90%置信區間為〔0.038,0.043〕,RMSEA<0.05的概率為1.00。除個別題項外,多數題項在一階因子上的標準化負荷均在0.70左右,即因子可以解釋題項50%以上的方差變異。一般認為,當標準化負荷系數的絕對值達到0.30以上,即可認為此觀察變量的效度是可接受的[16],因而三個分量表構念效度甚為理想。
如表1所示,學習結果的一階因子之間表現出中高度相關,因此可以使用高階因子簡化模型。將學習結果11個一階因子簡化,再通過高階因子的相互關系分析學習結果和滿意度之間的相關情況。

表1 學習結果的測量模型:一階因子相關系數矩陣
使用高階因子對測量模型進行簡化后,模型中共有兩個高階因子,分別是“認知學習結果”、“非認知學習結果”。運用Mplus 6.12對高階驗證性因子模型進行分析,模型的擬合指標:χ2=3850.98,df=2467,p<0.001;CFI=0.94,TLI=0.94;RMSEA=0.04,RMSEA90%置信區間為〔0.039,0.044〕,RMSEA<0.05的概率為1.000。依據海爾(Hair)、布萊克(Black)、巴賓(Babin)和安德森(Anderson)的標準,在樣本量大于250,觀察變量超過30的研究情境下,卡方擬合優度一般為顯著;CFI>0.90,RMSEA<0.07即可認為模型擬合良好[17]。因此兩個分量表可以較好測量抽象的學習結果。從圖1看,除“數理能力”和“言語表達能力”外,其余因子在二階因子上的負荷均超過0.70。“數理能力”的標準化因子負荷為0.306,也達到了0.30的基本要求。一階因子在二階因子上的負荷反映了一階因子之間的共同度,負荷越高,說明因子之間的共同度越高。結果表明,使用高階因子簡化模型合理,高階因子之間的相關系數顯著。“認知學習結果”與“非認知學習結果”表現出強相關(0.918),“教學水平滿意度”、“教學環境滿意度”與“認知學習結果”、“非認知學習結果”之間也表現出中等程度的相關水平,且“教學水平滿意度”與“認知學習結果”、“非認知學習結果”的相關程度均高于“教學環境滿意度”與兩者的相關度。對學習結果與滿意度的高階測量模型分析發現,認知、非認知學習結果存在強相關。認知、非認知學習結果與教學水平滿意度的相關程度均大于其與教學環境滿意度的相關程度。
以上分析發現滿意度與學生的認知和非認知學習結果具有顯著相關關系。下面通過方差分析考察在學習結果這個一階因子上,滿意度的兩個具體方面與學生自我報告的學習結果的諸方面的相關性。首先計算滿意度分數(滿意度量表題項分數的總和除以題項數)。根據托馬斯(Thomas)和加蘭博斯(Galambos)的研究結論,按20%∶40%∶40%的比例分別將教學水平滿意度和教學環境滿意度題項平均分的區間[-2.00,2.00]分為高、中、低三組,高滿意度組為[1.25,2.0],中滿意度組[0.50,1.25],低滿意度組[-2.00,0.50]。為統一量綱,同樣以平均每題得分(該維度各題項分數總和除以該維度題項總數)表示學生自我報告學習結果的進步程度。方差分析結果如表2、表3所示。整體來看,在學習結果的大部分方面,高滿意度組的均值最高,中滿意度組次之,低滿意度最低。按教學水平滿意度分組,在學習結果全部11個方面,三組學生均存在顯著差異(p<0.05)。但按教學環境滿意度分組,不同滿意度水平的學生自我報告的“實踐能力”和“自我認識”并不存在顯著差異;在“自我認識”和“情感態度和價值觀”方面,教學環境的中滿意度組學習結果的平均值略低于低滿意度組。


?

?
分析結果顯示在學習結果的大多數方面,各組方差齊性,因此可采用圖基(Tukey)的可靠顯著差異法進行多重比較,檢驗結果如表4所示。按教學水平滿意度進行分組,總的來看,低滿意度組與中滿意度組的差異不顯著,但均與高滿意度組的差異顯著。按教學環境滿意度進行分組,與按教學水平滿意度分組的情況不同,在“言語表達能力”、“認知策略”、“實踐能力”、“自我認知”四個方面,高、中滿意度的差異并不顯著,但在“數理能力”、“現代文明通識”、“成就動機”、“公民品格”方面,高、中、低三組間均有顯著差異。

表4 學習結果均值的多重比較
本文使用高階結構方程模型分析了學生自我報告的學習結果和滿意度之間的關系。結果表明,模型擬合良好,改編問卷的信效度理想,可以很好地測量“學習結果”和“滿意度”的關系。學習結果和滿意度存在較高程度的相關,且認知、非認知學習結果與教學水平滿意度的相關均高于其與教學環境滿意度的相關。這一結果支持了我國的新一輪高等教育質量評估從重輸入轉變為重輸出,從重硬件(教學設施)轉變為重軟件(師資與教學)的評估導向。一所學校的教學水平對學生的發展意義重大,它不僅影響學生知識與能力的發展,也影響學生整個大學時期的學習體驗,進而影響其情感與價值觀的發展。教學水平滿意度主要反映了教師的教學以及教師與學生的非正式互動。因此,教師是促進學生發展的關鍵。在我國高等教育快速發展,生師比快速膨脹的背景下,高校管理者更應把教學放在各項工作的首位,通過設計新的課堂模式,發展年輕教師隊伍,控制班級過大的情況,促進教師與學生的有效交流。同時,在教學管理中發揮學生的積極作用,除傳統的期末學生評價教師教學的途徑外,學生團體還應有其他更暢通、更快捷的渠道表達對教學管理的意見和建議。由于本研究采用的問卷調查法不符合霍蘭德(Holland)提出的因果推論的多條標準[18],因而不能說明學習結果與滿意度之間的因果關系。但在學校、學院和課程層面,滿意、獲得知識和技能、參與有意義的教育活動都是“大學生學業成功”的重要組成部分[19],都值得教育管理者和研究者給予同等的關注。
對滿意度和學習結果的進一步分析發現,不同滿意度的畢業生自我報告的學習結果存在差異。總的來說學習結果的各方面,高滿意度組的均值最高,中滿意度組次之,低滿意度最低,這個結果與托馬斯(Thomas)和加蘭博斯(Galambos)的研究結論一致。此外,本文考察了滿意度的兩個方面——教學水平滿意度和教學環境滿意度——對認知學習結果和非認知學習結果的不同影響。分別按教學水平滿意度和教學環境滿意度進行分組,不同滿意度水平學生自我報告學習結果的差異有所不同。此結果與派克(Pike)的研究發現一致,盡管有共同因素影響學生自我評價與滿意度,但學生在對教學水平、教學環境和自我評價方面均有區分。對學校的教育和各方面的服務滿意會促進學生個體在知識技能方面的學習,一旦達到平均的滿意度水平,更高的滿意度在認知學習方面的促進作用就不明顯了。但在大學教育時期,在通識教育、成就動機的培養等方面,學生的發展和自我評價與對教學環境的滿意度的關系更緊密。因此,提高教學質量、創造良好的教學環境是高校永遠不能停步的工作。學生對學校滿意程度的提高不僅有益于知識技能的學習,也有益于身心的發展。對低滿意度的學生,學校應該盡可能發現原因,創造條件幫助學生個體提高校園生活的滿意度,防止對學習效果的負面影響。
綜上所述,中西方高校學生在自我報告的學習結果和滿意度的關系上具有一致性。學生滿意度調查是反映高等教育質量的重要手段。從工業產品市場研究的經驗看,在壟斷市場中,顧客滿意度往往偏低[20]。盡管高等教育毛入學率在持續增長,但對名牌高校來說,高校與學生的選擇關系依然比照壟斷市場[21],高校對學生反饋的重視程度依然不足。在具體實踐中,高校還需要探索如何將學生滿意度與教育管理有機結合,而非泛泛的調查與報告。高校管理者要防止濫用滿意度調查造成學生對管理的不信任。我國的高等教育質量管理將不再缺乏數據,但亟須對數據的深入挖掘和謹慎分析,更進一步而言,是對質量改進提供有力且合理的依據。學習和借鑒西方的管理經驗有助于快速提高我國高等教育質量評估體系,但也要注意不要步西方后塵,陷入數據的大海之中而忘記了數據服務于質量提高的初衷。
本研究還存在諸多不足。首先,選取個案學校進行調查,研究結果僅能反映此類研究型大學的情況,研究結果的外在效度有限。其次在滿意度量表方面,缺乏對整體滿意度的測量,也是本次調查的重大遺憾。
注釋
①其中學習結果部分:進步很大=3,有些進步=2,進步較小=1,沒有進步=0,有所下降=-1;滿意度部分:非常滿意=2,滿意=1,一般=0,不滿意=-1,非常不滿意=-2。
[1]魏紅,鐘秉林.重視學生學習效果 改善教育評估效能——國際高等教育評估發展新趨勢及其啟示 [J].中國高教研究,2009(10):16-19.
[2]EL-KHAWASEH.AccreditationintheUSA:Origins,developments andfutureprospects[R].Paris:InternationalInstituteforEducational Planning,2001.
[3]CouncilforHigherEducationAccreditation.Statementofmutual responsibilities for student learning outcomes accreditation,institutions,andprograms[R/OL].(2003)[2014-06-01].http://www.chea.org/pdf/StmntStudentLearningOutcomes9-03.pdf.
[4]MiddleStatesCommissiononHigherEducation.StudentLearning Assessment:optionsandresources(secondedition)[R].Philadelphia:MiddleStatesCommissiononHigherEducation (ERICDocument ReproductionServiceNo.ED481880),2007.
[5]ASTINAW.Fourcriticalyears[M].SanFrancisco:Jossey-Bass,1977.
[6]AITKEN N D.College studentperformance,satisfaction,and retention[J].JournalofHigherEducation,1982,53(1):32-50.
[7]BEANJP,BRADLEYRK.Untanglingthesatisfaction-performance relationshipforcollegestudents[J].TheJournalofHigherEducation,1986,57(4):393-412.
[8]KNOXW E,LINDSAYP,KOLBM N.Highereducation,college characteristics,and studentexperiences:Long-term effects on educationalsatisfactionsandperceptions[J].TheJournalofHigher Education,1992,63(3):303-328.
[9]PIKE G R.The relationship between perceived learning and satisfactionwithcollege:Analternativeview(1993)..Researchin HigherEducation,1993,34(1),23-40.
[10]THOMASEH,GALAMBOSN.Whatsatisfiesstudents?Mining student-opiniondatawithregressionanddecisiontreeanalysis[J].ResearchinHigherEducation,2004,45(3):251-269.
[11]翟洪江,孫立群.高校畢業生滿意度調查實證研究——基于某大學數據分析[J].高等農業教育,2011(9):92-95.
[12]PIKEGR.Theeffectsofbackground,coursework,andinvolvement on students'gradesand satisfaction [J].Research in Higher Education,1991,32(1):15-30.
[13]EWELLPT.Studentoutcomesquestionnaires:Animplementation handbook (2nded.)[M].Boulder,CO:NatlCenterforHigher Educaton,1983.
[14]北京大學團委.北京大學畢業生的調查[J].青年研究,1997(3):14-18.
[15]BROWN TA.Confirmatoryfactoranalysisforappliedresearch[M].NewYork:GuilfordPress,2012.
[16]王衛東.結構方程模型原理與應用[M].北京:中國人民大學出版社,2010.
[17]HAIRJF,BLACKWC,BABINBJ,ANDERSONRE.Multivariate DataAnalysis[M].北京:機械工業出版社,2011:672.
[18]辛濤.回歸分析與實驗設計[M].北京:北京師范大學出版集團,北京師范大學出版社,2010.
[19]KUHGD,KINZIEJ,BUCKLEYJA,BRIDGESBK,HAYEK JC.Whatmatterstostudentsuccess:A reviewoftheliterature commissionedreportforthenationalsymposium onpostsecondary studentsuccess:Spearheadingadialogonstudentsuccess[R].Washington DC:NationalPostsecondaryEducation Cooperative,2006.
[20]FORNELL C.A nationalcustomersatisfaction barometer:the Swedishexperience[J].TheJournalofMarketing,1992:6-21.
[21]MARTIN R E.Thecollegecostdisease:Highercostandlower quality[M].EdwardElgarPublishing,2011:62.