美國大學學生學習結果評估的現狀與挑戰

謝曉宇

摘要：近二三十年來，學生學習結果評估在高等教育領域受到前所未有的關注。美國國家學習結果評估研究所（NILOA）通過兩次全國調查收集關于學生學習結果評估的信息和數據，旨在發現和傳播大學內部有效利用評估數據的方式，并針對有效使用評估數據的大學進行有指導性的案例研究。通過對NILOA的調查解析，探討美國大學學生學習結果評估的現狀與挑戰。

關鍵詞：高等教育評估；學生學習結果；NILOA；美國

在高等教育領域，學生學習結果評估（Students Learning Outcomes Assessment）近年來備受關注。學生學習結果評估兼具問責和改進的雙重目的：一方面，回應政府、社會組織和公眾等不同利益相關者的外部問責，證明大學的效用；另一方面，收集和使用評估數據和信息，改進大學內部質量。[1]美國國家學習結果評估研究所（National Institute for Learning Outcomes Assessment，NILOA）創建于2008年，通過收集學生學習結果評估的信息和數據，旨在發現和傳播大學內部有效利用評估數據的方式，并針對有效使用評估數據的大學進行有指導性的案例研究。本文通過2009年和2013年NILOA針對全國范圍內已經獲得認證并授予本科學位的兩年制和四年制公立、私立和營利性大學開展的兩次調查，探討美國大學學生學習結果評估的現狀和挑戰。

一、從“教育投入”到“教育產出”：學生學習結果評估的時代背景

早期的高等教育質量評估關注教育經費的投入和教育資源的使用，屬于間接評估，不能直接反映高等教育質量。20世紀80年代，美國發表的三個報告《投入學習：開發美國高等教育的潛力》、《大學課程中的完整性》和《追求結果的時代》促使高等教育質量評估從注重教育投入（input）轉變到教育產出（output），開始關注學生學習結果。[2]2006年，美國高等教育未來委員會向時任教育部長瑪格麗特·斯佩林斯（Margaret Spellings）提交的報告《領導力的考驗——美國高等教育未來規劃》（A Test of Leadership： Charting the Future of U.S Higher Education）中提出，雖然美國高等教育取得了引以為豪的成就，但如果想要繼續保持這種競爭力，必須通過某種方式加以改善。委員會提出了六項改革建議，其中一項指出，由于美國大學學生學習質量正在下滑，應該將學生學習作為回應高等教育問責和增強透明度的核心內容。同時，委員會也建議認證機構應該將學生學習結果納入評估的優先指標。[3]學生學習結果評估逐漸成為高等教育領域普遍關注的重點問題。

2008年12月，以伊利諾伊大學（University of Illinois）和印第安納大學（Indiana University）為依托，在喬治·庫（George Kuh）和斯坦·伊肯伯里（Stan Ikenberry）的倡導下，美國成立了國家學習結果評估研究所（NILOA）。[4]NILOA接受魯米那基金會（Lumina Foundation）、提格爾基金會（The Teagle Foundation）和伊利諾伊大學厄巴納-香檳分校教育學院（College of Education，University of Illinois at Urbana-Champaign）的資助，[5]由國家咨詢小組（National Advisory Panel）領導，①協助大學、認證機構、高等教育協會和基金會等教育機構以及包括學生、家長和雇主在內的利益相關者收集關于學生學習結果評估的信息，通過收集、使用和分享這些信息促進學生學業成就和本科教育質量的提高。為了全面掌握大學內部不斷變化的評估狀況，NILOA會定期開展在線調查、訪談以及分析評估網站，針對能夠有效使用評估數據的大學進行有指導性的案例研究。[6]

二、NILOA 的全國調查：學生學習結果評估的發展現狀

NILOA的調查對象是已經獲得區域認證并授予本科學位的兩年制和四年制美國公立、私立和營利性大學。2009年和2013年，NILOA通過在線調查和訪談分別獲得1518所和1202所美國大學教務長和學術負責人關于學生學習結果評估所做出的回應。較高的參與率使NILOA有理由相信調查結果提供了美國大學學生學習結果評估現狀的可靠肖像。

（一）開展學習結果評估已成為常態

由于政府、政策制定者和社會公眾對學生學習結果的關注以及大學內部改進教學和學習質量的迫切需求，美國大學廣泛開展學生學習結果評估。根據2013年NILOA調查顯示，約84%的大學已經開展適用于本科生的學生學習結果評估，比2009年增長了10%。[7]多數大學已經將評估活動納入常規工作部分，制定評估計劃并設置組織機構，由教師和管理者共同合作和監督院校、項目和課程等不同層面的評估活動。評估流程通常包括六個階段：制定計劃—收集數據—分析數據—共享數據—使用數據—結果反饋。此外，大學之間還通過召開評估會議和舉辦區域性論壇來加強彼此的交流和合作，如每年召開的德克薩斯A&M會議（Texas A&M Assessment Conference）就表現出對學生學習結果的高度關注。美國大學對學生學習結果的關注以及評估活動的開展表明其正在努力記錄和掌握學生學習的基本情況。

（二）院校、項目和課程評估相結合

美國大學學生學習結果評估包括院校、項目和課程三個層面。NILOA對大學教務長的調查顯示，從院校、項目和課程三個層面測量的學生學習結果有所不同，但都強調使用證據來改進學生學習。院校層面負責制定評估計劃和相關政策，支持和協調學院的評估活動，收集評估數據和使用評估結果。例如，德克薩斯A&M國際大學（Texas A&M International University）在院校層面采用的“框架評估”（frame assessment）就強調戰略計劃、評估活動和資源分配的一致性。評估由大學評估委員會負責，所有學術項目每年評估一次，并指派協調員監督評估工作和改進評估效果。[8]

項目層面和課程層面與教師和學生學習需求密切相關，關注與學生學習相關的特定問題，包括保證專業發展資源、修訂和調整課程、賦予教師優先權、提高支持學生的服務等，旨在提高教師參與度，更直接有效地使用評估結果。例如，卡內基梅隆大學（Carnegie Mellon University）非常關注教師提出的關于學生學習和有效教學問題，該大學的埃伯利卓越教學中心（Eberly Center for Teaching Excellence）采用數據驅動（data-driven）②的方法促進提高教師教學質量和學生學習質量，加強教師與各學院院長、系主任和評估項目負責人的密切合作，為實施和改進評估計劃提供支持。埃伯利卓越教學中心網站記錄了項目層面和課程層面關于學生學習結果評估的數據以及評估示例，每個示例包括評估目的、評估過程、評估結果和教師評論。[9]由此可見，NILOA調查的有指導性的大學案例非常重視教師在教學中的轉變和對學生學習的影響，教師的參與是能夠有效使用評估結果的關鍵要素。

（三）評估工具和評估方法使用廣泛

在評估運動早期，大學通常將教師評定成績（grading）作為系統收集學生學習結果評估數據的方法。這種方法意味著大學在沒有指導性制度的情況下運用著一種或多種現成工具，遭到政策制定者的質疑。如今，評估工具和評估方法使用愈加廣泛，2013年NILOA調查顯示美國大學使用評估工具或方法的平均數為5，比2009年多了2個。[10]

評估工具和評估方法的多元化為不同“觀眾”提供了“說話”的機會，對于大學制度改進和促進評估實踐非常重要。美國大學測量學生學習結果通常是直接測量和間接測量相結合，方式既可以是定量（如標準化考試），也可以是定性的（如學生或校友調查、學生檔案袋和評價量表等）。NILOA調查顯示約四分之三的美國大學已經針對本科生采用通用的測量學習結果的方法（如CLA，CAAP或MAPP），③這個比例高于美國大學與學院協會（Association of American College and Universities，AAC&U）2008年所獲得的數據。院校層面評估主要依賴于學生調查，如全國大學生學習性投入調查（National Survey of Student Engagement，NSSE），項目層面評估更傾向于使用學生檔案袋和評價量表。[11]

（四）評估數據主要用于質量認證

質量認證是美國大學開展學生學習結果評估的主要推動力，大學不僅要接受區域認證，部分學員的專業項目還要接受專業認證。20世紀90年代后期，美國高等教育認證委員會（Council for Higher Education Accreditation，CHEA）要求大學測量關于學生學習結果的內容，并通過公開出版刊物和組織研討會議等形式加強認證機構間的交流和合作，為認證人員提供政策框架以規范認證行為。2016年9月，全美共有6個區域性高等教育認證機構，49個專業性認證機構通過了CHEA的認可，[12]CHEA期望美國大學收集、分析和使用能夠反映學生學習結果的數據。

獲得質量認證能為大學帶來不小的收益。大學期望在質量認證中獲得良好的聲譽，改進教學和學習；期望聯邦政府和州政府以此作為判斷高校績效撥款的重要指標；期望獲得社會組織和民間機構更多的支持；期望成為家長和學生選擇學校和專業的依據。NILOA從對教務長的調查中了解到，大學開展的評估活動幾乎都與認證相關，或為即將到來的認證做準備，或針對重新認證的建議做出回應，評估數據的使用直接與認證相關。但教務長們對認證能否改進大學內部質量的回應有所不同。一部分認為目前的評估結果主要用于認證，很少能夠真正改進教學和學習。即使認證機構的建議能夠促進大學開展更多的評估活動，但這些活動更傾向認證機構的“偏好”，做不到真正的深入和反思。另一部分認為雖然直接用于質量認證的評估似乎看起來沒有意義，但認證確實能夠成為回應外部問責和實現內部改進的“有力杠桿”。

三、“數據使用”和“教師參與”：學生學習結果評估面臨的挑戰

雖然學生學習結果評估在高等教育領域已經受到廣泛關注，大學也正在積極開展學生學習結果評估活動，但仍然存在兩個關鍵問題。其一，大學過分強調收集數據，忽視“使用”數據；其二，教師參與評估活動的積極性不高，這種態度和行為已經產生漣漪反應。NILOA調查顯示，教務長就此提出兩種擔憂：大學獲得認證之后，評估還會不會繼續？教師是否會繼續將評估視為“負擔”？“數據使用”和“教師參與”成為美國大學開展學生學習結果評估面臨的最大挑戰。

（一）數據使用

琳達·蘇斯基（Linda Suskie）曾指出：“如果評估對改進教學和學習沒有幫助，為什么還要做？”[13]評估目的不是簡單的收集大量有效且可靠的數據，而是使用評估數據來回應問題、制定政策和做出決策，所有這些都旨在改進大學內部質量。“做”評估（doing assessment），就是簡單地開展評估活動，它與使用評估結果不同。大學通過直接和間接的方式測量學生學習結果、獲得評估數據和撰寫評估報告，來了解學生知道什么以及正在做什么，這只是在“做”評估；評估的真正目的是“使用”評估結果（using assessment results），利用評估結果改進教學和學習質量。

實際上，要實現“使用”評估結果的目的并不容易。圖1表示的評估活動六個階段能夠很好地解釋“做”評估與“使用”評估結果的差異。這六個階段形成一個“評估環”，前兩個階段的制定計劃和收集數據通常與“做”評估相關，而“使用”評估結果包括分析數據、共享數據、使用數據和結果反饋。前兩個階段較為容易；分析和共享數據較為困難，要求大學內部不同層面的評估機構溝通和合作；使用數據和結果反饋更加困難，要求大學在評估實踐中獲得改變，這些改變應該能夠提升教學和學習質量。由于“做”評估相對容易，也造成了大學過分強調收集數據，忽視“使用”數據的趨勢。沃巴什國家研究（Wabash National Study）中發現，多數大學通過一系列的調查、標準化測試和學生訪談都能夠收集足夠的可操作性評估數據，但在使用評估數據方面卻沒有多少經驗。很多大學的評估規范就是收集數據，然后將結果報告給少數人，如果評估結果不存在明顯問題就暫時擱置，收集數據的風險和復雜性遠遠低于對數據的處理。[14]

（二）教師參與

教師是大學開展評估活動和實現評估目的最直接的利益相關者，他們最想獲得準確、有效和可靠的評估數據以改進教學和學習。NILOA的兩次全國調查獲得一致的結論：教師參與是推動評估活動的關鍵因素，但同時也是開展評估活動面臨的最大挑戰。影響教師參與評估活動的主要原因包括四個：第一，多數教師沒有經過心理測量或評估的正式培訓。學生學習結果評估經常強調收集數據的技術，但很少有教師可以在課程層面應用這些技術。[15]有些教師不能準確區分直接測量和間接測量，不會使用量化方法測量學習結果，很難在評估過程中獲得直接改進教學和學習的數據，這阻礙他們參與評估活動。第二，評估活動給教師帶來負擔和壓力。當評估被看作是為回應外部問責的額外工作時，教師對參與評估的機會成本提出質疑，“做”評估意味著可能放棄其它帶來更大“收益”的事情。一位來自文理學院的教務長在NILOA問卷調查中寫道：“我擔心如果要求所有教師都參與到評估活動中，教師可能會因為負擔過重而反抗。”[16]另一位教務長指出：“教師承擔著教學、科研和服務的壓力，而參與評估活動的專門人員又很少。換句話說，我擔心負擔過重，教師不能反思教學。”④第三，教師追求“終身教職”（tenure）。多數沒有獲得終身教職或終身教職軌（tenure track）的教師除了承擔教學、科研和服務的壓力外，他們往往工資低，獲得的支持不足，參與評估活動既花費時間，也不會獲得很多報酬。第四，教師對評估有效性提出質疑。聯邦政府和州政府對評估的外部推動以及認證機構的外部要求，使得很多教師認為大學只是在回應外部問責，而不是真正改進學生學習。2013年NILOA調查結果顯示，很難找到大學直接改進學生學習的“證據”，即便那些有指導性的大學案例也只是在評估實踐中出現更好的變化，而這些變化并不能直接改進學生學習。

影響教師參與評估活動的原因是非常真實且重要的，教師的擔憂突出反映了大學自治和問責之間的緊張關系。但近年來，教師的態度有所緩和，他們通過認證了解到評估的某些價值。正如彼得·尤厄爾（Peter Ewell）所說：多數學者現在已經意識到參與評估已經成為大學“做生意”的條件，因為認證要求看到“納稅人”和“潛在客戶”的結果。[17]

四、結語

由于政府、政策制定者和社會公眾對學生學習結果的關注，以及大學內部改進教學和學習質量的迫切需求，美國大學開始廣泛開展學生學習結果評估。特別是20世紀90年代后期，高等教育認證委員會將學生學習結果納入認證指標，大學同時接受區域認證和專業認證，學生學習結果評估在高等教育受到前所未有的關注。NILOA兩次全國調查可見，在美國高等教育領域開展學生學習結果評估已經成為常態，多數大學在不同層面開展評估活動，評估工具和評估方法使用廣泛。但與此同時，由于多種因素的影響，美國大學學生學習結果評估正處在轉折的邊緣，面臨著“數據使用”和“教師參與”的挑戰。在這種背景下，似乎可以歸結為一個核心問題：從大學外部和內部的角度，如何幫助大學促使學生學習結果評估變得更有意義？換句話說，如何更有效地“使用”評估結果，真正促進教學和學習？

從大學外部來看，聯邦政府、州政府、認證機構和高等教育協會可以通過強調使用結果以及記錄大學在政策和實踐中的變化來實現更有意義的評估。認證機構對大學開展學生學習結果評估的影響不可否認。正如NILOA調查中指出，如果沒有區域認證和專業認證，評估不會如此具有普遍性和多樣性。認證機構必須清楚地闡明對學生學習結果評估的期望和要求。如果評估的主要問題事先闡述清楚，評估結果可能更有意義；認證機構所關注的問題越具體，大學越容易回應外部問責。簡單來說，如果評估結果只是作為分數發布到網站上，這對政策制定者、大學、家長和學生沒有什么價值。

從大學內部來看，以“改進”為目的的大學評估除了滿足認證需求外，應該更傾向于獲得其他方面的信息。考慮到如何提高教師參與度的問題，大學必須鼓勵教師直接參與到學生學習結果評估中來，這也可能涉及到大學制度文化的轉變。一方面，為教師創造不同的對話機會（如定期的評估會議、教師例會和工作坊等），讓他們了解學生學習結果評估的重要性。卡內基梅隆大學從制定政策到確定課程，不同層面的評估實踐都由教師主導。另一方面，強調文化創新和文化改進，使評估活動系統且有序的進行。圣奧拉夫學院（St.Olaf College）就是以“支持學生學習”的調查為評估的基本框架，這種框架是建立在大學制度文化基礎上。[18]但需要意識到，大學的制度文化既可以促進教師參與，也有可能阻礙教師參與，正如NILOA調查中教務長所提到的，目前擔心的最大問題就是教師和管理層之間的不信任。

此外，評估網站可以作為大學外部和內部溝通的媒介，增強評估的透明性。NILOA基于2000所美國大學評估網站的深入分析和調查研究，形成關于學生學習結果的透明框架（transparency framework）。這個框架不是一個評級量表，而是作為大學外部和內部分享評估“證據”的資源和指南，加強對學生學習結果信息傳播的透明化。它確定了學生學習結果評估的六個關鍵部分：（1）評估條例；（2）評估計劃；（3）評估資源；（4）評估活動；（5）評估證據；（6）評估結果的使用。[19]雖然不是所有大學的學生學習結果評估都應該包括這六個部分，但已經采用這個框架的大學證明，它確實成為大學開展學生學習結果評估的“催化劑”。

注釋：

①國家咨詢小組由喬治·庫、斯坦·伊肯伯里、娜塔莎·揚可夫斯基（Natasha Jankowski）和彼得·尤厄爾等組成。

②“數據驅動”強調用一種及時的方式獲取、處理和使用數據。

③分別指大學校際學習結果評估（Collegiate Learning Assessment，CLA）、大學學業水平評估（Collegiate Assessment of Academic Proficiency，CAAP）、學業水平和進度測試（Measure of Academic Proficiency and Progress，MAPP）。

④據2009年NILOA調查顯示，20%的美國大學沒有專門的評估人員，65%的大學有兩個或者更少。

參考文獻：

[1]Victor M H Borden & Gary R Pike.Assessing and Accounting for Student Learning： Beyond the Spellings Commission[M].San Francisco： Jossey-Bass，2007：9-10.

[2][15]Trudy W Banta.Building Scholarship of Assessment[M].San Francisco： Jossey-Bass，2002：7-8，270-271.

[3]Richard J Shavelson.Measuring College Learning Responsibly： Accountability in a New Era[M].California： Stanford University Press，2010：1-2.

[4][6]National Institute for Learning Outcomes Assessment.Making Learning Outcomes Usable& Transparent[EB/OL].[2016-10-20].http：//www.learningoutcomesassessment.org/documents/About%20NIL OA%202013.pdf.

[5]National Institute for Learning Outcomes Assessment.Collaborating Associations & Foundations[EB/OL].[2016-11-23].http：//www.learningoutcomesassessment.org/CollaboratingAssociationsAndFoun dations.html.

[7][10]George D Kuh，Natasha Jankowski，Stanley O lkenberry，Jillian Kinzie.Knowing What Students Know and Can Do： The Current State of Student Learning Outcomes Assessment in U.S.Colleges and Universities[R].National Institute for Learning Outcomes Assessment，2014：3.

[8][9][14][16][18]George D Kuh & Stanley O Ikenberry.Using Evidence of Student Learning to Improve Higher Education [M].San Francisco： Jossey-Bass，2015：59-60，60-61，57，100，99-100.

[11]George Kuh and Stanley lkenberry.More Than You Think，Less Than We Need： Learning Outcomes Assessment in American Higher Education[R].National Institute for Learning Outcomes Assessment，2009：8-10.

[12]Council for Higher Education Accreditation.2016-2017 Directory of CHEA-Recognized Organizations[EB/OL].[2016-10-04].http：//www.chea.org/pdf/2016-2017_Directory_of_CHEA_Recognized_Organizations.pdf.

[13] Linda Suskie.Assessing Student Learning： A Common Sense Guide[M].Bolton： Anker：2004：18.

[17]Peter T Ewell.Assessment，Accountability，and Improvement： Revisiting the Tension [R].National Institute for Learning Outcomes Assessment，2009：6.

[19]National Institute for Learning Outcomes Assessment.Transparency Framework[EB/OL].[2016-12-20].http：//www.learningoutcomesassessment.org/TransparencyFrameworkIntro.htm.

（責任編輯陳志萍）