伍紅軍 秦虹
摘 要 武漢大學中國科學評價中心于2012年首次推出的“中國高職高專院校競爭力排行榜”,是目前唯一針對高職院校進行綜合評價的排名。對其2012-2015年四年評價結果的定量分析發現,該排行榜的穩定性不夠,各院校在年度之間的位次動蕩太過劇烈;擇優性不足,優秀高職院校在排名中毫無優勢可言;諸多不合邏輯甚至脫離常識的異常現象頻現,嚴重影響到該排行榜的公信力。
關鍵詞 中國高職高專院校競爭力排行榜;指標體系;數據來源;公信力
中圖分類號 G718.5 文獻標識碼 A 文章編號 1008-3219(2015)27-0050-06
美國高等教育學家菲利普·G·阿爾特巴赫認為,大學之間的競爭和高等教育消費者的選擇催生了各種大學排行榜的誕生[1]。在高等教育大眾化階段,高等教育機構的增多和學生入學選擇權的擴大,大學成為亟需被公眾清晰認知的對象,于是各類大學排行榜應運而生。高職教育歷經幾十年的發展,高職院校的數量已經占到全國高校數的一半以上,隨著國家示范性高職院校和國家骨干高職院校(以下簡稱“國家示范校”和“國家骨干校”)等國家級建設工程的實施,高職院校的層次性逐漸顯現,高職教育內部的競爭日趨激烈。在招生方面,高職院校已逐漸突破省域范圍,對于高職院校的“選擇性”需求也開始出現。如是,作為中國高等教育大眾化的中堅力量,在諸多大學排行榜中理應有高職院校的一席之地。
一、高職院校的排名:可比性與測不準
每一個大學排行榜推出時都會招致猛烈批評,但是大學排行榜的數量和種類仍在呈幾何級數遞增,到目前為止,“中國先后有二十家機構發布了一百多個大學排行榜”[2]。然而,即使大學排行榜從單一的綜合排行榜,演變成重點大學、一般大學,本科教育、研究生教育的分級排名,甚至出現按地區、學科,按科研、人才培養等日漸細化的分類排名,高職院校的排名卻遲遲未出現。高職教育消費者的認知需求和高職院校內部競爭的遲滯,固然是影響排行榜出現的重要因素,而主要制約因素則是如何準確評測高職院校的績效。
本科院校的大學排行榜之所以飽受批評,主要在于研究者認為各級各類大學不具“可比性”,無法在一個指標體系內進行有效的比較[3]。鑒于不同的大學在教學、研究及服務職能上有不同的取向,定位于研究型的大學,科研績效是其最好的評測指標;于教學型大學而言,科研指標并不適用,而主要體現在人才培養方面;對于廣泛存在的地區服務型大學,大學與社會的關聯緊密度及社會貢獻值才是最重要的評測指標。可見,“可比性”構成了大學排行榜的主要矛盾。作為一個類別的高職院校,在辦學定位、服務面向,甚至采取的工學結合、校企合作的人才培養模式方面都顯得如此一致,“同質化”要大于“差異性”。然而,高職院校因其對人才培養和社會服務兩大職能的側重,卻給這一基于“可比性”基礎上的“可測性”帶來很大的困難。對本科院校的排名可以用“科研指標”這一不二法門來充分定量,而對適用高職院校的人才培養和社會服務的量化評價還沒有一所大學排行機構能夠妥善解決。
盡管高職院校的排名因為缺乏可靠的評價指標而可能出現測不準現象,還是有排名機構做了“敢吃螃蟹的第一人”。從2012年開始,由武漢大學邱均平教授主持的武漢大學中國科學評價研究中心(RCCSE)連續4年推出“中國高職高專院校競爭力排行榜”(以下簡稱“高職排行榜”或“武大版高職排行榜”)①。其評價對象基本覆蓋了所有的高職高專院校,2012年為973所(僅針對公辦高職),2013年為1289所,2014年為1264所,2015年為1322所。該排行榜以學年為評價周期,即以上學年的數據來表征下學年的排名,如2015年推出的2015-2016年高職排行榜,實際上是對2014-2015年結果的評價。該排行機構在對高職高專院校進行排名時,采用的是與獨立學院一致的評價指標,共有一級指標3個(辦學條件、人才培養和網絡知名度),二級指標13個(刪去了只適用獨立學院的“本科生數比”指標)。見表1。

二、武大版高職排行榜評價結果分析
一個大學排行榜的公信力,主要取決于三個因素:一是評價指標的科學性;二是數據來源的可靠性;三是評價結果的可信度。其中,更為直觀的是從其評價結果來檢驗排行榜的公信力。
(一)穩定性
穩定性是看一個排行榜是否科學的重要判斷依據。因為大學的綜合實力和核心競爭力的形成,是一個漫長的積累過程,其不像股市會在短期內出現暴漲暴跌現象。通常一個排行榜在歷年的排名中,排位靠前的核心大學在排行榜的位置不會有太大變動,其可能在一個區間內微調,但不會忽上忽下。當前運作比較成熟的各大綜合排行榜,基本上前10或20位內的高校在年度之間的變化不會太大。如以武書連、中國校友會網、武漢大學的三大排行榜為例,在2013-2015年三年內前20強高校的重合率分別是95%(19/20)、90%(18/20)和95%(19/20),即基本上三年里只有1~2所大學進出榜單。此外各所高校的位次變化也基本保持穩定,如武書連版在三年內前9位的大學排名完全一致。可見,排名前列的高校會保持基本的穩定性,不會出現十幾名甚至幾十名的大幅度變動,這也是充分考慮存量和增量關系的結果。

在武大版高職排行榜的2012至2015年前20強名單中,2013年與2012年有17所高校重復,重復率為85%;2014年與2013年有4所高校重復,重復率降至20%;2015年與2014年只有2所重復,重復率達到最低的10%。四年內僅有江蘇聯合職業技術學院、深圳職業技術學院2所高校能夠穩居前20位,四年重復率僅有10%。也就是說,其前20強的排位基本無規律可循。如按排行榜的評價結果,中國頂層的高職院校在四年里出現了劇烈的動蕩。但是,近幾年高職教育界并沒有什么翻天覆地的變化,足以讓中國最優秀的高職院校出現“大換血”現象。
我們再選取28所首批國家示范校,考察其2013-2015年三年來在排行榜上位次的變動情況①。從表2可知,28所高職院校都出現了大幅度的排位變動,平均動蕩位次達到352位,其中排名變動在100位以內的只有5所,500位以上的卻有8所。變動最大的是青島職業技術學院,在2013年取得最好位次第148位,2015年卻跌至第990位,總排名變動值為842位;其次是重慶工業職業技術學院,在2013年最低排名第815位,次年排名卻升至第5位,總排名變動值為810位;排名變動最小的是深圳職業技術學院,最高排名第2位,最低排名第13名,總排名變動值為11位。其情狀有如今日股市之震蕩,高校年度之間的排名可以直達巔峰,亦會直跌谷底。
(二)擇優性
而如何判定優秀大學的排位合理性,研究者通常采用的方法是將大學排行榜的結果與官方有關大學的歷史評級進行對比。如有研究者將全國125所重點大學與國內4家知名排行機構在2005年的排名情況進行驗證,發現“985工程”高校占據著各大排行榜的前30名,“211工程”高校構成了前100位的主體,全國重點大學幾乎都在前150位以內,只有極少數的例外[4]。由此,驗證了這些排行榜的綜合排名與實際情況的相符性。在每年大學排行榜發布時,如果頂尖大學的排名超出了公眾的認知,則很有可能整個大學排行榜都會遭受質疑。
在高職領域,也存在如本科院校一樣的層次性,最高層是被稱為高職“211”的100所國家示范校,第二層次是100所國家骨干校,有些省市還有省級示范校建設項目。國家示范、骨干校內部也有分層,如國家示范校一共分三批:2006年第一批的28所,2007年第二批的42所,2008年第三批的30所;國家骨干校也分三批:2010年第一批的40所,2011年第二批的30所,2012年第三批的30所。如此,優秀高職院校內部已有了7級分層:國家示范3級,國家骨干3級,省級示范1級。在沒有出現高職排行榜之前,這一縱向分層體系已經在公眾心目中形成了一種默認的排名,只是在每一層級里的位次并無權威的排序。在橫向區域層面,東部、中部、西部進一步形成一個層次性梯級。
我們通過統計國家示范、骨干校在武大版高職排行榜前100位的入選情況,來考察其擇優性。從表3可知,4年里國家示范校分別有36所、31所、14所、34所入選100強,平均入選率為28.75%,即2/3的國家示范校未能進入全國100強;國家骨干校分別有16所、16所、4所、14所入選100強,4年平均入選率為12.5%,即近九成的骨干校被淘汰出全國100強;4年里國家示范、骨干校累計入選165次,總入選率僅占41.25%,即在歷年的入選名單中,一般高職院校的入選幾率要遠高于國家優秀高職院校。再以首批28所國家示范校為例,在4年里僅有15所進入過前100強,總入選次數是36次;其中,僅有深圳職業技術學院穩定在前20強內,此外再無一所能夠連續3次以上進入前20強;28所示范校中,最高排位是2015年排第2位的深圳職業技術學院,最低排位是長春汽車工業高等專科學校在2013年的1264位(該年總共1289所參評),已居全國倒數之列。這一結果表明,國家示范、骨干校在排名中完全沒有優勢,也就是說,武大版高職排行榜的擇優性很低。

(三)省域差異性
大學排行榜的公信力除了由院校層面的穩定性和擇優性反映之外,省域在排行榜前列的分布情況是另一項有力的佐證。從當前高職教育的發展情況來看,江蘇、廣東、浙江、天津、山東等幾個沿海省份的高職教育綜合實力居于全國前列,這一點直接反映在高職院校的保有量及其入選國家示范、骨干校的數量上。如江蘇省擁有全國各省中最多的83所高職院校,其中國家示范校7所,國家骨干校8所,無論單項指標還是綜合指標均穩居全國首位,是當之無愧的高職教育最具競爭力的省份;廣東省高職院校總數為79所,僅次于江蘇省,擁有國家示范校4所,國家骨干校7所;浙江省僅有47所高職院校,全國排名居于中游,排在第14位,但卻擁有6所國家示范校,5所國家骨干校,優秀率達到23.4%。在中部地區,河南、湖南等地高職教育的綜合實力也不錯。西部地區相比東部和中部,綜合實力要稍遜一籌。以下通過各省在武大版高職排行榜前100強的分布情況,來驗證其與省域高職競爭力的吻合性。

從表4可見,4年里進入前100強數量最多的前五個省份分別是:山東(50所)、江蘇(48所)、河南(34所)、內蒙古(24所)、廣東(23所)。山東、江蘇和廣東三省進入前列在情理之中;河南能夠排在第3位(有4所示范、3所骨干),盡管有點靠前,但尚在可接受范圍之內;但內蒙古超過廣東省居于第4位的情況卻已然脫離了常識。內蒙古處于高職教育整體發展實力較弱的西部地區,僅有35所高職院校,其中國家示范、骨干校僅各有2所,且沒有高校進入過首批國家示范校名單,即使與同處西部地區的陜西、四川、重慶諸省市相比也毫不占優勢。但是內蒙古卻在4年里共有24所高校進了前100強,平均每年有6所,遠超其國家示范、骨干校的總和;2012年進入100強的總量甚至達到了10所,占其高職院校總數的21%。而高職教育整體發展實力都不錯的天津、上海、四川三省市,卻都出現過某一年沒有一所學校進入前100強的情況,而這三個省都擁有1~2所首批國家示范校。所以,從武大版高職排行榜4年的統計情況來看,其評價結果與實際情況的吻合度并不高。
(四)闖入者
對“闖入者”的分析可以考察排名動蕩的合理性,窺探其中的非常規性干擾因素。武大版高職排行榜里每年都有成群結隊的“黑馬”闖進來,并且呈現出一定的規律性。

一是暴漲暴跌現象。在某些年份,一些省份出現了100強入選院校數量的大幅動蕩。如江蘇省2014年僅有2所高校進入100強,而2012、2013和2015年卻幾乎都有10多所高校進入100強;河北省2012、2013、2015年都有7所進入100強,2014年卻只有1所;北京市2012、2013年都只有2所,2014年卻突然暴漲至8所,而2015年再次回到2所;江西、安徽、廣西、黑龍江、內蒙古也出現了類似的情況。然而,這些省份的突然增長現象中,扮演著主要角色的卻不是國家示范、骨干校,而是一般高職院校。二是省域黑馬。如內蒙古以35所高職院校的保有量,4年卻總共有24所入選100強。該省2012年排位最高的是一所普通高職學校——烏蘭察布醫學高等專科學校(第12位),排位超過了另外3所入選的國家示范校——內蒙古建筑職業技術學院(第16位)、內蒙古機電職業技術學院(第38位)和包頭職業技術學院(第89位),同時烏蘭察布市一共2所高職院校中的另一所——烏蘭察布職業學院(第76位)也入選了100強。再以山東為例,在2013年山東省有16所入選100強,只有7所是國家示范或骨干校,其他9所全是一般高職院校;其排名規律呈現出國家優秀高職院校與一般性高職院校夾雜排位;且院校之間的排名帶有連續性,如第7、8、9、10四個位次全是山東的高校,前20強名單里山東就占了8席。三是民辦院校黑馬。我國民辦高職的辦學實力與優秀公辦高職相比,尚有一定的差距,且數量上也并不占優勢,如2014年全國擁有1327所高職院校,其中民辦高職僅有307所,占比23%。但在武大版高職排行榜中,民辦院校卻頻頻擠入排行榜前列。如以2014年為例,見表5,在100強名單中有21所民辦高職院校入選。其中,全國前10強中有4所,北京、云南、陜西、山西、河北、湖北、廣西7省省內排名第1位的高職院校都是民辦高職。而100強中的北京科技職業學院、北京新圓明職業學院、黑龍江三江美術職業學院三所學校曾在2009年被教育部“黃牌”警告限制招生。四是組團現象。即某些類型院校突然成團出現,而且這些新的闖入者排位普遍較高。如以2014年為例,在100強名單中有9所藝術類高職院校,5所護理類高職院校,6所體育類高職院校,這些學校沒有一所是國家示范、骨干校,甚至連省級示范校都不是。但其排位卻普遍較高,如科爾沁藝術職業學院居第10位;泰山護理學院居第9位,濟南護理學院居第11位;福建體育職業技術學院為第26位,該校在2012年、2013年曾兩次位列全國第3位。這些學校沒有一所是國家示范、骨干校。
三、武大版高職排行榜的指標體系與數據來源存在的問題
為什么武大版高職排行榜會出現如股市漲跌一樣讓人看不懂的評估結果,也許再從判斷大學排行榜公信力的另兩個因素:指標體系及其數據來源可窺一斑。
(一)指標體系
武大版高職排行榜設計了3個一級指標,13個二級指標,同時采取定量與定性評測相結合的方式,但其指標體系本身存在較大問題:
一是指標體系過于簡單,只到二級指標,對高職院校的評價覆蓋面遠遠不夠。而一般大學排行榜的指標設計至少要到三級指標,因為指標的觀測點越多,越容易在各個觀測點之間形成呼應和互補,從而帶來評估結果的科學性和穩定性。二是指標體系帶有典型的總量傾向,沒有體現質量標準。如其兩個重頭一級指標“辦學條件”和“人才培養”下設的二級指標主要反映的只是規模總量意義,在評價導向上存在重大缺陷。其實《泰晤士報高等教育》的評價指標也只有13個二級指標,但其一級指標包含了“工業收入來源”“國際性”“教學”“研究”“論文引用”共5個一級指標,13個二級指標里僅有“博士學位授予數”和“研究收入”兩個總量指標,其他全是反映師均(生均)值或比較值(如國際國內教師比、學生比)的質量導向指標[5]。三是指標體系指向“合格性”評估,而不是“卓越型”評估。如以“辦學條件”為三大一級指標之一,“人才培養”一級指標中5個二級指標無一能夠體現一所學校的辦學質量和卓越程度,通過這一套指標體系來評測高職院校,自然會出現數量和規模取勝的院校排位在前列。如以江蘇聯合職業技術學院和深圳職業技術學院這一排行榜上的雙雄為例,深圳職業技術學院堪比高職領域內的北大、清華,其在高職教育的很多方面都是同類院校的標桿,是“卓越型”的代表性院校;江蘇聯合職業技術學院是一所典型的超級“航空母艦”,其校區遍布整個江蘇省,擁有43所分院、40個辦學點、9所高等師范學校。如表6所示,按照此類指標體系,江蘇聯合職業技術學院當然會遠超深圳職業技術學院,但是江蘇聯合職業技術學院卻難以代表高職界的品質,與其說這是一所大學,不如說是一種辦學的嘗試,是中高職院校的松散聯合體。

因指標體系的粗疏及其總量導向、“合格性”評價傾向,導致評估結果無法有效拉開差距。如以武大版高職排行榜公布的前30強評價數據為例,排名第2名與第20名高校的分數差別只有4.314分,第20名與第30名的差別甚至只有0.2146分[6];而在武大版重點大學競爭力排行榜中,第2名與第20名的分差是37分,第20名與第30名的分差也有7.54分[7]。如此細微的差別,一旦一所學校的某項指標出現異常,就可能影響到該校幾十位甚至幾百位的排名變動。可見,僅憑當前的指標體系設計,根本無法實現全部高職院校的有效排名,同時優秀高職院校也不能在排名中占據優勢。
(二)數據來源
武大版高職排行榜宣稱其數據來自四個方面:“一是政府部門的統計數據資料,二是國內外有關數據庫,三是有關政府部門和高校的網站,四是國家有關刊物、書籍、報紙、內部資料等。”[8]但因其指標體系設計并沒有涉及科研數據,所謂的“國內外有關數據庫”應該是一個無效的數據來源。從其評測實際來看,數據來源主要有兩個方面:一是政府部門的統計數據。當前國家層面對高職院校的系統性數據統計,主要是“高等職業院校人才培養工作狀態數據采集與管理平臺”(原“高等職業院校人才培養工作狀態數據采集平臺”)的數據采集,也是當前面向高職院校最權威的數據來源。該數據平臺主要指向人才培養,其數據分項設計非常細,能夠直觀地反映基本辦學條件、人才培養的質量和成效。但從武大版高職排行榜的情況來看,課題組顯然是對該數據采集結果進行刪繁去簡,使統計變得便利和直觀,但卻只保留了一些規模性的和體現辦學基本條件的指標,幾乎沒有保留能夠體現辦學質量的指標。二是來自高校網站的信息,這類信息來源基本是自報信息,其中的水分可想而知。如以就業率為例,當前的就業統計基本是依據就業協議書和勞動合同的簽署來衡定,并非真實的就業情況,且各所高職院校不論是國家示范、骨干校還是普通院校,其所報就業率都不會低,一般會在95%以上。因此,僅憑就業率這一在指標體系里唯一能夠反映高職院校辦學成就的指標,反而無法拉開相互之間的差距。可見,僅僅依靠這些數據來源,及其所采取的數據處理方式,可能導致某些院校的排位虛高,也可能導致以質量取勝、辦學有特色的優秀院校難以在排名中占據優勢地位。
四、結論
一個具備公信力的大學排行榜,取決于其指標體系、數據來源及其評測結果之間的相互呼應和支撐,當然還有評價機構客觀公正的中立立場。從武漢大學中國科學評價中心推出的“中國高職高專院校競爭力排行榜”的評價結果來看,2012年與2013年的榜單最接近,反映在前15位高校幾乎完全一致;2013年與2014年的區隔最為明顯,仿佛采取了兩套完全不同的指標體系;2014年的榜單問題最大,體現在大量毫無名氣的一般性高職院校排名靠前,而且其中脫離常規的現象成團出現;2015年的榜單相對正常,突出反映在大量國家骨干、示范校回歸100強榜單,開始與常識相符。因其指標體系設計的天然缺陷,數據處理時的不合理,及其排名過程中不斷出現的異常現象,導致整個排行榜缺乏可信度。
參 考 文 獻
[1][美]菲利普·G·阿爾特巴赫.大學排行榜之困[J].周岳峰,譯.世界教育信息,2006(6):28-29.原載美國《國際高等教育》雜志2006年冬季號.
[2]鄭興剛.大學排行榜亂象——表現、成因及其治理[J].社會科學論壇,2010(13):104-111.
[3]顏丙峰,呂朝暉.對我國大學排行榜評價的幾點質疑[J].石油大學學報(社會科學版),2004(4):99-102.
[4]蔡莉,蔡言厚,田金山.中國校友會大學排行榜的理論與實踐[J].現代大學教育,2006(1):75-79.
[5]劉學坤.《泰晤士報高等教育》“世界大學排行榜”的演進——兼論與“高等教育機構排名的柏林原則”的適切性[J].現代大學教育,2011(2):19-26.
[6][8]邱均平,王菲菲.中國獨立學院與公立專科院校評價的理論與實踐探析[J].重慶大學學報(社會科學版),2014(3):88-94.
[7]邱均平,馬力,何文靜.2015年中國大學競爭力評價與分析[J].中國高校科技,2015(4):4-12.