超效率-DEA融合層次分析法在高校實驗室建設(shè)績效考核中應(yīng)用

李 群， 韋海成， 朱立軍， 李 彬

（北方民族大學(xué)a.實驗室建設(shè)與管理處；b.電氣與信息工程學(xué)院；c.數(shù)學(xué)與信息工程學(xué)院銀川750021）

0 引 言

高校實驗室是創(chuàng)新人才能力培養(yǎng)的重要載體，是全面提升高校創(chuàng)新能力、大力推進(jìn)技術(shù)轉(zhuǎn)移和成果轉(zhuǎn)化必不可少的場所，是辦好學(xué)校的基本支柱之一［1］。隨著一流本科專業(yè)建設(shè)“雙萬計劃”的實施，高校的教學(xué)質(zhì)量要求日益提升，以學(xué)生為中心辦教育的專業(yè)動態(tài)調(diào)整機(jī)制逐步健全。本科專業(yè)實驗室建設(shè)過程中，地方高校資源投入不足和考核機(jī)制不健全的矛盾日益突出［2］。為了將有限的資源更好地服務(wù)教學(xué)，發(fā)揮績效考核約束、激勵和指導(dǎo)作用，形成實驗室建設(shè)閉環(huán)，是高校實驗室建設(shè)與管理部門面臨的挑戰(zhàn)。

近些年來，各高校實驗室建設(shè)均投入了大量的人力、物力和財力，但實驗室建設(shè)的投資效益和管理水平，一直是各高校都較為關(guān)心，但又無法準(zhǔn)確衡量。引入一種評價機(jī)制，使管理部門能用數(shù)據(jù)相對準(zhǔn)確地反映出學(xué)校各學(xué)院實驗室投資效益和管理水平日漸成為一項被關(guān)注的工作。

美國等發(fā)達(dá)國家對實驗室績效評價體系相關(guān)工作的研究和應(yīng)用要早一些。自1993 年起，美國就通過頒布了《政府績效與結(jié)果法》，將政府各部門的財政預(yù)算與績效評價結(jié)果掛鉤。根據(jù)此法，美國隸屬于不同部門的國家實驗室都要制定長期的戰(zhàn)略規(guī)劃和年度績效計劃。但此類實驗室采用的評價方式都大同小異，以美國能源部（Department of Energy，DOE）國家實驗室為例，由能源部提出年度運營目標(biāo)后，再與受委托的實驗室管理方共同制定與目標(biāo)相匹配的實驗室績效評價方法，建立一個包含多目標(biāo)對應(yīng)不同權(quán)值、分值及等級的評估指標(biāo)體系，并將其納入能源部與實驗室管理承包方的合同附件進(jìn)行管理。

在國內(nèi)，實驗室績效評價指標(biāo)體系已逐步建立，并取得了一定成效。刁叔鈞［3］通過設(shè)備使用率進(jìn)行了實驗室建設(shè)和管理機(jī)制的探索；王杰［4］借鑒國內(nèi)外先進(jìn)的實驗室安全管理思想，建立了決策、管理、實施、監(jiān)督四合一的組織體系，實現(xiàn)了實驗室安全管理建設(shè)；洪芳等［5］提出了實驗室建設(shè)標(biāo)準(zhǔn)操作程序和SOP原則；閻群等［6］通過OBE 逆向設(shè)計將實驗實踐教學(xué)分為CDIO環(huán)節(jié)，建立了實驗室可持續(xù)發(fā)展模式。

上述關(guān)于實驗室建設(shè)的探索把績效考核和任務(wù)量化落實到了實驗室建設(shè)的每個環(huán)節(jié)，起到了考核的導(dǎo)向和激勵作用，調(diào)動了校院兩級參與實驗室建設(shè)的積極性。然而，在實施過程中面臨了諸多問題：①所有的建設(shè)和探索很難用數(shù)學(xué)模型，無法得到具體的表征指標(biāo)，進(jìn)行量化考核；②模型過于繁雜，可實施性不佳［7］。目前考核方法存在覆蓋面窄，只注重產(chǎn)出、評價指標(biāo)側(cè)重單一項目考核，評價結(jié)果導(dǎo)向性不強(qiáng)等缺點。此類評價體系存在如下問題：需要給每項指標(biāo)賦予固定的權(quán)值，對評價體系做出優(yōu)化和修改將變得復(fù)雜的問題；采用各項指標(biāo)設(shè)置權(quán)值的方式相當(dāng)于在定量或定性的打分上再次引入了定性的成分，不易令人信服；但指標(biāo)變多時，權(quán)值難以確定，可操作性將降低。此外，當(dāng)前高校實驗室覆蓋的績效評價指標(biāo)體系主要集中在實驗室建設(shè)和重點實驗室的績效考核，沒有一套能夠覆蓋全校普通類實驗室的績效考核方法。

為此，本文提出一種基于超效率-DEA 模型的實驗室績效評價體系，希望通過該模型對各個學(xué)院實驗室建設(shè)定性和定量指標(biāo)的統(tǒng)一打分評價，實現(xiàn)實驗室管理的科學(xué)化和規(guī)范化，促進(jìn)實驗室建設(shè)的內(nèi)涵式發(fā)展。

1 績效評價指標(biāo)體系設(shè)計探索

高校職能部門的工作應(yīng)該可以歸納為決策、執(zhí)行和監(jiān)督三部分，根據(jù)日常需要完成規(guī)范、考核和服務(wù)的職能［8］。由于管理制度制定后，有一定相對的穩(wěn)定期，高校職能部門根據(jù)國家高等教育內(nèi)涵式建設(shè)的迫切需求［9］，提高治理體系與治理能力，以考核和激勵作為指揮棒，給各教學(xué)科研單位提供高質(zhì)量的服務(wù)和定期開展考核工作。因此，實驗室建設(shè)管理，如能夠通過大數(shù)據(jù)分析，找到并落實考核評價目標(biāo)體系，就可以更好地完善實驗室建設(shè)機(jī)制。

1.1 績效評價指標(biāo)體系設(shè)計目的和原則

構(gòu)建評價指標(biāo)體系的目的是為通過評價指標(biāo)體系的應(yīng)用來促進(jìn)學(xué)科建設(shè)，提升辦學(xué)效益，提高人才培養(yǎng)質(zhì)量，擴(kuò)大社會服務(wù)范圍。為了服務(wù)這一目標(biāo)，績效評價指標(biāo)體系設(shè)計，需要遵循“投入指標(biāo)與產(chǎn)出指標(biāo)相結(jié)合、存量指標(biāo)與增量指標(biāo)相結(jié)合、定量指標(biāo)與定性指標(biāo)相結(jié)合”的設(shè)計原則。在實施過程中，還應(yīng)注重觀測點的系統(tǒng)性、數(shù)據(jù)易于獲取性、真實有效性，且不能給學(xué)院造成負(fù)擔(dān)。

實驗室的管理是一項非常復(fù)雜的工作。實驗室建設(shè)包括實驗用房、隊伍、運行體制和機(jī)制建設(shè)、設(shè)備的投入、實驗室運行的投入等，而實驗室的產(chǎn)出，又包括了學(xué)科建設(shè)、人才培養(yǎng)、科學(xué)研究、社會服務(wù)等方面。因此，績效評價的指標(biāo)體系設(shè)計必須照顧到方方面面，具有較高的復(fù)雜度。

所以，整個實驗室考核績效評價指標(biāo)體系必須功能齊全，要素齊備，同時又要易于數(shù)據(jù)采集和分析實現(xiàn)。所采數(shù)據(jù)還需要有較高的說服力，能夠指導(dǎo)實驗室建設(shè)，為職能部門后續(xù)的決策提供依據(jù)。

1.2 指標(biāo)體系的結(jié)構(gòu)

針對上述原則，為使評價指標(biāo)有較強(qiáng)的操作性，同時能全面反映實驗室績效的對比，將指標(biāo)體系分為定量指標(biāo)和定性指標(biāo)兩類。

定量指標(biāo)以實驗室建設(shè)與運行過程中投入和教學(xué)、科研工作的產(chǎn)出為觀測點，客觀性較強(qiáng)，可獲取性、易計量性強(qiáng)，數(shù)據(jù)可從近年來高校本科教學(xué)基本狀態(tài)數(shù)據(jù)庫中提取，避免重復(fù)勞動。定性指標(biāo)作為定量指標(biāo)評價的補(bǔ)充，用來衡量不易于用數(shù)量值表達(dá)的觀測點，主要展示實驗室管理的狀態(tài)和運行的規(guī)范，定性指標(biāo)要設(shè)計簡單，便于操作，避免給學(xué)院造成負(fù)擔(dān)。

1.2.1 定量指標(biāo)的選取

定量指標(biāo)的選取，主要是為了以投入與產(chǎn)出比來反映實驗室建設(shè)與管理的效益，由于數(shù)據(jù)較為客觀，可以直觀反映出各學(xué)院實驗室建設(shè)成效的對比。

投入指標(biāo)共3 級指標(biāo)：1 級應(yīng)包括人力、物力、財力、無形、學(xué)科資源等方面的投入。為使觀測點數(shù)據(jù)易于獲取，又能客觀反映實際，將1 級指標(biāo)歸類為硬件條件、運行經(jīng)費、隊伍建設(shè)三部分。

在此基礎(chǔ)上對2、3 級指標(biāo)進(jìn)行了優(yōu)化。其中過于復(fù)雜的指標(biāo)則用直接數(shù)據(jù)予以表征，例如：實驗室隊伍建設(shè)最為復(fù)雜，將各類人員的數(shù)量、學(xué)歷結(jié)構(gòu)、職稱結(jié)構(gòu)、年齡結(jié)構(gòu)信息納入考核中較為困難，也不利于后續(xù)分析。因此，本文可用專業(yè)技術(shù)人員工資投入作為隊伍建設(shè)的觀測值。優(yōu)化后的投入指標(biāo)體系見表1。

表1 實驗室投入情況的定量指標(biāo)

表中：當(dāng)年購置儀器設(shè)備總值是為了反映當(dāng)年新增設(shè)備對投入產(chǎn)出比的影響，大型儀器設(shè)備總值是為了反映科研儀器占設(shè)備總值的比重。以上兩項數(shù)據(jù)在后面的投入產(chǎn)出比計算中不參與計算，作為后期計算結(jié)果分析時參考。

產(chǎn)出指應(yīng)包含教學(xué)、科研、社會服務(wù)等方面的工作成效觀測點。1 級指標(biāo)可歸納為平臺建設(shè)、人才培養(yǎng)、科學(xué)研究、社會服務(wù)4 個方面。將2 級指標(biāo)展開，涵蓋學(xué)科建設(shè)、專業(yè)建設(shè)、人才培養(yǎng)、社會服務(wù)等方面。對于科研與教學(xué)分開評價的方案，學(xué)校各學(xué)院的凸出點不同，分開評價不能反映實驗室建設(shè)與管理工作的綜合績效，同時，在“四個回歸”的指導(dǎo)思想下，將教學(xué)與科研工作分離，不足以體現(xiàn)高校的初心和使命。優(yōu)化后的產(chǎn)出指標(biāo)體系見表2。

1.2.2 定性指標(biāo)的選取

定性指標(biāo)主要用來評價實驗室日常管理中不易量化的觀測點，反映實驗室運行的秩序。凝練為綜合管理指標(biāo)，下設(shè)2 級指標(biāo)，包含安全管理、設(shè)備維修、設(shè)備檔案，以及學(xué)校關(guān)心的其他項目。這一部分的指標(biāo)觀測點的數(shù)據(jù)來源，只能通過實驗室管理部門日常的工作部署和工作的檢查來完成，因為實驗室性質(zhì)的不同，評價結(jié)果含有一定的主觀因素，也因為每年工作的側(cè)重點不同，評價內(nèi)容和權(quán)重調(diào)整的頻率較高。定性指標(biāo)重要關(guān)注點指標(biāo)見表3。

表2 實驗室產(chǎn)出情況的定量指標(biāo)

表3 實驗室管理定性指標(biāo)

2 評價結(jié)果的計算

2.1 定量指標(biāo)的計算方法

獲得了實驗室投入、產(chǎn)出定量指標(biāo)后就通過一個數(shù)學(xué)模型對定量指標(biāo)數(shù)值進(jìn)行分析。本文采用的數(shù)學(xué)模型為數(shù)據(jù)包絡(luò)分析（Data envelopment analysis，簡記為DEA）法。DEA是一種“面向數(shù)據(jù)”的分析方法，主要用于對多變量投入、多變量產(chǎn)出進(jìn)行績效評價的定量研究方法［10］。DEA 模型利用變換將分式規(guī)劃問題轉(zhuǎn)化為一個等價的線性規(guī)劃問題，再利用線性規(guī)劃的對偶理論，可以得到相應(yīng)的對偶規(guī)劃模型，通過解決模型得到評價指標(biāo)值，根據(jù)該指標(biāo)值進(jìn)行排序。在這里，考慮到CCR-DEA 模型的最大值為1，當(dāng)多個決策單元DEA 有效時，無法實現(xiàn)對決策單元進(jìn)行全排序。

而超效率DEA 模型即把被評價單元從參考集內(nèi)移去后再對其進(jìn)行相對效率測評，這樣使得DEA有效的DMUs的效率值可以大于等于1，而非有效單元的效率值相比傳統(tǒng)的CCR 模型的評價結(jié)果將保持不變，從而達(dá)到了區(qū)分DEA 有效DMUs的目的［11］。國內(nèi)已經(jīng)將超效率-DEA 逐步應(yīng)用于省域公共圖書館［12］、高鐵可達(dá)性效應(yīng)綜合評估［13］，但將該模型應(yīng)用于實驗室建設(shè)和管理績效考核還不多見。

Super-DEA 模型如下式所示：

式中，xij表示第j（j ＝1，2，…，n）個決策單元的第i（i ＝1，2，…，m）個輸入，yrj表示第j個決策單元的第r（r ＝1，2，…，s）個輸出。sθj0為被評價DMUj0的效率值，ui，vr分別為與m個輸入值和s個輸出值對應(yīng)的權(quán)向量。

由于實驗室績效評價涉及多投入與多產(chǎn)出，且投入和產(chǎn)出指標(biāo)的計量單位不同；且績效評價需要通過排名給出評價；評估之前不需知道各投入、產(chǎn)出指標(biāo)的權(quán)重值。而以上問題DEA方法都可以克服。

此外，而超效率-DEA 方法只能針對決策單元中可定量的指標(biāo)進(jìn)行評價，而對于定性指標(biāo)的評價將采用層次分析法給各指標(biāo)賦權(quán)重，并采用專家打分給出評價。整個分析過程中，DEA 無效DMUs本不在參考集內(nèi)，因而超效率模型的方法不會改變DEA 無效DMUs的相對效率值，從而達(dá)到了區(qū)分DEA 有效DMUs的目的，進(jìn)而也能夠?qū)EA 有效DMUs 進(jìn)行排序。

2.2 定性指標(biāo)的計算方法

文中所述的定性指標(biāo)無法進(jìn)行量化，因此無法使用前面的定量分析的方法去進(jìn)行評價。而層次分析法比較適合于具有分層交錯評價指標(biāo)且目標(biāo)值難于定量描述的決策問題，因此，本文對定性指標(biāo)的評價將采用層次分析法［14-15］。

層次分析法是將決策問題按總目標(biāo)、各層子目標(biāo)、評價準(zhǔn)則直至具體的備投方案的順序分解為不同的層次結(jié)構(gòu)，然后用求解判斷矩陣特征向量的方法，求得每一層次的各元素對上一層次某元素的優(yōu)先權(quán)重，最后再加權(quán)和的方法遞階歸并各備擇方案對總目標(biāo)的最終權(quán)重。通過層次分析法求出定性指標(biāo)的權(quán)重就能夠?qū)嶒炇医ㄔO(shè)績效中定性的指標(biāo)進(jìn)行綜合計算。

2.3 層次分析法融合超效率-DEA績效分析模型

當(dāng)然，這種績效考核分析過程中仍存在權(quán)重選擇影響最終結(jié)果的問題，為了解決上述問題，本次績效指標(biāo)設(shè)定中增大了專家參與評價的數(shù)量，提高了判斷矩陣質(zhì)量，同時將定量和定性信息進(jìn)行綜合，提高評價過程的客觀性［16］。總的績效得分可以用總得分＝定量指標(biāo)排序名次×0.7 ＋定性指標(biāo)排序名次×0.3 確定，最終結(jié)果按總分排序，分值越小，排名越前，分值越大排名越后。

3 評價結(jié)果及分析

3.1 工科類學(xué)院實驗室投入產(chǎn)出情況分析

采用該模型對北方民族大學(xué)工科類學(xué)院實驗2016 ～2018 年3 年投入產(chǎn)出數(shù)據(jù)進(jìn)行分析，見表4。

表4 2016-2018 年度實驗室排名的變化

在分析整體曲線變化前有必要先了解學(xué)校3 年來的背景變化：機(jī)電工程學(xué)院、土木工程學(xué)院、醫(yī)學(xué)院影像技術(shù)是新辦學(xué)院，特別是醫(yī)學(xué)院影像技術(shù)系，屬于學(xué)校與醫(yī)院聯(lián)合辦學(xué)。另一個背景是學(xué)校在2018 年申請博士學(xué)位點，因此各學(xué)院的科研經(jīng)費變化比較大。

從3 年變化來看，2016 ～2017 年計算機(jī)科學(xué)與工程學(xué)院一直保持第1 名，這是由于計算機(jī)類實驗室相對簡單，對實驗室面積和設(shè)備總值要求不高。實驗面積為化學(xué)類、材料類、電子類實驗室的33.5%，設(shè)備總值為33%，但產(chǎn)出的實驗人時數(shù)甚至比化學(xué)類、材料類、電子類實驗室的平均值還高。

生物科學(xué)與工程學(xué)院與上述3 類實驗室產(chǎn)出的科研經(jīng)費相當(dāng)，實驗課時數(shù)略少，但生物科學(xué)與工程學(xué)院投入的實驗室面積和設(shè)備總值也是少于此3 類實驗室的，因此2016、2017 年排名略高于化學(xué)類和電子類。

機(jī)電工程學(xué)院在2016 年因為經(jīng)費和設(shè)備總值投入少，反而排名靠前，學(xué)校在2017 年對其進(jìn)行加大實驗室建設(shè)，增加了實驗設(shè)備投入，則排名下降了。

醫(yī)學(xué)影像系體量較小，又無科研經(jīng)費產(chǎn)出，受其他學(xué)院狀態(tài)影響很大，排名最不穩(wěn)定。土木工程學(xué)院學(xué)校投入不小，但是由于培養(yǎng)方案設(shè)計等問題，學(xué)生的實驗課大多數(shù)在室外進(jìn)行，導(dǎo)致產(chǎn)出的實驗人時數(shù)一直很低，3 年來的排名都比較靠后。

材料類實驗室有一個優(yōu)勢，學(xué)校材料科學(xué)與工程學(xué)院下設(shè)“寧夏分析測試中心”，分析測試中心可對外服務(wù)，產(chǎn)出高于其他學(xué)院的對外服務(wù)收益，從3 年的排名，都優(yōu)于電子類和化工類實驗室，排名較靠前。

2018 年由于博士點申請影響，各學(xué)院科研經(jīng)費都有很大漲幅，其中電氣信息工程學(xué)院和化學(xué)與化學(xué)工程學(xué)院漲幅最大，其次是生物科學(xué)與工程學(xué)院和材料科學(xué)與工程學(xué)院，其他學(xué)院雖有上漲但漲幅不明顯，特別是醫(yī)學(xué)影像系無科研經(jīng)費。從2018 年曲線可知，前4 個學(xué)院的排名都上升較大，但之前靠投入少而實驗人時數(shù)和其他學(xué)院差不多的計算機(jī)科學(xué)與工程學(xué)院以及醫(yī)學(xué)影像系的排名則直線下降了。

從各學(xué)院3 年投入產(chǎn)出數(shù)據(jù)分析結(jié)果來看，各學(xué)院排名變化及各學(xué)院之間的對比結(jié)果符合學(xué)校實際情況，各項數(shù)據(jù)的分析和對比可以有效指導(dǎo)學(xué)校和各學(xué)院對實驗室規(guī)劃和建設(shè)進(jìn)行指導(dǎo)，也可通過學(xué)院之間的比較反映出學(xué)院之間的差距，形成互相促進(jìn)的機(jī)制，具有較大的實際意義。

3.2 分析評價體系的應(yīng)用

由我校工科實驗室投入指標(biāo)可見，本模型能夠根據(jù)投入產(chǎn)出的定量和定性分析結(jié)果，對一個學(xué)院的實驗室建設(shè)情況進(jìn)行評價。實際上能夠反映出該實驗室的建設(shè)情況動態(tài)變化，這種分析結(jié)果在實驗室排名有大幅變動時能夠給職能部門的決策提供依據(jù)，還能夠?qū)W(xué)校的實驗室建設(shè)情況掌握得更為準(zhǔn)確。同時，根據(jù)學(xué)校的內(nèi)涵式發(fā)展要求，將模型中各類指標(biāo)的權(quán)重進(jìn)行調(diào)整，也能夠體現(xiàn)出學(xué)校發(fā)展側(cè)重點和目標(biāo)。

4 結(jié) 語

本文選擇了8 個1 級指標(biāo)，28 個2 級指標(biāo)和64 個3 級指標(biāo)對學(xué)校實驗室績效進(jìn)行考核，1 級指標(biāo)中投入定量指標(biāo)3 個，產(chǎn)出定量指標(biāo)4 個，良性分析指標(biāo)1個。全部指標(biāo)采用超效率多變量DEA 融合層次分析法進(jìn)行分析。

通過我校8 個工科學(xué)院績效考核，采用計算得分，排出名次的方法，對3 年來各個學(xué)院的名次變化進(jìn)行了分析，所得結(jié)果與相關(guān)學(xué)院實驗室建設(shè)情況一致。因此，通過上述模型能夠反映實驗室建設(shè)情況，且通過權(quán)重微調(diào)也能指導(dǎo)實驗室建設(shè)的日常工作。因此，方法具有應(yīng)用價值。對當(dāng)前高校內(nèi)涵式建設(shè)具有重要的指導(dǎo)作用。