應(yīng)用型大學(xué)專業(yè)實(shí)驗(yàn)室創(chuàng)新績效評價(jià)研究

趙淳宇, 汪必琴, 楊宇科, 唐璽躍, 袁麗娟

(1. 四川師范大學(xué) 商學(xué)院, 四川 成都 610101； 2. 四川師范大學(xué) 實(shí)驗(yàn)室與設(shè)備管理處, 四川 成都 610066； 3. 四川師范大學(xué) 數(shù)學(xué)與軟件科學(xué)學(xué)院, 四川 成都 610066)

為培養(yǎng)學(xué)生的創(chuàng)新意識(shí)和創(chuàng)新精神,加強(qiáng)學(xué)生素質(zhì)教育和提升學(xué)生的綜合能力水平,應(yīng)用型大學(xué)各專業(yè)實(shí)驗(yàn)室在培養(yǎng)學(xué)生實(shí)際應(yīng)用、自我探索與創(chuàng)新能力方面,以及在承擔(dān)科研與服務(wù)社會(huì)職能的過程中,實(shí)施了大量的創(chuàng)新,但目前對創(chuàng)新績效如何評價(jià)方面的研究較少。因此,如何對應(yīng)用型大學(xué)的專業(yè)實(shí)驗(yàn)室創(chuàng)新績效進(jìn)行評價(jià)成為本研究的主題。在以往的相關(guān)研究中,大多側(cè)重于科技創(chuàng)新團(tuán)隊(duì)的科研創(chuàng)新績效[1]、教師教學(xué)與培訓(xùn)的創(chuàng)新績效[2]、知識(shí)創(chuàng)新績效[3]、協(xié)同創(chuàng)新績效評價(jià)[4]等方面,很少有直接針對專業(yè)實(shí)驗(yàn)室進(jìn)行創(chuàng)新績效評價(jià)的研究。已有的相關(guān)文獻(xiàn)也主要集中在實(shí)驗(yàn)室績效考核[5]、專業(yè)實(shí)驗(yàn)教學(xué)質(zhì)量評估[6]、教師實(shí)驗(yàn)教學(xué)績效評價(jià)[7]等方面。因此,為客觀評價(jià)應(yīng)用型大學(xué)專業(yè)實(shí)驗(yàn)室的創(chuàng)新績效,須構(gòu)建合理的切實(shí)可行的評價(jià)指標(biāo)體系,選擇合適的評價(jià)方法,這為實(shí)驗(yàn)教學(xué)創(chuàng)新導(dǎo)向和大力發(fā)展創(chuàng)新教育具有積極的意義。本文將在以往的研究基礎(chǔ)上,首先構(gòu)建相應(yīng)的創(chuàng)新績效評價(jià)指標(biāo)體系,然后使用層次分析法方法確定各指標(biāo)權(quán)重,再使用二元語義多屬性決策對其進(jìn)行綜合評價(jià),最后通過實(shí)例分析驗(yàn)證該評價(jià)指標(biāo)及方法的可行性。

1 指標(biāo)體系構(gòu)建

1.1 指標(biāo)體系

以往對于創(chuàng)新績效評價(jià)的視角主要有投入產(chǎn)出角度[8]、效益角度[9]、對象角度[9]、過程角度[10]和網(wǎng)絡(luò)角度[11]等。對于應(yīng)用型大學(xué)專業(yè)實(shí)驗(yàn)室而言,也同樣涉及到創(chuàng)新投入、創(chuàng)新產(chǎn)出、過程創(chuàng)新、網(wǎng)絡(luò)角度的組織間的關(guān)系與連接等。結(jié)合專業(yè)實(shí)驗(yàn)室在大學(xué)中的作用、大學(xué)的基本功能、創(chuàng)新績效評價(jià)指標(biāo)體系的角度與原則,本文分別從實(shí)驗(yàn)教學(xué)、科學(xué)研究、社會(huì)服務(wù)3大方面進(jìn)行評價(jià)并構(gòu)建相應(yīng)指標(biāo)。

(1) 實(shí)驗(yàn)教學(xué)方面。從產(chǎn)出的角度,最終是促使學(xué)生知識(shí)的吸收和能力的提升。從對象的角度,涉及到教師如何教、學(xué)生如何學(xué),以及雙方創(chuàng)新能力的培養(yǎng)與提升。從網(wǎng)絡(luò)角度,學(xué)生參與各項(xiàng)比賽或者初創(chuàng)型項(xiàng)目也會(huì)涉及跨學(xué)校、跨地區(qū)的交流與學(xué)習(xí)。從效率的角度,包括在人才培養(yǎng)的過程中實(shí)驗(yàn)場所與設(shè)施設(shè)備的利用效率,以及教師和學(xué)生對其利用效率和效果的總體滿意度評價(jià)等。但利用效率作為常規(guī)績效考核指標(biāo),本研究主要體現(xiàn)對創(chuàng)新績效的考核,因此,沒有考慮利用率指標(biāo)。在以往研究的基礎(chǔ)上,結(jié)合對專業(yè)實(shí)驗(yàn)室的訪談,本文分別以資源投入、創(chuàng)新教學(xué)、教學(xué)效果、教學(xué)成果、教學(xué)交流為二級指標(biāo)進(jìn)行評價(jià)。其中資源投入主要從硬件固定資產(chǎn)、軟件及師資作為三級指標(biāo)；創(chuàng)新教學(xué)主要考察在實(shí)驗(yàn)教學(xué)中進(jìn)行的創(chuàng)新,包括教學(xué)案例及編寫情況、開發(fā)實(shí)驗(yàn)項(xiàng)目、自編實(shí)驗(yàn)指導(dǎo)書及講義等；教學(xué)效果主要包括師生對實(shí)驗(yàn)教學(xué)的滿意度、完成實(shí)驗(yàn)教學(xué)、各種比賽獲獎(jiǎng)數(shù)量等；教學(xué)成果主要包括實(shí)驗(yàn)教改的項(xiàng)目、論文專利、出版教材、獲獎(jiǎng)；教學(xué)交流主要體現(xiàn)在與同行的學(xué)習(xí)交流方面。

(2) 科學(xué)研究方面。教師利用專業(yè)實(shí)驗(yàn)室的相關(guān)設(shè)施、設(shè)備、軟件或場所等開展或帶領(lǐng)學(xué)生進(jìn)行科學(xué)研究,參考目前具有較大影響力的英國高校科研評估機(jī)制(research assessment exercise,RAE)[12],結(jié)合應(yīng)用型大學(xué)具體情況,主要從科研成果、科研帶動(dòng)方面進(jìn)行評價(jià)。其中科研成果主要包括出版專著、發(fā)表論文、申請專利、科研項(xiàng)目、科研成果獲獎(jiǎng)等；科研帶動(dòng)主要體現(xiàn)依托實(shí)驗(yàn)室教師帶動(dòng)學(xué)生參與科學(xué)研究的項(xiàng)目、團(tuán)隊(duì)、論文等。

(3) 社會(huì)服務(wù)方面。對于專業(yè)實(shí)驗(yàn)室而言,最直接的就是結(jié)合其學(xué)科所對應(yīng)的行業(yè)為相關(guān)領(lǐng)域其他單位提供測試、實(shí)驗(yàn)、咨詢、培訓(xùn),為政府及相關(guān)部門提供相應(yīng)專業(yè)建議,與校外進(jìn)行相關(guān)項(xiàng)目合作、聯(lián)合培養(yǎng)人才等。

綜上所述,基于科學(xué)性、客觀性、可操作性和系統(tǒng)性的原則[13],結(jié)合應(yīng)用型大學(xué)專業(yè)實(shí)驗(yàn)室的基本情況與以往的相關(guān)研究,構(gòu)建的相應(yīng)的創(chuàng)新績效評價(jià)指標(biāo)體系見表1。

表1 應(yīng)用型大學(xué)專業(yè)實(shí)驗(yàn)室創(chuàng)新績效評價(jià)指標(biāo)體系及權(quán)重

表1(續(xù))

1.2 指標(biāo)權(quán)重

評價(jià)涉及到定量和定性評價(jià)。為了盡量減少個(gè)人主觀臆斷帶來的弊端,使評價(jià)結(jié)果更可信,本研究使用層次分析法計(jì)算其指標(biāo)權(quán)重。其原理是通過分析復(fù)雜系統(tǒng)所包含的因素及相關(guān)關(guān)系,將問題條理化、層次化,分析評價(jià)系統(tǒng)中各基本要素之間的關(guān)系,建立系統(tǒng)的遞階層次結(jié)構(gòu)；對每一層次的各要素進(jìn)行比較,按照一定的標(biāo)度理論,得到相對重要程度的比較標(biāo)度并建立判斷矩陣；計(jì)算判斷矩陣的最大特征值及其特征向量,并進(jìn)行一致性檢驗(yàn)；由判斷矩陣計(jì)算被比較要素的相對權(quán)重[14]。

根據(jù)表1的指標(biāo)體系,征集了10所應(yīng)用型大學(xué)各類專業(yè)實(shí)驗(yàn)室及學(xué)校實(shí)驗(yàn)設(shè)備職能部門共25名專家對指標(biāo)權(quán)重信息進(jìn)行評價(jià),其中23位專家信息有效。將收集的數(shù)據(jù)采用AHP(層次分析法)法確定三級元素屬性權(quán)重。以一級指標(biāo)為例,確定實(shí)驗(yàn)教學(xué)、科學(xué)研究、社會(huì)服務(wù)的權(quán)重。構(gòu)造判斷矩陣A,歸一化求算數(shù)平均Wi,根據(jù)公式Aw=λmaxw，A為判斷矩陣，λmax

為最大特征根，w為特征向量，求出λmax=3.015,一致性指標(biāo)C.I.=0.0075,查看平均隨機(jī)一致性指標(biāo)R.I.=0.52,其一致性比例C.I./R.I.=0.0144<0.1,說明結(jié)果是接受一致性檢驗(yàn),最后加權(quán)求得最終的一級指標(biāo)權(quán)重為W=(0.462,0.321,0.217)。即實(shí)驗(yàn)教學(xué)、科學(xué)研究、社會(huì)服務(wù)的指標(biāo)權(quán)重分別為0.462、0.321、0.217。

同理可得,該指標(biāo)體系中的二級指標(biāo)的權(quán)重為：W1=(0.215,0.191,0.203,0.185,0.206),W2=(0.502,0.498),W3=(0.474,0.526)；三級指標(biāo)的權(quán)重為：W11=(0.356,0.370,0.274),W12=(0.191,0.195,0.202,0.205,0.207),W13=(0.350,0.293,0.357),W14=(0.250,0.250,0.246,0.254),W15=(0.345,0.340,0.315),W21=(0.340,0.364,0.296),W22=(0.334,0.337,0.329),W31=(0.277,0.195,0.263,0.265),W32=(0.510,0.490),指標(biāo)體系及權(quán)重如表1所示。

2 評價(jià)方法

2.1 指標(biāo)評價(jià)標(biāo)準(zhǔn)與方法

如表1所示,本研究構(gòu)建了應(yīng)用型大學(xué)專業(yè)實(shí)驗(yàn)室創(chuàng)新績效評價(jià)指標(biāo)體系,并計(jì)算了各級指標(biāo)的權(quán)重,但要對某個(gè)實(shí)驗(yàn)室進(jìn)行創(chuàng)新績效評價(jià),還需要確定三級指標(biāo)的具體評價(jià)方式。在評價(jià)的過程中,對于定量測量的部分指標(biāo)(除C113高級職稱比例外)評價(jià)為當(dāng)年的數(shù)量與其過去3年的均值相比較,對其比值i1大小對應(yīng)“非常好、好、一般、差、非常差”進(jìn)行分類；對于C113高級職稱比例方面,出于人力資本的累積性特征,直接計(jì)算當(dāng)年高級職稱在實(shí)驗(yàn)師資隊(duì)伍中的比例i2,并根據(jù)其大小進(jìn)行分類；對于定性測量指標(biāo),如C131師生滿意度、C133完成實(shí)驗(yàn)教學(xué)順利程度,則直接根據(jù)實(shí)際情況采用主觀“非常好、好、一般、差、非常差” 的方式評價(jià)。采用專家意見法,綜合各位專家的建議,對其比值i1、i2分類標(biāo)準(zhǔn)見表2。

表2 比值對應(yīng)的評價(jià)等級

在針對某對象(或目標(biāo)、準(zhǔn)則)進(jìn)行評價(jià)的過程中,又往往具有不確定性,與真實(shí)水平會(huì)出現(xiàn)偏差,尤其是針對指標(biāo)體系中各級指標(biāo)涉及不同的屬性,即多屬性評價(jià)時(shí),語言評價(jià)的信息損失和集結(jié)結(jié)果也具有不準(zhǔn)確性。因此,為了使評價(jià)更加精準(zhǔn),還需考慮真實(shí)情況與語言評價(jià)的偏差。同時(shí),對于實(shí)驗(yàn)室創(chuàng)新績效的評價(jià),實(shí)際上也是根據(jù)指標(biāo)體系對某專業(yè)實(shí)驗(yàn)室所包括實(shí)驗(yàn)教學(xué)、科學(xué)研究和社會(huì)服務(wù)的總體創(chuàng)新進(jìn)行評價(jià),屬于多屬性決策評價(jià),也會(huì)面臨對多屬性評價(jià)信息、屬性權(quán)重、專家權(quán)重以及評價(jià)值等難以精確衡量的問題。而二元語義多屬性決策方法采用二元語義有序加權(quán)平均算子(T-OWA)則正好有效克服了這些不足,并廣泛應(yīng)用于多目標(biāo)決策中[15]。因此,本文采用二元語義多屬性決策方法進(jìn)行綜合評價(jià)。

二元語義信息[15]是由一個(gè)二元組(sk,k)來表示,二元組中的元素sk為預(yù)先定義好的語言評價(jià)集S中的第k個(gè)元素,它表示給出的語言評價(jià)信息與初始語言評價(jià)集中最貼近的語言短語[15]。例如,一個(gè)由5個(gè)元素(即語言評價(jià))構(gòu)成的評價(jià)集S可定義為S={s1=非常差,s2=差,s3=一般,s4=好,s5=非常好}。一般要求S具備有序性、存在逆運(yùn)算算子、極大化運(yùn)算和極小化運(yùn)算等性質(zhì)。二元組中的元素k為符號轉(zhuǎn)移值,且滿足k∈[-0.5,0.5),它表示評價(jià)結(jié)果與sk的偏差,可以由專家評價(jià)根據(jù)實(shí)際情況與sk的偏離方向與程度直接打分。例如,某校經(jīng)濟(jì)管理實(shí)驗(yàn)中心和化學(xué)實(shí)驗(yàn)中心在三級指標(biāo)“在實(shí)驗(yàn)室研究的科研項(xiàng)目數(shù)C222”中計(jì)算出的指標(biāo)值分別為1.2和1.8,根據(jù)表2,2個(gè)實(shí)驗(yàn)中心均獲得了“好”s4的評價(jià),但實(shí)際上1.2和1.8在量化數(shù)據(jù)上是有差別的。為了更準(zhǔn)確地反映二者的評價(jià)結(jié)果,盡量減少評價(jià)誤差,評價(jià)專家根據(jù)實(shí)際情況在“好”s4的評價(jià)基礎(chǔ)上再給一個(gè)偏差值k。根據(jù)比值1.2、1.8在s4中取值(1,2)之間所處的程度位置,1.2處于s4的中下水平,1.8處于s4的中上水平,則可分別記為(s4,-0.3)、(s4,0.3)。評價(jià)專家根據(jù)各專業(yè)實(shí)驗(yàn)室的實(shí)際情況對每一項(xiàng)評價(jià)指標(biāo)均按此方式進(jìn)行評價(jià)。因此,每位專家就某實(shí)驗(yàn)室針對如表1所示的30項(xiàng)三級指標(biāo)的評價(jià)結(jié)果所形成的二元語義信息集為{(sk1,ak1),(sk2,ak2),…,(sk30,ak30)}。

2.2 綜合評價(jià)計(jì)算方法

二元語義多屬性決策評價(jià)總體思路是將二元語義信息轉(zhuǎn)化為二元語義評價(jià)矩陣,經(jīng)T-OWA算子集結(jié)信息處理,結(jié)合各指標(biāo)以及決策者的權(quán)重,最終計(jì)算出綜合屬性值。

設(shè){(s1,a1),(s2,a2),…,(sn,an)}是一組二元語義信息,則該組二元語義信息的算術(shù)平均算子為[15]：

(1)

其中,

Δ-1是其逆函數(shù),β∈[0,T]為語言評價(jià)集S經(jīng)集結(jié)得到的實(shí)數(shù),T為語言評價(jià)集S中元素的個(gè)數(shù)。

對應(yīng)的二元語義權(quán)重向量W=w1,β1,w2,β2,…,wn,βn,則基于二元語義的加權(quán)算術(shù)平均算子定義為[15]：

(2)

設(shè)有t個(gè)評價(jià)者,評價(jià)者的權(quán)重為λ1,λ2,…,λt,且λ1+λ2+…+λt=1,則指標(biāo)屬性值為：

(3)

根據(jù)指標(biāo)屬性值的集合H,以及該集合的二元語義權(quán)重向量W=((w1,β1),(w2,β2),…,(wn,βn)),則綜合屬性值為：

(4)

3 應(yīng)用實(shí)例分析

3.1 二元語義多屬性評價(jià)

本研究以四川某省屬大學(xué)為例,該校是非“985工程”和非“211工程”學(xué)校,是一所典型的應(yīng)用型大學(xué),其經(jīng)管實(shí)驗(yàn)室承擔(dān)了該校經(jīng)濟(jì)類、管理類8個(gè)專業(yè)共3 000余名學(xué)生的實(shí)驗(yàn)教學(xué)、創(chuàng)業(yè)支持和服務(wù)等任務(wù)。該實(shí)驗(yàn)室共有900 m2,包括財(cái)務(wù)管理實(shí)驗(yàn)室、會(huì)計(jì)電算化實(shí)驗(yàn)室、工業(yè)工程實(shí)驗(yàn)室、金融實(shí)驗(yàn)室、審計(jì)實(shí)驗(yàn)室、物流仿真實(shí)驗(yàn)室等。請5位專家對該經(jīng)管實(shí)驗(yàn)室分別進(jìn)行評價(jià)。所有評價(jià)者擁有相同的地位,因此在本實(shí)例中所有專家的權(quán)重相同均為0.2。將專家的評價(jià)結(jié)果轉(zhuǎn)換為二元語義評價(jià)矩陣。根據(jù)二元語義矩陣數(shù)據(jù)與公式(3)得出二級指標(biāo)的屬性值,結(jié)果為：

H21={(S3, 0.338 2),(S3,-0.065 3),

(S3, 0.479 9),(S3,-0.150 1),(S3, 0.011 6)}

H22={(S3, 0.126 7),(S3, 0.000 1)}；

H23={(S2, 0.455 3),(S3, -0.298 8)}

然后,根據(jù)AHP法確定的二級元素屬性權(quán)重和指標(biāo)屬性值,根據(jù)公式(4),計(jì)算出一級指標(biāo)下的指標(biāo)屬性值：

H11={(S3, 0.125 7)}；H12=

{(S3, 0.064 1)}；H13={(S3, -0.415 3)}

最后,根據(jù)一級元素屬性權(quán)重和指標(biāo)屬性值,根據(jù)公式(4),計(jì)算出綜合屬性值：H={(S3, -0.001 1)}。

3.2 評價(jià)結(jié)果分析

由此可得,采用等級分析法確定的指標(biāo)權(quán)重和二元語義多屬性決策算子得出該實(shí)驗(yàn)室創(chuàng)新績效評價(jià)總體為(S3,-0.001 1),對應(yīng)評價(jià)等級為“一般”,與該實(shí)驗(yàn)室在同行中所處的地位相匹配。該實(shí)驗(yàn)室創(chuàng)新績效一級指標(biāo)屬性值由大到小排序?yàn)椋簩?shí)驗(yàn)教學(xué)、科學(xué)研究、社會(huì)服務(wù)。具體情況分析如下。

(1) 在一級指標(biāo)中,社會(huì)服務(wù)的指標(biāo)屬性值最低,說明相對于實(shí)驗(yàn)教學(xué)與科學(xué)研究而言,該實(shí)驗(yàn)室在對外服務(wù)方面還需提升。在二級指標(biāo)中,對外服務(wù)與對外合作的指標(biāo)屬性值分別為(S2, 0.455 3)、(S3,-0.298 8),分別對應(yīng)“差”和尚未達(dá)到“一般”的評價(jià)。這表明該校經(jīng)管實(shí)驗(yàn)室在對外提供培訓(xùn)學(xué)習(xí)、承接外包業(yè)務(wù)方面還需要進(jìn)一步加強(qiáng),以及與校外組織合作開展新項(xiàng)目和與校外組織聯(lián)合培養(yǎng)人才的活動(dòng)較少。經(jīng)過專家團(tuán)隊(duì)討論,大家一致認(rèn)為這可能與該校所處的地理位置有關(guān),其所在的城市共有56所高校,其中“985工程”“211工程”大學(xué)共5所,地方政府及相關(guān)部門的很多服務(wù)項(xiàng)目以及繼續(xù)學(xué)習(xí)服務(wù)等大多由這幾所著名高校實(shí)施。

(2) 實(shí)驗(yàn)教學(xué)指標(biāo)的評價(jià)結(jié)果為“一般”,其二級指標(biāo)屬性值由大到小排序?yàn)椋航虒W(xué)效果(S3,0.4799)>資源投入(S3,0.3382)>教學(xué)交流(S3,0.0116)>創(chuàng)新教學(xué)(S3,-0.0653)>教學(xué)成果(S3,-0.1501)。在教學(xué)效果方面,該實(shí)驗(yàn)室近年來帶領(lǐng)學(xué)生參加了較多比賽,獲得了一些獎(jiǎng)項(xiàng),所開展的實(shí)驗(yàn)課程能夠順利完成；創(chuàng)新教學(xué)和教學(xué)成果的得分較低,反映了該實(shí)驗(yàn)室在這些方面的不足,尤其是在實(shí)驗(yàn)教材的建設(shè)與科研成果轉(zhuǎn)化為教學(xué)案例等方面還需要提高。

(3) 科學(xué)研究指標(biāo)的評價(jià)結(jié)果為“一般”,且該指標(biāo)下的二級指標(biāo)為科研帶動(dòng)(S3, 0.1267)和科研成果(S3,0.0001),均屬“一般”。這反映了該實(shí)驗(yàn)室所進(jìn)行的科研項(xiàng)目、相關(guān)研究論文的發(fā)表以及科研成果獎(jiǎng)并不多。這與目前現(xiàn)狀相符,大多數(shù)科研項(xiàng)目都集中于研究型高校,其成果轉(zhuǎn)化相對更多,也具有更多的支持和優(yōu)勢,而一般應(yīng)用型高校的科研項(xiàng)目不多,發(fā)表的論文相對就偏少。

4 結(jié)語

本文通過國內(nèi)外相關(guān)文獻(xiàn)的查閱與梳理,構(gòu)建了應(yīng)用型大學(xué)專業(yè)實(shí)驗(yàn)室的創(chuàng)新績效評價(jià)指標(biāo)體系。該體系包括實(shí)驗(yàn)教學(xué)、科學(xué)研究、社會(huì)服務(wù)3個(gè)一級指標(biāo),9個(gè)二級指標(biāo)和30個(gè)三級指標(biāo)。使用層次分析法對該創(chuàng)新績效評價(jià)指標(biāo)體系的各級各項(xiàng)指標(biāo)的權(quán)重進(jìn)行了計(jì)算,其中一級指標(biāo)實(shí)驗(yàn)教學(xué)、科學(xué)研究、社會(huì)服務(wù)的權(quán)重分別為0.462、0.321、0.217。基于二元語義多屬性決策方法可以對專業(yè)實(shí)驗(yàn)室的創(chuàng)新績效、各級指標(biāo)的綜合屬性進(jìn)行評價(jià),學(xué)校可以根據(jù)其評價(jià)結(jié)果進(jìn)行比較、分析,以利于實(shí)驗(yàn)室根據(jù)其評價(jià)結(jié)果提出針對性的改進(jìn)措施,從而進(jìn)一步提高其創(chuàng)新績效。另外,在評價(jià)實(shí)施過程中,評價(jià)主體也可以根據(jù)被評價(jià)學(xué)校專業(yè)實(shí)驗(yàn)室的具體情況對各評價(jià)指標(biāo)的權(quán)重進(jìn)行微調(diào),并參照二元語義多屬性決策方法自行計(jì)算和評價(jià)其創(chuàng)新績效。