科研儀器平臺評價體系的比較研究

王肖波，穆 超，李錦鈺

(1.中國科學院西北生態(tài)環(huán)境資源研究院，甘肅 蘭州 730000；2.中國科學院近代物理研究所，甘肅 蘭州 730000)

0 引言

黨的二十大報告指出，應在完善科技創(chuàng)新體系方面優(yōu)化配置創(chuàng)新資源，提升國家創(chuàng)新體系整體效能。大型科研儀器等創(chuàng)新資源是國家創(chuàng)新體系的重要組成部分，也是科技創(chuàng)新活動的重要基礎保障[1-2]。中國高校和科研院所已建超過10萬臺套原值不低于50萬元的大型科研儀器，其中超過80%組織了科研儀器平臺以集約化管理運行科研儀器[3]。 《國務院關于國家重大科研基礎設施和大型科研儀器向社會開放的意見》 (以下簡稱 《意見》)發(fā)布后，各有關部門和管理單位加快推進科研儀器開放共享[2-4]，于2018年起開展科研儀器平臺運行管理評價工作。在當前常態(tài)化考評階段，對不同評價方式進行比較研究，有助于建構科學合理的評價體系，為后續(xù)優(yōu)化升級提供標靶，進一步發(fā)揮科技評價的效用。

近年來，科研儀器平臺的持續(xù)穩(wěn)定運行已成為科技管理的重要研究內容，側重于效益或效率的科研儀器平臺運行評價體系也成為研究熱點[5-7]。同時，科研儀器開放共享運行的年度考評結果在科學技術部網站上公布[8]，受到社會各界廣泛關注。但評價只是手段，目標仍是提升開放共享水平，為強化國家創(chuàng)新體系整體效能提供服務[4]。檢驗既有平臺評價體系的優(yōu)點和不足，識別考評工作中的屬性指標及其關聯(lián)效應，有助于深入了解科研儀器平臺運行的使命要求，進一步提升管理和共享應用水平，為科研儀器平臺運行要素的配置和優(yōu)化路徑的定制提供科學依據(jù)，對于推動創(chuàng)新資源優(yōu)化配置與科技創(chuàng)新體系建設深度融合、推進科技體系創(chuàng)新發(fā)展改革和全面建設社會主義現(xiàn)代化科技強國都具有現(xiàn)實意義。

1 文獻綜述

隨著科技投入持續(xù)增加，科技資源集聚效應帶來的規(guī)模化、集約化和多樣化特征，要求科研儀器平臺既要體現(xiàn)功能的基礎性、創(chuàng)新性和公益性，也要符合技術服務的精準性、有效性和可及性的更高標準。科技創(chuàng)新活動的綜合性和復雜性，也要求平臺組織能夠銜接不同的創(chuàng)新服務需求和相應的創(chuàng)新資源。事實上，科研儀器平臺可歸結為從資源經濟價值到文化知識價值的橋梁，抑或從科技資源投入到服務產品輸出的功能鏈[9-10]。面向科研儀器平臺運行的各類評價，或可理解為基于這種功能鏈整合不同利益攸關方的偏好，進而整體性地處理效益和效率問題[11]。

當前主流的效率研究方法有DEA和SFA，前者無需考慮模型的參數(shù)問題而更受學者歡迎。數(shù)據(jù)包絡分析 (Data Envelopment Analysis，DEA)是大量基準研究中用于評估組織效率并區(qū)分一組給定組織相對效率的常用方法，比如，基于對外服務情況和科技資源管理單位規(guī)模現(xiàn)狀表征資源的配置和共享效率[6，12]。開放共享只是科研儀器平臺運行的目標之一，效率評價還應關注支撐科研人員創(chuàng)新產出的情況，也即成效。基于組織執(zhí)行和目標導向層面區(qū)分的兩階段DEA效率評價進一步細分了平臺管理和支撐服務兩個階段的運行水平[11]，進而選取決策單元整體、子階段和交叉效率及超效率值，可用于重要性或有效性的排序，實現(xiàn)評價分級的目標[13]。

效益評價還具有多維特征，從符合性和診斷性的視角選擇績效指標，量化 “做得如何”的標定問題[7，14]。例如，按前述 《意見》要求設計的4個方面18條具體指標的績效評價體系[15]。將DEA整合到平衡記分卡法[16]，也滿足效益評價的基本需求。遵循通用性和可操作性原則，將量化績效指標融入平衡記分卡模型，可兼顧多維度評價的目標[17-18]。此外，以平臺服務能力評價為目標，有助于還原運行的過程及其根本性特征[19]。在組織運行的戰(zhàn)略和實踐中嵌入可持續(xù)性，已成為當下運行管理必然面對的挑戰(zhàn)[20]。應對越來越激烈的競爭環(huán)境，整合可持續(xù)的效益評價，既要求構建一套可開展廣泛應用的指標評價體系，也旨在明確可持續(xù)發(fā)展戰(zhàn)略的重點[21]。然而，受限于評價主體的立場，效率評價諸如DEA方法總是自我評估的有效性檢驗[13]。同時，從平臺本身出發(fā)的效益評價也缺失用戶需求視角的反饋和建議[22-23]。相反，可持續(xù)績效評價模型指出，相較于只是降低自身收費標準，用戶導向的發(fā)展策略可能更有助于運行績效的改善[21]。因此，將用戶滿意度作為解釋評價結果的預測指標將有益于理解科研儀器平臺運行的實際情況。

綜上所述，現(xiàn)有研究在科研儀器平臺運行機制和評價方面豐富了知識，但仍存在一些不足。首先，沒有通過系統(tǒng)性研究還原科研儀器平臺的運行過程，識別影響運行效率和效益的屬性指標，量化相互作用關系，提升運行績效，發(fā)揮評價效用。其次，當前的工作主要依據(jù)研究方法的假設，未能提供一組通用的權重來表示決策者的偏好結構，致使無法開展大范圍的應用。最后，甚少對得到的評價結果進行平行檢驗和比較研究，明確不同評價方式的優(yōu)點和不足，以便促進評價工作的改善與提升。因此，基于科研儀器平臺的功能鏈和組成要素及其相關性，結合文獻分析、實踐經驗和專家意見等多元信息反饋，識別科研儀器平臺卓越運行的關鍵要素，進而借助結構方程模型解析開放共享評價考核結果可能的邏輯內涵，以便更好地發(fā)揮評價考核的作用，為科研儀器平臺的高效運行提供科學依據(jù)，也可為儀器平臺持續(xù)提升原動力和競爭力助力。

2 科研儀器平臺績效評價方法與數(shù)據(jù)采集

2.1 數(shù)據(jù)來源

本文以中國科學院所屬各研究院所建設的科研儀器平臺為研究對象，中國科學院自2007年開展科研儀器平臺建設[1]，目前已建成超過90家平臺。在科學技術部牽頭組織的2019年度中央級高校和科研院所重大基礎設施和大型科研儀器開放共享考評工作中，共有344家法人單位參評[24]。中國科學院所屬單位有99家平臺參與，其中評優(yōu)的為38家，優(yōu)秀比例為38.4%，遠超15.1%的全國優(yōu)秀率，占全部52家優(yōu)秀單位的73.1%。

中國科學院運行模式可作為當前階段科研儀器平臺運行管理的標桿[11]。進入 “擇優(yōu)”序列的科研儀器平臺 (所級公共技術中心)應按年度向主管部門遞交上一年度工作報告，并接受運行效果的評價。互評工作資料顯示有85家平臺參與2019 年度運行評價，其中82家參與2019年科學技術部組織的考評。同時，主管部門組織的函評工作邀請了15位技術支撐體系建設和運行資深專家，給出一組百分制評分結果。從科學技術部網站查閱這些所級中心的最終排名和評級結果[24]，獲得一組可對比的管理部門評價集。

經與上述平臺負責人代表磋商，并在中國科學院主管部門的指導下，從參評的85家單位年度工作報告中整理獲得39條量化指標。一級層面可分為技術隊伍、平臺建設、運行效果及財務狀況四個方面。以技術隊伍為例，屬性指標包括在職人數(shù)、項目聘用人數(shù)、正高級專業(yè)技術崗位 (正高)人數(shù)、副高級專業(yè)技術崗位 (副高)人數(shù)、高級人員比例、隊伍結構合理性評分、專職管理人數(shù)及平臺負責人的領導作為等。

2.2 年度考核指標、效益評價體系和效率計算模型

科研儀器平臺主管部門實施的年度運行考核有據(jù)可依。其中，2019 年科學技術部考核評價的指標體系一級指標包括組織管理、運行使用和服務成效三個方面，在2022年以管理法規(guī)公開發(fā)布[11]。中國科學院技術支撐體系建設與運行也有一套指標評價體系，分別從總體情況 (10%)、平臺能力與水平 (20%)、技術隊伍 (25%)、運行效果與貢獻 (25%)和體制機制 (15%)五個方面評價，評價體系見表1。

在效益評價體系方面，文獻綜述提及的可持續(xù)性評價框架和平衡記分卡方法都基于層次分析模型設計，通常需要根據(jù)實際情況計算特定的指標權重[5，18]。簡單起見，對科研儀器平臺可持續(xù)性評價模型中的20個指標和組織績效評價體系中的16個指標分別予以相同的權重處理。在可持續(xù)性評價模型代入16個現(xiàn)有屬性指標，以5聚類數(shù)為其中13個指標賦分，其余指標全部給定滿分的方式計算得分。在績效評價體系中代入14個現(xiàn)有屬性指標，同樣以5聚類數(shù)為其中的11個指標賦分，其余指標則給定滿分計算對應的評價結果。

此外，表1所示的簡單效率評價借助DEAP 2.1軟件，設定4個產出指標、4個投入指標，以產出導向和規(guī)模報酬可變進行計算[6]。使用率和共享率與其他投入指標的相關性及同向性較差，故選擇使用機時和對外共享率替換，以提高可信度。結果顯示有18個決策單元達到了綜合效率有效，能區(qū)分不同評價對象的效率水平，故不再以超效率模型深入區(qū)分。兩階段運行效率評價的計算同樣存在相關性不足和同向性問題，經研判以對外共享率代替開放率產出指標，有效使用機時代替使用率中介指標，副高人數(shù)代替隊伍結構，日常運行支出代替領導作為投入指標。借助MaxDEA Ultra軟件，設定兩個節(jié)點，分別按3投入3產出和3投入2產出模型計算運行和產出兩個階段的效率值，并以兩階段效率的乘積作為最終評價結果。

表1 科研儀器平臺現(xiàn)有評價體系

2.3 冗余分析和結構方程模型

遵循簡約性原則，將39個定量指標輸入Canoco5軟件中檢驗預測變量的弓形效應 (arch effect)，以6種評價體系產出結果為結果變量，并通過排除多重共線性和較低貢獻度的預測變量精簡分析模型[25]。39個變量的因子分析揭示超過4個組成部分的影響，直接代入約束排序必然導致可解釋性水平降低。因此，在預處理中按變量相關性和變量貢獻度刪除共線性變量7個。然后，通過非約束性排序分析計算32個指標解釋度和貢獻度，剔除指示性小于整體平均值的變量，最終篩選出17個最具信息性的變量，見表2。這種正向逐步選擇分析也評估了預測變量與評價結果間特征值的差異，以確定指標數(shù)據(jù)集中是否刪除了錯誤變量或刪除了過多變量。表2同時列出了科研儀器平臺2018年度的平均量化水平，其中，使用率的計算是依據(jù)某個科研儀器平臺總計的儀器使用機時除以儀器總數(shù)，再除以標準化的年度工作機時1600小時獲得。共享機時是指扣除最大使用機時用戶外其余人員的使用機時，外部共享機時則是提供外部用戶使用的機時數(shù)，共享率等于共享機時除以有效使用機時。比如，2019年開放共享考評結果顯示，平均有效使用機時為1440小時，對外服務機時240小時。對應地，使用率為90%，對外共享率為16.7%。用戶滿意率是由各平臺自行聯(lián)系用戶評定的值，儀器有效機時率是指使用機時數(shù)占開機機時的比率。

對效率和效益評價得到的結果可通過聚類方法進行不同級別的分劃，比如K-mean聚類處理的分類結果顯著，則說明評價結果可用于評定優(yōu)秀、良好和合格的區(qū)別。以不同評級對科研儀器平臺編組，不同組別對應屬性指標的異質性檢驗采用Kolmogorov-Smirnov方法，借助IBM SPSS Statistics 22軟件計算。對影響科研儀器平臺得分高低的屬性指標則可借助回歸模型進行擬合驗證，但對不同指標因子及其相互之間作用的強弱關系，需要在結構方程模型中進行逐一比較驗算。借助MPLUS 8軟件[26]的BOOTSTRAP方法，以從低到

高逐一排除顯著性大于0.05的指標進行模型擬合，最終取擬合信息相比最好的結果進行解釋。

3 實證分析

3.1 不同評價體系的冗余分析

為了深度挖掘信息，基于2019年開放共享考評結果給出的排名，歸一化后作為不同科研儀器平臺的得分結果，均值為0.679。同時，中國科學院主管部門的評價結果去掉最高最低評分后取平均分，最高分為91.4，最低分為71.6，平均分為83.2。簡單效率評價方式的最大值為1.000，最小值為0.232，平均效率為0.722。兩階段效率評價的平均效率為0.351，最大值為1，最小為0.048。可持續(xù)性評價方式最大值為77.9，最小值為58.0，平均得分為65.9。績效評價方式的平均得分為41.1，最高分59.6，最低分28.3。

根據(jù)表2中屬性指標正向選擇結果，選擇約束性標準分析方法，可得到不同評價結果與屬性指標的相關關系結果。模型提取四個維度的總計解釋方差為54.8%，且所有軸的顯著性水平為0.002，表明分析結果可信。圖1選擇冗余分析結果前兩個解釋維度作為坐標系進行繪制。其中，實線箭頭的數(shù)字代表表1中不同評價方法對應的評價結果，空心箭頭表示貢獻度較大的屬性指標。箭頭之間的夾角指示變量之間的相關關系，夾角越接近直角則表明相關性越小。箭頭的長度則分別表明屬性指標的解釋度和評價結果的被解釋度。

表2 科研儀器平臺屬性指標的描述性統(tǒng)計與交互式正向選擇模型結果 (n=85)

圖1表明科學技術部和中國科學院評價結果的相關性較高，意味著管理部門對科研儀器平臺的評價基本一致。其中，利用科學技術部評級結果和用排名標準化值計算的結果基本相近，說明平臺之間確實存在等級層次差別，故當前排名具有實際意義，在一定程度上表明科研儀器平臺對相關工作的落實不均衡，部分平臺存在統(tǒng)籌管理不到位和開放共享不充分的問題[3]。3號和4號實線箭頭代表的績效評價結果與管理部門評價結果的夾角偏向正交關系，表明結果之間僅呈現(xiàn)較低程度的相關性，說明以綜合指標評價體系開展的績效評價結果與研究期管理部門評價結果存在偏離。效率評價結果與管理部門的結果相關性較高，說明研究期的管理部門開放共享評價考核傾向于效率評價。

不同的預測指標也展現(xiàn)出與不同評價方式之間明顯的相關趨勢，比如，使用率和共享率指標與1號和2號評價結果呈現(xiàn)高度相關性，說明可作為這類評價主要的預測指標。用戶滿意率與1 號和2 號評價結果呈現(xiàn)高度相關性，固定預算收入也支持2號評價結果。3號和4號評價結果則傾向于對外服務收入、開放儀器總值、副高人數(shù)及功能開發(fā)支出等指標。開放率和支撐科研情況為5號和6號評價結果的主要產出指標，因此兩者與其相關性較高。表現(xiàn)異常的指標主要為儀器總數(shù)、領導作為和儀器有效機時率，前兩者與3號和4號評價結果呈顯著負相關，說明對績效水平存在較明顯的負面作用。總之，圖1表明不同指標在不同評價方式中的效用不同，為不同評價體系之間的比較研究明確了前提。

圖1 科研儀器平臺運行評價結果冗余分析

3.2 不同評價體系的應用比較

中國科學院主管部門評分4聚類結果的聚類中心依次為84.5、74.7、89.2和80.4，顯著性p<0.001，可將對應評級良好、較差、優(yōu)秀和合格賦予各評級對象。以表1中3號和5號評價體系的結果為例，將4類評級結果作為多樣本K-S檢驗的分組信息，對科研儀器平臺的屬性指標進行分析，得到如表3所示的結果。可知，在職人數(shù)、年度收入和儀器總值等規(guī)模指標確非管理部門關注的重點，但效率和效益評價模型都將其作為主要考察指標。相反，在管理部門重點關注的使用率和共享率指標方面，效率和效益評價并不能準確辨識，說明文獻研究的指標體系容易因涉及的評價內容過多而失去針對性。

表3 科研儀器平臺部分屬性指標的多樣本K-S檢驗 (n=85)

在當前發(fā)展階段，基于現(xiàn)有理論提出指標體系仍存在一定的適用性問題。相較于DEA和可持續(xù)性評價模型，科學技術部組織的開放共享考核評價結果中，關注的屬性指標存在顯著性差異的，只有使用率和外部共享率。但這并不說明其余指標一定不重要，可能是因為在中國科學院范圍內的科研儀器平臺其余屬性指標之間整體差異性小，

而無法在現(xiàn)有分級情況下進行識別。在中國科學院的運行評價中，判定不同運行水平的平臺之間獲得的固定預算與功能開發(fā)支出有所不同，這反映了定期評估和擇優(yōu)支持的管理體制所帶來的優(yōu)勢，也體現(xiàn)了中國科學院建設綜合型科研儀器平臺的策略。同時，從開機機時到使用機時，再到共享機時和外部服務機時等指標，不同運行水平的平臺也都存在差別，指明儀器利用在平臺運行中重中之重的地位。

3.3 專家評價結果的內涵研究

在MPLUS軟件中以反向逐一剔除擬合結構模型，得到5個中國科學院運行評價得分的直接解釋變量，包括開放儀器數(shù)、固定預算收入、功能開發(fā)支出、使用率和共享率。進而對這些屬性指標分別擬合解釋結構模型，然后納入多路徑因果分析，來計算不同屬性指標的直接和間接影響效應。圖2所示的結構模型參數(shù)表明當前建模具有較好的解釋度。在主管部門評價中，對最終評分產生顯著影響的還包括規(guī)模體量方面隊伍結構、儀器總數(shù)、儀器總值和開放儀器數(shù)，財務方面是年度支出、人員支出。模型通過BOOTSTRAP的95%置信區(qū)間檢驗，且變量間基本不存在共線性問題。此時，年度支出和開機時間對功能開發(fā)支出產生負面作用，儀器總數(shù)和儀器總值分別對使用率和共享率有負面作用，使用率、共享率及功能開發(fā)支出等指標也有多路徑的影響作用。

圖2 科研儀器平臺屬性指標對主管部門評價結果的直接或間接影響

計算模型標準化效應值，得到圖3所示結果。在中國科學院主管部門評價中，使用率的作用最大，標準化效應值為0.649，其次是共享率0.351，再次為開放儀器數(shù)0.329，三者占全部正向效應50%以上，其余屬性指標的標準化效應值都小于0.3。儀器總值和年度支出產生較小的負面作用，標準化效應值分別為-0.097和-0.099，說明儀器總值所代表的運行規(guī)模在一定程度上降低了共享率，年度支出則限制了用于功能開發(fā)支出產生的效用，但儀器總數(shù)和開放儀器數(shù)作為規(guī)模指標在一定程度上對評價結果產生了加分作用。另一方面，屬性指標的間接作用標準化效應值之和為1.113，占全部正向效應值的46.3%，說明產生間接效應的屬性指標也具有不可忽視的作用。

圖3 中國科學院科研儀器平臺運行評價結果的屬性指標標準化效應

同理，將結果變量替換為科學技術部2019 年度開放共享考核評價結果，可得到類似的結構模型。模型擬合χ2值為63.429，df為56，p=0.23。模型的RMSEA值為0.040、SRMR值為0.042、CFI和TLI分別為0.986和0.980，表明模型具有較好的解釋度。可知，科學技術部運行評價主要關注儀器方面如開放儀器價值、開機時間、使用率和共享率，人員和財務方面兼顧隊伍結構、年度收入、人員支出和功能開發(fā)支出。說明不同管理部門之間的評價結果雖然存在一定相關性，但關注的屬性指標及作用強度間存在較大差異。故圖1所示相似性的前提是二者相對于效益和效率評價的排序結果。通過計算屬性指標的標準化效應值，可得圖4所示結果。由圖4可見，開放儀器價值、開機時間、使用率和共享率等開放共享屬性指標是獲得更好評級的重要指標，且相互之間存在較復雜的調控作用。年度收入是較顯著的直接負面影響指標，說明在平臺開放共享評價中經費規(guī)模對評價結果產生了減分作用。但人員支出的量化作用卻很重要，僅次于使用率，成為第二貢獻度指標，說明在科學技術部的評價中，技術人員隊伍建設受到較高程度的關注。但在公開結果中沒有直接體現(xiàn)，且兩者相反的影響方向也說明相較于正高級職稱人員對技術隊伍人才的提升，副高級職稱人員及其他人員的構成比例更有利于促進平臺發(fā)展。正高人員通過年度收入、使用率和共享率對評價結果產生負面間接影響，這意味著正高人員雖有助于平臺提升收入規(guī)模，但一定程度上限制儀器的使用率和共享率。此外，功能開發(fā)支出從人才培養(yǎng)、創(chuàng)新投入及儀器改造視角驗證了技術隊伍建設對評價結果的裨益。總之，儀器運行的總效應值達到1.064，是科研儀器平臺運行的重點，而人員相關指標絕對效應總值為0.853，也占相對較高的比重。

圖4 科研儀器平臺屬性指標對科學技術部開放共享考評結果影響的標準化效應

4 結論與啟示

盡管關注的科研儀器平臺屬性指標相似，但不同評價體系的結果存在顯著差異。研究期效率模型與專家評價的結果相關，但前者將投入指標作為負面特征，且借助投入產出比獲得的效率有別于平臺儀器自身的使用率和共享率等特征，兩者存在本質區(qū)別。效益評價則充分將科研儀器平臺運行儀器的最終服務成效當作評價目標，且對相關指標的賦權不同，導致與前兩者結果都存在偏離。專家評價中，科學技術部的工作重點關注科研儀器平臺集約化管理的儀器設備開放率、使用率和共享率，兼顧平臺運管的技術人才隊伍建設和穩(wěn)定。相比這種面向全國科研院校的應用，中國科學院的評價工作則進一步激勵邁向持續(xù)性和競爭性的發(fā)展目標。

基于管理部門目前常態(tài)化的開放共享考核評價結果，采用多種評價體系對科研儀器平臺運行開展比較研究，不僅可為平臺高效穩(wěn)定運行提供優(yōu)化路徑和客觀依據(jù)，也可為相關科技評價體系的合理性檢驗提供參考。在后續(xù)評價應用中，應首先明確評價目標，而后選擇適宜的方法，進而定制關鍵指標，才能做到有的放矢。另一方面，評價工作中面向對象的選擇也應根據(jù)不同的基礎條件、組織模式以及發(fā)展水平，分類別和階段開展，以加強實際的可比性和可操作性。此外，評價體系應準確識別優(yōu)勢和癥結。正如科研儀器平臺的運行是一個系統(tǒng)性過程，同時區(qū)分優(yōu)劣對應的屬性指標，有益于充分發(fā)揮科技評價工作的效用，為評價對象的優(yōu)化升級提供標靶。