人文社科成果評價的元評價體系建構(gòu)

馬永霞 仇笳熙

摘 要：科研成果評價是高校人文社科教師評價的重要內(nèi)容，是完善科研評價機(jī)制，實現(xiàn)科研育人的重要保障。成果評價的科學(xué)性、合理性、準(zhǔn)確性決定人文社科的發(fā)展方向，但由于現(xiàn)有績效評價模式固有的弱彈性弊端，不可避免地產(chǎn)生評價偏差與評價風(fēng)險。實施元評價有利于糾正人文社科成果評價進(jìn)程中出現(xiàn)的“難評、錯評、漏評”等問題，是績效評價的重要環(huán)節(jié)和必要補充。文章選取在高校人文社科教師中覆蓋面最廣的國家社科基金年度項目（以下簡稱“國社科”）的成果評價為案例。首先，界定了國社科成果評價的全生命周期概念，系統(tǒng)梳理了國社科全生命周期成果評價的實施現(xiàn)狀及潛在風(fēng)險;其次，設(shè)計了 “一個閉環(huán)、兩個周期、三個主體”的國社科成果評價全生命周期閉環(huán)式元評價框架;最后，在元評價理論及方法指導(dǎo)下，構(gòu)建了基于全生命周期的國社科成果元評價模型及量表，并通過了信效度檢驗。文章擬通過對典型案例的研究分析，構(gòu)建一套全生命周期視域下人文社科成果評價的元評價體系，以期從個案研究推導(dǎo)至人文社科成果元評價的一般規(guī)律，實現(xiàn)對我國人文社科成果評價模式的提升。

關(guān)鍵詞：人文社科;成果評價;元評價;全生命周期

一、問題的提出

科學(xué)研究是高校教師的重要職責(zé)之一，科研成果評價是高校教師評價的重要內(nèi)容?？蒲谐晒漠a(chǎn)出質(zhì)量不僅反映了高校教師的學(xué)術(shù)水平，同時也會影響到教師的教學(xué)質(zhì)量。2018年7月，中共中央辦公廳、國務(wù)院辦公廳印發(fā)《關(guān)于深化項目評審、人才評價、機(jī)構(gòu)評估改革的意見》，提出要發(fā)揮好評價的風(fēng)向標(biāo)和指揮棒作用。在對科技人才開展評價時，要將代表成果的質(zhì)量和影響作為評價的重要指標(biāo)。2020年12月，教育部印發(fā)了《關(guān)于破除高校哲學(xué)社會科學(xué)研究評價中“唯論文”不良導(dǎo)向的若干意見》，指出人文社科教師的科研成果是“知識傳承的載體”，要求高校人文社科教師要將教書育人的首要職責(zé)貫穿于科研活動與成果產(chǎn)出的全過程中，要努力做到“強(qiáng)化科研育人”“改進(jìn)科研評價方式”。因此，建立有利于教師潛心研究和創(chuàng)新創(chuàng)造的人文社科科研成果評價制度，能夠引導(dǎo)教師潛心開展教學(xué)工作及學(xué)生培養(yǎng)工作，不斷提升成果產(chǎn)出質(zhì)量，形成科研反哺教學(xué)科研育人的旨趣。

人文社科成果評價的合理性、科學(xué)性、準(zhǔn)確性事關(guān)人文社科的價值取向及發(fā)展方向。然而，現(xiàn)階段我國高校人文社科成果評價中存在的現(xiàn)實問題日益凸顯，主要體現(xiàn)在三方面。一是由于人文社科成果的特殊屬性導(dǎo)致“評價困難”。人文社科成果大多具有隱形特質(zhì)，成果產(chǎn)出周期較長，更具復(fù)雜性和社會性。二是由于人文社科成果評價缺乏監(jiān)控機(jī)制產(chǎn)生“評價偏差”。人文社科成果評價屬于科研評價的子領(lǐng)域，存在科研評價領(lǐng)域固有的評價偏差，由于監(jiān)控機(jī)制的缺失，使得既有評價偏差難以被及時發(fā)現(xiàn)和糾正。三是由于人文社科成果評價方式不盡合理引起“評價缺陷”。當(dāng)前評價中存在的問題及改革訴求凸顯，各方利益主體對成果評價存在爭議，引發(fā)了各部委及各高校對既有評價體系自身局限性和科學(xué)性的思考及再審視，相繼頒布了“清四唯”、破除論文“SCI至上”等文件和措施?！捌啤钡母灸康氖且蚱啤拔ā钡酿蠹?。通過審視既有評價體制的現(xiàn)實境遇，建立評價反饋與過程監(jiān)控體系，是突破舊有評價桎梏，切實推進(jìn)成果評價改革的重要手段。

元評價作為對已有評價開展再評價的經(jīng)典方法，廣泛應(yīng)用于各類評價領(lǐng)域中，能在一定范圍內(nèi)糾正因決策失誤導(dǎo)致的評價偏差，控制評價負(fù)效應(yīng)，提高評價準(zhǔn)確性。元評價的理論及方法最初用于教育評價，隨著研究的深入及發(fā)展，應(yīng)用范圍擴(kuò)展至科研評價、管理評價等多個領(lǐng)域。但是，針對人文社科成果評價的元評價研究較少，現(xiàn)有研究多為質(zhì)性探討，缺乏元評價的體系構(gòu)建及整體流程設(shè)計。其主要原因在于：元評價在人文社科成果評價中的研究尚處于初級階段，未形成系統(tǒng)的評價體系;整體設(shè)計上缺乏元評價理論及方法的規(guī)范性;現(xiàn)有研究僅針對指標(biāo)體系而展開，缺乏全生命周期監(jiān)管的理念等等。然而，現(xiàn)實中對人文社科成果評價的“問責(zé)”事件時有發(fā)生?！皢栘?zé)”的目的并不是為了“追責(zé)”，而是要通過提升各方主體職能來實現(xiàn)評價的“改進(jìn)”。因此，亟需建立科學(xué)有效的元評價體系實現(xiàn)對人文社科成果評價的改革與提升。

有鑒于此，本文基于人文社科成果評價中存在的“難評、錯評、漏評”等現(xiàn)實問題，以評價全生命周期為視角切入點，選取在高校人文社科領(lǐng)域覆蓋面最廣、影響力最大的國家社會科學(xué)基金年度項目的成果評價（以下簡稱國社科成果評價）為案例，通過構(gòu)建以成果評價監(jiān)控與糾偏為目標(biāo)的元評價體系，提升既有成果評價體系的科學(xué)性及準(zhǔn)確性。研究具體包含以下幾個問題：一是通過梳理國社科成果既有評價的發(fā)展與歷史沿革，歸納演繹國社科成果評價全生命周期環(huán)節(jié)及流程;二是詳細(xì)剖析國社科成果評價全生命周期六要素的現(xiàn)狀及特點，分析現(xiàn)存問題及潛在風(fēng)險，為模型構(gòu)建提供基礎(chǔ)和依據(jù);三是通過界定國社科成果評價全生命周期的元評價對象，設(shè)計元評價框架，實現(xiàn)國社科成果評價全生命周期的元評價體系構(gòu)建，并對構(gòu)建的體系進(jìn)行信效度檢驗。

二、全生命周期元評價意涵

全生命周期視域下科研評價的元評價是按照確定的標(biāo)準(zhǔn)和原則，采用合理的方法和程序，以建立模型或評價量表的形式，對原有的科研評價本身進(jìn)行的再評價活動。元評價作為一種科學(xué)的系統(tǒng)評價方法，在多年來的研究與理論演進(jìn)過程中，形成了一套完整的方法論。

·高教管理·人文社科成果評價的元評價體系建構(gòu)

（一）元評價的內(nèi)涵與目的

元評價（Meta-evaluation）是指按照一定的理論框架和評價標(biāo)準(zhǔn)對原有評價體系本身進(jìn)行的再評價。這一理論概念是由美國學(xué)者斯克里文（Michael Scriven）在1969年時首次提出，最早應(yīng)用于對教育質(zhì)量評價項目開展再次評價[1]。20世紀(jì)80年代，元評價理論被引入我國。田騰飛等探析了專業(yè)化教育評估的內(nèi)涵及方法[2];朱少強(qiáng)提出對學(xué)術(shù)評價的元評價應(yīng)包含評價活動的全部要素[3];張榮娟通過分析美國高等教育元評估制度，提出將元評估法制化的重要性[4]。

開展元評價的目的是為了糾正既有評價中存在的偏差。評價偏差不僅存在于評價本身的內(nèi)部要素中，同時也存在于評價活動的外部要素中。沃森（Worthen）認(rèn)為對評價活動的全過程開展元評價，有利于提高評價質(zhì)量并實現(xiàn)評價經(jīng)驗的累積。[5]克萊嫩（Klejinen）等以元視角反觀績效評價存在的弊端[6]，對內(nèi)外部要素的劃分體現(xiàn)了全生命周期的理念。

（二）元評價的方法與程序

評價方法和評價程序的建立是科研元評價理論由模糊走向清晰的標(biāo)志。元評價包含三個步驟：確定元評價框架、設(shè)計元評價量表、遴選元評價方法。

1.確定元評價框架

元評價框架的構(gòu)建思路為通過反思既有評價的缺陷和劣勢，形成反饋與監(jiān)控機(jī)制，構(gòu)建更具適用性的新評價體系?？蚣馨ǎ捍_定目的對象、設(shè)計分析指標(biāo)、元分析評價、結(jié)果處理與反饋，并逐漸加入風(fēng)險管理及全生命周期的視角?？『瓯保↗un H B）提出通過對產(chǎn)品全生命周期進(jìn)行閉環(huán)管理，優(yōu)化管理策略，提升管理效率。[7]克里斯特（Kiritsis D）以智能市場一體化為案例，提出閉環(huán)式全生命周期管理在信息網(wǎng)絡(luò)時代運用于智能產(chǎn)業(yè)產(chǎn)品生產(chǎn)管理的必要性。[8]王曉剛提出基于全生命周期的科研評價風(fēng)險管理模式，按照風(fēng)險產(chǎn)生于發(fā)展的不同階段分為風(fēng)險識別、風(fēng)險評價、風(fēng)險應(yīng)對、風(fēng)險管理。[9]

2.設(shè)計元評價量表

1981年美國教育評估標(biāo)準(zhǔn)聯(lián)合委員會（以下簡稱JCSEE）集中組織了美國12家教育科研機(jī)構(gòu)共200多位專家進(jìn)行調(diào)查研究，制定并公布了《教育項目、計劃、材料評價的專業(yè)標(biāo)準(zhǔn)》，并經(jīng)過1994年版、2010年版兩次修訂，形成現(xiàn)行通用的元評估量表——項目評估標(biāo)準(zhǔn)（表1）[10]，包含“實用性、可行性、適當(dāng)性、準(zhǔn)確性”四個一級維度。多輪修訂的歷程與多個實際案例的檢驗保證了該標(biāo)準(zhǔn)優(yōu)良的信效度。學(xué)界對元評價研究的思路基本都是參照該量表的一級指標(biāo)，根據(jù)特定案例制定相應(yīng)的二三級指標(biāo)來構(gòu)建元評價體系。嚴(yán)芳等選用經(jīng)典的JCSEE四維度模型提出一套適合我國國情的教育元評估指標(biāo)體系[11];蔣悅構(gòu)建了基于績效評估政府評價的四維度元評價模型[12];周碧華參照J(rèn)CSEE標(biāo)準(zhǔn)，構(gòu)建基層政府績效考核活動元評價體系[13]。

3.遴選元評價方法

元評價方法是運用系統(tǒng)科學(xué)的理論和方法，從整體到局部對各因素逐一檢驗，包括問卷、統(tǒng)計、訪談等定性與定量方法的結(jié)合。馮暉借鑒軟件工程的方法和原理提出了黑白盒測試的元評價方法[14]。賀祖斌提出，內(nèi)容分析法是元評價的重要方法論。內(nèi)容分析法是根據(jù)評價目的和要求對評價材料的內(nèi)容及有效性進(jìn)行逐一對標(biāo)[15]。戚湧等通過計算肯德爾和諧系數(shù)（w值）檢驗參評專家意見的一致性[16]。

綜上，基于全生命周期的科研績效成果評價的元評價體系構(gòu)建的實現(xiàn)途徑為：通過架構(gòu)合理的評價框架，設(shè)計恰當(dāng)?shù)脑u價量表，選取科學(xué)的評價方法，實現(xiàn)對既有評價體系的檢驗糾偏與風(fēng)險監(jiān)管。全生命周期理念要求完整的元評價體系應(yīng)包括對評價體系（即內(nèi)部視角）和評價活動（即外部視角）的審查，二者共同構(gòu)成了全生命周期元評價體系的評價對象。

三、基于國社科成果評價全生命周期的評價現(xiàn)狀及潛在風(fēng)險

按照羅伯特·K·殷（R.K.Yin）的觀點，元評價研究應(yīng)優(yōu)先選用案例研究法，通過選取具有代表性的既有評價作為研究對象，提高對“確定問題及其相關(guān)數(shù)據(jù)”的針對性和準(zhǔn)確性[17]。據(jù)此，本文選取人文社科成果評價領(lǐng)域極具代表性和示范性的國社科成果評價為案例，并選取其中覆蓋面最廣、影響力最大的年度項目作為樣本。案例選取依據(jù)為：首先，國社科基金是人文社科領(lǐng)域最重要的項目資助形式，其研究成果在一定程度上反映了高校人文社科教師的科研能力;其次，國社科基金為學(xué)生參與教師科研項目提供了實訓(xùn)平臺，有利于鍛煉高校學(xué)生的科研實踐能力，提升高等教育的人才培養(yǎng)質(zhì)量，實現(xiàn)“科研育人”目標(biāo);最后，國社科的眾多研究成果陸續(xù)被教師引入到課堂教學(xué)，使得科研成果轉(zhuǎn)化成為教學(xué)資源，實現(xiàn)了“科研反哺教學(xué)”的目的。本課題組于2017年10月至2020年1月間，走訪多所在京高校的人文社科科研管理部門及有關(guān)國家社科基金管理部門，對不同學(xué)科教師代表及科研管理人員開展調(diào)研，收集獲取2013-2019年間年度項目成果評價管理規(guī)范及制度7項，評價指標(biāo)體系量表3套，評價數(shù)據(jù)樣本1008份（2013-2019年），采用內(nèi)容分析法開展數(shù)據(jù)清洗及訪談?wù)?，提取了各類材料中的有效?nèi)容進(jìn)行分析。

（一）評價背景及歷史沿革

國社科成果評價在不同發(fā)展時期呈現(xiàn)出不同特點，按照其“里程碑”式的變革歷程分為三個階段。第一階段，確立同行評議制度（2004-2010年）。國社科基金項目最早設(shè)立于1991年，同行評議在早期僅是一種約定俗成的模式，并未形成制度化的規(guī)范。2004年2月20日，全國哲學(xué)社會科學(xué)規(guī)劃辦（以下簡稱規(guī)劃辦）發(fā)布《關(guān)于加強(qiáng)和改進(jìn)國家社會科學(xué)基金項目成果鑒定結(jié)項工作的意見》，首次明確了同行評議的主體地位，標(biāo)志著同行評議制度的正式確立。第二階段，加強(qiáng)成果質(zhì)量管理（2011-2018年）。2011年教育部出臺了《高等學(xué)校哲學(xué)社會科學(xué)繁榮計劃（2011-2020年）》，提出在這一階段內(nèi)要大力推進(jìn)人文社科建設(shè)，努力打造學(xué)術(shù)精品、促進(jìn)科研成果轉(zhuǎn)化、積極發(fā)展智庫建設(shè)，使得這一時期成為國社科基金項目獲得大力繁榮與發(fā)展的階段。國家投入力度逐漸增加，規(guī)模不斷擴(kuò)張，涌現(xiàn)出不少優(yōu)秀研究成果，同時也存在著部分質(zhì)量問題。為扭轉(zhuǎn)“重立項、輕結(jié)項”的現(xiàn)象，規(guī)劃辦出臺了一攬子政策，如建立清理制度、確立學(xué)術(shù)規(guī)范、審查階段成果等。第三階段，探索評價機(jī)制改革（2019年至今）。2019年4月，規(guī)劃辦出臺《關(guān)于進(jìn)一步完善國家社會科學(xué)基金項目管理的有關(guān)規(guī)定》，提出要注重代表作成果的評價，標(biāo)志著國社科成果評價改革進(jìn)入了新的探索階段。針對人文社科成果評價體系的改革與發(fā)展等議題成為了時代的新訴求，研究熱點集中在探索如何構(gòu)建全方位、全要素的人文社科成果評價新體系。該理念雖然未提到“全生命周期”一詞，但是本質(zhì)上體現(xiàn)了成果評價全生命周期理念的核心要義。

（二）評價程序及實施步驟

本文采用政策文本分析法與實地調(diào)研相結(jié)合，繪制了國社科成果評價全生命周期流程圖（如圖1）。規(guī)劃辦負(fù)責(zé)全面領(lǐng)導(dǎo)國社科項目成果評價工作，其職責(zé)范圍涵蓋委派責(zé)任主體、組織成果評價、監(jiān)管主體職責(zé)，形成了自上而下的組織架構(gòu)模式及自下而上的信息反饋機(jī)制。國社科成果評價“從始至終”的全生命周期流程為：第一步，項目負(fù)責(zé)人在結(jié)項期滿30日內(nèi)提交結(jié)項申請，按照規(guī)定需要提交的材料為基金項目研究的最終成果報告。第二步，項目負(fù)責(zé)人所在單位的科研管理部門初審材料真實性及有效性，確認(rèn)無誤后報送各地規(guī)劃辦或在京委托管理機(jī)構(gòu)（以下簡稱“管理機(jī)構(gòu)”）。本案例中的管理機(jī)構(gòu)為教育部社科司下屬“高校社科管理中心”。第三步，管理機(jī)構(gòu)遴選鑒定評審專家，并組織雙向匿名制的同行評議。第四步，管理機(jī)構(gòu)審核同行評議結(jié)果，匯總鑒定意見，報送全國規(guī)劃辦。第五步，全國規(guī)劃辦審核鑒定結(jié)果及鑒定意見，決定提呈的項目成果是否通過評審以及是否允許結(jié)項。第六步，通過結(jié)項鑒定評審的項目可按照相應(yīng)評分體系確定其成果鑒定等級并下發(fā)結(jié)項證書，未通過結(jié)項的項目則納入“暫緩結(jié)項”管理。根據(jù)成果質(zhì)量及同行評議意見，又將暫緩結(jié)項項目分為兩類：修改后復(fù)審及修改后重新鑒定。其中，修改后復(fù)審的成果，由負(fù)責(zé)人根據(jù)評議意見修改后再次提交全國規(guī)劃辦審查;修改后重新鑒定的成果則需退回至管理機(jī)構(gòu)，有待修改后重新組織專家評議。以上兩類成果通過復(fù)議后可按結(jié)項處理，如再次評審未通過則做終止或撤項處理。

（三）評價特點及潛在風(fēng)險

根據(jù)全生命周期評價理論的內(nèi)涵要求，研究范圍應(yīng)包括某項活動“從始至終”的全部要素。因此，將國社科成果評價的全生命周期定義為六大核心要素的合集，即在評價中所涉及的各個環(huán)節(jié)和內(nèi)容包括評價對象、評價方式、評價體系、評價目標(biāo)、評價活動、評價監(jiān)管，涵蓋了成果評價的“全過程、全方位、全要素”。以下對國社科成果評價中六大核心要素的實施現(xiàn)狀進(jìn)行逐一解析，歸納各自特點并找出可能存在的風(fēng)險源。

1.評價對象界定：以最終成果報告為主

最終成果報告是國社科成果評價的主要對象。按照產(chǎn)出階段不同，國社科項目成果可分為階段性成果及最終成果兩類。階段性成果是指在研究過程中取得的中期成果;最終成果是指研究的結(jié)項報告。目前國社科成果評價以最終成果報告為評價對象，缺乏對階段性成果的評價考核，僅對其做形式審查，雖然節(jié)約了評價成本，提高了評價效率，但也增加了由于片面評價引起的風(fēng)險。階段性成果作為研究過程中的重要產(chǎn)出，是成果評價中不可缺少的過程性評價指標(biāo)，在一定程度上能輔助最終成果的考核評判。尤其是在應(yīng)用型學(xué)科中，由于成果時效性顯著，階段性成果評價可能發(fā)揮不容忽視的重要作用。根據(jù)國家提出的“破唯”及“多元評價”等理念，采用多維度、多對象、多方式的評價體系更有利于提高評價結(jié)果的準(zhǔn)確度，而如何實現(xiàn)這一理念在國社科成果評價中的實踐運用，需要進(jìn)一步探索。

2.評價方式選?。阂酝袑＜以u議為主

雙向匿名的同行評議制度是國社科成果評價的主要方式。國社科項目成果評價是從專家?guī)熘绣噙x5位同行專家對項目進(jìn)行評審。專家?guī)焓菄缈乒芾砉ぷ鞯牧咙c，其優(yōu)勢體現(xiàn)在四方面：其一，準(zhǔn)確性。專家遴選充分考慮了大同行、小同行的學(xué)科匹配度。其二，公平性。為避免人情因素，規(guī)定外省市專家等不少于3人，且項目負(fù)責(zé)人所在單位及課題組成員務(wù)必規(guī)避。其三，科學(xué)性。在參評的最終成果報告里隱去負(fù)責(zé)人信息，嚴(yán)格實行雙向匿名評審制度。其四，合理性。為保護(hù)主體利益，項目負(fù)責(zé)人可提出少于3位的回避專家名單。同行評議是國社科成果評價的經(jīng)典模式，具有不可替代的作用。但是，由于學(xué)術(shù)共同體及學(xué)術(shù)圈層的存在，有可能導(dǎo)致同行評議的雙向匿名制度成為表面文章，影響評價的公平公正。調(diào)研時了解到，國社科成果評價建立了專家信譽檔案制度，但目前該制度處于試行期，有待進(jìn)一步完善。另外，國社科管理中心X老師提到“基于階段性成果的計量評價或可成為彌補這一風(fēng)險（即同行評議主觀性）的有效手段”。因此，在未來成果評價的改革中，或可通過改進(jìn)既有評價方式，即采取以同行評議為主、計量評價為輔的綜合評價方式，提升評價公平性與準(zhǔn)確性。

3.評價體系設(shè)計：采用分級分類指標(biāo)體系

國社科成果評價采用分級分類的指標(biāo)體系。分級是指多級多層的指標(biāo)體系設(shè)置，每級指標(biāo)是對上一級指標(biāo)的詮釋;分類是指根據(jù)不同成果形式分為三類：專著類、論文集類、研究報告類。分級分類的指標(biāo)體系體現(xiàn)了國社科成果評價的規(guī)范性和學(xué)理性。同行評議的測評方式包括量表打分及主觀評議兩部分。第一部分為量表打分：管理機(jī)構(gòu)根據(jù)成果類型將不同量表發(fā)放給專家進(jìn)行打分（見表2）;第二部分為主觀評議：要求評議專家撰寫成果鑒定意見，并對所評成果給出質(zhì)量等級判定，包含優(yōu)秀、良好、合格、不合格四檔。這種定性定量相結(jié)合的評價體系設(shè)計在一定程度上體現(xiàn)了國社科成果評價的科學(xué)性，但對量表指標(biāo)及權(quán)重設(shè)定的合理性仍有待商榷。此外，由專家自行判斷確定成果等級的做法具有較強(qiáng)的主觀性，是否能保證評價信效度達(dá)標(biāo)仍有待檢驗。

4.評價目標(biāo)達(dá)成：導(dǎo)向提升成果質(zhì)量

國社科成果評價的目標(biāo)定位旨在提升成果產(chǎn)出質(zhì)量的同時，提高基金項目成果的使用效益，發(fā)揮示范引導(dǎo)、傳承文明、理論創(chuàng)新、咨政育人、服務(wù)社會等重要作用，以此創(chuàng)造有利于人才成長的科研環(huán)境。[18]從表2可見，三類成果形式的評價量表均設(shè)置了成果價值、學(xué)術(shù)價值、社會價值等維度。國內(nèi)外通過科研評價促進(jìn)成果質(zhì)量提升的手段通常有兩種：一種是英美日推行與項目經(jīng)費申請相掛鉤的績效評定模式;另一種是不與科研經(jīng)費的分配相關(guān)聯(lián)，單獨核定的成果績效評價模式。國社科成果評價屬于第二種模式，缺乏一定的約束考核機(jī)制，造成國內(nèi)學(xué)界“重立項，輕結(jié)項”的問題。此外，由于國社科成果評價的最終目標(biāo)是服務(wù)社會，對成果后期推廣與跟蹤具有更高要求，既往產(chǎn)出的成果是否會在項目結(jié)題后即“束之高閣”，是否能納入到精品成果的范疇，是否通過項目研究實現(xiàn)了人才培養(yǎng)的耦合效應(yīng)，諸如此類問題及對標(biāo)達(dá)成情況均有待探討。

5. 評價活動組織：多部門耦合聯(lián)動機(jī)制

國社科成果評價主體自上而下包括：全國規(guī)劃辦、各級管理機(jī)構(gòu)、各單位科研管理部門、項目負(fù)責(zé)人（見圖1）。評價活動的開展有賴于全部評價主體的協(xié)作配合，任何一個環(huán)節(jié)的失誤即可導(dǎo)致評價誤差的產(chǎn)生，進(jìn)而影響評價結(jié)果。本研究根據(jù)調(diào)研情況分析了可能存在的誤差點如下：第一，總體設(shè)計缺乏元評價監(jiān)管。規(guī)劃辦負(fù)責(zé)評價活動的總體設(shè)計和流程管控，目前評價執(zhí)行情況較好，但仍需牢固樹立事先發(fā)現(xiàn)問題的主人翁意識，對評價中出現(xiàn)的問題進(jìn)行及時糾偏。第二，管理部門可能存在瀆職風(fēng)險。管理部門負(fù)責(zé)評價的核心環(huán)節(jié)，目前在規(guī)章與制度建設(shè)方面對管理部門任職人員的監(jiān)管不足，存在一定的“人情因素”“主觀因素”的可能性。如專家遴選是否嚴(yán)格執(zhí)行雙向匿名原則，評審意見匯總是否客觀準(zhǔn)確等此類因素均會對評價結(jié)果造成影響。第三，主客體雙方對評價支持度各異。評價主體方是否能實現(xiàn)多部門的耦合聯(lián)動，評價客體方是否能積極參與成果評價，雙方對評價的接納程度如何都會影響成果評價活動的推進(jìn)。第四，延期結(jié)項現(xiàn)象嚴(yán)重。國社科項目存在較為普遍的延期結(jié)項情況，影響成果時效性及科研效率，缺乏后期原因追蹤與分析，極不利于整體成果績效的提升。

6.評價風(fēng)險監(jiān)管：風(fēng)險監(jiān)督與管控機(jī)制

國社科成果評價活動包括評價設(shè)計、評價實施、評價反饋三個階段。首先，在評價設(shè)計階段，設(shè)立了國家哲學(xué)社會科學(xué)研究專家咨詢委員會，主要發(fā)揮為評價規(guī)劃提供咨詢建議的智庫作用。但由于目前的咨委會成員組成較為單一，缺乏元評價機(jī)制的監(jiān)管，難以回應(yīng)被評價者對于評價偏差引起的“問責(zé)”。其次，在評價實施階段，多方主體參與其中，流程環(huán)節(jié)繁復(fù)，存在評價風(fēng)險。總體設(shè)計上元評價制度的缺失，導(dǎo)致目前主體職能部門的注意力仍然集中在評價本身，反思評價的意識薄弱，缺乏良好的風(fēng)險預(yù)警機(jī)制及風(fēng)險監(jiān)管策略。最后，在評價反饋階段，既有成果評價雖然建立了鑒定意見反饋、鑒定結(jié)果復(fù)議、鑒定登記公示等制度，但在調(diào)研時收到部分二級單位的項目負(fù)責(zé)人反映，評價后期的反饋渠道不夠暢通，缺乏相應(yīng)的約束政策及詳細(xì)的復(fù)議流程。總體來說，目前國社科成果評價活動組織運行較為有序，稍有不足體現(xiàn)在頂層設(shè)計上，沒有對評價結(jié)果的再次核驗及對評價活動的監(jiān)管機(jī)制，由此可能會存在一定程度的評價偏差及評價風(fēng)險。

四、基于國社科成果評價全生命周期的元評價模型及分析框架

根據(jù)上文定義的國社科成果評價全生命周期概念，以及國社科成果評價全生命周期流程解析和風(fēng)險預(yù)估，本研究采用元評價理論及方法，構(gòu)建了基于全生命周期的國社科成果元評價模型及分析框架。

（一）界定元評價對象

根據(jù)元評價理論，要求既有評價中所有環(huán)節(jié)均需被界定為元評價的研究對象，接受元評價的再審視，最終實現(xiàn)評價體系的調(diào)試及改進(jìn)。[19]因此，基于全生命周期的國社科成果元評價對象的界定務(wù)必要包含既有評價的全體要素及環(huán)節(jié)，即內(nèi)部要素和外部要素。內(nèi)部要素為評價對象、評價方式、評價體系;外部要素為評價目標(biāo)、評價活動、評價監(jiān)管。

（二）設(shè)計元評價框架

本文在梳理國社科全生命周期各要素及環(huán)節(jié)的基礎(chǔ)上，構(gòu)建了以國社科為案例的人文社科成果評價全生命周期的元評價框架（如圖2）。該框架特點為“一個閉環(huán)、兩個周期、三個主體”?！耙粋€閉環(huán)”是指既有評價、元評價、風(fēng)險監(jiān)管三者之間形成閉環(huán)反饋系統(tǒng)。其一，通過元評價發(fā)現(xiàn)既有評價存在的問題，對其開展糾偏控制;其二，元評價的結(jié)果指導(dǎo)風(fēng)險監(jiān)管策略的構(gòu)建，實現(xiàn)在下一輪的評價中開展適時監(jiān)控，有效規(guī)避評價風(fēng)險;其三，在新一輪評價開展過程中暴露的問題亦可傳遞給元評價體系形成同期反饋。“兩個周期”是指該框架包含了兩個全生命周期循環(huán)體系。其一為成果評價的全生命周期，即六大核心要素的合集;其二為風(fēng)險管理的全生命周期，涵蓋了風(fēng)險管理全過程的四個階段?！叭齻€主體”指既有評價、元評價、風(fēng)險監(jiān)管三者之間形成耦合聯(lián)動機(jī)制。首先，既有評價全過程、全方面、全要素的架構(gòu)設(shè)置決定了實施元評價對象和方法的選取;其次，元評價的結(jié)論指導(dǎo)既有評價進(jìn)行糾偏和構(gòu)建風(fēng)險監(jiān)管體系;最后，風(fēng)險監(jiān)管可對下一輪的評價開展實時監(jiān)督，并將預(yù)警風(fēng)險反饋給元評價體系?？梢姡灰惑w可持續(xù)提升的閉環(huán)架構(gòu)能在一定程度上彌補國社科成果評價缺乏元評價及風(fēng)險監(jiān)管的現(xiàn)狀，提升評價結(jié)果的合理性及評價過程的穩(wěn)定性，減少由于評價不確定性產(chǎn)生的偏差，為成果評價的改革提供依據(jù)。

（三）構(gòu)建元評價體系

構(gòu)建科學(xué)合理的元評價體系是保證元評價規(guī)范開展的首要前提及核心任務(wù)。元評價體系包含評價內(nèi)容和評價方法兩部分。已有研究基本均是選取JCSEE項目元評價量表為模板，多采用定量定性相結(jié)合的方式構(gòu)建元評價體系。JCSEE量表是經(jīng)過大量元評價的實踐案例檢驗的成熟量表，具有較高的信效度及可操作性。

首先，在評價內(nèi)容設(shè)計上，借鑒了JCSEE量表的四個一級指標(biāo)作為擬建體系的一級評價維度。并以全生命周期六要素為對象，綜合調(diào)研訪談及文本內(nèi)容分析，結(jié)合文獻(xiàn)對國社科成果評價進(jìn)行案例適用性調(diào)整，以此設(shè)計提取了二級指標(biāo)。

其次，在評價方法設(shè)計上，根據(jù)元評價的兩種類型將該體系評價方法按照視角不同分為內(nèi)部元評價和外部元評價。內(nèi)部元評價，是從內(nèi)部審查的視角出發(fā)，綜合采用定性法及定量法對既有評價全生命周期六要素進(jìn)行分析;外部元評價，是從外部專家的視角出發(fā)，采用不同形式的訪談，對內(nèi)部元評價分析所得結(jié)果進(jìn)行論證和闡釋。

最后，整合各要素得出全生命周期視域下國社科成果評價的元評價體系。該體系由4個一級維度、12個二級維度組成，并界定了各維度的指標(biāo)內(nèi)涵、評價方法。每一指標(biāo)均對應(yīng)了全生命周期六大要素之一，是對六要素的測評與考察（見表3）。該體系是在全生命周期理論及元評價理論指導(dǎo)下設(shè)計形成的，在目的、方法、評價、監(jiān)管等方面形成閉環(huán)反饋及監(jiān)管嵌入，目標(biāo)是通過發(fā)現(xiàn)既有評價存在的問題，提升評價效率，降低評價風(fēng)險。

1.實用性分析框架

實用性分析是指通過評價使管理者了解被評者情況，確保評價為實際需求服務(wù)。國社科成果評價的實用性研究分為三個維度：U1范圍選擇合理性、U2評價結(jié)果可靠性、U3評價結(jié)果有效性。U1指標(biāo)考察點為既有評價全生命周期六要素中的“評價對象”，主要考核評價對象選取界定的合理性，檢驗?zāi)壳皟H以同行評議為對象的考評方式是否科學(xué)。可采用二次測量法，對特定成果樣本同時開展兩種不同的評價方案，即方案一僅針對最終成果的評價方案，方案二針對最終成果及階段性成果的評價方案。比較兩種方案評價結(jié)果的一致性與差異性，分析差異顯著的學(xué)科分布特點及原因。U2指標(biāo)考察點為六要素中的“評價體系”，考察既有評價結(jié)果的合理性，包括評價得分計算體系設(shè)計是否科學(xué)，評價得分分布是否合理。可通過測量評價各等級分布，驗證得分計算體系的科學(xué)性。合理的得分計算體系應(yīng)該體現(xiàn)出各等級的區(qū)分度，如果出現(xiàn)大規(guī)模的非正態(tài)分布，說明既有體系設(shè)置不能很好地區(qū)分各樣本的研究成果質(zhì)量，有待調(diào)試完善。U3指標(biāo)考察點為六要素中的“評價方式”。由于同行評議時常因主觀意見、認(rèn)知程度、理解能力的差異影響評價結(jié)果，因此，該指標(biāo)是通過肯德爾和諧系數(shù)法檢驗同行評議的一致性，探索影響機(jī)制及風(fēng)險規(guī)避方式。

2.可行性分析框架

可行性分析是考察評價能否在自然狀態(tài)下開展，程序設(shè)置是否具有可操作性，能否獲取各方利益主體支持，從而實現(xiàn)評價的穩(wěn)健運行。其分為三個維度：F1項目可行性、F2政治可行性、F3經(jīng)濟(jì)可行性。F1指標(biāo)考察點為六要素中的“評價活動”?？疾煸u價活動設(shè)置的可行性，包括評價程序設(shè)置是否合理，評價的各階段環(huán)節(jié)是否存在障礙。對該指標(biāo)的評測可通過對各方利益主體開展訪談，了解評價推行過程中存在的障礙及困難、評價風(fēng)險預(yù)警機(jī)制是否健全。F2指標(biāo)考察點為六要素中的“評價活動”。政治環(huán)境關(guān)系到評價的頂層設(shè)計，是保證評價穩(wěn)定持續(xù)開展的關(guān)鍵。通過實地調(diào)研及訪談分析政府參與度、被評價方支持度、主客體雙方互動性等實際情況。F3指標(biāo)考察點為六要素中的“評價目標(biāo)”。經(jīng)濟(jì)指標(biāo)主要指資源制約，考核既有評價是否實現(xiàn)預(yù)定的效益及效率目標(biāo)?？赏ㄟ^訪談管理部門人員及二級單位人員，探尋是否存在經(jīng)費制約，是否存在因內(nèi)部聯(lián)動低效而造成 “中層擁堵”現(xiàn)象[20]。

3.適當(dāng)性分析框架

適當(dāng)性分析是為了保護(hù)被評價方的權(quán)益，反對評價方采用不合理的方式、不恰當(dāng)?shù)男袨閾p害被評方利益，確保評價合理、合法、合乎道德地實施。它分為三個維度：P1評價方法適切性、P2公開性與合法性、P3利益沖突協(xié)調(diào)度。P1指標(biāo)考察點為六要素中的“評價方式”，考核國社科目前采用單一的定性方式（即同行評議）是否合理。運用數(shù)據(jù)包絡(luò)分析法（DEA）與計量法，分析不同評價方式引起的評價差異性。即對同一樣本分別采用定量評價及定性評價，比較兩種評價方法在同一樣本中的差異性，改進(jìn)單一評價方式引起的偏差。P2指標(biāo)考察點為六要素中的“評價監(jiān)督”?？赏ㄟ^訪談評價主客體雙方，尋找沖突點。公開性與合法性是評價獲得支持的必要條件，訪談重點應(yīng)包含專家名單公布是否全面、評價結(jié)果公開是否準(zhǔn)確、評審意見反饋是否及時等。P3指標(biāo)同樣對應(yīng)六要素中的“評價監(jiān)督”，考核在評價雙方利益發(fā)生沖突時，協(xié)調(diào)機(jī)制是否健全，評價風(fēng)險的應(yīng)對處理是否得當(dāng)。該指標(biāo)同時也是對參與評價的各級管理部門人員專業(yè)素質(zhì)進(jìn)行的考核。國社科成果評價報告是由各級管理部門專職人員匯總5位評審專家意見而形成，因此專職人員的職業(yè)素養(yǎng)及學(xué)科知曉度情況是評價報告清晰度和準(zhǔn)確性的主要影響因素。由于我國不具備類似日本“評價士”制度，對專職管理人員的選拔和職業(yè)培訓(xùn)缺乏專業(yè)性，可能會出現(xiàn)評價報告受管理人員認(rèn)知局限而造成的制約性影響，進(jìn)而引發(fā)評價主客體雙方意見的沖突。

4.準(zhǔn)確性分析框架

準(zhǔn)確性分析考察評價結(jié)果對客觀實際反映的契合度，即評價結(jié)果反映被評價方客觀情況的程度越高，則評價的準(zhǔn)確性越高。其分為三個維度：A1評價信息真實性、A2評價目標(biāo)適配性、A3評價指標(biāo)科學(xué)性。A1指標(biāo)考察點為六要素中的“評價對象”，考察提交的參評材料是否真實有效?？赏ㄟ^典型案例檢驗成果報告中是否存在學(xué)術(shù)抄襲，是否存在大量濫竽充數(shù)的自引（如博士論文），是否有抄襲剽竊的情況，是否存在“一果多用”現(xiàn)象等等。A2指標(biāo)考察點為六要素中的“評價目標(biāo)”，考察評價是否實現(xiàn)了既定目標(biāo)。國社科成果評價是質(zhì)量導(dǎo)向型評價。理論上，假如評價實施達(dá)到既定目標(biāo)，則會在特定閉合時間段內(nèi)表現(xiàn)出成果質(zhì)量的提升，實現(xiàn)“以評促建”。可通過“證據(jù)審查”的方法，尋找目標(biāo)實現(xiàn)程度的證據(jù)支持。A3指標(biāo)考察點為六要素中的“評價體系”，考察評價指標(biāo)設(shè)置是否科學(xué)合理?？赏ㄟ^因素分析法對既有評價指標(biāo)效度及關(guān)聯(lián)度進(jìn)行檢驗，如果指標(biāo)間關(guān)聯(lián)度為高相關(guān)，說明指標(biāo)設(shè)置重復(fù)，評價效率低。只有在各指標(biāo)具有較弱關(guān)聯(lián)度的前提下，才能體現(xiàn)測評指標(biāo)的維度區(qū)分。

（四）信度與效度分析

本文構(gòu)建的元評價體系及量表在一級維度的設(shè)計上借鑒了JCSEE的四個一級指標(biāo)。JCSEE量表的評價效度已被大量研究所證實，是元評價領(lǐng)域的經(jīng)典量表。而對二三級指標(biāo)的設(shè)計，則是在JCSEE量表基礎(chǔ)上，針對案例特點進(jìn)行了調(diào)整，并且經(jīng)過了多輪實地調(diào)研與焦點團(tuán)體訪談，集中了領(lǐng)域?qū)＜覍缈瞥晒u價的建議，因此，可以保證該元評價量表的效度。信度方面，本文采用肯德爾和諧系數(shù)法，選取6位領(lǐng)域?qū)＜覍σ褬?gòu)建的元評價量表進(jìn)行打分，運用肯德爾和諧系數(shù)的計算公式進(jìn)行一致性分析。公式如下：

w=s112 m2（ n3-n），其中s=∑ n j=1 R2 j-1n（∑ n j=1 R j2。

其中，m為專家人數(shù)，n為元評價指標(biāo)個數(shù)，Rj為第j個評價指標(biāo)的得分?jǐn)?shù)，s為第j個評價指標(biāo)得分?jǐn)?shù)與所有指標(biāo)得分?jǐn)?shù)的平均數(shù)之差的平方和。根據(jù)公式得出，6位專家打分的Rj總和471，其平方和21591。s=3104.25，w=0.603。根據(jù)肯德爾和諧系數(shù)法的要求，w≥0.5即可認(rèn)為專家之間的評價意見顯著一致。由此可以得出，本文構(gòu)建的元評價量表具有較高的評價信度。

五、結(jié)語

開展全生命周期視域下元評價是人文社科成果評價的必要環(huán)節(jié)。首先，元評價是人文社科成果績效評價的核驗與再審視。通過元評價可以實現(xiàn)人文社科成果績效評價角色的轉(zhuǎn)變，使其由評價行為的發(fā)出主體變?yōu)楸辉u價的對象客體，從而實現(xiàn)對原有體系的檢驗及糾偏。其次，元評價體系的構(gòu)建是實施與開展元評價的基石。體系構(gòu)建是元評價的靈魂，是開展元評價的依據(jù)，是元評價理論發(fā)展與完善的必經(jīng)之路。

本文選取人文社科領(lǐng)域具有示范效應(yīng)的國社科成果評價活動作為載體，通過構(gòu)建具有良好信效度的元評價體系，實現(xiàn)對既有評價在全生命周期視域下的再評價，歸正人文社科成果績效評價固有的弱彈性弊端，及時糾正評價誤差，并形成風(fēng)險控制策略指導(dǎo)下一輪評價的實施，以此保證評價預(yù)期目標(biāo)的實現(xiàn)及評價的順利開展。

參考文獻(xiàn)：

[1]SCRIVEN M.An Introduction to Metaevaluation[J].Educational Product Report，1969（2）：36-38.

[2]田騰飛，劉任露.元評估：教育評估專業(yè)化發(fā)展之必需[J].外國教育研究，2014，41（6）：111-119.

[3]朱少強(qiáng)，唐林，柯青.學(xué)術(shù)評價的元評價機(jī)制[J].重慶大學(xué)學(xué)報（社會科學(xué)版），2010，16（3）：81-85.

[4]張榮娟，徐魁鴻.美國高等教育元評估制度探析：以高等教育認(rèn)證委員會為例[J].高教探索，2018（2）：65-69.

[5]WORTHEN B R.Whither Evaluation？ That All Depends[J].American Journal of Evaluation，2001，22（3）：409.

[6]KLEJINEN S.Performance Metrics in Supply Chain Management [J].Journal of the Operational Research Society，2003，54（5）：507-514.

[7]JUN H B，SHIN J H ，KIRITSIS D，et al .System Architecture for Closed-loop PLM[J].International Journalof Computer Integrated Manufacturing，2007，20（7）：684-698.

[8]KIRITSIS D.Closed-loop PLM for Intelligent Products in the Era of the Internet of Things[J].Computer Aided Design，2011，43（5）：479-501.

[9]王曉剛. 基于全生命周期的高鐵技術(shù)知識產(chǎn)權(quán)風(fēng)險管理研究[D].中國鐵道科學(xué)研究院，2019.

[10] Program Evaluation Standards[EB/OL].（2010-07-01）[2020-12-20].https：//www.cdc.gov/eval/standards/2010.

[11]嚴(yán)芳，汪建華.我國教育元評估指標(biāo)體系構(gòu)建[J].上海教育評估研究，2020，9（2）：75-80.

[12]蔣悅，卞曰瑭，錢鋼.基于元評價的政府績效評估模型研究[J].情報雜志，2008，27（12）：26-30.

[13]周碧華，方建云，楊婉貞.基層政府績效考核的元評估分析：以福建某縣級市為例[J].新視野，2015（4）：71-78.

[14]馮暉.基于測試的元評價技術(shù)[J].上海師范大學(xué)學(xué)報（哲學(xué)社會科學(xué)版），2007（5）：128 -132.

[15]賀祖斌.高等教育評價的元評價及其量化分析模型[J].教育科學(xué)，2001（3）：56-58.

[16]戚湧，李千目.科學(xué)研究績效評價的理論與方法[M].北京：科學(xué)出版社，1999：270.

[17]羅伯特·K·殷.案例研究：設(shè)計與方法[M].重慶：重慶大學(xué)出版社，2004：19.

[18]全國哲學(xué)社會科學(xué)工作辦公室.關(guān)于加強(qiáng)和改進(jìn)國家社會科學(xué)基金項目成果鑒定結(jié)項工作的意見[EB/OL].（2007-12-24）[2020-12-20].http：//www.sss.net.cn/111001/32686.aspx.

[19]孫賀群.基于有效性驗證經(jīng)驗的美國早期教育質(zhì)量評價的元評價研究[J].四川師范大學(xué)學(xué)報（社會科學(xué)版），2018，45（3）：69-77.

[20]趙曉軍.“萬人評議政府”的元評估分析[D].蘭州大學(xué)，2018.

（責(zé)任編輯 陳志萍）