新時期國際科技合作評估方法研究

任孝平，楊 云，南 方

(科技部科技評估中心國際部，北京 100081)

當(dāng)前，經(jīng)濟全球化、科技國際化、創(chuàng)新多極化已成為全球發(fā)展趨勢［1］。在世界經(jīng)濟持續(xù)低迷和國際形勢復(fù)雜多變的大背景下，科技創(chuàng)新和國際合作始終是各國實現(xiàn)未來可持續(xù)增長的戰(zhàn)略選擇［2］。改革開放40 多年來，我國從20 世紀(jì)50 年代接受蘇聯(lián)的技術(shù)援助開始［3］，到黨的十九大以來形成的全面開放創(chuàng)新新格局，逐步構(gòu)建起了獨具中國特色的全方位、多層次、廣渠道、高水平的國際科技合作體系，國際科技合作已成為我國科技創(chuàng)新戰(zhàn)略中必不可少的組成部分。伴隨新時期國際科技競合關(guān)系變化和科技體制改革的深入，對國際科技合作進行績效評估成為政府的重要管理手段和必然要求［4］。本文總結(jié)了我國國際科技合作評估的實踐現(xiàn)狀，闡述了國際科技合作評估的特點、原則，歸納了評估的對象、框架和基本方法以及實踐中的關(guān)鍵環(huán)節(jié)，以期為管理評估人員提供可借鑒的視角，帶動促進國際科技合作績效的有效提升［5］。

1 國際科技合作評估實踐現(xiàn)狀

國際科技合作評估，源于發(fā)展援助評估與科技評估的結(jié)合［6］。美、英、日等國在20 世紀(jì)就開始關(guān)注發(fā)展援助的評估。20 世紀(jì)90 年代以來，發(fā)達國家對外援助的效果日益顯現(xiàn)，評估逐漸成為保障發(fā)展援助有效執(zhí)行的重要工具［7］。隨著創(chuàng)新資源的全球流動加速，各國參與國際科技合作的程度不斷加深，國際合作與科技創(chuàng)新的關(guān)系越來越緊密，評估的方法和理念也逐步延伸至國際科技合作領(lǐng)域［8-9］。當(dāng)前，國內(nèi)外對國際科技合作評估的研究主要針對國際科技合作計劃/項目、國際聯(lián)合機構(gòu)/國際科技合作基地、國際科技合作政策、國別/區(qū)域合作開展［10］。

國際科技合作計劃/項目是國際科技合作評估中最具代表性的評估對象［11］。在計劃層面，2010年，澳大利亞政府對本國已實施10 年的“國際科學(xué)聯(lián)系計劃”（International Science Linkage Program，ISL）進行了綜合分析評估［12］；英國政府對其2014年起實施的，以科技創(chuàng)新為核心內(nèi)容的發(fā)展援助計劃“牛頓基金”進行持續(xù)的跟蹤評估；瑞典戰(zhàn)略研究基金會和瑞典創(chuàng)新署于2014 年，對日本-瑞典聯(lián)合資助計劃——“BIO 跨學(xué)科計劃（MDB）”進行了終期評估；歐盟自20 世紀(jì)80 年代起實施多國共同實施的“研發(fā)框架計劃”，并不斷對計劃進行階段性評估，2016 年還發(fā)布了第七研發(fā)框架（FP7）計劃的跟蹤評估報告，2017 年又對“地平線2020”（Horizon 2020）計劃進行了中期評估［13］；我國科技部評估中心實施了“十五”和“十二五“國際科技合作專項績效評估，2018 年起開展了對“中國-歐盟科研創(chuàng)新聯(lián)合資助機制”的跟蹤評估工作［14］。在項目層面，我國國家自然科學(xué)基金委員會（NSFC）開展了“重大國際（地區(qū)）合作研究項目”評估［15］。在國際人才項目方面，Duan 等［16］研究了NSFC 資助的科研人員國際交流類項目的評估方法。

國際聯(lián)合機構(gòu)/國際科技合作基地也是一個主要的國際科技合作評估對象。2012 年，我國科技部對中美清潔能源聯(lián)合研究中心（US-China Clean Energy Research Center，CERC）開展了中期評估工作［17］。中德科學(xué)中心是我國國家自然科學(xué)基金委和德國研究聯(lián)合會（DFG）共同成立的科研資助機構(gòu)，2005 年，中德科學(xué)中心委托中德兩國評估專家開展了中德科學(xué)中心十年評估，并基于評估結(jié)果對中心的建設(shè)和發(fā)展提出了建議［18］。國際科技合作基地，包括聯(lián)合研究中心、聯(lián)合實驗室、技術(shù)轉(zhuǎn)移中心等，在國際科技合作一線發(fā)揮著聯(lián)合研發(fā)、匯聚資源、促進交流的重要作用。我國科技部于2014 年發(fā)布了《國家國際科技合作基地評估辦法（試行）》和《國家國際科技合作基地評估實施細則》，并陸續(xù)開展了基地遴選、評估工作；北京市、青島市等也出臺了國際科技合作基地管理辦法和評估辦法，對市級國際科技合作基地開展了評估實踐［19］。

在國際科技合作政策評估方面，英國、德國、芬蘭等國均發(fā)布了國際科技合作規(guī)劃，但在國家層面開展國際科技合作政策評估的實踐相對較少。我國科技部于2017 年開始進行國際科技合作政策評估工作，如：構(gòu)建了我國第一個覆蓋國家、地方/部門、高校、院所的國際科技合作績效監(jiān)測評價體系；建立了國際科技合作績效評估信息系統(tǒng)，面向部門、省區(qū)市及計劃單列市，連續(xù)4 年對“十三五”國際科技合作重點任務(wù)進行跟蹤評估［20］。

此外，基于文獻計量方法開展國家間、區(qū)域間、合作領(lǐng)域等的國際科技合作態(tài)勢評估，也是一段時期我國的熱點研究領(lǐng)域。Chen 等［21］基于期刊論文，分析了國際科技合作研究的趨勢；張萃等［22］基于Web of Science 數(shù)據(jù)庫，給出了我國與“一帶一路”沿線國家科研合作現(xiàn)狀和影響因素；Niu 等［23］基于文獻計量和面訪的方法，研究了中國-澳大利亞合作對創(chuàng)新體系的影響；王文平等［24］研究了中歐科研合作的特征和趨勢。總體來看，目前各國資助方從管理需求出發(fā)，開展了部分國際科技合作評估實踐。學(xué)者們對國際科技合作的研究，主要包括合作領(lǐng)域、影響因素、機制模式等角度，內(nèi)容較為寬泛，但研究與評估的視角和維度不足以全面反映被評對象的合作現(xiàn)狀，尤其是系統(tǒng)性地評估國際合作的效果和影響，及其相對于投入、產(chǎn)出的關(guān)系［21］，也尚未形成體系化的國際科技合作評估方法。

2 國際科技合作評估的對象和特點

由于國際科技合作具有多維度、多元化、多類型、多內(nèi)容的特點，開展國際科技合作評估，需要明確界定評估對象，并對其特點和屬性進行分析。

2.1 國際科技合作評估的對象

開展科技評估時，要基于國情和管理需求，明確定位評估對象。只有將評估對象從寬泛復(fù)雜的概念中簡化和具體化，才能有針對性地設(shè)計符合評估對象特點的評估方案。國際科技合作評估的對象與一般科技評估相比，既有類似又有特殊性。分析我國不同時期國際科技合作的重點任務(wù)，可以結(jié)合一般科技評估對象的分類，將當(dāng)前國際科技合作的評估對象劃分為：科技合作計劃/項目、科技人才與交流、國際科技合作基地（平臺）、科技外交、科技對外援助、“一帶一路”建設(shè)、國際大科學(xué)計劃/大科學(xué)工程、國際科技組織、企業(yè)國際科技創(chuàng)新合作、國際科技合作政策保障措施等（見圖1）。

圖1 一般性科技評估與國際科技合作評估的對比

2.2 國際科技合作評估的特點

（1）評估內(nèi)容的復(fù)雜性。對一個執(zhí)行期限明確、目標(biāo)具體的對象開展評估相對容易，而國際科技合作不同于一般的科技創(chuàng)新活動，其具有多元化的特征，既可作為一個政策目標(biāo)，也可作為支持其他政策目標(biāo)（如創(chuàng)新驅(qū)動發(fā)展、國家競爭力提升和支撐大國外交）實現(xiàn)的工具。國際科技合作的內(nèi)涵豐富、形式多樣，增加了對其開展評估的難度。

（2）評估目標(biāo)的多重性。國際科技合作往往被賦予多重目標(biāo)［4］。短期目標(biāo)包括合作規(guī)模的擴大、程度的加深；中期目標(biāo)包括實現(xiàn)科學(xué)發(fā)現(xiàn)、技術(shù)突破；長遠目標(biāo)往往還與國家的整體科技實力、創(chuàng)新體系建設(shè)、國際影響力、外交關(guān)系等密切相關(guān)［25］。因此，在開展國際科技合作評估時，不僅要評估國際合作對科技創(chuàng)新的支撐和促進作用，總結(jié)科學(xué)價值、技術(shù)價值、經(jīng)濟價值［26］；還要注意評估國際合作在創(chuàng)造社會價值、文化價值、政治效益、外交收益等方面作用。

3 國際科技合作評估方法與程序

一般的科技評估方法和流程包括：提出關(guān)鍵問題、設(shè)計評估模型和框架（指標(biāo)體系）、提出評估方法、確定調(diào)研范圍、收集和分析證據(jù)信息、應(yīng)用評估結(jié)果等［27］。國際科技合作屬于科技活動，因此科技評估的一般性方法和原則，同樣適用于國際科技合作評估。其特殊性主要體現(xiàn)在評估框架的內(nèi)涵不同、評估指標(biāo)的針對性，以及評估方法的組合運用維度不同。

3.1 評估框架構(gòu)建

開展國際科技合作評估時，一般基于被評估對象的運行流程、內(nèi)部機制、管理鏈條等設(shè)計評估框架（見表1）。評估框架包括評估角度、評估指標(biāo)及評估的證據(jù)來源和獲取方法。評估角度既包括一般科技評估投入-結(jié)果（產(chǎn)出、效果和影響）的內(nèi)容，同時兼顧國際合作的特點，包括了對合作“活動”及其類型的梳理。評估指標(biāo)從合作的不同側(cè)面，對評估角度進行詮釋和落地。評估證據(jù)來源與搜集方法，圍繞評估角度和指標(biāo)，指導(dǎo)面向合作各實施和參與主體應(yīng)采用何種方法、從哪些渠道搜集證據(jù)，如：通過調(diào)查的方式獲得結(jié)構(gòu)化的證據(jù)數(shù)據(jù)；通過調(diào)研、座談等方式，獲取實施、參與方觀點等非結(jié)構(gòu)化的證據(jù)。

表1 國際科技合作評估框架與指標(biāo)體系

3.2 評估指標(biāo)設(shè)計

由于國際科技合作活動具有目標(biāo)多元化、類型多樣性的特點，例如：聯(lián)合發(fā)表論文是國際科技合作的形式，發(fā)表論文的數(shù)量是國際科技合作的產(chǎn)出，發(fā)表論文的影響因子以及形成的合作網(wǎng)絡(luò)又是國際科技合作的效果，因此在開展評估時，應(yīng)仔細分析不同類型的國際科技合作評估對象，充分理解國際科技合作的目標(biāo)，有針對性、有的放矢地設(shè)計評估指標(biāo)。

研究發(fā)現(xiàn)，科技創(chuàng)新政策、規(guī)劃中涉及的國際科技合作任務(wù)，以及國際科技合作要素隨著時間的推移越來越豐富，部分重點任務(wù)甚至從“十五”期間延續(xù)至今。國際科技合作重點任務(wù)是開展我國國際科技創(chuàng)新合作評估的基本對象(見圖2)，由于科技活動的合作屬性相似，在評估不同的對象時，可能用到相同的評估指標(biāo)，因此可以通過建立國際科技合作評估指標(biāo)池，從中篩選與被評估對象相關(guān)的評估指標(biāo)。隨著評估實踐的開展和指標(biāo)的積累，指標(biāo)池（及數(shù)據(jù)來源）能極大提高評估人員的效率。

圖2 依據(jù)合作的類型和特點遴選國際科技合作評估指標(biāo)

3.3 評估方法選擇與應(yīng)用

一般的科技評估方法，如同行評議法、德爾菲法、層次分析法、統(tǒng)計分析、問卷調(diào)查、案卷研究、案例研究、座談面訪等都適用于國際科技合作評估［28］。開展國際科技合作評估時，還可采取特殊的方法以更好地展現(xiàn)評估證據(jù)，如文獻計量法、社會網(wǎng)絡(luò)分析等［21,29-30］，目前已有很多學(xué)者開展了這方面的研究，充分利用定量化數(shù)據(jù)提升評估結(jié)論的客觀性［31］。

需注意的是，沒有任何一項國際科技合作評估工作可通過單一的方法實現(xiàn)。如：文獻計量法的數(shù)據(jù)基礎(chǔ)是科學(xué)出版物（論文）［32］，主要適用于基礎(chǔ)科學(xué)的國際合作評估；合作專利的分析僅能呈現(xiàn)技術(shù)層面的合作和競爭［33］，而且合作專利相對于專利相對較少。因此，需綜合使用各類評估方法，從各個角度對證據(jù)信息進行分析，使評估結(jié)果更具科學(xué)性。如：通過案卷研究和統(tǒng)計分析，了解國際科技合作的形式；通過專家座談，獲得對國際科技合作在雙邊關(guān)系、經(jīng)濟發(fā)展、全球共同挑戰(zhàn)等大背景下的意見建議；通過實地調(diào)研（面訪），深入了解國際科技合作實施主體在從事合作中的具體經(jīng)驗、問題和難點。

此外，在評估工作中，還應(yīng)積極引入國際評估專家［34］，對中外科技合作中的各利益相關(guān)方進行詳盡地調(diào)查，使得評估結(jié)果更具公平性。

3.4 評估的關(guān)鍵環(huán)節(jié)

國際科技合作評估實施流程通常包括：確定評估關(guān)鍵問題、構(gòu)建國際科技合作評估模型和框架、設(shè)計國際科技合作指標(biāo)體系、確定調(diào)研范圍、實施證據(jù)信息的收集和分析、評估結(jié)果的應(yīng)用等（見圖3）。

在評估實施前，評估人員應(yīng)注意與委托方充分溝通，基于評估實踐經(jīng)驗，協(xié)助委托方明確提出面臨的問題和管理需求，避免因委托方的潛在需求沒有及時被挖掘?qū)е略u估方案不斷調(diào)整而拖延評估節(jié)奏。國際科技合作評估，還應(yīng)通過跟蹤世界科技形勢的變化，有針對性地更新評估的內(nèi)容和方向、調(diào)整評估方法。評估實施前，應(yīng)與委托方共同確定評估的時間范圍（數(shù)據(jù)的時間范圍），同時應(yīng)基于評估框架細化收集數(shù)據(jù)的主體（即國際科技合作的管理、實施和其他利益相關(guān)主體），進而明確調(diào)研范圍。

在評估實施中，證據(jù)信息的收集和篩選一般通過公開數(shù)據(jù)、數(shù)據(jù)庫檢索的方式收集“非機構(gòu)化證據(jù)”，以及通過調(diào)查（在線填報信息系統(tǒng)）的方式收集“結(jié)構(gòu)化證據(jù)”。前者的證據(jù)來源包括：各類統(tǒng)計年鑒、數(shù)據(jù)庫（如WoS 論文數(shù)據(jù)庫、ORBIT 專利數(shù)據(jù)庫），以及國際組織發(fā)布的各類國際競爭力排名等；后者的證據(jù)收集方式可以通過調(diào)研問卷，或建立信息化系統(tǒng)來實現(xiàn)［35］。

在對證據(jù)信息進行分析時，評估人員應(yīng)充分利用定性、定量相結(jié)合的方法，開展更深層次的現(xiàn)象解釋和規(guī)律研究，挖掘國際科技合作的中、宏觀效果，解讀其原因和存在的問題；同時面向國家和地方管理決策、面向行業(yè)和領(lǐng)域發(fā)展給出評估結(jié)論，并提出政策建議。

圖3 國際科技合作評估實施流程

5 結(jié)論

新時期我國國際科技合作具有范圍廣、領(lǐng)域?qū)挕⒍嘟徊娴奶攸c，使得開展國際科技合作評估時，存在評估對象不明確、評估指標(biāo)不完備、數(shù)據(jù)來源不清晰、評估方法不好選等諸多困難。本文從介紹國際科技合作評估的實踐現(xiàn)狀入手，給出了新時期國際科技合作評估的特點和原則、評估對象和框架、評估方法與基本流程，以期為國際科技合作管理人員、評估人員、政策研究人員提供借鑒和參考。未來，在開展評估時還應(yīng)注意以下內(nèi)容：

（1）注重與國情及決策需求相結(jié)合。發(fā)達國家的國際科技合作的模式和特點、合作目的、成果成效的體現(xiàn)形式，與發(fā)展中國家或地區(qū)有明顯區(qū)別，開展評估的對象和方法也不盡相同。在具體開展評估時，應(yīng)注意各階段國家總體發(fā)展對國際科技合作的要求，注重與管理決策相結(jié)合，真正通過評估回答國際科技合作對創(chuàng)新驅(qū)動發(fā)展的支撐和助力作用。

（2）注重評估的制度化建設(shè)。開展各層面的國際科技合作評估，應(yīng)在前期將國際科技合作的監(jiān)測評估和數(shù)據(jù)收集機制，嵌入到合作活動的設(shè)計和實施過程中，及時總結(jié)成果成效，并在長期的時間范圍內(nèi)，分階段、有步驟地監(jiān)測開展國際科技合作的影響，只有這樣才能為后續(xù)的評估實踐奠定良好的數(shù)據(jù)基礎(chǔ)。

（3）注重評估的國際化視角。在給出政策建議時，應(yīng)以開放創(chuàng)新的視角開展評估與研究工作。即將國際科技合作置于歷史和全球的維度，積極吸引國際專家進入評估工作、充分吸收國內(nèi)外智庫觀點，充分吸納國外相關(guān)智庫和學(xué)者對我國科技創(chuàng)新發(fā)展的意見和建議。

（4）注重評估/研究方法的綜合應(yīng)用。在評估中離不開前期的研究工作，甚至評估和研究始終會交叉在一起。如通過案卷研究，可以獲得評估對象的背景信息，有助于設(shè)計評估方案；通過案例研究，可以總結(jié)國際科技合作的成功經(jīng)驗及共性問題，有助于形成政策建議；通過問卷調(diào)查，可以掌握各利益相關(guān)方的觀點、意見，進而總結(jié)一般性規(guī)律。因此，只有綜合運用各種評估方法，才能得到科學(xué)、公正、客觀的評估結(jié)論，而如何把新的方法用到評估中，也離不開深入的分析和研究。