韓國技術水平評估方法分析及啟示

葉 京，冷伏海

（中國科學院科技戰略咨詢研究院，北京 100190）

1 研究背景

技術水平評估是對當前技術能力水平進行評估，是國家科學技術規劃中的一項重要基礎性工作［1］。技術創新是提升國家競爭力的重要手段，世界各國為了在激烈的全球研發競爭中占據優勢，通過制定中長期目標、決定投資優先順序等戰略，以確保自身的技術競爭力。隨著研究開發過程中產生的不確定性日益增加，制定科學技術中長期戰略及投入優先順序的重要性也隨之提高，而這些技術發展戰略和投入規劃的制定，離不開技術水平評估（technology level evaluation）為之提供系統客觀的基礎資料，從而在有限的經費投入中創造出有效的技術研發成果。

國家技術水平評估，首先不同于國家間綜合性或整體領域（如能源領域）的科技競爭力評估和創新能力測度，如世界知識產權組織（WIPO）發布的《2020 年全球創新指數（GII）》（以下簡稱《GII 2020》）報告、中國科技發展戰略研究院2017 年發布的《國家創新指數報告2016—2017》，國家間綜合性創新能力測度調查的對象數量偏多，如《GII 2020》分析了131 個經濟體、歐洲創新指數以28 個國家為對象、我國的國家創新指數調查了40 多個國家，而國家技術水平評估則是針對某一重要技術方向進行少數定標比超國家間的分析評估；第二，在評估方法上，不論是利用專利/論文等客觀數據設計定量指標進行比較分析評估，還是通過現場訪談調研或文獻資料調研進行比較分析，國家技術水平評估均采用相對程度比較的方法，而不是絕對的得分或鑒定；第三，國家技術水平評估方法的一個新趨勢是，針對具體特定前瞻技術方向進行國家間研發水平研判，逐漸重視定性分析，這是因為相對于傳統定量分析方法，定性分析有利于處理復雜性因果關系問題［2］。

在已開展技術水平評估的國家中，如日本科學技術振興機構（JST）通過專家問卷調查，對美、歐、中、日、韓等國家和地區的大、中、小分類技術進行比較，得出上升/持平/下降趨勢的評估結果；我國科技部開展的國家技術預測調查中，僅設計了“與領先國家的技術差距”這1 個一級指標，下設“我國領先”、“同等水平”、“落后5 年”和“落后6 年～10 年”等4 個二級指標［3］，較難比較出與世界領先技術水平的精確差距；由于對技術發展水平這類比較復雜的評估對象很難用確切數據來反映，因此韓國評估一個國家的技術水平，是通過與世界最高水平國家技術比較的一種相對評估，針對技術持有方在確定的技術方向上的發展程度和時間差距及其原因進行定性或定量的比較分析評估，在評估方法上采取結合專家判斷的定性分析，通過專家德爾菲調查得出主要競爭國家技術水平和技術差距（單位為“年”）的評估結果，準確把握技術所處的水平位置（technology level），并用以與其他國家進行比較的技術差距的年度值精確到小數點后一位。

綜上，梳理韓國主要機構開展技術水平評估的概況及特征，了解其代表性評估機構——韓國科學技術評價院開展技術水平評估的歷程，基于韓國2018 年技術水平評估工作的實施體系、流程以及評估方法的完善，從縱向、橫向兩方面考察韓國技術水平評估的實施情況，從評估方法完善視角分析總結韓國技術水平評估方法的實施經驗，挖掘值得我國借鑒之處，以期推動我國技術發展政策與戰略的制定以及科技事業的可持續發展。

2 韓國技術水平評估實施概況及特征

不同機構實施技術水平評估采取的評估方法多種多樣，韓國各機構開展的技術水平評估包括定期評估或周期性評估，以及間歇性按需評估［4］。

2.1 技術水平評估實施概況

2015—2018 年間，韓國國防技術品質院（DTaQ）、農林水產食品技術評價院（IPET）、信息通信評價院（IITP）、產業技術評價管理院（KEIT）、食品安全信息院（NFSI）、保健產業振興院（KHIDI）、海洋科學技術振興院（KIMST）、海洋政策學會（KSOP）、國土交通科學技術振興院（KAIA）、科學技術信息研究院（KISTI）等10 家機構，按照其各自技術領域發展規劃需要，在國防科學技術、農林水產食品技術、信息與通信技術（ICT）、產業技術、海洋科學技術等領域實施了技術水平評估（見表1）［5］。

表1 韓國主要機構開展技術水平評估概況

表1 （續）

2.2 技術水平評估實施特征

2015—2018 年間，韓國各機構實施的技術水平評估，在評估目的、評估對象、評估內容和評估方法上存在共性特征：

（1）評估目的。一是為提升國家技術競爭力制定各領域技術的中長期研發計劃，對各領域核心技術進行評估；二是通過了解韓國與主要競爭國家的技術水平差距，制定有針對性的研發戰略；三是為制定國家中長期研發戰略和投入優先順序提供依據。

（2）評估對象。評估對象主要為美國、歐盟、中國、日本、韓國等5 個國家和地區，部分機構根據評估對象技術特征增加相應的技術領先國家，如國防技術品質院以美國、法國、俄羅斯、日本、英國、中國等23 個主要激光技術發達國家為對象進行評估；農林水產食品技術評價院的評價對象增加了德國、荷蘭、法國、英國、澳大利亞等國家；科學技術信息研究院的評價對象則增加了澳大利亞、印度、加拿大、巴西、俄羅斯等國家。

（3）評估內容。評估的內容一般包括技術水平、技術差距及原因、最高水平技術持有國家/機構、提升技術水平的建議或追趕方案、技術重要程度（重要程度、緊迫性、影響效果）、論文專利數量與影響力指數等重要指標、投入比例（政府與民間、各技術階段）、政府政策等。

（4）評估方法。大部分機構采用德爾菲法，評估結果產出為相較最高水平技術持有國家的技術水平和技術差距，上述10 家機構均提供技術開發水平、技術重要程度、提升技術水平的建議等補充內容；此外，實施定量評估采用論文/專利分析方法，提供各項技術的論文/專利水平（數量及影響力指數等）。

3 韓國技術水平評估實施機構典型分析

韓國科學技術評價院（KISTEP）成立于2001 年，是國家級的科技規劃支撐機構。KISTEP 依據韓國《科學技術基本法》第十四條第二款，即政府為促進科學技術的發展，應當對國家重要核心技術水平進行評估，并制定和推進有關技術水平的提高措施，和《科學技術基本法施行令》第二十四條（技術水平評估）第二項，即科學技術信息通信部長官應根據法律第十四條第二款與有關中央行政機構的長官協商，每兩年實施所管領域的技術水平評估，并將結果向國家科技咨詢會議報告，對韓國與美國、歐盟、日本、中國等主要競爭對象進行技術水平和技術差距綜合分析，掌握本國重點技術現狀和發展趨勢、監測科技政策的成果，主要采用論文/專利分析的定量評估與德爾菲法的定性評估結合；并在每兩次評估中期的間隔年份，會定期進行技術水平評估方法改進研究，根據研究結果完善評估方法，以提升下一次技術水平評估結果的可信度。盡管韓國國內的政府其他機構基本都采取類似KISTEP 的評估體系和方法，但其開展的技術評估與KISTEP 的主要區別在于，KISTEP 開展技術水平評估工作更為規范化和體系化，以及評估的技術領域范圍更為全面，可以從國家層面發揮決策咨詢作用。因此，本研究以KISTEP作為典型案例進行介紹和分析。

如表2 所示，KISTEP 以韓國戰略技術為對象，從1999 年至2018 年共進行了9 次技術水平評估，從1999 年至2016 年共開展了8 次大規模專家德爾菲調查，尤其是2008 年以后的技術水平評估工作更側重于依據《科學技術基本法》，并與政府在不同時期推進的科學技術基本計劃相結合［5］。其中，2008 和2010 年分別對《第2 次科學技術基本計劃（2008—2012 年）》中的90 項重點科學技術進行了兩次技術水平評估；2012、2014 和2016 年分別對《第3 次科學技術基本計劃（2013—2017）》中的120 項國家戰略技術進行了3 次技術水平評估。

表2 韓國科學技術評價院的技術水平評估實施歷程

表2 （續）

2008 年度對90 項重點科學技術的技術水平評估，是針對韓國《第2 次科學技術基本計劃（2008—2012 年）》中的90 項重點科學技術和364 項具體技術進行的技術水平評估，包括信息電子通信、生物、機械制造工藝等10 個技術領域。評估采用技術增長模型，對當前與5 年后的技術水平進行預測和動態評估，通過論文/專利分析的定量評估和德爾菲法的定性評估，完善此前僅有主觀評估的方法。評估內容包括評價對象的技術水平與技術開發所需時間、技術水平達成主要因素、技術獲得與追趕和改進方案、核心技術水平提升與技術能力提高的建議以及技術開發的阻礙因素與對策建議等。

2010 年度的技術水平評估對象包括共11 個大領域的95 項重點科學技術和369 項具體技術。評估方法以德爾菲法調查結果為中心，利用技術增長模型并行分析論文和專利。評估內容主要針對美國、日本、歐盟、中國和韓國5 個國家和地區間的技術水平與差距比較、技術動向調查和論文/專利被引用等；此外，首次對韓國國家重點科學技術實施時間序列（2008—2010 年）的技術水平評估，以及在中間階段檢驗政府的科學技術政策成效。

2012 年度的技術水平評估中，對2010 年的評估方法進行了改進（見表3）［6］，引入劃分研發階段（基礎研究、應用研究、開發研究）和研究主題（產、學、研）的分析方法，并引入專家對德爾菲調查和論文/專利調查結果進行綜合討論分析；此外，參與德爾菲調查的專家由相關技術領域學會、協會、研究所和大學推薦，使專家的代表性和專業性得到提升。

表3 韓國科學技術評價院的技術水平評估改善方向

4 韓國技術水平評估方法典型分析

韓國科學技術評價院［7］于2019 年4 月發布的《2018 年韓國技術水平評估》，是韓國近期最新開展的一次技術水平評估（以下簡稱“2018 評估”）的報告。2018 評估對以往的技術水平評估方法進行了改進，評估對象為韓國《第4 次科學技術基本計劃（2018—2022）》中的重點科學技術，這些技術對韓國的社會經濟和科學技術有較高貢獻度，包括建設交通、災難安全、航空航天海洋、國防、機械制造、材料納米、農林水產食品、生命保健醫療、能源資源、環境氣象、信息通信技術和軟件等11 個領域120 項重點科學技術，以及分析韓國在這些技術領域上與美國、歐盟、日本、中國的技術差距；此外，從技術趨勢、技術發展程度、技術間的相似重復等方面考慮，調整韓國現有國家戰略技術的技術名稱、技術范圍等，新增加了人工智能、智能家庭、智慧城市、3D 打印、大氣污染應對等12 項技術。

4.1 評估實施體系和流程

2018 評估的實施體系（見圖1）由運營委員會、評估委員、綜合支撐小組構成。其中，運營委員會由科技領域相關產學研代表及理事組成，負責對技術水平評估計劃、現狀與結果進行討論調整；評估委員由11 個領域120 項重點技術的1 200 名專家組成，每項技術各對應10 名專家，負責評估韓國與其他主要評估對象的重點技術水平與差距，以及參加對論文、專利分析結果的討論；綜合支撐小組由KISTEP 技術預測中心人員組成，負責核心專家的選定聯絡、德爾菲調查的設計和結果分析等工作。

圖1 韓國科學技術評價院技術水平評估實施體系

2018評估從2018 年2 月至2019 年2 月經過1年時間，共進行了8 個實施階段，具體實施流程為（見圖2）：開展論文/專利分析；成立技術水平評估運營委員會；專家相互推薦，并確定定量分析內容；論文/專利趨勢分析和指標分析，兩次專家德爾菲調查分析，定性與定量分析結果最終分析；運營委員會討論并確定最終評估結果，提交國家科學技術咨詢會議審議。

圖2 韓國科學技術評價院技術水平評估實施流程

4.2 評估方法改進內容

為提高技術水平評估結果的可信度和有效度，2018 評估通過完善德爾菲調查方式和論文/專利等定量分析法，以及完善評估專家遴選方法和評估指標等方面，使評估方法更客觀，相比2016 年KISTEP開展技術水平評估的方法有所改進（見表4）。

表4 韓國科學技術評價院技術水平評估方法的改進

一是在加強數據定量分析的同時改進專家定性評估方式，確保評估結果的客觀性和專業性。技術水平評估方法一般包括定性方法和定量方法。定性方法是基于專家知識的主觀評估方法，包括頭腦風暴、德爾菲法、訪談、問卷調查、焦點團體訪談（focus group interview）等；定量方法是基于大量數據的客觀分析方法，包括論文/專利信息分析法、評分模型（scoring model）、層次分析法（analytic hierarchy process）、技術成熟度（technology readiness level）、專利指標應用、技術增長模型等。2018 評估參考了KISTEP 對2017 年技術水平評估方法改進方案的研究結果，加強定量分析和定性評估結合，促進德爾菲調查研究的完善，增加技術水平評估結果的利用度和可信度。

二是加強運用定量分析方法。為滿足數據分析要求，2018 評估替換了依賴固定專家評估的技術動向報告，在現有的論文/專利分析指標中增加了多種分析指標（見表5），如IP4 占有率，是指不同于同族專利，用于分析在主要國家市場以外的影響力；將專利數據范圍從美國專利局擴大到韓中日歐美五局（見表6）；新增不僅能用于德爾菲調查的基礎資料，而且能分析各技術領域研究趨勢的指標；通過挖掘和分析論文/專利的活動趨勢和技術價值等突破性指標，提供技術發展當前情況的信息。

表5 韓國科學技術評價院開展技術水平評估的論文/專利分析指標改進

表6 韓國科學技術評價院開展技術水平評估的論文/專利分析對象與方法

三是完善定性分析方法。由于定性主觀判斷主要基于專家的知識與經驗，存在一定程度客觀性不足的缺陷。一國不同專家群體和知識背景對國家的整體技術水平判斷有影響［8］，因此在以德爾菲法評估技術水平和技術差距過程中，針對技術水平是否指現有技術成果的差異、評估范圍是否包含技術開發能力等的不確定，存在因參與專家的解釋不同而評估結果不同的問題。為解決定性分析的客觀性不足問題，2018 評估完善了參與技術水平評估專家的選拔、實施方式和德爾菲調查問卷（見表7），將作為德爾菲調查評估委員的少數核心專家改進為專家5 年任期制的參與方式，并刪除或改進技術水平回答可信度低、產學研投入比例等利用度低且評估困難的內容。

表7 韓國科學技術評價院開展技術水平評估的德爾菲調查問卷改進

4.3 新增指標

技術水平評估方法的基礎是評估指標體系的構建，評估指標體系的選擇直接關系到科技評估結果的準確性［9］。2018 評估的評估指標比KISTEP 的2016年評估增加了活動力分析和技術力分析指標（見表8、表9）。活動力分析是指通過論文/專利占有率與增加率、專利海外申請度等指標，分析論文/專利的活動變化；技術力分析是指通過論文/專利影響力與IP4占有率、專利權力要求項的數量等指標，分析論文/專利所具有的技術價值。

表8 韓國科學技術評價院開展技術水平評估的活動力分析指標

表9 韓國科學技術評價院開展技術水平評估的技術力分析指標

表9 （續）

此外，如表10 所示，2018 評估的評估指標新增加了活躍度指數和吸引力指數的投入組合分析指標。以活躍度指數和吸引力指數為基礎，掌握指定國家對指定技術的技術實力和研究活動情況，分析特定國家即使落后于絕對優勢，與其他國家相比，其指定技術的相對集中活躍程度和技術能力掌握程度。

表10 韓國科學技術評價院開展技術水平評估的投入組合分析指標

5 結論與啟示

韓國開展技術水平評估雖然起步較晚，但經過近20 年的發展，技術水平評估工作在韓國已呈現制度化、常規化和體系化，在跟隨日本開展技術評估之后，經過不斷完善，逐步提升了技術水平評估的可信度和客觀性，已形成自身特色的技術水平評估方法。總結韓國的技術水平評估方法和實施經驗，為我國完善技術水平評估方法和健全技術水平評估體系提供啟示。

5.1 有必要定期、長期進行國家層面的技術水平評估和監測

韓國在制定每期科技基本計劃過程中，將技術水平評估作為制定各項技術發展目標的參考依據，通過持續的技術水平評估檢驗國家戰略技術水平發展程度，深入分析技術水平變化趨勢并反映到國家中長期技術規劃中。例如韓國近期推進實施的2018年技術水平評估，掌握當期科技基本計劃中的重點技術與世界主要發達國家的技術差距等情況，將其應用于韓國的科技規劃活動，制定提高相關技術水平的政策；通過將研發投入、科技政策與技術水平評估結合，提出相關政策建議，有助于掌握技術發展信息的國際主動權。當前科技發展速度，我國的科技發展水平也迅速提升，科技部于2013 年年底啟動了國內外技術競爭調查，對我國整體技術水平進行摸底，但至今已時隔7 年，為提升對我國技術發展水平判斷的準確性，有必要及時更新數據，科學把握我國技術發展水平和在國際上的位置，為科技規劃、發展戰略等政策的制定提供必要的基礎資料。

5.2 重視通過立法指導和保障技術水平評估工作

韓國從20 世紀中后期起，科技政策的制定逐漸擺脫模仿和追趕發達國家的技術開發戰略，更多強調創新型和領先型技術創新體系，為此，從國家層面重視技術規劃出發，2001 年制定《科學技術基本法》，強調技術預測、技術水平評估和技術影響評估等技術規劃工作。《科學技術基本法》為韓國制定每5 年一次的科學技術基本計劃和開展技術水平評估、技術預見提供依據和法律保障，同時賦予了國家科學技術審議會制定科技規劃、協調和評估國家研發計劃、分配政府研發預算等相關職能［10］。我國科技部于2003 年制定了《科學技術評價辦法》（試行），但該法規主要是對科學技術活動及其相關事項進行評價，從立法層面對于開展針對國家戰略技術發展水平評估工作的重視程度有待提高。

5.3 關注技術水平前瞻評估，并不斷優化完善評估方法

科技評估工作不僅要著眼過去和現在，更應關注未來科技戰略的制定［11］。韓國每兩年一次進行的技術水平評估，為其制定國家科技發展戰略和研發投入規劃提供了重要依據，并通過不斷創新完善評估方法和結果形式提升評估結果的可信度和客觀性、通過優化分析方法提高評估分析工作的效率和準確度，尤其是其2018 年開展技術水平評估采用新的評估體系和改進方法，選定核心專家實行5 年任期制，摒棄專家一次性參與的做法，緩解了之前由于參評專家不固定而造成的評估工作專業性和客觀性缺失等問題；并且在論文/專利分析工作中導入了自動化系統，提高了工作效率和數據準確度。但通常情況下，為保障技術水平評估結果的時間序列分析和一貫性，技術水平評估方式不能進行太大的改動，應保持以評估技術和體系為出發點提供基礎性資料的原則。

5.4 重視評估方法中定性分析和定量分析的深入結合

我國科技評價最常用的方法是文獻計量法和同行評議法，德爾菲法和層次分析法也逐漸被應用［12］。其中，在基礎研究領域主要采用同行評議等以定性分析為主的評價方法，定量分析方法還處于探索完善過程中［13］。由于許多技術水平評估方法是通過德爾菲法進行專家意見調查，但依靠專家主觀性分析的方法容易產生評估結果客觀性不夠的問題；然而以論文、專利等定量數據為基礎的技術水平評估方法的缺點是，只能提出個別指標，難以進行綜合性判斷，而且將過去的論文/專利和現在的論文/專利同等地評估，不能反映技術陳舊率。因此，類似韓國技術水平評估方法將定性與定量分析相結合，對定量分析結果中的技術水平和技術差距增加產生結果原因的專家深度分析，能夠有效彌補單一方法的缺陷。盡管韓國2018 年開展的技術水平評估對定性分析和定量分析有所完善，但有調查研究指出，德爾菲調查與論文/專利分析的技術水平結果之間不存在有意義的相關性［5］，存在論文/專利分析結果與德爾菲調查結果結合分析不足的問題。可以看出，在技術水平評估方法中，有必要增加定性評估和定量評估結果間的相關性分析，以及導出技術水平綜合指標的相關研究。

5.5 重視加強技術水平評估結果相關信息的公開共享

韓國技術水平評估報告每2 年定期在韓國科學技術評價院的官方主頁上公開發布，有利于公眾全面了解技術水平評估的最新進展和準確結果，同時有助于吸收社會廣泛意見建議，有效推動評估方法的改進完善。韓國科學技術評價院對2018 年技術水平評估報告中實施的定性評估（德爾菲調查）和定量評估（論文/專利分析）方法，向參與評估的專家進行了問卷調研，結果表明評估過程中存在“調研資料不足”“技術范圍過于寬泛”等問題，有必要增加討論會的召開次數，并及時進行資料共享，計劃今后采取增加重要論文和重要專利等質性因素分析指標等改進措施。