李仁義李 曦卞 勇馬宇坤潘廣悅曹 虎劉 貞劉 磊(. 中國兵器工業新技術推廣研究所;. 國防科工局協作配套中心;. 中共中央黨校研究生院)
國防科技成果推廣成熟度評價體系研究
李仁義1李 曦2卞 勇1馬宇坤1潘廣悅1曹 虎1劉 貞1劉 磊3
(1. 中國兵器工業新技術推廣研究所;2. 國防科工局協作配套中心;3. 中共中央黨校研究生院)
國防科技工業作為戰略性高技術產業,事關國家安全,承擔著為國防現代化提供先進武器裝備的重任。而武器裝備的研發和升級換代必須建立在一定的科技成果積累的基礎上,如美軍裝備建設的“三七”理論(新武器裝備研發所需科技成果中的30%為新開發,剩余70%應為已應用的科技成果)就是這種經驗的歸納和提煉,并已得到了充分驗證。所以,各類先進、成熟的科技成果在武器裝備研制中的推廣應用是增強軍工核心能力建設,提升武器裝備科研生產水平,加速先進國防科技工業建設,保障國家安全的有效途徑。
近年來,我國的國防科技成果推廣轉化工作取得了顯著的成績,對于積極推動國防自主創新能力提升,加快軍工核心能力建設起到了積極作用,但其中也存在著一些問題,制約了科技成果推廣的示范驗證作用,主要體現在適用于推廣轉化的國防科技成果評價機制尚不健全等方面。因此,開展國防科技成果推廣轉化工作首先應對所推廣的科技成果能否推廣進行判斷。國防科技成果推廣轉化工作有其自身的特點,要求擬推廣應用的科技成果必須具有一定的先進性、成熟性、適用性,而有關如何評定國防科技成果推廣成熟度的相關標準目前尚缺乏統一的規定,實施推廣轉化的技術成熟程度尚未明確。這一方面導致在實際科技成果選擇過程中,選擇了一些推廣成熟度不高、基礎不好的科技成果,影響了推廣項目的示范驗證效果;另一方面,也有很多成熟的技術成果由于缺少科學的篩選依據,無法對科技成果的推廣適應性作出科學的評價,從而無法針對武器裝備和工業生產的急需在行業內實現先進科技成果的共享。
因此,建立科學、規范的國防科技成果推廣成熟度評價體系是促進國防科技成果推廣轉化工作科學發展,最大限度地發揮國防投資的溢出效益,提升武器裝備科研生產整體水平的重要制度保障。本文旨在通過總結分析國內外科技評價、國防科技成果評價的理論、方法,結合我國國防科技成果推廣轉化工作的實際需求,利用層次分析法,研究建立定性與定量相結合的國防科技成果推廣成熟度評價體系,并制定出相應的評價標準,為我國國防科技成果推廣轉化工作的科技成果評價提供指導、借鑒。
“國防科技成果”是指在國防科研和武器裝備研制及與其密切相關的工作中所產生的科學技術成果。國防科技成果的取得是按照國防科技發展戰略、發展規劃、發展計劃,通過研究、開發等一系列工作環節完成的。
“國防科技成果推廣轉化”是指國防科技工業管理部門為加強國防建設和提高生產力發展水平,對國防科研和武器裝備研制(包括預先研究、型號研制等)中所產生的具有實用價值的科技成果所進行的后續試驗、開發、應用、推廣,將國防科技成果應用于其它武器裝備型號科研生產的活動,即所推廣的科技成果源于“軍”,開展“軍轉軍”的推廣轉化活動。
“國防科技成果推廣成熟度”是指國防科技成果跨軍工行業、跨武器裝備型號推廣應用的成熟程度。國防科研生產具有戰略性、全局性等特點,國防科技成果的推廣轉化不僅要考慮成果本身的成熟性,更要考慮成果對國防全行業的支撐性、引領性,以及推廣的適用性等諸多特性,綜合考量成果推廣轉化的可行性。
任何一項國防科技成果都必然有一個發展、成熟的過程,具有一定的規律性,國防科技成果的應用要以其成熟性、功能性、環境適應性等為依據。其中,國防科技成果的成熟性主要通過成熟度來度量。成熟度是指針對具體的工作過程進行明確定義、管理、測量、控制的有效程度。國外通常使用技術成熟度評價產品類技術,使用制造成熟度評價工藝類技術。技術成熟度評價和制造成熟度評價是國防科技成果評價中不可或缺的兩部分。
技術成熟度(TRL)主要用來表示型號項目中關鍵技術的成熟程度。其將型號發展過程中技術逐漸成熟的過程劃分為9個階段,代表技術成熟的不同程度,是研究人員在大量科研和工程實踐基礎上,對技術成熟規律認識的一種總結和量化。技術成熟度等級是對技術成熟度進行量度和評測的一種標準,可用于評價特定技術的成熟度,也可用于判斷不同技術對同一項目目標的滿足程度。
技術成熟度的概念源于美國國家航空航天局(NASA)。20世紀90年代,技術成熟度的概念基本趨于成熟。進入21世紀之后,技術成熟度評價方法被美國國防部廣泛應用于國防采辦項目管理中。經過40多年的發展和應用,目前,技術成熟度評價標準已基本成熟,評價方法和實施程序也已形成規范,并獲得了廣泛應用,取得了可觀的社會效益。
我國國防和航天領域的科技人員在長期的科研和工程實踐過程中,也總結出了一套研制階段劃分方法。例如,裝備研制的四個一代:探索一代、預研一代、研制一代、生產一代;航天型號研制階段一般劃分為:模樣(方案論證與驗證)階段、初樣階段、試樣階段等。與國外的技術成熟度概念相比,雖然量化程度不同,但也都體現了技術成熟度級別劃分的樸素思想。
制造成熟度(MRL)主要是為了彌補制造知識的不足,重建制造風險管理能力,提高科技項目的技術轉化能力,對產品生產的經濟有效性進行的評價。MRL主要用于衡量武器裝備研制過程中的關鍵制造技術的成熟程度,以及技術轉化過程中的制造風險,實現對裝備研制生產過程的優化管理與控制,降低制造風險、提升裝備制造能力、縮短生產周期、有效控制成本。
2001年,美國三軍聯合制造技術委員會基于技術成熟度提出了制造成熟度的評價模型。2007年,美軍正式在項目采辦管理中引入并應用制造成熟度。
目前,制造成熟度在美國軍方的應用正在逐步擴大。在美軍武器裝備研制項目中,包括陸軍的“未來戰斗系統”項目、導彈防御局的所有開發項目、空軍小企業創新研究計劃項目等均已引入了制造成熟度概念。
國防科技成果推廣成熟度評價體系包括評價指標、指標權重和評價標準等3個部分,如圖1所示。
一、指標確定原則
本文在指標的設計方面采用了SMART準則,即特定(Specific)、可測量(Measurable)、可得到(Attainable)、相關(Relevant)、可跟蹤(Trackable)。
(一)特定性原則
國防科技成果推廣成熟度評價指標是對國防科技成果可推廣程度的本質特征、組成結構及其構成要素的客觀描述,并為國防科技成果的推廣成熟度評價服務,指標本身具有特定性和專門性。
(二)可測量性原則
對于國防科技成果推廣成熟度指標進行評定應當有相應的標準,以相同的標準作為統一的尺度,來衡量被評價的國防科技成果。指標的概念應正確、涵義清晰、可測量。
(三)可得到性原則
國防科技成果推廣成熟度指標的設計應考慮到驗證所需數據獲得的可能性,細致考慮數據的獲取方式和渠道。對于獲得難度較大的定性指標,可采用近似方法獲得數據。
(四)相關性原則
國防科技成果推廣成熟度評價指標之間應具有一定的內在邏輯關系,能互為補充、相互驗證,對國防科技成果推廣過程中的各個方面給予描述,但不能包容、涵蓋。
(五)可跟蹤性原則
國防科技成果推廣成熟度的評價工作是一種事先評價,為了便于之后的監督與控制,應當在進行評價指標設計時,選擇一些可跟蹤、監督的指標。
國防科技成果推廣成熟度評價指標體系的設計包含定量與定性兩部分指標,在設計過程中,應盡量采用定量指標,以更客觀地反映國防科技科技成果推廣轉化工作中的實際情況,且定量部分指標的總權重應在全部標準分中占有較大的比重;不能被定量的指標,可采用定性的方法,以實現整套指標體系全方位、多角度、全過程地對國防科技成果推廣成熟度進行評價。
二、具體指標說明
在查閱相關文獻和資料、征求有關專家意見的基礎上,結合國防科技成果推廣轉化工作實際,對回收的100余份有效專家調研問卷進行分析之后,以“技術成果”、“推廣價值”、“技術持有方因素”等3個要素作為評價指標體系的一級指標,由影響這3個方面的10個關鍵要素組成二級評價指標體系。依據層次分析法,構建層次評價指標體系,從上到下依次為目標層、準則層和措施層,如圖2所示。

圖1 國防科技成果推廣成熟度評價體系
(一)技術成果
技術成果的水平主要包括先進性、成熟性、完備性等3個方面。
先進性:主要用來評價技術在國內外的先進程度,可通過科技檢索來實現。
成熟性:技術成熟度、制造成熟度等級,技術達到接近完善的程度。通常認為,技術越成熟,應用過程中可能出現的問題就越少。
完備性:技術標準、工藝規范、操作指南等技術文件齊全、準確、規范的程度,以及與國際標準的吻合程度,具備的推廣基礎等。
(二)推廣價值
國防科技成果推廣的價值與意義主要包括需求迫切性、政策性、支撐引領性、適用性、經濟性等方面。
需求迫切性:國防科技工業的需求迫切程度,對高新工程、重點型號的作用和影響。
政策性:與國家科技政策、發展方向、支持重點的符合程度。
支撐引領性:對國防全行業基礎能力、水平的支撐作用,對國防全行業技術的引領、示范、帶動、輻射作用。
適用性:在不同行業、不同裝備型號中的適用范圍。
經濟性:節約成本、預期收益率、環境、生態效益、符合綠色制造模式要求等的程度。
(三)技術持有方因素
技術持有方的實力包括技術負責人水平、研究團隊實力等方面。
技術負責人條件:對風險預見、技術現狀、國內外發展趨勢的把握程度,后續發展潛力,相關管理經驗等。
技術團隊實力:結構合理性、整體技術實力水平、團隊緊密度等。
為了提高研究的合理性,國防科技成果推廣成熟度評價指標的權重采用專家打分的方法,并結合層次分析法進行計算。本項研究邀請來自各軍工單位、部屬高校等科研機構,國防科技成果推廣專業機構和政府主管部門的百余名專家對國防科技成果推廣成熟度評價指標體系進行評判打分。根據專家打分結果,得到最終的國防科技成果推廣成熟度評價指標體系及權重,如表1所示。
在影響國防科技成果推廣成熟度的一級指標中,技術成果的權重最高,為0.4023;其次為推廣價值,權重為0.3842;最后為技術持有方因素,權重為0.2135。在二級指標中,成熟性的權重最高,為0.1892;其次為先進性,權重為0.1338;第三位為研究團隊實力,權重為0.1156。
由此可以看出,在國防科技成果的推廣轉化過程中,成熟性、先進性、技術的研究團隊實力是影響國防科技成果推廣成熟度的較為關鍵的要素。而國防科技成果的政策性、經濟性,影響權重相對較低,這也反映了在國防科技成果推廣轉化過程中,往往更關注技術性能的實現這一傾向。
一、評價指標的評分標準
結合國防科技成果推廣轉化工作實際,將每項評價指標劃分為6個等級,并深入分析影響各等級的關鍵要素,逐項開展研討,細化每項指標的考核內容和考核形式,最終形成國防科技成果推廣成熟度的評價標準。其中,各項評價指標的評分標準如表2所示。

圖2 層次評價指標體系

表1 國防科技成果推廣成熟度評價指標體系及權重表
二、推廣成熟度等級劃分
在國防科技成果推廣成熟度評價中,每個評價對象客觀上存在優、良、好、中、差等多種狀況,本文不僅結合國防科技成果推廣轉化工作實際,建立了相應的推廣成熟度等級及評價標準,還依據推廣成熟度等級提出了相應的應用建議,如表3所示。
為驗證國防科技成果推廣成熟度評價體系”的科學性、合理性,開展了國防科技成果推廣成熟度評價體系的實證應用研究,具體如下:
一、大范圍征集先進國防科技成果
面向全行業十一大軍工集團、有關高校征集了一批先進、適用的國防科技成果,要求提供先進性、成熟性、完備性、適用性等方面的佐證材料。
對征集的160項國防科技成果進行初步篩選后,剔除知識產權不明晰、材料不完備的科技成果44項,最終遴選出116項資料齊全、完備的國防科技成果。

表2 國防科技成果推廣成熟度評價指標評分標準
二、推廣成熟度評價程序
根據《GB/T 22900-2009 科學技術研究項目評價通則》中對評價步驟的闡述,同時結合國防科技成果推廣成熟度評價的特點,確定評價程序如下:首先,確定以擬評價的116項國防科技成果為推廣成熟度評價主體;然后,明確評價目標為遴選成熟度較高、適用范圍較廣的成果;第三,在已收集的成果基本信息基礎之上,開展成果查新、定性分析、同行評價,最后綜合得出評價結果。
三、評價結果
組織不同領域的技術、管理型專家開展國防科技成果推廣成熟度評價體系集中學習,對征集的不同技術領域國防科技成果進行關鍵要素識別、細分,從政策性、需求迫切性、技術負責人水平、成熟性、支撐引領性、先進性、完備性、經濟性、研究團隊實力、適用性等10個維度對成果進行評價,得出評價結果如表4和表5所示。
四、實證研究的意義
116項國防科技成果中,有80項成果較先進、成熟,至少在2個國防分行業具有適用性,其支撐、引領、帶動作用明顯,技術資料較完整、規范,配套條件較成熟,達到推廣成熟度二級水平,建議由國家財政經費支持進行跨行業、跨領域推廣。該推廣成熟度評價體系為遴選進入國防科技成果推廣計劃項目提供了科學依據。
116項國防科技成果中,有36項成果技術先進,非常成熟;在國防全行業具有普適性,支撐、引領、帶動作用明顯;技術資料完整、規范、齊全,配套條件成熟、技術團隊結構合理,達到推廣成熟度三級水平,具備大規模市場化推廣基礎,建議由國家列入國防科技成果推廣目錄,推薦軍工行業進行自發市場性推廣轉化。由此可見,該推廣成熟度評價體系為相關部門編制國防科技成果推廣轉化目錄提供了有效、可靠的遴選依據。
本文結合國防科技成果推廣轉化工作實際,創新性地提出了國防科技成果“推廣成熟度”概念,組織近百名專家深入論證,利用層次分析法,借助YAAHP軟件,建立了國防科技成果“推廣成熟度”評價體系,解決了國防科技成果推廣轉化過程中成果遴選的“門檻”問題,為成果推廣轉化過程中技術供需雙方開展需求對接、應用實施、提供了指導依據,并通過實際案例驗證了評價體系的科學性和實用性。對于推廣成熟度評價體系的應用,提出以下意見:
(1)建議國防科技工業主管部門針對財政性資金支持的推廣轉化項目開展推廣成熟度評價,遴選先進、成熟、需求迫切的共性、關鍵國防科技成果面向全行業開展推廣應用工作,進一步發揮推廣類科研項目的引導、示范、帶動作用,促進國防科技工業整體技術水平的提升。
(2)建議有關軍工集團等主管部門利用推廣成熟度評價體系,積極組織本行業、本集團內部成果的轉移轉化,促進本行業、本領域成果信息共享、推廣應用,推動成員單位間共性技術水平的提升。
(3)建議有關軍工企事業單位利用推廣成熟度評價體系開展成果推廣轉化工作,在自主引進成果和向外推廣成果的過程中,將成果的推廣成熟度作為開展工作的依據,提高轉化成功率。

表3 推廣成熟度等級劃分

表4 針對遴選的科技成果的整體評分統計情況

表5 針對遴選的科技成果的推廣成熟度指標平均得分情況