上海地鐵創新成果與科研管理評價指標體系優化研究

文：張 敏丨上海申通地鐵集團有限公司技術中心

創新是推動高質量發展、建設現代化經濟體系的戰略支撐，本文針對目前上海地鐵在創新研究工作中的難點，結合科技創新評價和科研管理的實際需求，對創新策源、創新合作方、創新成果和評審專家建立綜合性的、科學的評價指標體系。

創新是引領發展的第一動力，上海地鐵從2005年開展科研工作至今，經過多年努力，集團科研整體水平大幅提升，一些重要領域已經處于行業先進水平。但是上海地鐵科技創新在創新策源、創新成果評估、合作伙伴評估、評審專家評估方面仍然存一些亟待解決的問題。為了改變以往對創新研究要素采用定性評價為主的評價方式，本文圍繞創新要素的評價研究，建立一個能夠對上海地鐵的創新能力、成果質量、合作方能力以及專家綜合情況進行定量描述的綜合評價指標體系。

一、創新策源評價指標體系的設計和權重

國內軌道交通技術原先以跟跑為主，更多的是學習和借鑒一些發達國家的技術，隨著近年來行業的迅速發展，目前上海地鐵在智慧化、綠色化等諸多領域，已走在世界前列。從跟跑到領跑，需要進一步強化集團在前瞻性、引領性、原創性研究中的突破。

通過梳理分析相關政策文件與文獻，并結合專家訪談結果，在嚴格遵循全面性、客觀性與可行性指標選取原則的基礎上，本文結合上海地鐵的科研需求和特性，對前瞻性項目和先進性項目分別建立了不同側重點的評價指標（表1、表2）。

表1 創新策源評價指標體系（適用于前瞻性項目0-1）

表2 創新策源評價指標體系（適用于先進性項目1-N）

對于前瞻性項目，建立了以前瞻性為決策性指標，以可行性為參考性指標的評價體系。上海地鐵的策源前瞻性指標從原創顛覆引領、卡脖子技術等維度進行了定量判斷，主要為了評價對未來發展趨勢的預見性和透徹把握的能力，對目標市場需求的準確預估和洞察能力。

對于先進性項目，建立了以先進性為決策性指標，以可行性為參考性指標的評價體系。先進性主要評價所形成的適配創新想法或理念的關鍵技術是否具有國際國內的領先性和先進性。

可行性主要用來評價創新想法和理念在經濟效益、社會效益、技術和時間等維度上是否具備可研究性與可實施性。可行性作為評價項目的參考性指標，起到輔助決策的作用。

二、創新合作方評價指標體系的設計和權重

本文通過對上海地鐵的技術人員、管理人員等相關方進行訪談和調查，建立了包含三項符合性評價的創新合作方資信初步評價和包含二項一級指標，七項二級指標的創新合作方評價指標體系。

對創新合作方的資信初步評價是符合性評價，具備良好資信的企業或團隊是成為創新合作方的準入門檻。符合性檢查包括：（1）評價當日查詢得企業或項目組中有人員處于黑名單公示期的；（2）企業或項目組存有串通投標、弄虛作假、行賄等違法行為；（3）信用分＜60分的；（各單位的信用得分以評價當日在上海地鐵采購電子商務平臺查詢為準。）凡其中一項不合格視為符合性評價不合格，符合性評價不合格的合作方不再進入后續的詳細評價。

對創新合作方的詳細評價見創新合作方評價指標體系（表3），在一級指標中，合作態度的權重值最大，它是選擇合作方時最重要的因素。因為項目合作研究需要雙方保持高頻率的需求探討和技術方案交流，如果對方溝通效率低下或理解能力和執行能力不夠，將直接影響項目的順利開展。

表3 創新合作方評價指標體系

科研能力的權重值位列第二，這是因為創新合作是以課題研究為目標，通過理論、方法、機制、技術研究等手段形成研究成果。因此，合作方的人員資質、相關領域的研究情況、平臺資質等對項目的成果水平影響較大。如果合作方的項目負責人及團隊人員長期從事該領域研究，且在該領域已獲得一定的研究基礎和成就，將更有利于課題研究工作的開展。

從二級指標分析出的權重結果來看，成果水平較其他因素而言是衡量合作方更重要的因素。而人員資質、溝通效率等是創新合作方能夠完成高水平成果的保障措施。人員資質主要考察合作參與人員的綜合實力，合作方負責人作為整個項目的核心人員對項目的統籌、把控直接影響項目的進展情況，同時項目研究主要依靠團隊成員的智慧及群策力，因此合作方團隊人員的配置、學歷、資歷也非常關鍵。溝通效率和執行能力也很重要，因為合作創新必定會有多次的交流溝通過程，且每次溝通都應形成一個一致性意見并高效執行。

創新合作方評價指標體系運用層次分析法和專家評議法，構造以科研能力、合作態度為一級指標并含七項二級指標因子的遞階層次結構模型。并對創新合作方的評價因素進行了權重分析計算，為項目組選擇項目合作伙伴提供了參考。然而項目因自身特點和研究內容差異，不能一概而論，因此針對具體項目，其各項指標的權重有可能存在差異，必要時應進行修正計算。

三、創新成果評價指標體系的設計和權重

科技創新成果是能夠直觀反映科技創新能力的重要指標。本文對創新成果的創新性、實效性、先進性、自主化四個主要維度進行評價，形成可量化的創新成果評價指標體系。

創新成果評價指標體系的研究內容包括以下幾個方面：創新性主要考察成果的突破引領能力，用來評價設計是否新穎并性能可靠，是否能從系統角度提出解決方案的問題等；實效性主要考察成果的轉化應用能力，是否產生效益，起到提質增效的作用，以及是否有良好的應用前景和廣大的應用范圍；先進性主要考察成果在國際、國內、行業的水平；自主化主要考察項目的自主化程度，關鍵核心內容是否自研。

基于以上認識，本文結合上海地鐵科研創新活動的實際情況和需求導向，建立了適用于上海地鐵創新成果的評價指標體系。選用創新性、實效性、先進性和自主化四項指標作為一級指標，選用突破引領、應用效益、業內水平等五項作為二級指標（表4）。

表4 創新成果評價指標體系

從表4可以看出，在一級指標中，創新性和實效性的權重值最大，這是因為創新即技術或者理論的突破性成就，無疑是科學研究最重要的成果。而成果產生的綜合效益以及能夠實施的范圍是衡量科研成效非常重要的指標。同時科研成果的先進性即其在國際國內、行業內外造成的影響，也是側面衡量成果水平的重要因素。而隨著技術革新帶動產業升級發展，也對核心關鍵技術、“卡脖子”技術的自主可控提出了新的要求。

從二級指標看，突破引領、應用效益、應用范圍、業內水平和自主創新是評價創新成果的重要因素。設計新穎性、性能可靠性、技術先進性、方案系統性是對突破引領各維度的定量衡量，對上海地鐵來說，應用效益體現在直接經濟效益、社會效益、綠色效益和綜合提質效益幾個方面。實際/預期應用范圍是指科研成果在全國/行業應用情況以及在單位/線路應用情況。業內水平主要考量研究成果在攻克關鍵核心技術難點，填補行業空白等方面的成就，以及技術性能指標對標國際、國內標準的水平。自主創新則考量核心關鍵部件的自研能力，主要包括算法、模型、工藝、材料、編程以及需求策源、頂層設計等方面的自主創新，不包括通用性的硬件裝備產品和軟件工具平臺等。

為保證評價的客觀公正性，項目負責人應提供相關的資質證明，如查新報告、應用證明、專家論證意見等，并結合項目合同、考核指標和關鍵技術等材料，作為評判依據。

四、評審專家評價指標體系的設計和權重

目前，專家評審制度是集團用來評判和判定創新研究情況、創新資源分配的重要依據。由于專家評審制度具有一定的主觀色彩，其結果不僅受到評審專家自身研究領域、評審能力等內部因素干擾，也受到多重外界環境因素干擾，因此，針對評審專家的評價指標體系應是一個多維度、全方面的評價指標體系。

參考既有的指標體系與度量方法，結合影響評議公正性的主觀因素以及評價指標體系的構建思路和原則，使用層次分析法和專家評議法，最終確定了包含三級指標的評價指標體系。

對評審專家的職業道德評價（表5）是符合性評價，具備良好的職業道德是成為評審專家的準入門檻。凡是評價不合格的（即C1＜0.7或C2＞0）專家視為符合性評價不合格，將不予以推薦。符合性評價不合格的專家不再進入后續的詳細評價。

表5 評審專家職業道德評價（符合性評價）

職業道德評價包括工作態度和信用記錄兩部分。由于項目評審是一項具有主觀性色彩的工作，因此專家的行為規范應作為重點內容來考察。其中，工作態度以參加評審工作的準時性作為指標，主要考察專家對評審會議的響應性和準時性。信用記錄通過考察是否有被投訴、徇私舞弊或其他不良記錄等指標來評定。

評審專家評價指標體系含三級指標，其中一級指標兩項、二級指標五項、三級指標十項。專家最終評價得分取兩項一級指標值的累加值，即專家評價得分=D2+D3，得分越高表示評價結果越優。本文取資質能力和評審表現作為一級指標，選用學術成就、資質特長、評審質量等五項指標作為二級指標，選用職稱、承擔項目情況、獎勵情況等十項指標作為三級指標（表6）。

表6 評審專家評價指標體系

資質能力包括基本信息、學術成就、資質特長三部分。科研項目支持創新，鼓勵創新，不僅要求專家具有一定的專業知識可以對項目的技術水平作出判斷，更需要專家對項目的創新性、產業化以及發展潛力作出評價。因此，對專家資質能力的評價不僅包括其基本信息和學術成就，如職稱、承擔項目情況、學術論著等指標，也包括其資質特長，如參與過專家評審的次數等指標。

評審表現包括評審質量、評審效率兩部分。評審表現是評審專家不同于其他科技人員的特質，評審專家既需要擁有優秀的品質和良好的資質能力，更要理解評審準則，掌握評審方法，明確評審結果，以此保證評審建議的權威性以及評審的公正性和及時性。

評審專家評價指標體系通過建立科學、可行的評價模型，對評審專家進行客觀、公正的綜合評價，有利于科研評審工作的健康發展。

五、主要結論

本文針對目前上海地鐵在創新研究工作中的難點，結合科技創新評價和科研管理的實際需求，對創新策源、創新合作方、創新成果和評審專家建立了綜合性的、科學的評價指標體系。

針對創新策源能力不足的問題，結合上海地鐵的科研需求和特性，針對前瞻性項目和先進性項目，分別以策源前瞻性和先進性作為主要評價維度，以可行性指標作為參考性評價指標，建立了適用于上海地鐵的創新策源評價指標體系，對創新需求、創新想法和創新理念等形成的多維度量化評價，可以為集團評定創新需求和能力，考量創新資源的投入提供參考依據，并能進一步強化集團在前瞻性創新研究、引領性原創研究中的突破，逐步構建“頂層策源—科研攻關—轉化應用—產業引領”的整體創新鏈。

針對創新合作方綜合實力參差不齊的問題，運用層次分析法和專家評議法，構造以具有良好企業資信為準入門檻，以科研能力和合作態度為一級指標并含七項二級指標的評價模型，評價結果為項目負責人評價和選擇合作方提供了動態可量化的依據。

針對項目研究成果的認定與實際應用聯系性不強，項目成果在現場應用成效關注度不夠等問題，結合上海地鐵科研創新活動的實際情況和需求導向，建立了適用于上海地鐵創新成果評價指標體系。評價體系選用創新性、實效性、先進性和自主化四項指標作為一級指標，選用突破引領、應用效益、業內水平等五項作為二級指標，形成多維度可量化的綜合指標體系，指標體系在經過一段時間的試用和評估后，可以適時支撐如科研管理規定等相關制度和標準的優化和完善，為進一步提高創新能力，形成高質量的創新成果起到促進作用。

針對目前專家分類分級規則較為單一且固定不變、對專家的評審情況缺乏反饋等問題，使用層次分析法和專家評議法，形成以具有良好的職業道德為基礎準則，以資質能力和評審表現為一級指標并含五項二級指標,十項三級指標因子的評審專家評價指標體系。體系通過建立科學、可行的評價模型，對評審專家進行客觀、公正的多維度可量化評價，有助于優化和完善專家庫的建設，為項目評審、咨詢等工作精準匹配專家提供了支撐，有利于科研活動的健康發展。