基于大數據架構的國家海洋創新指標及其預測方法研究

劉大海，李曉璇，王春娟，李先杰

(國家海洋局第一海洋研究所 青島 266061)

?

基于大數據架構的國家海洋創新指標及其預測方法研究

劉大海，李曉璇，王春娟，李先杰

(國家海洋局第一海洋研究所 青島 266061)

基于國家創新體系理論和大數據思想，探討國家海洋創新體系定義和范圍；根據國家海洋創新體系的具體內容，選取對外海洋技術依存度、海洋儀器設備國有化率、海洋關鍵技術自主化率、海洋科技進步貢獻率、海洋科技成果轉化率等作為國家海洋創新預測指標；在Bigtable+MapReduce框架內討論適用于海洋創新指標的預測方法，探索國家海洋創新指標預測技術思路，為建立支撐海洋創新戰略制定的預測體系做了有益嘗試。

海洋創新指標；大數據架構；預測方法

黨的十八大將創新驅動作為國家發展的主要目標，提出“實施創新驅動發展戰略，到2020年進入創新型國家行列”，《中共中央關于全面深化改革若干重大問題的決定》明確提出要“建設國家創新體系”。海洋創新是建設創新型國家的關鍵領域，也是國家創新體系的重要組成部分。習近平總書記在中共中央政治局第八次集體學習時強調要“著力推動海洋科技向創新引領型轉變”，突出體現了中央對海洋創新領域的高度重視。

為貫徹落實黨和國家的重要戰略部署，國家海洋局積極推進國家海洋創新工作。在工作扎實推進的同時，也遇到一些困難：①尚未形成系統的海洋創新體系，難以深入分析我國海洋創新發展的現狀和問題；②尚難實現對我國海洋創新領域發展趨勢的定量化預測；③缺少對未來海洋創新戰略重點的布局。出現問題的原因在于：海量多源的海洋創新數據、難以預測的海洋創新行為、高度復雜的海洋創新環境，使得傳統海洋創新預測體系面臨嚴峻挑戰。當前，我國海洋創新數據應用局限于簡單的報表，海洋創新領域預測仍主要依賴“專家咨詢”和“問卷調查”等定性方法，缺乏對海洋創新大數據的深度挖掘，更缺乏系統的指標預測研究，給我國海洋創新領域發展趨勢的定量化預測和未來海洋創新戰略重點的有效布局造成一定的困難。

因此，有必要基于大數據思想，盡快探索構建海洋創新指標預測方法體系：以分布式數據存儲系統Bigtable支持下的海量多源海洋創新數據為基礎，以基于國家海洋創新體系理論確定的海洋創新指標為對象，在MapReduce計算框架下探索預測海洋創新領域未來發展的整體趨勢、重點領域和關鍵技術的方法體系，為海洋創新總體規劃和海洋科技政策中的預測信息提供方法支撐。

1 國家海洋創新體系的構建

國外對國家創新體系理論的研究始于20世紀80年代中期，隨后，該理論在發達國家的政策部門和學術界的影響迅速擴大。Niosi等[1]認為國家創新體系是指以促進本土科學技術創造為目標，由企業、大學、政府機關等主體相互作用構成的一個體系。我國2006年出臺的《國家中長期科學和技術發展規劃綱要(2006—2020年)》將國家創新體系界定為：以政府為主導、充分發揮市場配置資源的基礎性作用、各類科技創新主體緊密聯系和有效互動的社會系統。

將國家創新體系理論引入海洋領域，國家海洋創新體系[2]是指通過政府、科研機構、高校、企業等創新主體相互合作，進行促進全社會海洋創新資源合理配置和有效利用的活動，涵蓋涉海的科學研究、人才培養、產業發展、創新服務與管理等一系列內容的系統。也就是說，其范圍主要包括：①創新主體，包括涉海科研機構、高等學校和企業；②創新活動，包含海洋科技成果、結題課題、論文、專利、企業效益、社會效益、環境效益等；③創新環境，涵蓋宏觀社會制度環境與微觀個體觀念環境。

2 國家海洋創新指標研究

海洋創新是國家創新的關鍵領域，有效評估海洋創新以反映國家海洋創新的發展問題，對于實現創新型海洋強國具有重要的戰略意義和現實意義。海洋創新評估指標的選取是海洋創新評估工作的關鍵，對海洋創新評估的結果影響重大。

結合定義，為全面有效地反映海洋創新領域發展狀況，根據國家海洋創新體系的具體內涵，選取擬預測的海洋創新指標見表1。

3 國家海洋創新指標預測方法研究

可將國家海洋創新指標預測方法分成傳統海洋創新預測方法和基于大數據思想的預測方法。

3.1 傳統海洋創新預測方法研究

傳統海洋創新預測方法主要應用于傳統指標預測和技術預見兩方面[3]。

在傳統指標預測方面，通常運用趨勢外推法進行預測[4]。其預測需基于指標測算結果，指標具體包括海洋科技進步貢獻率[5]、海洋科技成果轉化率[6]和海洋科技投入產出效率[7]。在測算方法上，科技進步貢獻率主要運用時滯灰色生產函數[5]和索洛余值法等[6]；科技成果轉化率主要運用綜合評價法和主成分分析法等[7-8]；科技投入產出效率主要運用數據包絡分析和柯布-道格拉斯生產函數等[9-10]。

表1 擬預測的海洋創新指標

在技術預見方面，主要方法是德爾菲法、情景分析和專家會議等[11]。

傳統海洋創新預測方法在實際工作中的局限性包括：

(1)定量難。我國海洋經濟統計數據在完備性和銜接性上存在不足，無法為海洋創新指標的定量測算提供結構化數據支撐。

(2)契合度低。由于創新領域的特殊性，海洋創新數據大多呈暴發性無序增長，而傳統預測方法只適用于有明顯趨勢性的數據。

(3)研究重點定位難。傳統預測得出的結果僅顯示相應數據的趨勢性增長規律，無法確定海洋創新的研究前沿和研究熱點，在對海洋創新發展戰略提供決策服務方面有效性不足。

3.2 基于大數據思想的預測方法研究

與傳統數據模式不同，大數據不再采用隨機樣本數據，而是全體數據。也就是說，大數據不用抽樣調查方法，而是對所有數據進行分析處理，大量、高速、多樣和價值被公認為大數據的四大特點。隨著大數據時代的到來，海洋創新數據類型和數量量級均發生巨大變化，對傳統的預測方法提出了挑戰。為解決此類問題，一些新技術、新方法應運而生，其中MapReduce以其良好的擴展性、容錯性和大規模并行處理的優勢成為大數據處理領域的代表技術。MapReduce可以定義為一種用于大規模數據集并行運算的編程模型，分為Map(映射)和Reduce(規約)兩步。

(1)關于Map函數算法的研究。Map函數將數據映射到預先定義好的群組成類，主流算法有：決策樹，Bayes分析、神經網絡、支持向量機等[12-15]。其中，神經網絡主要處理數值型數據，Bayes分析主要用于基于已知先驗概率的情況下進行決策和推理，支持向量機更適用于小樣本。決策樹算法相比于以上算法，在處理非數值型數據上擁有顯著優勢，可以在相對短的時間內對大型數據源計算出可行且效果良好的結果。

(2)關于Reduce函數算法的研究。Reduce的算法主要有聚類分析、主成分分析、BP神經網絡等[16-18]。其中，主成分分析是將多個變量通過線性變換以選出較少個數重要變量，BP神經網絡能學習和存貯大量的輸入-輸出模式映射關系，聚類分析在處理大量的、不完全的、含有噪聲的數據中具有強大優勢。

需要說明的是，實現MapReduce還需要HBase、Cassandra、Bigtable等非關系型數據庫支持。其中，Bigtable是Google開發的分布式數據存儲系統，在適用性、擴展性和計算性能方面具有較強優勢。

4 國家海洋創新指標預測技術思路

在對我國海洋創新發展狀況深入分析的基礎上，確定擬預測的海洋創新指標，收集整理海洋創新數據，構建Bigtable分布式數據存儲系統+MapReduce技術的大數據架構，對海洋創新指標的預測方法及其應用進行研究(圖1)。

圖1 技術路線圖

技術路線可分為4個階段：①進行我國海洋創新發展現狀和問題研究，定義國家海洋創新體系，確定擬預測的海洋創新指標；②收集海洋創新指標所需數據，完善健全現有數據；③對數據進行整理和預處理，建立Bigtable分布式數據存儲系統；④綜合運用合適算法對海洋創新數據進行Map處理和Reduce處理，形成完善的海洋創新指標預測方法體系。

技術路線的核心在基于大數據思想的海洋創新指標預測方法研究部分，具體分成兩個方面：①數據收集整理與Bigtable數據庫構建。收集海洋創新指標所需數據，并對數據進行整理和預處理，建立Bigtable分布式數據存儲系統，對海洋創新數據進行存儲和管理；②基于MapReduce計算框架的指標預測方法研究。針對各類非結構化、非線性、無因果關系數據，基于MapReduce計算框架，形成一套系統的海洋創新指標預測方法，具體包括Map處理和Reduce處理兩方面。運用設定決策樹的最大高度來限制樹的增長或者設定每個節點必須包含的最少記錄數對決策樹算法進行改進，并通過改進的決策樹算法對海洋創新數據進行Map處理。根據數據類型不同，綜合運用BP神經網絡和不同類別的聚類算法，對海洋創新數據進行Reduce處理，為海洋創新指標的預測奠定基礎。

Bigtable+MapReduce架構下海洋創新指標預測最優方法的實現是研究的難點。具體表現為：如何基于大數據思想，運用Bigtable分布式數據存儲系統有效地管理海量多源海洋創新數據？如何在MapReduce計算架構下綜合運用合適算法對海洋創新數據進行Map處理和Reduce處理，實現并尋找到最優算法？若能實現，將能為海洋創新總體規劃編制和海洋科技政策制定提供全面準確的預測信息，實現對我國海洋創新領域發展趨勢的定量化預測和未來海洋創新戰略重點的有效布局。

5 結束語

基于大數據架構開展國家海洋創新指標預測有雙重意義。一是在學術方面，將MapReduce技術與海洋創新數據結合，探索海洋創新指標預測方法，可以建立起一套支撐海洋創新戰略制定的預測體系。二是在應用方面，通過Bigtable分布式數據存儲系統對海洋創新數據進行存儲和管理，深入分析多源數據，進行科學合理的海洋創新指標預測方法研究，實現對我國海洋創新領域發展趨勢的定量化預測，可以為海洋創新戰略和政策的制定提供決策輔助服務。

[1] JORGE N, SAVIOTTI P, BELLON B， et al.National systems of innovation: in search of a workable concept[J].Technology in Society，1993(15): 207-227.

[2] 劉曙光，丁麗君.海洋創新體系建設國際經驗與借鑒[J].海洋開發與管理，2012，29(3)：63-66.

[3] Hajime Eto.The suitability of technology forecasting/foresight methods for decisionsystems and strategy A Japanese view [J].Technological Forecasting & Social Change, 2003：231-249.

[4] 王元地，潘雄峰，劉鳳朝.科技進步貢獻率測算及預測實證研究[J].商業研究，2005(5)：28-31.

[5] 魯亞運.基于時滯灰色生產函數的我國海洋科技進步貢獻率研究[J].科技管理研究，2014，32(12)：55-59.

[6] 趙蕾，林連升，楊寧生，等.綜合評價方法在中國水產科學研究院科技成果轉化率研究中的應用構想[J].科技管理研究，2011，29(6)：42-45.

[7] 呂晨，曾明彬.基于DEA的中國區域科技投入產出相對效率研究[J].科學管理研究，2014，32(2)：101-104.

[8] 徐士元，何寬，樊在虎.基于浙江面板數據的海洋科技進步貢獻率研究[J].海洋開發與管理，2013，30(11)：111-116.

[9] 王黎明.福建省科技成果轉化評價研究[D].福州：福建農林大學，2014：33-34.

[10] 孟慶軍，許蓮艷.基于C-D函數的高新技術產業科技投入產出效率分析[J].河北工業科技，2015，32(1)：17-21.

[11] 中國未來20年技術預見研究組.中國未來20年技術預見(續)[M].北京：科學出版社，2007：27.

[12] 曹寧，高瑩，徐根祺.決策樹方法的研究[J].科技視野，2014(20)：72.

[13] 祝翠，劉煥彬.Bayes方法在學習效果評價上的應用[J].科技論壇，2014(1)：138-139.

[14] 孔玉靜，華爾天.基于神經網絡的無線傳感器網絡數據融合算法研究[D].杭州：浙江工商大學，2013.

[15] 丁世飛，齊丙娟，譚紅艷.支持向量機理論與算法研究綜述[J].電子科技大學學報，2011，40(1)：3-10.

[16] 郭紅建，陳一飛.采用K-means聚類算法提高審計分析質量[J].中國管理信息化，2015(1)：9-10.

[17] 張杰.基于主成分-聚類分析法的管道風險評價方法[J].油氣儲運，2014(2):139-143.

[18] 崔東文.多隱層BP神經網絡模型在徑流預測中的應用[J].水文，2013(1)：68-73.

On the National Marine Innovation Index and Marine Innovation Forecasting Method Based on Big Data Architecture

LIU Dahai，LI Xiaoxuan，WANG Chunjuan，LI Xianjie

(The First Institute of Oceanography，SOA，Qingdao 266061，China)

Based on the theory of National Innovation System and the theory of big data, this paper explored the definition and scope of national marine innovation system. According to the specific contents of national marine innovation system, it put forward the national marine innovation forecasting indexes including foreign dependence of marine technology, marine equipment nationalization rate, the autonomization rate of marine key technology, the contribution rate of marine science and technology progress, marine science and technology transfer rate and so on. In addition, in the framework of Bigtable+MapReduce, it discussed the forecasting methods that were suitable for marine innovation index and explored the thought of national marine innovation index forecasting technology, which made attempts to establish the forecasting system for better marine innovation strategy-making.

Marine innovation index，Big data architecture， Forecasting method

海洋公益性行業科研專項經費項目“海洋強國建設的評價體系研究及應用”(2014418029)；國家海洋局項目“海洋科技創新評估與預測研究”(A201547)；基本科研業務費專項資金項目“海洋科技創新戰略研究”(GY0214T08)；基本科研業務費專項資金項目“我國海洋創新評估體系及預測技術研究與應用”(2015T09)；國家海洋局項目“海洋科技創新指數及企業創新能力研究”.

劉大海，助理研究員，博士，研究方向為海洋創新政策研究，電子信箱：liudahai@fio.org.cn

李曉璇，碩士研究生，研究方向為海洋創新政策研究，電子信箱：lixiaoxuan@fio.org.cn

F204 ；P7

A

1005-9857(2016)03-0009-05