基于產業專題庫的科技大數據融合應用平臺設計與研發

陳曉玲 張世彤 孫伯貽

摘要：文章為研究機構和科研人員提供基于科技大數據的整合應用服務，實現產業領域數據的融合應用，建立產業專題庫達到支撐數據的靈活調用。借助數據可視化和知識圖譜等技術，實現多種信息來源、多元科技大數據的統一檢索、圖譜檢索與可視化展示，搭建了具有多功能的智能化管理服務平臺。實踐證明：基于產業專題庫的科技大數據平臺的研發實現了資源共建共享，為用戶提供統一的、綜合性的、專題性的產業技術領域知識服務、知識導航、可視化分析等功能，提升了產業關鍵技術服務能力，提高了領域科研人員的科研水平。

關鍵詞：科技大數據；融合應用；情報服務；應用研究

中圖分類號：TP391.1；G350? 文獻標志碼：A文獻標志碼

0 引言

隨著大數據時代的來臨，利用大數據應用共享和分析挖掘等技術手段，促進科技大數據的服務帶動作用，為政府、機構、科研人員等提供基于科技大數據的整合應用平臺是政務信息服務水平提升的途徑之一［1］。通過信息化建設，實現科技統計、科學數據、成果數據、科技政策等多方向的科技大數據實時收儲，實現領域數據的融合應用，支撐數據的靈活調用，為科技服務工作提供數據支撐和數據保障。眾多科研人員或學者開展了很多關于機構知識庫［2］、科學數據管理［3］、數據服務［4］等方面的服務研究，但是缺乏支撐產業創新發展的科技大數據應用服務平臺建設等方面的相關研究。如何打破數據煙囪、信息孤島與碎片化應用，實現科技大數據融合應用、信息共享互通已成為當務之急，一體化科技大數據融合應用平臺的建設已成為大勢所趨。

1 總體架構設計

根據平臺的建設需求，將平臺進行分層設計，分成數據層、服務層、應用層，平臺的總體架構設計如圖1所示［5］。其中，數據層主要完成第三方數據廠商提供的期刊、學位論文、會議論文、科技報告、產品樣品、標準、科技成果、科技政策、人才數據的分析、資源分類、數據字典構建、關聯挖掘等，構建科技大數據中心；服務層主要完成數據庫管理、分類導航、數據接口、導入導出、資源相似分析、關聯分析、知識圖譜、大數據可視化等；應用層主要完成資源多維度導航、科技大數據統一檢索、專題知識庫服務和可視化看板等；并建立平臺的數據標準規范體系和安全運維保障。

2 功能架構設計

根據平臺的總體架構設計，將平臺的功能設計為科技大數據中心和業務應用平臺2部分。（1）科技大數據中心需要對外部數據資源進行分析、接入、計算、存儲，建立科學合理的內容資源管理體系，利用知識圖譜技術對多源異構的數據資源進行知識抽取、知識融合、知識推理，形成符合吉林省產業特色的專題知識庫［6］，針對性地為科研院所及科技企業提供知識服務，同時提供豐富的統計分析與報表組件，滿足不同用戶群體對科技大數據的可視化分析需求，基于全面的系統管理功能實現管理上的實時把控。（2）業務應用平臺是直接服務用戶的窗口，從扁平化、集約化的設計理念出發，提供學科、出版物、機構、年度等多維度導航，方便用戶快捷定位到所需科技大數據，基于多源數據資源的融合應用，提供科技大數據統一檢?索，解決多渠道信息查詢帶來的效率問題，以基于知識圖譜的智能推送和專題知識庫，增加知識獲取的寬度和深度［7］，實現資源定位精準而全面。通過可靈活選擇的可視化組件，滿足多角度統計分析需求。

2.1 科技大數據中心

科技大數據中心主要有數據管理、內容資源管理、數據遷移、知識圖譜構建、專題庫管理、統計分析、系統管理7個功能模塊。

2.1.1 數據管理

主要依托外部數據庫和自有數據。數據類型主要涵蓋期刊、學位論文、會議論文、科技報告、產品樣品、標準、科技成果、科技政策、人才數據等。各類數據從數據存在形式上劃分，包括結構化數據、半結構化數據和非結構化數據［8］。采用標準化、規范化的存儲模式，實現結構化、半結構化、非結構化資源的統一存儲、轉換和裝載。支持不同種類、不同數據源、不同目標庫的數據抽取傳輸，如Oracle、SqlServer、MySQL、Hbase、Hive等主流數據庫，XML、CSV、Excel等常用文件類型［9］。數據接入方式有Socket方式、ftp/文件共享服務器方式、數據庫共享數據方式、Message方式［10］。

2.1.2 內容資源管理

主要建立數據庫管理、分類導航管理和數據記錄管理。數據庫管理包含新建數據庫、引入數據庫、刪除數據庫、修改數據庫的基本信息、修改庫結構、索引字段、數據庫發布、數據庫備份、恢復等。分類導航管理主要進行分類導航的添加、編輯、刪除和配置導航下的分類，以及配置分類下的數據庫數據。數據記錄管理是對記錄的增加、刪除、修改管理，包含元數據的增加、刪除、修改、引入等以及數字對象的查看、管理、上傳，數據記錄查重、訪問級別設置等功能。

2.1.3 數據遷移

在充分了解現有資源后將資源進行梳理，需要采用“數據遷移”對現有數據進行遷移整合。數據遷移就是把數據從某個地方按照一定的規則轉移到另外一個地方，方便統一存儲、統一支配和統一檢索，即數據遷移與同步［11］。為了達到統一存儲和處理，同時又保障用戶以前的數據，特別是保障以前的大量而珍貴的數據，又能使用新的統一平臺提供的強大功能，必須把數據遷移到統一處理平臺上［12］。

2.1.4 知識圖譜構建

通過知識圖譜相關技術應用，建立科學、合理的知識圖譜處理流程，最終形成專題知識圖譜數據。專題知識圖譜數據通過基于圖的數據庫系統進行存儲［13］。同時，知識圖譜構建系統具備人機交互界面，能夠進行實體的檢索、查閱、修改、刪除等，便于實時的維護和更新［14］。

2.1.5 專題庫管理

圍繞吉林省科技創新需求，重新整合挖掘科技文獻基礎信息資源，按照分類導航為：現代農業、新能源汽車、生物醫藥、新材料、人工智能、裝備制造業，將數據資源按照吉林省6大主導產業分類并形成專題庫，實現科技大數據按專題檢索、查看、下載。專題庫管理可以進行專題的添加、刪除、編輯、配置。專題配置可以對專題下的欄目進行增加、刪除、編輯、排序。

2.1.6 統計分析

統計分析功能對多源多類型的科技大數據各項指標進行統計分析，以便掌握大數據資源儲備和應用情況，從而為領導決策提供必要的統計數據［15］，主要包括訪問量統計、下載量統計、引用頻次統計、文獻統計等。對于統計結果的展示，系統提供了圖形化方式和列表方式，可將統計結果以柱狀圖、餅圖、曲線圖等多種圖表形式顯示。同時用戶可將統計結果報表導出到Excel中并下載到本機保存。

2.1.7 系統管理

支持管理員自定義建立各種角色，根據不同角色，設置不同的功能權限；默認提供科研人員、管理員、系統管理員3種角色；支持賬號的禁用、刪除，支持管理員對用戶信息的修改。支持為用戶分配不同的角色和權限，同一角色下，支持設置不同人員的數據范圍，數據范圍支持按所負責部門、成果類型等進行劃分。系統支持對每種角色設置各模塊、子模塊以及各模塊的操作權限，如查看權限、修改權限、編輯權限、導入導出權限等。

2.2 業務應用功能設計

業務應用平臺包括多維度導航、科技大數據統一檢索、科技知識圖譜服務、可視化看板、專題庫服務系統4部分。

2.2.1 多維度導航

多維度導航是根據平臺中的科技大數據特點，從多屬性多角度對檢索到的產業知識體系進行導航，以提高用戶檢索和查找的準確度和效率?？砂搭I域專業、研究主題、年份導航、知識概念或術語導航、地區導航等多個維度進行自定義導航。統一檢索的導航體系初步設計，采用按資源類型、數據來源、學科分類、標準分類以及檢索結果的歸類導航等。

2.2.2 科技大數據統一檢索

科技大數據統一檢索是面向終端用戶的核心系統，是場景化知識服務的基礎，針對用戶工作場景提供多樣化的導航、檢索、推送等功能，目標是快速準確地定位到所要查找的科技大數據的題錄或全文信息。從應用主題上，可提供全文檢索、字段檢索、專業檢索、組合檢索、二次檢索方式。

2.2.3 專題知識庫服務

該部分包括本體構建與管理、信息抽取、知識融合、知識推理、知識圖譜存儲與管理。知識圖譜構建與管理完成對來自各個數據源的知識抽取，根據專題知識庫進行知識抽取，形成結構化的專題知識，再通過知識融合來構建專題基礎共性知識圖譜，并對知識圖譜提供存儲和管理。知識圖譜管理提供對大規模知識圖譜的存儲與高效訪問的能力，并通過知識計算對圖譜進行知識補全與知識糾錯，對知識圖譜的可視化效果不斷提升，構建形成行業子圖譜、場景子圖譜以及任務子圖譜等，以滿足多行業、多場景下各環節的智能檢索、智能分析、復雜關系挖掘推理等知識智能化服務應用的需求，為科技創新各個環節的數字化、智能化轉型助力。知識圖譜構建系統框架如圖2所示。

以吉林省6大主導產業（現代農業、新能源汽車、生物醫藥、新材料、人工智能、裝備制造業）作為專題知識庫的分類導航，平臺建設6大產業專題知識庫，分別是：現代農業專題知識庫、新能源汽車專題知識庫、生物醫藥專題知識庫、新材料專題知識庫、人工智能專題知識庫、裝備制造業專題知識庫。實現資源按照產業分類標準形成專題知識庫，實現一站式知識發現服務，提升科研人員獲取知識資源的效率。

2.2.4 可視化看板

大數據可視化首先關注的是對基本數據的展示能力，從平臺的數據源分析，涉及的數據類型包含：期刊、學位論文、會議論文、科技報告、產品樣品、標準、科技成果、專利等，通過對科技大數據中心所融合的各類資源進行異構整合、綜合分析和數字化處理，這些數據具有多維信息空間屬性和海量樣本元素特點，如圖3所示。通過對這些數據的展示，可以完成資源類型分布、資源量統計分析、文獻數據的機構分布、基金分布、用戶使用分析、學者網絡分析等，并結合時空模式、地圖模式、多維模式、混合模式，形成科技大數據區域分布、領域分布、資源使用分析等的可視化看板，實現科技大數據融合、開放共享、資源使用等數據情況的動態展示與監測，輔助政府全面了解區域科技大數據的分布與利用情況，支撐政府提升科技大數據的有效配置能力。同時，具有大屏幕展示功能，提供數據可視化看板的模板，用戶可以選擇模板進行編輯，也可自定義新的模板。

圖3 可視化分析服務模塊邏輯結構

3 平臺功能實現

目前平臺的資源累計量為7 988萬篇，按產業專題庫統計，生物醫藥專題庫44萬篇、人工智能專題庫11萬篇、新能源汽車專題庫43萬篇、現代農業專題庫104萬篇、新材料專題庫34萬篇、裝備制造專題庫73萬篇。按科技大數據類型統計，期刊2 129萬篇、年鑒1 137萬篇、報紙1 362萬篇、博士論文14萬篇、碩士論文242萬篇、會議114萬篇、專利2 985萬篇。其中，現代農業產業專題知識庫主要有數據檢索、知識導航、行業動態、學術熱點、技術創新和裝置設備等模塊，依托科技大數據基礎，形成現代農業的知識圖譜，聚焦現代農業的行業動態、科研熱點、技術創新發展等專題服務，促進現代農業產業創新體系研究和決策服務。

4 結語

目前吉林省科技大數據融合應用平臺以服務科技創新和產業發展為導向，整合調整科技文獻資源結構，提供全面有序的科技資源共享，進行海量全領域科技資源知識圖譜構建，發揮科技資源優勢，破解產業發展技術難題。以科技大數據為基礎，將人工智能、現代農業、生物醫藥、新能源汽車、裝備制造、新材料6個領域的資源數據整合，提供數字化、智能化、協同化的創新要素資源，建立6個產業專題庫，實現數據檢索、聚類分析、可視化分析、圖譜檢索等功能，實現了科技大數據整合應用服務。未來將加強支撐產業關鍵技術監測研究，為重點產業發展布局提供決策參考。

參考文獻

［1］劉明鵬，王忠明，馬文君.基于科技大數據的我國林業知識服務體系研究設計［J］.世界林業研究，2022（1）：94-99.

［2］孫清玉，梁美宏，洪建.基于機構知識庫的高校圖書館科學數據管理服務研究——以河海大學圖書館為例［J］.大學圖書情報學刊，2021（3）：96-100，124.

［3］王繼娜.國外高校圖書館科學數據管理服務的調研與思考［J］.情報理論與實踐，2019（8）：159-167.

［4］顧金霞，盧晶晶，劉玉.科技資源共享的知識產權管理與服務［J］.科技管理研究，2015（18）：122-125.

［5］宋姍姍，鐘永恒，劉佳，等.產業智庫大數據方法體系及其應用場景建設［J］.科技管理研究，2023（6）：136-143.

［6］楊蘭橋.河南省科技創新資源統籌與優化配置研究［J］.創新科技，2019（2）：57-62.

［7］錢力，謝靖，常志軍，等.基于科技大數據的智能知識服務體系研究設計［J］.數據分析與知識發現，2019（1）：4-14.

［8］劉丹，李志軍，高榮鑫.醫療大數據平臺設計與實現［J］.吉林大學學報（信息科學版），2022（1）：111-116.

［9］劉敬儀，江洪.開放科學環境下國外高校圖書館科研數據管理服務啟示［J］.圖書館工作與研究，2018（10）：18-24.

［10］王穎，錢力，謝靖，等.科技大數據知識圖譜構建模型與方法研究［J］.數據分析與知識發現，2019（1）：15-26.

［11］簡玲，葉天鵬，林祥，等.多源融合的大數據網絡安全態勢感知平臺研究與探索［J］.信息網絡安全，2020（增刊2）：139-143.

［12］劉盼雨，王昊天，鄭棟毅，等.多源異構文化大數據融合平臺設計［J］.華中科技大學學報（自然科學版），2021（2）：95-101.

［13］孫彥明，趙樹寬，王瀧，等.協同創新視閾下科技資源共享機制研究［J］.科技管理研究，2017（13）：1-8.

［14］詹鵬偉，謝小姣.大數據系統及關鍵技術與工具綜述［J］.網絡安全技術與應用，2018（8）：50-52.

［15］李煒.大數據云存儲下海量數據傳輸完整度控制技術［J］.吉林大學學報（信息科學版），2019（6）：682-686.

（編輯 沈 強編輯）

Design and development of big data fusion application platform for science and technology

based on industrial thematic database

Chen? Xiaoling1，2， Zhang? Shitong2， Sun? Boyi2

（1.Jilin Provincial Information Institute of Science and Technology， Changchun 130033， China;

2.Jilin Science and Technology Innovation Research Institute， Changchun 130000， China）

Abstract：? It provides research institutions and researchers with integrated application services based on big data of science and technology， realizes the integration and application of data in the industrial field， and establishes an industrial thematic database to support the flexible call of data. With the help of data visualization and knowledge graph technology， a multi-functional intelligent management service platform is built to realize the unified retrieval， graph retrieval and visual display of multiple information sources and multi-technology big data. Practice has proved that the research and development of science and technology big data platform based on industrial thematic database has realized resource co-construction and sharing， provided users with unified， comprehensive and thematic knowledge service， knowledge navigation， visual analysis and other service functions in the field of industrial technology， improved the service ability of key technologies in the industry， and improved the scientific research level of researchers in the field.

Key words： technology big data; integrated application; intelligence services; applied research