科技情報信息采集與發(fā)布平臺的關(guān)鍵技術(shù)及建設

摘 要：簡要介紹科技情報信息采集與發(fā)布平臺的搭建、功能及特點，詳細論述了平臺涉及到的關(guān)鍵技術(shù)、實現(xiàn)原理和科技情報門戶的開發(fā)建設思路及經(jīng)驗。

關(guān)鍵詞：情報；全文檢索；網(wǎng)絡爬蟲；聚焦爬蟲；簡報；采集；郵件推送

中圖分類號：TP399 文獻標識碼：A 文章編號：1674-7712 （2014） 22-0000-03

當今世界已進入知識經(jīng)濟時代，技術(shù)發(fā)展日新月異，新技術(shù)、新行業(yè)不斷涌現(xiàn)，跟蹤國內(nèi)外行業(yè)動態(tài)與技術(shù)發(fā)展，充分研究并合理應用，已成為企業(yè)快速發(fā)展的重要推動力。

近年來華東院生產(chǎn)經(jīng)營快速擴張，一批世界級項目陸續(xù)開工，新領(lǐng)域新業(yè)務不斷拓展，當前又面臨著戰(zhàn)略轉(zhuǎn)型，院生產(chǎn)經(jīng)營對科技信息的需求已不僅僅滿足于本院已有的圖檔信息資料，為了進一步開展科技情報工作，除了建立專門的情報工作機構(gòu)、完善情報組織體系和制定情報工作流程和制度外，還必須建立自己基于信息化的科技情報平臺，為院生產(chǎn)經(jīng)營、戰(zhàn)略轉(zhuǎn)型提供國內(nèi)外技術(shù)發(fā)展趨勢及行業(yè)動態(tài)信息。

科技情報信息采集與發(fā)布平臺（以下簡稱：科技情報平臺）是指利用計算機、網(wǎng)絡、數(shù)據(jù)庫、自動搜索和全文檢索等信息技術(shù)，搜集并發(fā)布即時的科技情報信息，為企業(yè)的生產(chǎn)、管理、經(jīng)營提供最新的科技情報信息；在搜集發(fā)布過程中，逐漸積累形成專業(yè)的科技情報數(shù)據(jù)庫，為企業(yè)的生產(chǎn)科研提供情報數(shù)據(jù)資源。

隨著時代的發(fā)展，現(xiàn)在企業(yè)的情報工作已經(jīng)超越了科技情報和圖書情報的范疇，融合了情報學、管理學和行業(yè)知識的多種領(lǐng)域知識。對于企業(yè)情報平臺建設而言，關(guān)鍵是解決平臺與企業(yè)自身業(yè)務結(jié)合的問題，這個結(jié)合過程就是情報平臺架構(gòu)的形成過程和情報平臺慢慢發(fā)展完善的過程。

一、科技情報平臺

（一）平臺搭建

科技情報平臺可實時監(jiān)控和采集內(nèi)外網(wǎng)的網(wǎng)站內(nèi)容，對采集到的信息自動進行過濾、分類和排重等智能化處理，最終將最新內(nèi)容及時發(fā)布出來，實現(xiàn)統(tǒng)一的信息導航，同時提供包括全文、日期等在內(nèi)的全方位信息查詢，情報推送等服務。

目前我們已建成的科技情報平臺，借助TRS公司的網(wǎng)絡雷達產(chǎn)品和競爭情報系統(tǒng)產(chǎn)品，在此基礎上建立統(tǒng)一的情報搜集、情報加工處理和分析、情報服務于一體的情報工作協(xié)同平臺；同時根據(jù)情報信息所處的不同時段，把科技情報平臺分為三個數(shù)據(jù)庫：原始素材庫、情報信息庫和情報產(chǎn)品庫。

科技情報平臺的流程如圖1所示。

1.情報采集

情報采集可自動采集內(nèi)外網(wǎng)上的網(wǎng)頁信息、本地文件系統(tǒng)或內(nèi)網(wǎng)共享的格式文件，電子郵件、RSS分發(fā)等來自多重信息源的多重格式信息，對采集到的信息自動進行過濾、分類和排重等智能化處理，采集完畢后的信息存于原始情報庫中。通過該平臺可整合信息收集渠道，保證信息的全面性，提高情報和情報產(chǎn)品質(zhì)量。當今時代是信息爆炸的時代，各種信息以級數(shù)的速度增長，其中互聯(lián)網(wǎng)是這些信息的主要載體，情報采集子平臺會自動分析互聯(lián)網(wǎng)網(wǎng)頁結(jié)構(gòu)，識別與正文內(nèi)容相關(guān)的圖片和表格，并采集到系統(tǒng)中。如果碰到特殊站點，分析網(wǎng)頁格式編寫采集腳本，對數(shù)據(jù)進行采集從而提高情報的精確度，保證情報的實效性。情報采集的成果存儲在原始素材庫中，供后續(xù)環(huán)節(jié)處理。

2.情報加工

情報加工前要先對情報進行分類規(guī)劃，對人員角色進行權(quán)限規(guī)劃。

分類規(guī)劃：支持多層分類體系規(guī)則，可以采用多種靈活的方法定義和維護分類體系，并可設定規(guī)則建立分類和情報源之間的自動關(guān)聯(lián)。管理員可以按情報信息來源、關(guān)鍵字等規(guī)則進行新建分類，并且對分類進行維護。分類支持導入與導出。

權(quán)限規(guī)劃：對不同的平臺用戶進行授權(quán)，支持權(quán)限、角色和用戶，可以根據(jù)實際需求劃分角色（情報采集人員、情報加工人員、情報主管），賦予角色相應的權(quán)限。

情報規(guī)劃后進行情報處理，情報加工主要由自動智能處理情報、人工處理加工情報、撰寫情報簡報、情報發(fā)布等功能組成。

（1）自動智能處理情報。1）情報加工子平臺提供基于內(nèi)容和基于規(guī)則的兩種自動分類。前者通過加載樣本自動生成特征分類模板；后則基于關(guān)鍵詞，通過編輯規(guī)則，進行識別和分類。使用時可根據(jù)實際情況相互結(jié)合使用；2）情報加工子平臺會根據(jù)內(nèi)容的相似性進行排重判斷；3）情報加工子平臺會自動提取關(guān)鍵詞生成摘要，實現(xiàn)自動標引和快速預覽。

（2）人工處理加工情報。情報加工子平臺支持用戶以WORD、PDF等格式提交情報；或?qū)CR格式的情報導入到系統(tǒng)中；用戶可以圖文混排的編寫情報，并設定多重情報屬性，包括分類、內(nèi)容相關(guān)度、重要性和密級等。

（3）撰寫情報簡報。用戶選擇情報素材庫中的情報信息后，系統(tǒng)會根據(jù)用戶預先設定的簡報模板，自動生成科技情報簡報，并且可以推送給用戶。

情報加工完成后數(shù)據(jù)存于情報信息庫中。

（4）情報發(fā)布。可以將處理完成的情報發(fā)布至科技情報門戶和企業(yè)的綜合管理信息系統(tǒng)（企業(yè)內(nèi)部OA系統(tǒng)）。

3.情報服務

情報服務主要由情報門戶、科技情報簡報推送、公共信息發(fā)布、情報檢索功能組成。科技情報系統(tǒng)具有信息門戶，根據(jù)分類導航提供給用戶情報服務，門戶中的情報（包括簡報）能以電子郵件的形式推薦給其他人。科技情報系統(tǒng)提供對情報信息的全文檢索、標題檢索、作者檢索、日期檢索等功能。科技情報系統(tǒng)中的情報可以直接發(fā)布到綜合管理信息系統(tǒng)中的“全院新聞模塊”中。提供服務的情報存于情報產(chǎn)品庫中。

（二）平臺特點

科技情報信息采集與發(fā)布平臺在信息采集處理、情報檢索、系統(tǒng)集成、多樣化情報服務、平臺權(quán)限密級等方面具有一定的優(yōu)勢特點。

1.具有完備高效的情報采集和處理能力

平臺針對互聯(lián)網(wǎng)信息自動采集，每小時支持10萬張網(wǎng)頁以上；相關(guān)圖片、表格、標題、正文、摘要等信息自動識別、獲取和重現(xiàn)；重復信息準確過濾，垃圾信息自動去除；自動處理Word/Excel/PDF等常用文檔正文內(nèi)容抽取。

2.支持海量情報快速精確檢索

平臺的檢索技術(shù)采用TRS全文檢索技術(shù)，通過調(diào)用TRS API接口，訪問TRS 的索引庫。系統(tǒng)支持豪秒/百萬篇級檢索響應；采用元搜索技術(shù)自動匯集多家搜索引擎結(jié)果。

3.情報門戶采用第三方自主開發(fā)定制的門戶

采用微軟.net C#語言自主研發(fā)情報門戶網(wǎng)站，該門戶與華東院綜合管理信息系統(tǒng)在用戶組織機構(gòu)和系統(tǒng)登錄方面進行整合，用戶組織機構(gòu)信息從院綜合管理信息系統(tǒng)的人事系統(tǒng)讀取。系統(tǒng)實現(xiàn)單點登錄，即用戶一旦登錄綜合管理信息系統(tǒng)，無需再次輸入門戶網(wǎng)站的用戶名密碼即可訪問情報門戶網(wǎng)站。

4.平臺實現(xiàn)可定制、可擴展的多樣化情報服務、情報導航、情報簡報等

第一，情報簡報可通過郵件自動推送給相關(guān)人員查閱。郵件推送實現(xiàn)思路即情報發(fā)布人員可在人事系統(tǒng)中直接選擇部門、用戶組或用戶，人員對應的郵件地址作為收件人，簡報內(nèi)容作為郵件正文。用戶接收到郵件，可脫離科技情報平臺直接瀏覽簡報信息；第二，情報簡報可發(fā)布到科技情報門戶網(wǎng)站中，以供有權(quán)限的人員查詢。科技情報門戶網(wǎng)站有專門的欄目展示簡報信息；第三，情報簡報可與華東院綜合管理信息系統(tǒng)的公告信息發(fā)布模塊集成。由于科技情報系統(tǒng)屬于專業(yè)性比較強的網(wǎng)站，一般用戶很少直接登錄該系統(tǒng)，而華東院綜合管理信息系統(tǒng)是用戶辦公的門戶網(wǎng)站，用戶必須要登錄該系統(tǒng)進行辦公。因此，把簡報信息推送到院綜合管理信息系統(tǒng)就非常有必要和有意義，這樣用戶無需登錄專業(yè)的情報門戶系統(tǒng)即可在辦公門戶上直接查看簡報信息；第四，情報導航上可靈活展示各分類信息。分類信息可與情報規(guī)劃中的分類信息一對多靈活對應。

5.面向角色的用戶權(quán)限管理和自定義的文檔權(quán)限管理

系統(tǒng)除了內(nèi)置固定角色外，用戶可根據(jù)實際情況建立角色和權(quán)限對應關(guān)系，以滿足自己的管理需求。系統(tǒng)不僅支持角色與功能模塊建立對應關(guān)系，而且角色可與文檔權(quán)限建立對應管理。文檔權(quán)限從低到高分為標題瀏覽限制、標題瀏覽、正文瀏覽、正文下載四個級別。

二、關(guān)鍵技術(shù)

科技情報信息采集與發(fā)布平臺中核心功能是信息采集和情報門戶。信息采集模塊對采集站點的URL、鏈接屬性、內(nèi)容屬性等進行設置，該功能通過定向抓取相關(guān)網(wǎng)頁資源的聚焦爬蟲技術(shù)實現(xiàn)；情報門戶支持對所有情報信息進行快速搜索，該功能通過全文檢索技術(shù)實現(xiàn)。下面重點介紹聚焦爬蟲技術(shù)和全文檢索的實現(xiàn)原理和應用該技術(shù)所涉及到的產(chǎn)品。

（一）聚焦爬蟲技術(shù)

1.爬蟲概念

聚焦爬蟲是一個自動下載網(wǎng)頁的程序，它根據(jù)既定的抓取目標，有選擇地訪問互聯(lián)網(wǎng)上的網(wǎng)頁與相關(guān)的鏈接，獲取所需要的信息。與傳統(tǒng)通用爬蟲不同，聚焦爬蟲并不追求大的覆蓋，而將目標定為抓取與某一特定主題內(nèi)容相關(guān)的網(wǎng)頁，為面向主題的用戶查詢準備數(shù)據(jù)資源。該技術(shù)特點很適合對科技情報信息做定向采集。

2.聚焦爬蟲實現(xiàn)原理

聚焦爬蟲的基本思路，即根據(jù)一定的網(wǎng)頁分析算法過濾與主題無關(guān)的鏈接，然后解析并存儲符合條件的網(wǎng)頁上的內(nèi)容到本地，保留符合條件的鏈接加入URL隊列，它將根據(jù)一定的搜索策略從URL隊列中選擇下一步要抓取的網(wǎng)頁URL，并重復上述過程，直到達到系統(tǒng)的某一條件時停止。相對于通用網(wǎng)絡爬蟲，聚焦爬蟲還需要重點解決三個主要問題：

（1）對抓取目標網(wǎng)頁的描述或定義。

（2）對網(wǎng)頁或數(shù)據(jù)的分析與過濾。

（3）對網(wǎng)頁URL的搜索策略。

抓取目標網(wǎng)頁的描述和定義是決定網(wǎng)頁分析算法與URL搜索策略如何制訂的基礎。而網(wǎng)頁分析算法和候選URL排序算法是決定搜索引擎所提供的服務形式和爬蟲網(wǎng)頁抓取行為的關(guān)鍵所在。這兩個部分的算法緊密相關(guān)。

目前，現(xiàn)有聚焦爬蟲對抓取目標網(wǎng)頁的描述可分為基于目標網(wǎng)頁特征、基于目標數(shù)據(jù)模式和基于領(lǐng)域概念三種方法；網(wǎng)頁分析算法可以歸納為基于網(wǎng)絡拓撲、基于網(wǎng)頁內(nèi)容和基于用戶訪問行為三種類型；網(wǎng)頁的搜索策略可以分為深度優(yōu)先、廣度優(yōu)先和最佳優(yōu)先三種方法。各種算法都有各自的優(yōu)缺點和應用場景在此就不一一展開分析。在科技情報平臺中，信息技術(shù)中心借助TRS公司的網(wǎng)絡雷達產(chǎn)品解決科技情報主題聚焦爬蟲技術(shù)問題，在實際應用過程中取得良好的效果。

（二）全文檢索技術(shù)

1.搜索概念

信息系統(tǒng)中接觸到的數(shù)據(jù)總體分為兩種：結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)指具有固定格式或有限長度的數(shù)據(jù)，如數(shù)據(jù)庫，元數(shù)據(jù)等；針對結(jié)構(gòu)化數(shù)據(jù)的搜索，如對數(shù)據(jù)庫表的搜索，可用SQL語句查詢。非結(jié)構(gòu)化數(shù)據(jù)指無固定格式或不定長的數(shù)據(jù)，如郵件，Office文檔等。針對結(jié)構(gòu)化數(shù)據(jù)的搜索，如通過windows自帶的搜索可以搜索文件內(nèi)容，Linux下的grep命令，再用Google和百度可以搜索大量內(nèi)容數(shù)據(jù)。

對非結(jié)構(gòu)化數(shù)據(jù)的搜索，可以理解為對全文數(shù)據(jù)的搜索主要有兩種方法：1）順序掃描法（Serial Scanning）。所謂順序掃描，即對于搜索內(nèi)容包含某一個字符串的文件，需逐個文檔檢查，對于每一個文檔，從頭看到尾，如果此文檔包含此字符串，則此文檔為要尋找的文件，接著查看下一個文件，直到掃描完所有的文件；2）全文檢索（Full Text Search）。所謂全文檢索，是指計算機索引程序通過掃描文章中的每一個詞，對每一個詞建立一個索引，指明該詞在文章中出現(xiàn)的次數(shù)和位置，當用戶查詢時，檢索程序就根據(jù)事先建立的索引進行查找，并將查找的結(jié)果反饋給用戶的檢索方式。這個過程類似于通過字典中的檢索字表查字的過程。

以上兩種方式對全文數(shù)據(jù)的搜索優(yōu)劣一目了然，但是各有自己的應用場景。在華東院科技情報平臺搜索中，采用全文檢索技術(shù)實現(xiàn)快速全文查詢。

2.全文檢索實現(xiàn)原理

全文檢索的基本思路，即將非結(jié)構(gòu)化數(shù)據(jù)中的一部分信息提取出來，重新組織，使其變得有一定結(jié)構(gòu)，然后對此有一定結(jié)構(gòu)的數(shù)據(jù)進行搜索，從而達到搜索相對較快的目的。全文檢索大體分兩個過程，索引創(chuàng)建和搜索索引。

索引創(chuàng)建：將信息系統(tǒng)中所有的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)提取信息，創(chuàng)建索引的過程。

搜索索引：就是得到用戶的查詢請求，搜索創(chuàng)建的索引，然后根據(jù)一定的排序算法返回結(jié)果的過程。

全文檢索的總體流程如圖2流程所示。

在科技情報平臺中，借助TRS公司的TRS Database Server全文數(shù)據(jù)庫服務器，解決了科技情報信息的全文檢索問題。

三、平臺門戶建設

科技情報門戶是基于科技情報平臺所開發(fā)的信息展示平臺，網(wǎng)站主要架構(gòu)圖如圖3所示。

科技情報平臺、科技情報門戶、綜合管理信息系統(tǒng)三個系統(tǒng)之間通過單點登錄整合在一起。

（一）科技情報平臺

科技情報平臺作為情報的加工處理平臺，可為“科技情報門戶”和“綜合管理信息系統(tǒng)”提供科技情報信息。如圖3所示，情報資料庫作為科技情報門戶的情報數(shù)據(jù)源。在科技情報平臺上可對欄目和人員角色權(quán)限進行規(guī)劃管理。

（1）欄目規(guī)劃：在科技情報平臺中間建立欄目信息，供門戶展示導航用。

（2）人員角色權(quán)限角色——高層領(lǐng)導、中層領(lǐng)導、普通員工。

欄目權(quán)限——可以給每個角色設定能訪問的欄目。

文檔權(quán)限——每篇文檔都設定有標題瀏覽限制、文檔下載權(quán)限、瀏覽正文、瀏覽標題權(quán)限四個權(quán)限屬性，絕密、機密、秘密、普通四個密級。

人員瀏覽權(quán)限：人員可設定對不同權(quán)限文檔所具有的相應權(quán)限，并且可設定人員所具有的密級。

（二）科技情報門戶

科技情報門戶主要由情報展示、情報檢索、情報收藏夾、情報下載管理等部分組成。

1.情報展示

根據(jù)科技情報平臺所規(guī)劃的欄目展示信息，每篇文檔具有下載、申請下載、收藏幾個功能，如果用戶對該文檔沒有下載權(quán)限，則文檔為保護狀態(tài)禁止復制。用戶可通過申請下載功能向主管部門進行申請下載。

2.科技情報門戶中的文檔保護方法

（1）禁止頁面右鍵，為了防止用戶可以復制頁面上的內(nèi)容設置了網(wǎng)頁禁止右鍵。

（2）網(wǎng)頁信息通過ajax訪問，直接查看網(wǎng)頁源代碼無法查看到情報的內(nèi)容。

（3）數(shù)據(jù)流加密，對情報文件的數(shù)據(jù)流采用加密方法，后臺對情報信息進行加密通過ajax方法傳輸?shù)角芭_，前臺通過js進行解密展示

3.情報檢索

利用科技情報平臺的索引服務，可對“情報資料庫”創(chuàng)建全文檢索索引庫。門戶網(wǎng)站通過ADO.NET應用開發(fā)接口實現(xiàn)情報的全文檢索。情報收藏夾：每個用戶具有自己的收藏夾，可自動以維護欄目結(jié)構(gòu)，可將科技情報門戶上的每篇情報存入收藏夾中的相應欄目中。

收藏夾實現(xiàn)方式：通過創(chuàng)建用戶收藏夾結(jié)構(gòu)表和收藏文件關(guān)聯(lián)表實現(xiàn)該功能。用戶收藏夾結(jié)構(gòu)表：存儲用戶自定義的欄目結(jié)構(gòu)；收藏文件關(guān)聯(lián)表：存儲自定義收藏夾欄目與情報編號的對應關(guān)系。

4.情報下載管理

下載管理分為：待申請文檔、申請中文檔、申請通過文檔、已過期文檔；如果對某篇情報沒有下載權(quán)限可點擊申請下載，審批通過后，申請人即可下載所申請的情報內(nèi)容。

（三）與綜合管理信息系統(tǒng)集成

1.科技情報簡報加工

科技情報簡報數(shù)據(jù)從科技情報原始素材庫中獲取，再根據(jù)簡報模板樣式生成科技情報簡報。

2.科技情報簡報發(fā)布

科技情報簡報發(fā)布時可以選擇發(fā)布到科技情報門戶和綜合信息系統(tǒng)全院新聞欄目。當發(fā)布到全院新聞時，科技情報系統(tǒng)將科技情報簡報正文內(nèi)容以HTML的格式插入公共信息數(shù)據(jù)庫，其中簡報模板素材訪問公共的科技情報簡報模板庫。

3.集成優(yōu)勢

（1）數(shù)據(jù)源的唯一性。從科技情報系統(tǒng)生成，訪問同一套簡報模板。

（2）簡報相對的獨立性：一旦數(shù)據(jù)發(fā)布完成后，簡報就存在于兩個系統(tǒng)中，兩個系統(tǒng)可以分別對簡報進行修改、刪除等操作，相互間不會產(chǎn)生影響。

四、結(jié)束語

科技情報系統(tǒng)自2010年12月在全院范圍正式運行以來，根據(jù)華東院自身業(yè)務和需求不斷地進行完善和優(yōu)化，目前整體運行情況良好，各項功能符合當初設計要求，充分發(fā)揮了平臺自身優(yōu)勢。

通過該平臺的搭建，對華東院的科技情報體系進行了統(tǒng)一規(guī)劃，改進了信息收集效率，大大減輕人工錄入工作量，提高了對目標網(wǎng)站信息采集處理的及時性和有效性，實現(xiàn)對多種信息源的采集、分類和存儲，逐步建立起企業(yè)的知識情報庫。該平臺還實現(xiàn)了信息共享，可讓情報工作人員一起協(xié)同工作。同時通過該平臺，使企業(yè)員工可以及時、全面地獲取各類科技情報信息，為廣大員工進行查詢提供了極大便利，也為領(lǐng)導決策提供相關(guān)參考信息。

參考文獻：

[1]北京拓爾思信息技術(shù)有限公司.TRS競爭情報系統(tǒng)技術(shù)白皮書[S].

[2]呂賽輝.主題爬蟲關(guān)鍵技術(shù)研究及應用[D].浙江工業(yè)大學，2009.

[作者簡介]陳敏（1981.04-），男，浙江蒼南人，工程師，本科，研究方向：計算機軟件開發(fā)以及企業(yè)信息化。