三農網絡文本信息資源集成系統

高萬林　張樹亮　李佩佩　臧金玉　趙龍　胡慧

摘要：三農網絡資源的集成是一項浩大的工程，同時也是一項利國利民的事業。網絡資源的種類包括文本、圖片、音頻、視頻等形式。如何在眾多的網絡信息中將有用的三農信息提取出來，成為亟需解決的一個問題。文章以對三農文本網絡信息進行集成為例進行研究，提出三農網絡文本信息集成系統設計方案，通過采集管理模塊、過濾管理模塊、規則管理模塊、采集信息管理模塊將信息資源集成，方便了三農信息的整合，便于信息的閱讀和獲取。

關鍵詞：三農網絡信息；集成；提取

中圖分類號：S-9 文獻標志碼：A 論文編號：2013-0134

0引言

三農網絡信息資源集成系統，又稱三農信息資源整合平臺，主要包括文本、圖片Ⅲ、音頻和視頻4種形式信息資源的整合。三農文本網絡信息資源集成系統，主要是針對互聯網上三農文本信息資源的整合，所謂的整合就是提出糟粕采集精華。針對互聯網絡海量的信息，如果只通過復制和粘貼采集重要的信息，則可以說是沉重的工作。本系統基本功能就是要從海量的網絡信息中，采集重要的文本信息。

1系統結構及用例圖

三農網絡文本信息資源集成系統是基于JAVA語言開發，系統設計結構圖如圖1所示，系統用例圖如圖2所不。

2系統功能

在三農信息資源整合平臺一文中已經講過，三農信息資源集成系統共有4個大的模塊：采集管理模塊、過濾管理模塊、規則管理模塊、采集信息管理模塊。這些功能模塊同樣在三農文本網絡信息集成系統中適用，只是這時的信息一般指文本信息而已，文本信息是三農信息資源4種信息形式的一種，同樣其他3種圖片、音頻、視頻信息的采集系統也都包含相應信息形式的這4個大的模塊，4模塊的介紹也可參見三農信息資源整合平臺一文中的概述。

為了系統的安全性用戶必須成功登錄系統，才可以操作采集的項目。需要采集的項目都和用戶關聯。一個用戶只允許操作自己的采集項目和采集信息。用戶登錄成功后，可以對個人的信息和密碼進行修改。

2.1采集管理模塊

采集管理模塊管理的對象主要是，其一是管理需要采集網站的一些基本信息，包括：采集網站名稱，采集的網址，采集的模型，采集的信息的模型和備注。其二是：管理定時計劃。

2.1.1采集管理采集管理主要是管理需要采集的網站。此模塊將所有需要采集的網站統一管理起來，可以通過制定定時計劃，系統自動采集網站內的信息。因為一些網站會階段性的發布最新的信息。為減少用戶的采集操作，用戶可以對長時間需要采集的項目統一管理起來，并且制定定時和過濾的方式。讓系統階段性的訪問需要采集的網站，采集最新的信息。

圖3是采集管理的初圖，根據用戶來分開大量的采集信息。任何一個普通用戶，只允許操作個人定義的信息，管理員的角色可以操作任何采集的信息和管理所有的采集項目。普通用戶在進入系統后可以添加采集、編輯采集、刪除采集、采集信息、指定規則、添加定時的操作。

（1）采集網站添加。用戶登錄成功后，可以根據自己瀏覽的信息添加采集項目。采集項目包括：項目名稱、采集網站名稱、采集的網站地址、采集的模型、信息模型和備注等信息。系統會根據所填寫的信息訪問需要采集的網站。

（2）采集網站編輯。用戶可以對個人添加的采集信息進行重新編輯。添加的任何一個項目不符合要求就可以修改，任何一個條件都可以隨時修改。

（3）采集網站物理刪除。用戶可以對個人添加的信息刪除，刪除模式是物理刪除。每一次添加的項目采集后則就不需要重復采集，如果邏輯刪除后期會占用大量的空間。所以采用物理刪除模式。

（4）信息采集。如果沒有定時，只采集單條記錄。定時后會采集整個網站的信息。方便用戶操作所以在采集管理模塊添加了采集的功能，采集后的信息會包含Html標簽，用戶可以對采集后的信息進行處理，包括：自動過濾或者手動過濾；生成html或者是刪除的操作。

（5）指定規則。指定規則采集，簡單的講就是：通知系統如何去采集網站信息。在采集項目的時候可以首先制定一個項目采集規則，通過規則管理頁面可以完成于項目的綁定和移除。項目指定好規則之后，系統會根據項目采集的信息自動過濾掉HTML標簽。系統采集流程如圖4所示。

2.1.2定時管理定時管理是集成在采集管理模塊內的。從操作流程來講應該屬于采集管理模塊下的一個功能。但是因為定時對整個系統是很重要的一個部分，所以單獨來分析這一模塊。定時的實現技術主要是通過AJAX異步通訊來完成定時模塊的主要功能“”。定時流程如圖5所示。

圖5是定時采集流程圖，系統內部通過AJAX異步通訊技術，自動查詢每個項目的屬性。如果項目已經添加定時計劃，則自動查詢定時表，得到詳細的定時計劃。通過所定的屬性，采集相關的網站。返回最新的信息。

（1）制定定時計劃，為項目添加定時。定時計劃主要包括：開始時間，結束時間，時間間隔。系統根據添加的時間，計算是否需要采集網站信息。

（2）修改定時計劃。不合理的時間計劃可以修改定時計劃，所有修改的內容包括：開始時間，結束時間和時間間隔。

（3）取消定時。如果項目添加的定時計劃已經到了結束日期，系統自動取消定時計劃。如果用戶不需要定時計劃也可以手動取消定時。

2.2過濾管理模塊

過濾管理的模塊主要管理的對象是需要過濾的信息，一些信息在采集的過程中沒有指定規則過濾，采集后的信息都包含Html代碼，過濾Html代碼需要通過此模塊的功能來完成。過濾的模塊包括：自動過濾、手動過濾、生成Html和刪除需要過濾的信息。

過濾管理是本系統中必不可少的一項功能。采集后的信息都要通過過濾這一程序，達到信息可以使用的價值。過濾主要是針對包含HTML標簽的信息。用戶可以指定規則，也可以手動來過濾這些信息。

過濾模塊是管理員操作最多的模塊。如果要采集可以使用的信息，這一模塊就是系統的核心部分。用戶可以過濾文本信息、所有的鏈接、所有的圖片、所有的音頻和直接過濾。如圖6是信息過濾圖。

如果需要采集的信息沒有指定定時計劃，則需要通過手動過濾來完成信息的采集。同時也可以先添加規則把需要采集的項目指定規則批量的處理。

2.2.1文本信息過濾文本信息過濾分為標題、時間、作者、來源、內容、文本內容圖片幾個大部分。通過這6個部分采集文本信息。

2.2.2生成規則不同的信息采集的方式不同，所采用的技術也是不同。文本信息主要分為了6個大的部分，上面已經簡單的介紹。在采集的過程中把過濾標簽的方式生成規則，在生成規則的同時規則已經和項目自動綁定。在此采集同一網站類似的信息就可以采用此規則，因為規則在相同的架構和相同的標簽內可以多次重復使用。

2.3規則管理模塊

針對非模塊化的網站架構，系統不能獨立完成對網站的采集和過濾。此模塊主要是管理需要過濾的掉的Html標簽。每一網站都可以有一個或者多個Html標簽和采用多個過濾的技術完成。過濾的技術包括：文本截取，直接截取，正則截取。此模塊可以為項目制定規則，同時也可以分配已經制定好的規則和移除已經綁定的項目。

每個頁面都有獨特的HTML標簽，有些網站是通過表格而有些網站是通過CSS，所有的網站布局方式都不同。如果每個網站都寫一個方法來采集，可想而知需要寫多少類和多少方法來完成。互聯網絡的信息之多通過此方法是無法達到整合的。為了要整合互聯網絡的三農信息，我們通過制定規則來完成，每個網站只要配置一些信息，就可以采集整個網站的信息。

規則管理主要是制定一個網站固定的規則，這樣當系統執行自動抓取的時候，就可以調用這些規則，完成自動抓取、自動過濾的功能。規則可以從幾個大部分考慮，其一：字符處截取；其二：字符串替換；其三：文本規則。通過制定這些規則，每次采集這個網站的信息就會調用此規則。如果沒有指定規則，網站包含HTML存入數據庫中。包含HTML標簽的信息就需要手動指定規則或者手動處理信息。

2.3.1添加規則添加一個固定規則由系統內容自動處理采集信息大大的減少了用戶的操作。如果添加的信息能夠適應更多的架構則就會減少更多的用戶操作。在采集的同時如果能靈活的使用規則就可以更好的完成采集工作。

2.3.2編輯規則網站的架構有很大的不同，如果一個規則可以使用多個網站可能就要做多次的修改。用戶可以隨時對采集的規則編輯，編輯修改后的規則綁定好的項目的都會使用最新的規則采集網站信息。

2.3.3刪除規則規則管理模塊包含了刪除規則的操作。用戶點擊了刪除的操作所有的綁定項目都會失效，采集的項目都需要手動處理采集的頁面信息。

2.3.4分配項目規則在添加好之后都需要和項目綁定才能被系統調用。一個規則可以綁定多個項目，但是一個項目只允許綁定一個技術的規則。規則分為幾個技術分類：標題、作者、內容、時間、來源、圖片。一個項目只可以綁定一個技術。如果要綁定必須先移除在重新綁定項目。

2.3.5移除項目一個項目無法綁定相同技術的規則，如果要綁定就必須先移除項目。

2.4采集信息管理模塊

采集信息管理模塊主要管理采集后的信息。一些不合格的信息可以通過此模塊加以處理。所進行的操作有：編輯信息、刪除信息、預覽信息。

信息管理主要是管理采后的信息，此信息已經不包含HTML標簽。用戶也可以通過編輯采集后的信息，達到預期的效果。信息管理初圖如圖7所示，它是采集后的信息，用戶可以對其進行刪除、編輯和預覽等的操作。

2.4.1編輯采集信息編輯采集信息主要是針對采集后的信息進行處理，如果采集的信息不符合要求或者不合法，可以對信息加以處理；處理的方式：修改文字、添加圖片等操作。

2.4.2刪除采集信息刪除不符合要求的信息。在采集的同時無法避免會采集一些垃圾信息，不要的信息就可以點擊刪除的操作，刪除不符合要求的信息。

2.4.3預覽采集信息本地預覽修改好的效果或者采集的效果。一些信息在發布的時候需要調試預覽效果，如果效果不好可以再次的編輯，如果符合要求就可以直接使用或者發布。

2.5自動采集

自動采集是采集文本信息的核心技術。大部分網站都是動態建站，網站的信息都是及時更新，如果能采集網站最新的信息則是重要的一方面。所以能夠自動采集網站信息，就隨時采集最新的信息。信息只要發布到網站上，系統就會去網站采集最新的信息。當然和系統是如果制定定時計劃有很大的關系。

系統自動采集主要是通過AJAX異步通訊技術來完成。異步通訊技術通過配置XML來完成對項目自動的查詢和自動采集。AJAX可以階段性的來查詢，通過判斷采集時間和定時計劃計算需要采集的時間。系統內部自動采集流程如圖8所示。系統啟動之后，AJAX自動運行，采集最新的信息。

3數據庫設計

本系統的數據庫設計是后臺管理很重要的一部分，其中各個表的功能都非常重要，各項功能信息均需通過事先設置好的表來存儲。如圖9所示為系統中用到的各個表及其關系。用戶表主要是存儲用戶信息，用戶的信息主要是管理員的一些基本信息，只需要一些聯系方式即可。模型表主要是因為采集的信息有不同的模型而得。信息表主要存儲采集好的信息。Html表是當自動采集的信息沒有指定規則的時候，主要存儲包含HTML標簽的信息表。定時表主要是存儲項目定時屬性。規則管理表主要是存儲過濾規則。采集表主要存儲需要一次性和長時間采集的網站和采集的方式。規則采集表是多表連接表，它是規則和采集表的連接查詢表。表1為用戶表。

4結論

此三農文本網絡信息集成系統設計方案已經作為三農信息資源整合平臺必不可少的一部分嵌入其中，主要解決三農資源整合中的文本信息的搜集整理問題，文本信息是三農資源中數量最多、范圍最廣的資源，也是最最重要的資源形式。

三農信息資源整合平臺已正常運行了2年，其中的文本信息整合功能也隨之正常運行了2年，文本信息還是三農信息報最主要的組成形式，也是最便于嵌入到其他形式閱讀瀏覽器中的信息形式，三農文本網絡信息集成系統已成為三農信息資源整合中最關鍵的部分，也將會隨著技術的進步而不斷發展更新。