基金信息采集系統的相關技術研究

甘文壇

(湖北工業大學，湖北 武漢 430068)

?

基金信息采集系統的相關技術研究

甘文壇

(湖北工業大學，湖北 武漢 430068)

隨著計算機技術的不斷發展和改進，基金信息資源的增長速度也不斷提高，搜索引擎能夠有效地解決用戶對大量信息快速搜索困難的問題。但是這種方式無法為用戶提供具有全面性和針對性的基金信息。雖然目前網絡中存在許多金融信息網站，其中也包括了基金信息，但是它們都存在一定的不足，比如信息缺乏權威性、真實性。因此基金信息采集系統的設計應用，能夠非常有效地滿足投資者對基金信息的需求。雖然目前已經有許多成熟的基金信息采集系統，但是由于這種系統屬于公司的商業機密范疇，其設計和開發的關鍵技術無法公布，從而影響到基金采集系統的普及和發展。

基金信息；采集；技術研究

1 信息采集系統概述

信息采集系統的主要作用是將所需網頁中的大量非結構化數據提取出來，并將其轉換到數據庫進行保存。

信息采集系統最重要的功能就是能夠對大量網頁中的信息進行采集，并且根據用戶需求，從中挑選出與之相符合的數據并將其轉換到數據庫進行保存，與此同時此系統還能夠滿足用戶檢索的需求[1]。

目前采用最多的信息采集系統的運作流程基本相同，具體步驟如下：(1)根據用戶需求確定采集目的；(2)根據采集目的對系統進行設置，使之能夠根據用戶需求進行數據采集；(3)在采集的過程中，對系統進行控制，當檢測到網頁內容產生更新時，系統的采集設置也要隨之更新；(4)在對采集完成后的數據進行分析后，將數據轉換到能夠保存到數據庫中的格式；(5)將轉換后的數據發布到系統軟件上。

2 增量式信息采集系統

2.1 增量式web信息采集系統基本概念

增量采集系統面向的領域就是需要定期更新的網頁數據采集模式。這種采集方式的過程為：首先進行正常的數據采集，而在接下來的采集過程中只去更新當前網頁中產生變化的數據信息，以及新增的網頁信息，而對沒有發生數據信息變化的網頁則不進行采集。增量的頻率也與網頁數據更新的頻率相關[2]。

這種增量Web信息采集系統的實現方式主要由以下幾種：(1)以網頁數據更新的頻率為標準設置采集頻率；(2)通過查看對應網頁最后更新日期進行數據更新；(3)以RSS協議為標準為用戶提供數據更新；(4)利用非線性方法改進爬蟲的數據更新效果。

2.2 增量式web信息采集系統運作流程

增量式web信息采集系統主要包含四個功能模塊，分別為網頁頁面采集、頁面解析、URL去重以及數據更新檢測。

增量式web信息采集系統在運作過程中，首先要將系統服務器中的網頁信息與互聯網中需要檢測的網頁信息進行對比，當檢測到網頁信息發生變化，或者在服務器中沒有相對應的網頁時，就對服務器中的信息進行更新操作[3]。

3 增量式web信息采集系統研究現狀

目前比較知名的增量采集系統之一是Web Fountain Crawler，它的主要運作步驟和原理如下：(1)首先根據所需收集信息的網頁更新頻率不同，將其進行適當分組；(2)將整個數據采集過程分割成多個階段，每個階段進行任務分配，同時各個階段的任務不能相同。

另一種較為著名的增量采集系統是由智利大學的研究學者研究出來的，名為Univ.Chile Crawler[4]，該系統的采集判斷依據是對應網頁索引的時新性。在采集的過程中，該系統首先是對評估價值較高的網頁進行數據采集，這種評估價值是通過對網頁多種因素綜合考察得到的結果，在對不同網頁的價值進行排序后，分析該網頁是否需要進行數據采集操作。

國內開發的天網增量搜集系統同樣具有較高的性能，該系統的主要作用是對國內網頁數據進行采集。這三種采集系統能夠在實際中進行應用，屬于大型的采集系統。

4 中國資本市場電子信息化批露系統

在對基金相關數據信息進行采集之前，我們應當明確數據采集的主要來源網站，對網站信息進行評估之后，我們發現專業權威的網站采集得到的結果更能夠提供準確的基金信息，其中首要選擇的就是各大基金公司的官方網站。而互聯網上此類網站種類繁多，采用的信息發布方式也有所區別，在系統解析階段應當針對不同的基金網站指定對應的解析方案。證監會于2009年建立了對資金交易市場信息統一的標準化信息披露平臺，此平臺將XBRL技術作為基礎支撐交媾，能夠將數據資源進行交互，發布準確可靠的市場信息，為證監會管理資本市場提供輔助依據，同時還為投資者提供了標準化信息查詢平臺，便于投資者及時了解市場信息。在本系統中我們對此披露平臺中的信息進行采集和解析，能夠得到標準化統一格式的基金信息，省去了對不同網站類型和內容的方案制定過程。

基金電子化信息披露平臺的建立對整個基金市場的監管和維護舉足輕重的作用。主要變現為以下四個方面：首先此平臺系統內能夠為各大基金管理機構提供統一的技術平臺，有助于各大基金管理機構根據平臺上的標準化信息提升自身信息質量，提高公司的誠信度，使得公司能夠從內部進行整頓；其次此平臺為投資者提供了標準化信息查詢平臺，便于投資者及時了解市場信息；再次采用此種方式提供標準化的基金市場信息，有助于各大機構提高對自身信息發布的科學性和標準性；最后此種披露系統能夠根據基金行業情況及時有效地發布信息，使得基金信息更加全面準確。

[1] 李甫英.證券投資基金在我國發展的歷史和現狀[J].黨史文苑,2004年06期

[2] 王敬,馮新力.中國證券投資基金的需求細分與供給創新[J].財經科學,2004年06期

[3] 陸娜.我國證券投資基金業發展中的主要問題及對策研究[碩士學位論文].西南財經大學，2009

[4] 京華時報.證監會發放首批第三方基金銷售牌照-基金銷售迎來新力量[EB/OL].http://epaper.jinghua.cn/html/2012-02/23/content_763785.htm

甘文壇(1985.10-)，男，廣東韶關人，本科，助理工程，研究方向：計算機應用。

TP3

A

1671-1602(2016)20-0008-01