基于網(wǎng)絡(luò)爬蟲技術(shù)的大數(shù)據(jù)采集系統(tǒng)設(shè)計

摘 ?要：在電力企業(yè)運營大數(shù)據(jù)環(huán)境中，企業(yè)財務(wù)數(shù)據(jù)在公司審計工作中發(fā)揮著重要作用。財務(wù)數(shù)據(jù)是企業(yè)進行有效財務(wù)審計的基礎(chǔ)，因此，確保企業(yè)財務(wù)數(shù)據(jù)的完整性、有效性和準(zhǔn)確性，是財務(wù)管理工作的關(guān)鍵。文章基于企業(yè)財務(wù)審計工作的特點，利用網(wǎng)絡(luò)爬蟲技術(shù)，提出了企業(yè)大數(shù)據(jù)采集系統(tǒng)的設(shè)計方案。該系統(tǒng)的設(shè)計從數(shù)據(jù)獲取角度出發(fā)，從互聯(lián)網(wǎng)中獲取有效數(shù)據(jù)，完成數(shù)據(jù)整合清洗，幫助企業(yè)在審計工作中及時發(fā)現(xiàn)漏洞，防止出現(xiàn)財務(wù)風(fēng)險等問題。

關(guān)鍵詞：財務(wù)審計;大數(shù)據(jù);爬蟲技術(shù);數(shù)據(jù)采集

中圖分類號：TP311 ? 文獻標(biāo)識碼：A 文章編號：2096-4706（2021）12-0083-04

Abstract： In the big data environment of power enterprise operation， enterprise financial data plays an important role in company audit. Financial data is the basis for enterprises realizing effective financial audit. Therefore， ensuring the integrity， effectiveness and accuracy of enterprise financial data is the key to financial management. Based on the characteristics of enterprise financial audit， this paper puts forward the design scheme of enterprise big data acquisition system by using web crawler technology. From the perspective of data acquisition， the system is designed to obtain effective data from the internet， completes data integration and cleaning， helps enterprises find loopholes in time in audit work， and prevents financial risks and other problems.

Keywords： financial audit; big data; crawler technology; data acquisition

0 ?引 ?言

現(xiàn)代科學(xué)技術(shù)的不斷進步，使人工智能、大數(shù)據(jù)、區(qū)塊鏈等一些創(chuàng)新技術(shù)應(yīng)運而生。信息化的快速發(fā)展與企業(yè)財務(wù)數(shù)據(jù)有效采集之間的矛盾日益凸顯，如果無法采集到真實、完整、有效的財務(wù)數(shù)據(jù)，勢必會對企業(yè)審計工作造成一定障礙[1]。通常情況下，企業(yè)審計工作的數(shù)據(jù)獲取主要來源于兩個方面：一是企業(yè)主動向?qū)徲嫴块T提供的數(shù)據(jù)，數(shù)據(jù)的完整性和真實性難以保證;二是從企業(yè)上級主管部門、企業(yè)公開信息、企業(yè)合作方獲取的數(shù)據(jù)等。但企業(yè)審計工作中經(jīng)常會忽略這些網(wǎng)絡(luò)數(shù)據(jù)，這些互聯(lián)網(wǎng)數(shù)據(jù)中隱藏的信息在企業(yè)審計工作中發(fā)揮著不可替代的作用，甚至?xí)淖兤髽I(yè)的審計結(jié)果。尤其是在經(jīng)濟市場領(lǐng)域信息化建設(shè)的不斷深入過程中，企業(yè)審計工作中對財務(wù)數(shù)據(jù)的需求量越來越大，僅憑企業(yè)主動提供的財務(wù)數(shù)據(jù)很難發(fā)現(xiàn)潛在的漏洞和問題，因此，需要不斷創(chuàng)新工作方式，主動對互聯(lián)網(wǎng)數(shù)據(jù)、企業(yè)內(nèi)外部數(shù)據(jù)進行采集，分析這些數(shù)據(jù)之間內(nèi)在的關(guān)聯(lián)性，這樣才能盡早發(fā)現(xiàn)問題，尋找問題線索。綜上所述，只有通過大數(shù)據(jù)采集系統(tǒng)，才能獲取完整有效的企業(yè)財務(wù)數(shù)據(jù)，提高企業(yè)審計工作的效率。在信息時代、人工智能時代，為有效應(yīng)對海量數(shù)據(jù)帶來的調(diào)整，本文提出的基于網(wǎng)絡(luò)爬蟲技術(shù)的大數(shù)據(jù)采集系統(tǒng)能夠有效地應(yīng)用于企業(yè)財務(wù)審計工作中，防止企業(yè)出現(xiàn)財務(wù)風(fēng)險，及時糾正和指導(dǎo)企業(yè)違法違規(guī)行為，提高企業(yè)財務(wù)風(fēng)險防控的有效性[2，3]。

1 ?網(wǎng)絡(luò)爬蟲技術(shù)及原理

1.1 ?網(wǎng)絡(luò)爬蟲技術(shù)

網(wǎng)絡(luò)爬蟲技術(shù)（Web Crawler）又稱為網(wǎng)絡(luò)機器人，屬于一種按照設(shè)計的規(guī)則自動獲取互聯(lián)網(wǎng)數(shù)據(jù)的腳本或程序。網(wǎng)絡(luò)爬蟲技術(shù)可以對整個萬維網(wǎng)的連接進行遍歷，實現(xiàn)自動檢索和定位。網(wǎng)絡(luò)爬蟲技術(shù)可以從某一個網(wǎng)頁頁面開始，對該網(wǎng)頁中的內(nèi)容進行讀取，獲取網(wǎng)頁中包含的網(wǎng)絡(luò)鏈接，再從這些鏈接中讀取并得到其他鏈接，如此循環(huán)往復(fù)，直到抓取完全部網(wǎng)頁信息[4]。一般情況下，網(wǎng)絡(luò)爬蟲技術(shù)的爬行會沿著某一個方向進行遍歷[5]，網(wǎng)絡(luò)爬蟲流程如圖1所示。

1.2 ?Scrapy網(wǎng)絡(luò)爬蟲框架

Scrapy框架能夠從海量網(wǎng)絡(luò)資源中獲取有效數(shù)據(jù)（包括網(wǎng)頁資源、歷史資源等），是一種強大的數(shù)據(jù)挖掘應(yīng)用程序。數(shù)據(jù)采集系統(tǒng)中應(yīng)用Scrapy框架的案例比較多，主要是由于Scrapy框架可以從網(wǎng)頁中獲取大量非結(jié)構(gòu)化數(shù)據(jù)，再將這些數(shù)據(jù)結(jié)構(gòu)化;Scrapy框架的代碼結(jié)構(gòu)比較簡單，易于維護。因此，Scrapy框架已經(jīng)廣泛應(yīng)用于招聘網(wǎng)站、購物網(wǎng)站運營，以及數(shù)據(jù)挖掘領(lǐng)域[6]。

Scrapy框架是基于Twisted編程模型的數(shù)據(jù)處理框架，是通過Python編程語言實現(xiàn)的網(wǎng)絡(luò)爬蟲框架。Scrapy框架結(jié)構(gòu)分明，擴展性強，各層次之間的耦合性比較低。Scrapy框架可以快速從網(wǎng)頁中獲取數(shù)據(jù)，爬蟲效率高，可配置性強。Scrapy框架在提取結(jié)構(gòu)性數(shù)據(jù)的同時具有反爬取功能，是目前應(yīng)用最多的網(wǎng)絡(luò)爬蟲框架[7，8]。

2 ?系統(tǒng)設(shè)計

互聯(lián)網(wǎng)中有價值的數(shù)據(jù)非常多，對于公司財務(wù)審計工作來說，只需獲取與審計項目相關(guān)的數(shù)據(jù)即可。但是，采用網(wǎng)絡(luò)爬蟲技術(shù)的目的是盡可能擴大網(wǎng)頁爬取范圍，以全面獲取結(jié)構(gòu)化數(shù)據(jù)。然而，如果該過程沒有明確的目標(biāo)主題，會造成網(wǎng)絡(luò)資源和網(wǎng)絡(luò)帶寬的巨大浪費，所獲取的數(shù)據(jù)也無法為具體工作帶來實際用處。因此，文章選用聚焦網(wǎng)絡(luò)爬蟲技術(shù)對數(shù)據(jù)采集系統(tǒng)進行設(shè)計，聚焦網(wǎng)絡(luò)爬蟲技術(shù)可以預(yù)先設(shè)定主題，按照主題對網(wǎng)頁中的鏈接進行分析，準(zhǔn)確獲取所需內(nèi)容，進而避免獲取與主題無關(guān)的網(wǎng)頁數(shù)據(jù)。

2.1 ?聚焦網(wǎng)絡(luò)爬蟲步驟

本文基于聚焦網(wǎng)絡(luò)爬蟲技術(shù)進行研究，從企業(yè)財務(wù)審計角度出發(fā)，以審計項目相關(guān)信息為主題，所設(shè)計的聚焦網(wǎng)絡(luò)爬蟲的具體流程為：（1）通過網(wǎng)絡(luò)爬蟲模塊獲取互聯(lián)網(wǎng)中的網(wǎng)頁;（2）分析財務(wù)審計項目主題，以及網(wǎng)絡(luò)爬蟲模塊與財務(wù)審計項目主題之間的關(guān)聯(lián)性;（3）網(wǎng)絡(luò)爬蟲模塊根據(jù)統(tǒng)計分析結(jié)果進行數(shù)據(jù)處理;（4）按照網(wǎng)頁權(quán)重設(shè)計網(wǎng)絡(luò)爬蟲隊列;（5）網(wǎng)絡(luò)爬蟲模塊主動獲取每一個等待執(zhí)行的URL，如此循環(huán)往復(fù);（6）循環(huán)爬行，直到網(wǎng)絡(luò)爬行隊列為空。

由此可見，聚焦網(wǎng)絡(luò)爬蟲技術(shù)是根據(jù)事先設(shè)定好的具體主題完成數(shù)據(jù)獲取，再對非結(jié)構(gòu)化數(shù)據(jù)進行匯總。聚焦網(wǎng)絡(luò)爬蟲技術(shù)所獲取的網(wǎng)頁信息具有較強的相關(guān)性。通過對爬取主題的設(shè)定，可以大大節(jié)約網(wǎng)絡(luò)資源和網(wǎng)絡(luò)帶寬，獲取到的數(shù)據(jù)關(guān)聯(lián)性也更強，有利于下一步具體工作對數(shù)據(jù)的高效利用。

2.2 ?網(wǎng)頁搜索策略

聚焦網(wǎng)絡(luò)爬蟲技術(shù)的搜索策略是最佳優(yōu)先搜索策略，該策略采用性能優(yōu)良的算法，選擇與設(shè)定主題相關(guān)的網(wǎng)頁鏈接進行遍歷，同時還可以提前設(shè)定優(yōu)先級別，以先對優(yōu)先級別高的網(wǎng)頁鏈接進行爬取。因此，聚焦網(wǎng)絡(luò)最佳優(yōu)先搜索可以視為一種優(yōu)先廣度搜索，在進行網(wǎng)絡(luò)爬取的過程中，其自動優(yōu)先選擇對主題“有用”的網(wǎng)頁，最大限度減少與主題無關(guān)的網(wǎng)頁。然而，聚焦網(wǎng)絡(luò)最佳優(yōu)先搜索策略也存在一定的弊端，致使無法爬取部分有效的網(wǎng)頁數(shù)據(jù)。

2.3 ?判斷主題相似度

為了有效地節(jié)約時間成本，避免過度浪費網(wǎng)絡(luò)資源和網(wǎng)絡(luò)帶寬，在使用聚焦網(wǎng)絡(luò)爬蟲技術(shù)的過程中要提前設(shè)定主題，以達到從網(wǎng)頁中獲取有效數(shù)據(jù)的目的。本文選擇了聚焦網(wǎng)絡(luò)最佳優(yōu)先搜索策略，預(yù)先設(shè)定主題，在網(wǎng)絡(luò)爬取的過程中優(yōu)先獲取最具價值的URL，將聚焦網(wǎng)絡(luò)爬行主題關(guān)鍵字的權(quán)重表示為TF·IDF。TF指的是網(wǎng)絡(luò)爬取過程中詞匯出現(xiàn)的頻率，將TF進行定義得到式（1）：

在進行聚焦網(wǎng)絡(luò)爬取的過程中，根據(jù)情況設(shè)定閾值r。當(dāng)cos〈α，β〉≥r時，判斷為該網(wǎng)頁頁面與主題相關(guān)。

2.4 ?關(guān)鍵字多模匹配

Aho算法（Aho-Corasick automaton）于1975年在諾貝爾實驗室提出，屬于一種自動機搜索算法。Aho算法可以為待匹配的所有關(guān)鍵字創(chuàng)建一個狀態(tài)機，只需對文本進行一次掃描，即可完成關(guān)鍵字匹配工作。一般情況下，在每次計算時字符串算法需要重新退回到原始起點位置，因此字符串算法的執(zhí)行效率非常低。但Aho算法可以避免因退回而產(chǎn)生的資源浪費。本文大數(shù)據(jù)采集系統(tǒng)設(shè)計采用的是Aho算法，用于對關(guān)鍵字進行匹配。算法執(zhí)行代碼為：

q：= INIT_ STATE;// root

for i：=1 to m do

while g（q， T[i]）=Φdo

q：= f（q）;// follow a fail

q= g（q， T[i]）;// follow a goto

nodes= q;

while node ≠ root do

if flag（node）≠Φthen print i，out（node）;

node：=f（node）;// backtracking

end for;

以上代碼在執(zhí)行過程中主要實現(xiàn)三個函數(shù)，分別是Goto函數(shù)、Output函數(shù)和Fail函數(shù)。T為目標(biāo)字符串，目標(biāo)字符串的長度設(shè)為m，q為節(jié)點指針，g為返回節(jié)點到路徑目標(biāo)的下一個節(jié)點指針，f為回溯節(jié)點指針，flag為標(biāo)志節(jié)點。

2.5 ?主題爬取步驟

本文基于聚焦網(wǎng)絡(luò)爬蟲技術(shù)的大數(shù)據(jù)采集系統(tǒng)對主題的爬取流程為：

（1）系統(tǒng)初始化，對主題集合、URL集合、閾值、網(wǎng)絡(luò)爬取深度、爬取數(shù)量進行定義。

（2）當(dāng)爬取隊列中不為空時，將URL置于Scrapy框架中進行解析，獲取超文本標(biāo)記語言。

（3）從URL集合中獲取全部超鏈接目標(biāo)，對URL進行歸一化處理，放置于爬取隊列中。

（4）對URL集合中的網(wǎng)頁頁面進行一系列處理，包括解碼、降噪、清洗等，得到提取文本。

（5）對爬取到的文本與主題進行關(guān)聯(lián)性判斷，對有關(guān)聯(lián)的網(wǎng)頁頁面數(shù)據(jù)進行存儲。

（6）對新爬取網(wǎng)頁中的URL進行處理后置于爬取隊列中，按照優(yōu)先級對爬取隊列進行排序。

（7）重復(fù)以上步驟，直到獲得的爬取隊列為空，或者爬取到的數(shù)量已經(jīng)達到所需數(shù)量。

3 ?基于聚焦網(wǎng)絡(luò)爬蟲的大數(shù)據(jù)采集系統(tǒng)框架設(shè)計

文章基于聚焦網(wǎng)絡(luò)爬蟲技術(shù)，構(gòu)建了大數(shù)據(jù)采集系統(tǒng)框架，如圖2所示。

具體的爬蟲流程為：

（1）針對企業(yè)財務(wù)審計實際工作需求，確定大數(shù)據(jù)采集來源，對企業(yè)官網(wǎng)、合作伙伴官網(wǎng)、政府公開信息和各大門戶網(wǎng)站進行大數(shù)據(jù)采集。

（2）構(gòu)建初始URL，將其置于爬取隊列中。

（3）利用Scrapy框架，通過網(wǎng)絡(luò)搜索引擎調(diào)度器下載網(wǎng)頁超鏈接文本，再根據(jù)超鏈接文本中包含的主題內(nèi)容，在Scrapy框架中獲取鏈接并加重網(wǎng)頁頁面。對于真實的網(wǎng)絡(luò)鏈接，采用聚焦網(wǎng)絡(luò)爬蟲技術(shù)Scrapy框架進行爬取;對于渲染網(wǎng)頁頁面，則采用模擬瀏覽器的方式獲取數(shù)據(jù)。

（4）對超鏈接語言文本進行鏈接抽取，進行與主題關(guān)聯(lián)度的計算，如果是符合主題要求的鏈接，則將其置于URL種子隊列中進行網(wǎng)絡(luò)爬取。

（5）對于抽取得到的文本數(shù)據(jù)，在對其進行降噪、清洗和核對后存儲到系統(tǒng)數(shù)據(jù)庫中。

（6）對系統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)進行分析，以提高企業(yè)財務(wù)審計工作效率。

4 ?基于聚焦網(wǎng)絡(luò)爬蟲的大數(shù)據(jù)采集系統(tǒng)的應(yīng)用

天眼查是收錄2億條社會實體企業(yè)信息的商業(yè)數(shù)據(jù)庫應(yīng)用，本文將基于聚焦網(wǎng)絡(luò)爬蟲技術(shù)的大數(shù)據(jù)采集系統(tǒng)應(yīng)用于電力企業(yè)節(jié)能環(huán)保專項資金審計項目，主要是利用爬蟲技術(shù)對天眼查中上千家企業(yè)市場監(jiān)管數(shù)據(jù)進行采集和分析，如圖3所示。

本文通過基于聚焦網(wǎng)絡(luò)爬蟲技術(shù)的大數(shù)據(jù)采集系統(tǒng)，從天眼查應(yīng)用中獲取上千家企業(yè)工商數(shù)據(jù)信息，通過數(shù)據(jù)統(tǒng)計分析，對電力企業(yè)節(jié)能環(huán)保專項資金中是否存在騙補、偽經(jīng)營進行有效查處，輔助審計工作人員進行審計判斷，具有良好的實踐應(yīng)用效果。

5 ?結(jié) ?論

綜上所述，本文以電力企業(yè)財務(wù)審計工作為背景，對網(wǎng)絡(luò)爬蟲技術(shù)和相關(guān)理論知識進行了研究，提出了基于聚焦網(wǎng)絡(luò)爬蟲技術(shù)的大數(shù)據(jù)采集系統(tǒng)構(gòu)建方案，對網(wǎng)絡(luò)爬蟲技術(shù)應(yīng)用的具體步驟、網(wǎng)頁優(yōu)先搜索策略、主題關(guān)聯(lián)性判斷、關(guān)鍵字匹配和主題爬取流程進行了詳細分析，設(shè)計了基于聚焦網(wǎng)絡(luò)爬蟲技術(shù)的大數(shù)據(jù)采集系統(tǒng)框架，以期能夠為企業(yè)的財務(wù)審計工作提供完整、高效、可靠的數(shù)據(jù)資源。網(wǎng)絡(luò)爬蟲技術(shù)的應(yīng)用不應(yīng)該是簡單的數(shù)據(jù)獲取，而是應(yīng)該將網(wǎng)絡(luò)爬蟲技術(shù)與算法模型、數(shù)據(jù)挖掘方法相結(jié)合，在大數(shù)據(jù)、人工智能背景下，充分利用關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘、分類挖掘、網(wǎng)頁異常檢測等方法，主動發(fā)現(xiàn)企業(yè)財務(wù)審計工作中存在的問題和風(fēng)險點。同時，還可以利用機器人規(guī)則和AI交互技術(shù)等，對網(wǎng)絡(luò)進行深度遍歷，分析網(wǎng)絡(luò)社交特征等，從分散的非結(jié)構(gòu)化數(shù)據(jù)中獲取有用的數(shù)據(jù)信息，并對這些數(shù)據(jù)資源進行分類存儲，在下一步的工作中不斷挖掘數(shù)據(jù)資源之間的聯(lián)系，預(yù)判數(shù)據(jù)資源的發(fā)展方向。

參考文獻：

[1] 肖新鳳，張絳麗，鄧祖民.基于Python的爬蟲技術(shù)的網(wǎng)站設(shè)計與實現(xiàn) [J].現(xiàn)代信息科技，2020，4（14）：73-75+78.

[2]趙北庚.基于Flask與爬蟲技術(shù)的可視化深度學(xué)習(xí)數(shù)據(jù)標(biāo)注系統(tǒng) [J].電子制作，2020（20）：36-37.

[3] 鐘機靈.基于Python網(wǎng)絡(luò)爬蟲技術(shù)的數(shù)據(jù)采集系統(tǒng)研究 [J].信息通信，2020（4）：96-98.

[4] 張澤吾.大數(shù)據(jù)法律保護模式的比較分析——以全國首例利用網(wǎng)絡(luò)爬蟲技術(shù)非法獲取計算機信息系統(tǒng)數(shù)據(jù)案為例 [J].法制與經(jīng)濟，2020（3）：5-6.

[5] 宋小滿，黃鑫，王懷相.基于ASP.NET網(wǎng)絡(luò)爬蟲技術(shù)的公路貨運價格數(shù)據(jù)采集方法研究 [J].鐵道貨運，2018，36（12）：54-58.

[6] 劉貴平，劉娜，段紅義.基于聚焦網(wǎng)絡(luò)爬蟲技術(shù)的人才招聘數(shù)據(jù)采集 [J].電腦編程技巧與維護，2018（5）：69-70+75.

[7] 卞偉瑋，王永超，崔立真，等.基于網(wǎng)絡(luò)爬蟲技術(shù)的健康醫(yī)療大數(shù)據(jù)采集整理系統(tǒng) [J].山東大學(xué)學(xué)報（醫(yī)學(xué)版），2017，55（6）：47-55.

[8] 張明杰.基于網(wǎng)絡(luò)爬蟲技術(shù)的輿情數(shù)據(jù)采集系統(tǒng)設(shè)計與實現(xiàn) [J].現(xiàn)代計算機（專業(yè)版），2015（18）：72-75.

作者簡介：閻澤群（1989—），女，漢族，山東淄博人，助理專業(yè)師Ⅱ級，碩士研究生，研究方向：多媒體應(yīng)用系統(tǒng)類交互式界面設(shè)計與實施。