煉鐵廠鐵量網(wǎng)頁(yè)數(shù)據(jù)獲取系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

王春芳+高永兵

【摘要】 本文介紹了基于ASP.NET的煉鐵廠鐵水鐵量網(wǎng)頁(yè)數(shù)據(jù)獲取系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，包括系統(tǒng)的分析、設(shè)計(jì)與實(shí)現(xiàn)。系統(tǒng)應(yīng)用于企業(yè)管理的數(shù)據(jù)統(tǒng)計(jì)分析中，提高了工作效率，增強(qiáng)了數(shù)據(jù)的及時(shí)性、可靠性，效果良好。

【關(guān)鍵詞】 網(wǎng)絡(luò)爬蟲(chóng) 數(shù)據(jù)獲取 統(tǒng)計(jì)分析

互聯(lián)網(wǎng)是一個(gè)龐大的非結(jié)構(gòu)化的數(shù)據(jù)庫(kù)，將數(shù)據(jù)有效的檢索并組織呈現(xiàn)出來(lái)有著巨大的應(yīng)用前景。檢索網(wǎng)頁(yè)所返回的結(jié)果并不是用戶(hù)心中理想的數(shù)據(jù)，為了解決這個(gè)問(wèn)題，一個(gè)靈活的爬蟲(chóng)有著無(wú)可替代的重要意義[1]。

一、系統(tǒng)分析

煉鐵廠生產(chǎn)鐵水經(jīng)過(guò)計(jì)量處過(guò)重后運(yùn)往其他單位，記錄員將過(guò)重情況記錄到磅單返回到煉鐵廠，相關(guān)人員錄入到管理程序中。存在的問(wèn)題：及時(shí)性差，勞動(dòng)量大，中間環(huán)節(jié)多增加數(shù)據(jù)不一致性的風(fēng)險(xiǎn)；通過(guò)開(kāi)發(fā)煉鐵廠鐵量網(wǎng)頁(yè)數(shù)據(jù)獲取系統(tǒng)可以解決此問(wèn)題。

煉鐵廠經(jīng)過(guò)多年的信息化建設(shè)，已建成覆蓋全廠的局域網(wǎng)絡(luò)，各車(chē)間部門(mén)辦公電腦普及。煉鐵廠在用數(shù)據(jù)庫(kù)SQL Server 2005，并且搭建了數(shù)據(jù)庫(kù)群集服務(wù)器，每天晚上進(jìn)行差異備份，每周進(jìn)行一次完全備份，數(shù)據(jù)安全性得到保障。此系統(tǒng)在開(kāi)發(fā)過(guò)程中幾乎無(wú)費(fèi)用產(chǎn)生，具備開(kāi)發(fā)條件，方案切實(shí)可行！

二、系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

前臺(tái)通過(guò)Visual Studio 2008開(kāi)發(fā)環(huán)境（編程語(yǔ)言C#），后臺(tái)數(shù)據(jù)庫(kù)SQL Server 2005，開(kāi)發(fā)煉鐵廠鐵量網(wǎng)頁(yè)數(shù)據(jù)獲取系統(tǒng)，開(kāi)發(fā)架構(gòu)C/S模式。通過(guò)Visual Studio 2008中WebBrowser控件使用戶(hù)在窗體中導(dǎo)航網(wǎng)頁(yè)并獲取html源碼；遍歷table元素行、列得到表格數(shù)據(jù)；插入到數(shù)據(jù)庫(kù)中[2～4]。

經(jīng)過(guò)研究計(jì)量處物資計(jì)量網(wǎng)鐵水?dāng)?shù)據(jù)查詢(xún)網(wǎng)頁(yè)，設(shè)計(jì)表結(jié)構(gòu)如圖1。

三、系統(tǒng)功能

煉鐵廠鐵量網(wǎng)頁(yè)數(shù)據(jù)獲取系統(tǒng)主要完成功能：從系統(tǒng)界面中導(dǎo)航鐵水鐵量查詢(xún)網(wǎng)頁(yè)、將鐵量相關(guān)數(shù)據(jù)導(dǎo)入到煉鐵廠SQL Server數(shù)據(jù)庫(kù)中；可以從管理程序中查詢(xún)?cè)紨?shù)據(jù)，面向局域網(wǎng)用戶(hù)；經(jīng)過(guò)后臺(tái)處理與鐵水成份關(guān)聯(lián)為原始數(shù)據(jù)、經(jīng)過(guò)統(tǒng)計(jì)分析然后生成報(bào)表，面向生產(chǎn)統(tǒng)計(jì)人員；經(jīng)過(guò)后臺(tái)處理，運(yùn)用到動(dòng)力費(fèi)統(tǒng)計(jì)、生產(chǎn)查詢(xún)等多個(gè)管理程序中。操作界面如圖2。

四、結(jié)束語(yǔ)

基于ASP.NET的煉鐵廠鐵量網(wǎng)頁(yè)數(shù)據(jù)獲取系統(tǒng)，通過(guò)計(jì)量處物資計(jì)量網(wǎng)鐵水?dāng)?shù)據(jù)查詢(xún)頁(yè)面，抓取煉鐵廠鐵水鐵量數(shù)據(jù)到煉鐵SQL Server數(shù)據(jù)庫(kù)中。提高了數(shù)據(jù)統(tǒng)計(jì)分析的靈活性；降低了相關(guān)人員的工作量、提高了工作效率；確保了數(shù)據(jù)的及時(shí)性、準(zhǔn)確性、安全性；進(jìn)而達(dá)到了節(jié)約成本的目的。

參 考 文 獻(xiàn)

[1]黃延煒，劉嘉勇.新浪微博數(shù)據(jù)獲取技術(shù)研究[J].信息安全與通信保密，2013，06：71-73+76.

[2]張紅云.基于頁(yè)面分析的主題網(wǎng)絡(luò)爬蟲(chóng)的研究[D].武漢理工大學(xué)，2010.

[3]于成龍，于洪波.網(wǎng)絡(luò)爬蟲(chóng)技術(shù)研究[J].東莞理工學(xué)院學(xué)報(bào)，2011，03：25-29.

[4]焦賽美.網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的研究[J].瓊州學(xué)院學(xué)報(bào)，2011，05：28-30.