基于爬蟲大數(shù)據(jù)的網(wǎng)絡(luò)負載異常監(jiān)測方法

楊毅

摘 要：針對傳統(tǒng)網(wǎng)絡(luò)負載異常監(jiān)測方法中精準度較差、有效性較低等問題，本文提出一種基于爬蟲大數(shù)據(jù)的網(wǎng)絡(luò)負載異常監(jiān)測方法。為了驗證該方法的有效性，將其與傳統(tǒng)監(jiān)測方法進行對比實驗。實驗結(jié)果表明，該方法實用性和精準度更高，更適用于對網(wǎng)絡(luò)負載異常的監(jiān)測。

關(guān)鍵詞：爬蟲大數(shù)據(jù);網(wǎng)絡(luò)負載;異常監(jiān)測

中圖分類號：TP393.08;TN915.02 文獻標識碼：A 文章編號：1003-5168（2019）34-0033-03

Network Load Anomaly Monitoring Method Based on Crawler Big Data

YANG Yi

（School of Information Engineering， Henan University of Animal Husbandry and Economy，Zhengzhou Henan 450018）

Abstract： Aiming at the problems of poor accuracy and low effectiveness in traditional network load anomaly monitoring methods， this paper proposed a network load anomaly monitoring method based on crawler big data. In order to verify the effectiveness of this method， it was compared with the traditional monitoring method. Experimental results show that this method is more practical and accurate， and more suitable for monitoring network load anomalies.

Keywords： crawler big data;network load;abnormal monitoring

隨著網(wǎng)絡(luò)信息技術(shù)的快速發(fā)展，網(wǎng)絡(luò)中接入的負載量成倍增長，而這些網(wǎng)絡(luò)負載產(chǎn)生的數(shù)據(jù)信息成為目前網(wǎng)絡(luò)環(huán)境中數(shù)據(jù)分析的來源[1]。因此，負載數(shù)據(jù)成為網(wǎng)絡(luò)信息中最重要的、最具價值的數(shù)據(jù)源。理論上，網(wǎng)絡(luò)負載越多，對采集到的數(shù)據(jù)樣本分析越有價值，但實際上，大量的負載連接到網(wǎng)絡(luò)中，會嚴重影響整個網(wǎng)絡(luò)環(huán)境的穩(wěn)定性和功能性。在實際網(wǎng)絡(luò)環(huán)境中，在線負載量會受大數(shù)據(jù)平臺中接入網(wǎng)絡(luò)的負載總量、計算能力、相應時間及數(shù)據(jù)所能承載的上限限制，因此網(wǎng)絡(luò)負載與大數(shù)據(jù)平臺進行數(shù)據(jù)交換時必須與其建立起相應的有效連接[2]。為了避免因未進行有效通信的負載而占用通道的問題產(chǎn)生，提出一種網(wǎng)絡(luò)負載異常監(jiān)測方法，提高網(wǎng)絡(luò)資源的利用效率。傳統(tǒng)監(jiān)測方法是以服務器與負載是否產(chǎn)生通信為判定標準，但這種方法存在一定的局限性，需要占用較多的資源。本文提出一種基于爬蟲大數(shù)據(jù)的網(wǎng)絡(luò)負載異常監(jiān)測方法，以判斷網(wǎng)絡(luò)負載的連接情況。

1 基于爬蟲大數(shù)據(jù)的網(wǎng)絡(luò)負載異常監(jiān)測方法