基于SOA架構的惡意爬蟲DDoS攻擊檢測技術研究

劉書林++趙運弢

摘要： 面向服務的體系架構（SOA）作為一個全新的網絡架構和組件模型，已經逐漸成為中國IT系統架構的主導思想。隨著該體系首選的Web服務發展與普及應用，其安全問題日益突出，特別是DDoS（分布式拒絕服務攻擊）因為其較易實施和難以防范的特點，日益成為當今網絡安全領域面臨的巨大威脅。本文主要針對近年來出現的利用搜索引擎爬蟲技術來實施的DDoS攻擊環境下，相應的檢測防御技術研究。

關鍵詞：SOA DDoS 爬蟲技術 檢測技術

中圖分類號：TP393.08 文獻標識碼：A 文章編號：1007-9416（2016）10-0202-01

面向服務的體系架構（Service-Oriented Architecture， SOA）作為一個全新的網絡架構和組件模型，在提供便利的同時也面臨安全方面的挑戰。SOA系統不但會受到傳統的網絡攻擊，如重放攻擊、注入攻擊等，也會受到各種DDoS攻擊。近日有研究表明，假冒搜索引擎爬蟲已經成為第三大DDoS攻擊工具。本文所介紹的基于SOA架構下的DDoS攻擊檢測方法主要針對當今比較流行的利用網絡爬蟲所發起的DDoS攻擊。

1 SOA安全問題研究

SOA是一個組件模型，它將應用程序的不同功能單元（即服務）通過這些服務之間定義良好的接口和契約聯系起來。SOA目前在很大程度上還是比較依賴Web服務，特別是一些面向服務技術在SOA架構上的應用，導致SOA在提供了良好的便捷的同時也避免不了一些安全隱患。而目前來看SOA往往大多應用在企業級平臺之上，它所承擔的服務不再單純的是一種技術能力，而更多的是一種業務能力和IT資產。因此研究SOA架構下安全問題，特別是安全檢測技術，在風險到來之前提前預測、感知和及時響應具有十分重要的意義。

2 網絡爬蟲技術

2.1 網絡爬蟲概述

網絡搜索引擎的主要數據來源就是互聯網網頁，通用搜索引擎的目標就是盡可能的提高網絡覆蓋率，網絡爬蟲（又稱網頁蜘蛛或者網絡機器人），就是一種按照特定規則，自動抓取互聯網信息的腳本或者程序。 搜索引擎利用網絡爬蟲技術爬取Web網頁、文件甚至圖片、音視頻等多媒體資源，通過相應的索引技術處理這些信息后提供給用戶查詢。

2.2 網絡爬蟲的安全性問題

網絡爬蟲策略就是盡可能多的抓取互聯網中的高價值信息，所以爬蟲程序會根據特定策略盡可能多的訪問互聯網上的網站頁面，這毫無疑問會占用目標網站的網絡帶寬和Web服務器的處理開銷，特別是一些小型網站，僅僅處理各種搜索引擎公司的爬蟲引擎就會導致自身服務器“應接不暇”。所以黑客可以假冒爬蟲程序對Web站點發動DDoS攻擊，使網站服務器在大量爬蟲程序的訪問下，系統資源耗盡而不能及時響應正常用戶的請求甚至徹底崩潰。不僅如此，黑客還可能利用網絡爬蟲抓取各種敏感資料用于不正當用途。比如遍歷網站目錄列表；搜索測試頁面、手冊文檔、樣本程序以查找可能存在的缺陷程序；搜索網站管理員登錄頁面；搜索互聯網用戶的個人資料等等。

3 惡意爬蟲DDoS攻擊的防范和檢測

一般情況下，因為特定網站的特殊原因，比如有些網站不希望爬蟲白天抓取網頁，有些網站不希望爬蟲抓取敏感信息等，所以爬蟲程序默認是需要遵守Robots協議，所以限制爬蟲最簡單直接的方法就是設置robots.txt規則。然而并不是所有的搜索引擎爬蟲都會遵守robots規則，所以僅僅設置robots是遠遠不夠的。

3.1 日志分析來檢測惡意爬蟲攻擊

（1）分析服務器日志統計訪問最多的IP地址段。

grep Processing production.log | awk {print $4} | awk -F. {print $1〃.〃$2〃.〃$3〃.0〃} | sort | uniq -c | sort -r -n | head -n 200 > stat_ip.log

（2）把統計結果和流量統計系統記錄的IP地址進行對比，排除真實用戶訪問IP，再排除正常的網頁爬蟲，如Google，百度，微軟爬蟲等。很容易得到可疑的IP地址。分析可疑ip 的請求時間、頻率、refer頭等，很容易檢測是否網絡爬蟲，類似如圖1所示日志信息明顯是一個網絡爬蟲。

3.2 基于訪問行為特征檢測爬蟲DDoS

通過日志分析來檢測惡意爬蟲攻擊，無法及時檢測并屏蔽這些spider。所以面對分布式的爬蟲DDoS攻擊，網站很有可能無法訪問，分析日志無法及時解決問題。針對惡意爬蟲程序和正常用戶訪問之間的行為特征不同，爬蟲DDoS程序為了達到占用系統資源的目的，其訪問往往是頻率很高而且呈明顯規律性，明顯區別于真實正常用戶瀏覽訪問時的低頻率和隨機性，所以基于統計數據或者其他應用識別或者IPS技術，可以較容易的生成正常情況下的行為模型，通過采集正常的流量行為可以構造一個正常的網絡行為模型，我們可以把處于正常模型內的流量行為認定為正常行為，一旦和正常行為輪廓有了較大的偏離，可以認定為異常或者攻擊行為。

4 結語

由于基于SOA的網絡系統下的DDoS攻擊的普遍性，以及網絡爬蟲及其對應技術給現有Web系統帶來的安全威脅。本文提出了一些反惡意爬蟲攻擊的策略和思路，對網站管理及安全人員，有一定的參考意義。隨著基于網絡爬蟲和搜索引擎技術的互聯網應用日益增多，我們有必要針對這些應用帶來的安全問題做更深入的研究。

參考文獻

[1]袁志勇.分布式拒絕服務攻擊的攻擊源追蹤技術研究[D].長沙：中南大學，2009.

[2]何遠超.基于Web的網絡爬蟲的設計與實現[J].網微計算機信息，2007，23（21）：119-121.

[3]周偉，王麗娜，張煥國，傅建明.一種新的DDoS攻擊方法及對策[J].計算機應用，2003.01：144.

[4]王希斌，廉龍穎.網絡安全實驗中DDoS攻擊實驗的實現[J].實驗科學與技術，2016，14（1）：68-71.

收稿日期：2016-08-30

基金項目：國家863項目（863-2015-03F）

作者簡介：劉書林（1991—），男，河南信陽人，碩士研究生，研究方向：Web安全，DDoS攻擊檢測，無線網絡技術。