善用網絡爬蟲

■本刊記者 章繼剛

隨著數據資源的爆炸式增長，網絡爬蟲的應用場景和商業模式變得更加廣泛和多樣。網絡爬蟲作為數據抓取的實踐工具，構成了互聯網開放和信息資源共享理念的基石，如同互聯網世界的一群工蜂，不斷地推動網絡空間的建設和發展。

“據統計，2019 年就有近40% 的Web 流量來 自爬蟲。但是，其中20% 的Web 流量卻來自惡意爬蟲，且比例正在不斷上升。惡意爬蟲主要用于針對所有行業、地區和渠道的Web 內容搜刮、交易欺詐、垃圾郵件以及DDoS 和撞庫攻擊。其中，金融、電商、游戲、媒體、酒店等已經成為重災區。Akamai 和Ponemon Institute 聯合研究顯示，惡意爬蟲攻擊給企業平均每年帶來高達270 萬美元的巨大損失。”Akamai 中國區企業事業部總經理何銘表示。

Akamai 在2017 年12 月至2019 年11 月間，共觀察到850 億次撞庫攻擊，且無一行業能夠幸免。更可怕的是，惡意爬蟲一直在改變自身行為。具體來講，這些爬蟲的復雜程度已到第四代、能夠模仿人類的行為。若想打敗這些高度復雜的爬蟲，企業機構就需要一種高級且智能的爬蟲管理工具，進行分層檢測來找到那些“披著羊皮的狼”。

值得慶幸的是，越來越多的企業開始重視爬蟲管理，市場也越來越成熟。

作為CDN 服務提供商，Akamai 每天交付的Web 流量每秒超過50TB，這一優勢使得Akamai 有能力去監控互聯網上的攻擊情況，特別是對于爬蟲攻擊的監控。獨立研究公司Forrester 近期認定Akamai 為爬蟲程序管理領域的領導者。與此同時，Akamai 剛剛對其爬蟲管理解決方案進行了全方位升級，以更好幫助企業機構在不斷演變的爬蟲環境中始終快人一步，并將高度復雜的爬蟲扼殺在邊緣之處。

Akamai 的爬蟲程序管理解決方案通過其智能邊緣 平 臺（Intelligent Edge Platform）上無與倫比的數據量來支持高級機器學習算法，從而提供了基于行為的檢測。Akamai 通常每天要與13 億臺不同設備進行交互，可以識別從客戶端收集的數百個信令中的異常情況，從而檢測出最為復雜的爬蟲程序。

Akamai 大中華區產品市場經理劉炅強調：“Akamai的防護方案不是一個單點的防護方案，是一個分層次的全棧的防護方案，從DDoS 的防護到網頁的防護，到爬蟲的管理，甚至對于API 的認證檢測以及API 的攻擊都可以進行防護。所以，基于Akamai 本身的邊緣安全的能力，我們提供了一整套的防護的解決方案去抵御惡意爬蟲的攻擊。”