Web信息安全動態監測關鍵技術研究與實現

◆梁志宏 樊 凱

（中國南方電網有限責任公司 廣東 510623）

Web信息安全動態監測關鍵技術研究與實現

◆梁志宏 樊 凱

（中國南方電網有限責任公司 廣東 510623）

鑒于目前國內外信息安全形勢備受關注，各類網絡攻擊、數據泄露、病毒感染、漏洞威脅等事件時常發生。基于webkit爬蟲原理，建立一套基于云信息Web信息安全動態監測系統，著重介紹了非連接探測技術、支持插件的安全測試、頁面變更模板自動生成方法、指紋技術。為提高WEB安全防護的實時性、系統性和精準性，降低WEB系統運營風險提供幫助。

爬蟲原理; 信息安全; 網絡攻擊; 動態監測

0 前言

某大型國企目前有近百個互聯網網站，因此其安全性備受關注。某大型國企各子單位經常發現Web系統被掛馬、頁面信息被篡改，因此國內很多大型企業Web安全還需要進行如下不足[1]:

（1）缺乏全方位信息安全，尤其是Web安全，感知和分析技術手段，事件處理和漏洞發現主要依靠第三方安全機構支持或主管部門通報，較為被動;

（2）安全漏洞監測和分布統計手段不足。如對struts、openSSL等漏洞的處理主要依賴人工排查和手工統計分析，效率不高。缺乏技術手段即時對某一新爆發漏洞或存在漏洞設備在全網的分布于整改情況進行摸底與呈現;

（3）無法全局掌握全網對外信息系統與內部信息系統的信息資產組成情況，如某一應用系統IP地址、由何種操作系統、中間件、數據庫與Web組件構成;

（4）存在大量業務部門自建小網站或廠商自行搭建的演示系統，部署在互聯網上，易被安全監管部門通報;

（5）安全可視性不強，無法通過較友好的可視化方式呈現全網當前安全動態與特定安全漏洞的爆發與整改動態。

1 監測平臺實現目標

通過對基于云的WEB安全感知分析技術、WEB安全指紋技術、多維可視化展示技術的研究，建立一套基于某大型國企云的信息安全動態監測分析及場景重構技術，實現自動化對公司所有web系統實時的安全監控，對漏洞監控、掛馬監控、網頁被篡改、網站可用性等安全形態進行一體化監測預警; 通過多維展示技術研究、全面的展示信息安全的實時態勢。從多個方面幫助安全主管部門實時掌握Web系統的安全狀況，提高WEB安全防護的實時性、系統性和精準性，降低WEB系統運營風險，增強安全防護能力，避免引發WEB安全事件并造成不良社會影響，建立一體化、精益化、縱深化的信息安全管控體系。

2 監測平臺設計與實現

2.1 監測平臺系統架構

圖1 監測平臺系統架構

監測平臺由展示交互層、業務邏輯層、數據庫和對外接口四部分組成。展示交互層主要包括:主視圖單元、資產管理單元、指紋和域名探測單元、Web漏洞監測單元、可用性監測單元、網頁變更監測單元、DNS監測單元、用戶管理和告警系統管理單元。業務邏輯層包絡:安全爬蟲模塊、Web漏洞監測模塊、可用性監測模塊、高速探測模塊、安全測試框架、多引擎管理模塊、權限管理模塊。監測平臺系統架構見圖1。

2.2 關鍵技術研究

為了實現對某大型國企所有對外信息系統（可通過互聯網訪問）與內部信息系統的Web安全監測、漏洞通報與預警，保證公司信息系統應用安全性; 通過Web指紋庫建立與特征抓取技術，實現全網對外信息系統與內部信息系統的資產信息自動發現摸底，特定品牌、型號或版本的設備組件分布情況可視化展示、特定安全漏洞的分布情況可視化; 實現對全球互聯網IP的動態掃描，從而可發現未在甲方信息部門登記備案的甲方業務部門自建小系統或廠商自行搭建的含有甲方相關信息的演示、測試系統，通過可視化方式呈現; 通過開放性的輕量級安全檢測框架，支持用戶自定義安全插件的開發嵌入，從而實現對甲方某一最新安全漏洞整改情況的全局性檢測、分布情況統計與可視化呈現;實現較為友好的安全可視化展示，可通過安全地圖或傳統圖表等多種可視化方式，并與公司信息安全審計系統（SOC）進行可視化集成。

3 信息安全動態監測關鍵技術

3.1 爬蟲技術研究

為了能夠充分解析網頁,盡可能的使網頁的解析效果與用戶實際解析結果接近,同時盡量利用成熟技術,減少開發工作量，在本次項目中采用webkit瀏覽器引擎作為解析底層[2]。項目中的爬蟲不采用正則表達式分析方法,而是采用調用webkit引擎的技術,通過調用瀏覽器引擎模塊來對頁面進行分析,力圖達到最佳的頁面還原效果。WebKit 是目前最流行的開源的瀏覽器引擎,被蘋果的Safari瀏覽器和Google的Chrome瀏覽器所采用,本項目采用Webkit引擎作為底層,同時支持Javascript對頁面的解析,同時也考慮支持flash插件,爬取到最真實的網頁數據。爬蟲主要使用qt進行編寫,使用了Qwebkit框架進行搭建，使用Qwebkit是因為該框架有豐富的接口函數，以及高效的編寫效率。系統流程圖見圖2。

程序從解析參數模塊入口，首先獲取用戶輸入的參數，然后調用解析參數模塊，對每個輸入的參數進行解析并獲取到對應的信息。通過信息進行參數匹配，檢測是否某些參數沒有輸入，如果沒有輸入則啟用默認值[3]。然后進行數據庫的連接，如果數據庫連接失敗，則會報錯退出。實例化爬取對象，在實例化中構建了頁面的元素。設置相應的參數，加載頁面，加載頁面的同時會設置定時器進行檢測是否載入超時。通過創捷QNetworkRequest來設置網頁請求，通過load方法來進行加載頁面。因為有些頁面為跳轉頁面，所以加載頁面完成后進行頁面跳轉的判斷。然后再進行頁面鏈接的爬取，通過解析頁面xml的標簽以及標簽內容進行獲取所需要的鏈接。獲取頁面鏈接后對鏈接進行類型判斷，判斷是否為外鏈或同級域名，然后根據不同類型進行md5處理。根據處理出的不同類型進行入庫處理，入庫過程中，md5相同的鏈接不進行入庫處理當前層次的鏈接爬取完成后，系統會去獲取下一層的鏈接，并存儲到vecto容器中，以方便獲取鏈接。如果沒有獲取到下一層的鏈接，說明已經沒有鏈接可以爬取，則爬取完成，程序退出。

3.2 非連接探測技術

非連接探測技術也稱為被動探測技術，是不主動激發目標主機的響應，而通過網絡嗅探來截獲目標系統發出的數據包，從中提取和分析特性信息來獲得目標主機的相應信息[4]。被動探測抓取目標主機發送出來的TCP報文，通過分析報文中的相關字段,獲取不同的特征信息。在TCP/IP協議中，主要采取3次握手建立1個連接。3次握手采用“發送-應答-發送”的機制,等待監聽的時間勢必導致發包速度的緩慢。而ZMap索性就不進行三次握手。

ZMap只進行第一個SYN，然后等待對方回復SYN-ACK，隨后發送RST（重置連接），不存在監聽同步操作，清空連接，再繼續發下一個數據包。而對于識別 ZMap是將對方receiver ip地址進行類似hash表一樣的映射，將其處理保存到了sender port和seq number兩個字段中，當SYN-ACK回來的時候（可能是Syn+Ack，也可能RST），就可以根據sender ip、receiver port、ack number這些字段進行校驗，并對應處理記錄。因此避免了狀態存儲，接近了網絡帶寬極限。一個TCP數據包包括一個TCP頭，后面是選項和數據。一個TCP頭包含6個標志位。

單臺服務器，掃描整個IPv4地址空間，耗時45分鐘，將所接1Gb的帶寬占用了97%。不僅速度上比Nmap（TCP SYN模式）高不少，而且其設計的無狀態機制，讓其搜索成功的覆蓋率也增加了。Zmap 某些方面和python 的scapy很像。但zmap純C語言實現，比scapy效率要高一些。這也讓ZMap能在這單一領域做很多優化。像ZMap 這樣的工具沒法發現所有漏洞。

3.3 支持插件的安全測試

當在掃描過程中需要發送payload時，如果輸入的參數有--payload項，程序就會執行指定的python腳本來實現相關功能。如果需要發送payload，調用get_payload 函數獲取payload。獲取python返回值cotent，并獲取其中的payload內容。檢測的過程也可以通過支持python腳本實現。抓到數據包，然后初步判斷數據包類別，調用相應的處理函數。如果輸入的參數指定了python腳本，則調用相應的腳本檢測payload。Flag為檢測的結果，成功則入庫，失敗則不入庫。程序調用python腳本的payload_process方法，將payload作為參數傳入，python腳本接收到參數之后，對payload進行檢測，并返回檢測結果。

3.4 指紋技術

由于Web服務是互聯網上應用十分廣泛，也是容易受到惡意攻擊的一種網絡服務，并且在HTTP的響應包中蘊含了豐富的組件信息，這些因素為Web服務的深入識別提供了必要性和可能性。操作系統的探測識別主要利用指紋技術，包括主動和被動兩種。主動識別技術采用向目標發送構造的特殊包并監控其應答方式來識別操作系統。被動識別技術，通過被動監聽網絡通信，確定所用的操作系統。本節在通用應用指紋技術基礎上，針對Web服務指紋技術進行專門探討。Web服務可識別的組件信息包含多個層次。

通常有4種方法可以識別一個Web應用:

（1）在網站首頁面的HTTP headers和body中進行模式匹配或特征串匹配;

（2）獲取特殊的URL，在HTML中進行模式匹配;

（3）獲取特定的URL，計算md5，對比md5值進行判斷;（4）獲取特定的URL，通過返回的狀態碼進行判斷。

在這4種方法中第1種是應用最廣泛的，它網絡帶寬占用最小并且識別最快，適合大規則的掃描識別。第2-4種方法，需要獲取網站的更多頁面進行匹配，增加了對帶寬的占用，匹配時間也要更久。隨著人們安全意識的增強，越來越多的Web應用程序不在首頁面中暴露過多有用信息，在這種情況下，方法2、3更加有效。方法4在識別開啟mod_rewrite功能的網站時，可能造成錯誤的判斷。

要識別一種Web服務器，首先到它的主頁中學習它的相關資料，查看示例，找到下載鏈接，對于版本識別有可能需要下載多個版本進行研究。尋找盡可能多的Web服務器的例子進行研究。可以借助官網給出的示例網站，從示例網站中分析一定的特征，再借助搜素引擎尋找更多的例子。還可以從該Web服務器相關論壇中獲取一些例子。需要強調的是例子的數量及多樣性，數量越多，種類越多，分析的結果就越全面，越有代表性。分析示例網站的首頁面，從headers、body中尋找能標記這種Web服務器的相似特征。深入分析幾個網站的源文件，尋找有代表性的特征。通常可以關注headers、footers、URL、網站結構、Javascript libraries名稱、CSS文件、div命名特點。獲取所有示例網站的首頁源文件，進行篩選。通過上面分析出的特征，去除一些明顯不對的示例網站。對剩余的網頁源文件分析相同特征。驗證收集的指紋特征。借助搜索引擎可以驗證指紋是否有效標記這種Web服務器，如果有效保留，如果無效，剔除。

4 結論

本文通過對爬蟲技術進行研究，建立一套基于信息安全動態監測分析系統。實現了對公司所有web系統實時的安全監控，對漏洞監控、掛馬監控、網頁被篡改、網站可用性等安全形態進行一體化監測預警。通過多維展示技術研究、全面的展示信息安全的實時態勢。從多個方面幫助安全主管部門實時掌握Web系統的安全狀況，提高WEB安全防護的實時性、系統性和精準性，降低WEB系統運營風險，增強安全防護能力，避免引發WEB安全事件并造成不良社會影響。

[1]李萬莉，項著廷.基于B/S結構遠程監測系統軟件設計[J].計算機技術與發展，2015.

[2]解全穎.Web訪問控制推理研究[J].西南民族大學學報（自然科學版），2014.

[3]鄭木德.基于Web的科研管理信息系統中關鍵子系統的設計[J].太原師范學院學報（自然科學版），2008.

[4]石云輝，黃雋.基于.NET的網絡故障監測報警系統的設計[J].微計算機信息，2008.

[5]劉家軍，劉夢娜，安源.基于GIS的網絡化接觸網檢修掛接地線信息管理系統的設計與實現[J].電力系統保護與控制，2016.