一種基于Python的信息安全情報收集工具

邵云蛟　吳麗莎　張凱　吳屏

摘 要：目前，公司信息安全情報收集工作主要依靠人工方式進行。主要由運維人員每日登陸相關信息安全資訊網站或接收由綠盟、啟明等安全廠商發送的信息安全情報信息，這種方式效率低下，耗時耗力。

關鍵詞：Python；終端監控；安全管理

中圖分類號：TP391 文獻標識碼：A 文章編號：1671-2064（2018）13-0019-01

為了提升公司信息安全情報的收集效率，實時掌握網絡安全態勢[1]，公司研發了基于Python的信息安全情報收集工具。工具可通過網絡爬蟲[2]從百度、360等5家搜索引擎，Freebuf、Rapid7等4家信息安全資訊網站的對接，并實現了與綠盟、啟明、天融信等6家信息安全廠商信息安全情報服務的對接，通過自動化手段[3]完成信息安全情報收集工作。

1 工具原理及功能

工具使用MVC框架，從功能上分為3層。分別為數據收集層、分析處理層、用戶接口層。

數據收集層由網絡爬蟲模塊及郵件接收模塊構成，主要用于完成原始信息安全情報數據的收集。

分析處理層的核心模塊為文字處理模塊，該模塊會對信息安全情報進行分詞處理，并進行熱點詞分析。

用戶接口層由安全預警模塊構成，該模塊會將經過篩選的需要運維人員關注的信息安全情報鏈接推送該信息安全運維專用郵箱，以便于運維人員查閱。

具體功能模塊如下：

1.1 網絡爬蟲模塊

網絡爬蟲模塊使用Python Requests Scrapy標準功能，實現對Google、百度、Bing、Yahoo、NHN五個搜索引擎的對接。分別利用這五個搜索引擎檢索“漏洞”、“計算機病毒”、“木馬”、“后門”、“蠕蟲”、“信息安全大事件”等11個關鍵詞的前100條記錄，并爬取Freebuf、Rapid7等4家信息安全專業資訊網站最新安全資訊，并將獲取的網頁文字數據發送給文字分析模塊。

1.2 文字分析模塊

文字分析模塊主要負責對網絡爬蟲模塊爬取的信息安全文字情報進行分析。文字分析模塊的主要功能如下：

（1）利用Python jieba、matplotlib、wordcloud、snownlp庫提取信息安全情報標題的關鍵字。

（2）文檔在搜索引擎的排序在很大程度上反應了該文檔在互聯網上的熱度或點擊率，文字分析某塊會自動分析出熱度不斷上升的文檔。

（3）由于不同搜索引擎對于同一文檔的檢索熱度變化會有所不同。因此，我們確定了Google>百度>Bing>Yahoo>NHN的底層判斷邏輯。文檔的最終熱度變化以靠前的搜索引擎為準。

（4）文字分析模塊具有關鍵字統計分析功能，該模塊可以提煉出每個文檔的關鍵詞，并針對熱度上升的帖子，進行關鍵詞的統計，提煉出當前的熱點關鍵詞，供信息安全運維人員參考。

（5）信息安全運維人員每天針對hot_status狀態為UP的情報進行查看。根據近兩個月的運行結果，每天被標記為UP的文檔數據約50-100條。通過對文檔名稱進行人工識別后，有價值的情報約占5%-10%，在文檔篩選過程中，信息安全運維人員可將無用的文檔標記為“不關注”，這樣該文檔的熱度值將始終為100（數值越大熱度越低，100為最大值），進而降低后續情報識別的工作量。信息安全情報查看界面如圖1，圖2。

1.3 安全預警模塊

安全預警模塊實現了與公司短信平臺及郵件系統的對接，每日將信息安全情報摘要短信發送給信息安全運維人員，并將帶有信息安全情報鏈接的郵件發送給信息安全情報專用郵箱，以便于運維人員快速查閱。

2 結語

通過利用該工具，信息安全運維人員的情報收集效率大幅提升。之前，公司專人每周一利用1天時間進行人工信息安全情報收集工作，且覆蓋面不足，極易造成遺漏。現在通過自動化手段，單人15分鐘內就可完成前一天的信息安全情報數據分析工作。同時，該系統的熱點關鍵詞提醒功能還可以輔助信息安全運維人員進行人工信息安全情報收集。極大的提升了工作效率以及信息安全情報收集工作的實時性。

參考文獻

[1]溫曉勇.基于網絡爬蟲技術的情報信息搜索系統的設計與實現[D].北京大學，2013.

[2]薛麗敏，吳琦，李駿.面向專用信息獲取的用戶定制主題網絡爬蟲技術研究[J].信息網絡安全，2017，（2）：12-21.

[3]沈壽忠.基于網絡爬蟲的SQL注入與XSS漏洞挖掘[D].西安電子科技大學，2009.