騫 巍,劉莎莎,孫晶瑩
(中國電建集團海外投資有限公司,北京 100048)
當下,全球已經全面進入了大數據時代,期刊《Science》在2011年發表的《Dealing With Data》中深入討論了我們在數據洪流(data deluge,DD)中所面臨的挑戰,并指出人們在有效地組織和利用這些海量數據的基礎上,將會更好地利用科學技術,達到發揮推動社會發展的巨大作用[1]。
在我國,隨著云計算、大數據、物聯網、移動支付等新興技術的快速發展,以及智慧城市發展需求的提出,導致各種智能移動設備、傳感器、電子商務網站、社交網絡每時每刻都在產生結構各異的海量數據[2]。區別于傳統的數據組成,容量大、結構復雜的大數據背后隱藏著更多的知識與智慧,并為人類理解世界和社會提供了新的契機[3]。TB、PB級數據已成為常見數據規模,數據規模的幾何級增長遠遠超出了現有信息系統和傳統計算技術的計算能力,因此,尋找高效的大數據處理技術已經成為必要。將信號轉化為數據、將數據分析為信息、將信息提煉為知識、以知識促成決策和行動是大數據技術的根本驅動力[4]。
服務器是IT系統中的核心設備,服務器一旦出現故障,整個IT系統就會立馬癱瘓,因而做好服務器的安全防護部署十分必要[5]。而對于政府部門和企業來說,機密文件較多,信息存儲量大,日常運轉對于計算機系統的依賴性較強,做好服務器安全防護方面的工作顯得尤為重要。
隨著大數據時代的來臨,如何展示大數據分析挖掘得到的關鍵數據成為新的研究方向。可視化分析挖掘人類對于信息的認知能力與優勢,將人、機有機融合,借助人機交互高效洞悉大數據背后的信息與規律,是大數據分析的重要方法。人類從外界獲得的信息約有80%以上來自于視覺系統[6-7]。當大數據以直觀的可視化圖形方式展現時,利用人眼的感知能力可洞悉數據背后隱藏的信息,并可將其轉化為知識。
大數據服務器安全防護平臺是基于SaaS大數據分析平臺[8]DeepInsight進行開發、為內外網安全防護提供保障的可視化分析平臺。平臺能夠采集并存儲多種數據源,并對多種數據源進行處理和數據分析。該安全防護系統主要從資產、用戶、數據、服務四個方面為用戶提供多維度安全分析的平臺,以確保企業用戶對各類資源進行實時監控,并重點關注異常事件發展趨勢。
本系統是基于大數據服務器的安全防護平臺,為用戶提供了一體化、組件化、交互式、可視化、高可擴展性的開發環境。本系統能夠以資源、用戶、數據、服務安全分析對象,追溯目標實體發生的安全異常行為,便于用戶梳理安全事件線索,真正實現基于大數據服務器安全防護。
控制中心負責完成系統的各項配置工作,如數據管理、采集配置、權限管理等,保證系統的正常運營、數據采集、權限分配等。
管理維護主要分為資產維護、采集策略、過濾策略和性能監控4個子模塊。其中,資產維護模塊用于查看當前維護的資產情況,可通過增、刪、改、查對資產進行操作;采集策略模塊通過配置Kibana相關參數來采集不同種類的數據;過濾策略模塊通過配置Logstash過濾策略對采集到的數據進行規則篩選;性能監控模塊可用于實時監控Kibana、Logstash和Beats[9]的相關性能。
安全態勢主要有實時播報、拓撲展示和發展趨勢3個模塊。實時播報模塊主要展示異常事件表格數據,異常事件的類型主要分為4種:資產、用戶、數據、服務。異常事件數據的采集需要在采集策略中進行配置。實時播報可以設置查詢時間,也可以設置為自動刷新并設置刷新時間間隔,以實現實時滾動播報當前系統發生的安全異常時間。此外可以通過添加過濾條件或使用Lucene查詢語法進行更精確的查詢。
拓撲展示模塊主要用來展示各個地域以及地域內各資產之間相互連接的形式。默認按上一次保存布局的結果顯示拓撲結構。雙擊區域圖表可以展示該區域內的資產拓撲結構,資產名稱對應資產維護表中的用戶名和IP號。
發展趨勢模塊主要是針對安全異常趨勢進行分析,通過對資產、用戶、數據和服務的安全異常歷史數據進行分析,展示系統安全異常發展趨勢。其中,周期執行功能模塊可以定時查詢發展趨勢信息,周期時間類型支持日、時、分、秒4種類型;時間范圍數據查詢模塊可以查詢不同時間范圍內系統安全異常發展趨勢;資產、用戶、數據和服務異常事件統計模塊返回當前查詢時間范圍內對應異常事件類型的記錄數、當前查詢時間范圍內對應異常事件類型的記錄數與上一時間段異常記錄數的差值。資產、用戶、數據和服務異常趨勢展示模塊以時間軸的方式展示查詢時間范圍內各時間段資產、用戶、數據和服務異常事件變化的趨勢。資產、用戶、數據和服務類型事件Top5模塊主要是將查詢時間范圍內產生的4種異常事件按時間名稱進行分組,統計異常事件的數量和嚴重程度,并按嚴重程度和異常事件數量進行排序。嚴重程度高的、相同嚴重程度事件數量多的排在前面,最終以表格的形式進行展示。
資產包括企業IT環境中存在的網絡設備、網絡安全設備、服務器、臺式機、移動電腦等。資產安全異常是指在有形物理資產上發現的安全異常,如:資產是否存在安全漏洞;是否受到安全攻擊等。
系統提供Nessus系統漏洞掃描與分析工具,將采集到的系統漏洞數據寫入Logstash,并通過Kibana進行多維度可視化分析,最終將分析結果通過儀表盤統一展示。
用戶是指使用IT系統資源的企業員工、訪客等。用戶安全異常是指人在IT環境中操作所引起的安全異常,例如:用戶上網行為異常,頻繁訪問重點監控的招聘網站;開關機異常,在非正常工作時間開關機;違規使用移動存儲外設、無線網絡;已解雇人員有IT操作痕跡;某員工賬號存在異常大流量郵件傳輸等。
用戶安全目前只針對流量進行分析,能監控到訪問次數和訪問流量,并通過Kibana進行多維度可視化分析,最終將分析結果通過儀表盤統一展示。
關鍵服務是指企業IT系統對內或對外提供的核心服務,如Web服務、SVN代碼管理服務、關鍵數據庫服務等。關鍵服務異常分析包括服務保活監控;服務資源占用情況監控;服務性能統計分析;服務用戶操作行為審計等。
目前系統服務安全內容主要包括:故障預警趨勢、服務響應時間、服務在線情況、故障預警詳情。Heartbeat監控工具(服務響應時間、服務在線情況)將采集到的數據保存到Logstash中,并將Heartbeat采集到的異常數據再進行分析并保存,構成故障預警趨勢和故障預警詳情的數據源。在數據采集之后通過Kibana進行多維度可視化分析,最終將分析結果通過儀表盤統一展示。
服務安全模塊下的資源使用趨勢子模塊主要展示CPU使用率、內存使用率、磁盤使用率。服務器性能監控工具Metricbeat(監控內容:CPU使用率、內存使用率、磁盤使用率)采集資源使用趨勢數據。在數據采集之后通過Kibana進行多維度可視化分析,最終將分析結果通過儀表盤統一展示。
安全查詢主要由漏洞掃描、故障查詢和流量查詢3個模塊組成。
漏洞掃描模塊主要通過Nessus系統漏洞掃描與分析工具采集數據,系統每天會將采集到的系統漏洞數據寫入數據庫中。資產安全模塊下的系統脆弱性即是基于此結果進行的分析。漏洞掃描可以設置查詢時間,也可以設置為自動刷新并設置刷新時間間隔,以實現實時滾動播報當前查詢時間范圍內掃描到的系統漏洞。此外,可以通過添加過濾條件或使用Lucene查詢語法進行更精確的查詢。
故障查詢模塊主要由系統提供的服務預警數據采集功能采集數據,系統將采集到的服務故障預警數據寫入數據庫,此模塊直接讀取故障預警詳情表結果。故障查詢可以設置查詢時間,也可以設置為自動刷新并設置刷新時間間隔,以實現實時滾動播報當前查詢時間范圍內發生的故障預警信息以及故障處理情況。此外,還可以通過添加過濾條件或使用Lucene查詢語法進行更精確的查詢。
流量查詢模塊主要由系統提供的網絡流量監控工具采集數據,系統將采集到的流量監控數據寫入數據庫。用戶可以查看各主機流量訪問情況。流量查詢可以設置查詢時間,也可以設置為自動刷新并設置刷新時間間隔,以實現實時滾動播報當前查詢時間范圍內采集到各主機流量使用情況。此外可以通過添加過濾條件或使用Lucene查詢語法進行更精確的查詢。
大屏展示模塊主要用于查看各服務器流量訪問情況、異常報警情況、漏洞總數統計、各個正在使用中的服務器響應時間,它不僅可以通過拓撲更直觀地了解到所有虛擬機與所在服務器的連接關系,還可以通過拓撲了解到虛擬機以及物理機的在線情況和警報情況。
拓撲展示分為3個區域,分別為A城市一區、二區(DMZ區)以及B城市。
拓撲圖上有各個虛擬機以及物理機的分布情況,并可以通過拓撲連線關系,了解物理機與不同虛擬機的鏈接情況,清晰直觀地鎖定不同IP位置,同時,拓撲還具有告警展示的功能。機器報警時,拓撲圖上會展示警告數量在所報警區域的一期右上方,單擊告警機器時,還有觀看告警機器詳細報警的功能;另外,通過交互式平臺的拓撲展示頁面,還可以修改大屏展示中拓撲的連接情況。
企業大數據的應用為商業智能的發展注入了新的活力,助力企業基于SaaS大數據平臺的服務器安全防護可視化系統的設計與實現。可視化能夠有效地克服計算機自動化分析的劣勢與不足,整合計算機的分析能力和人們對信息的感知能力,利用認識理論、人機交互技術輔助人們直觀有效地洞悉大數據背后的信息,強調人類感知與計算機系統的深度耦合;構建結構化、非結構化、海量、空間4類數據資源關聯模型,推進四類數據中心的數據融合,實現業務對4類數據資源的綜合利用;把分散的異構數據進行整合,在自主可控、負載均衡的前提下,將數據資產化、可視化、共享化及云端化,構建企業大數據的生態圈。
在未來,企業基于SaaS大數據平臺,需建立一套具有可用性高、伸縮性強、提供數據內在關系和價值的數據挖掘分析系統,為企業的發展、業務決策提供便捷、快速和高效的平臺支撐。