■ 安徽省大數據中心 劉揚
編者按:本文在分析云中心架構、安全管理和安全運維需求的基礎上,設計了安徽省自然資源云中心安全態勢感知平臺,對網絡和設備運行狀況進行集中監測,數據匯總分析,安全事件識別報警,全方位提升安全防御能力。
安徽省自然資源廳于2018年5月份發布了《全省國土資源系統信息化提升行動計劃(2018-2020年)》,該計劃明確提出建設“自然資源云中心”:充分利用全省各級自然資源主管部門現有的軟硬件基礎設施,加快建設覆蓋全省,互聯互通,統籌利用,保障安全的“自然資源云中心”,為全省各級自然資源主管部門及政府部門的業務協同、數據共享和穩定運行提供支撐。按照統一的自然資源云平臺建設要求,積極推進廳直屬有關單位和市級自然資源主管部門云環境建設。
自然資源云中心雖然按照網絡安全等級保護三級標準建設,但現有的安全防御體系在技術上并不足以抵御千變萬化的網絡攻擊。本文在分析云中心架構、安全管理和安全運維需求的基礎上,設計了安徽省自然資源云中心安全態勢感知平臺,對網絡和設備運行狀況進行集中監測,數據匯總分析,安全事件識別報警,全方位提升安全防御能力。
省級自然資源云中心(包含省自然資源廳和地質資料館園區兩個節點)由16個市級自然資源云中心和部分省自然資源廳直屬單位云中心共同構成,通過自然資源業務專網結合NSX打通省市之間的網絡,實現省級云中心、市級云中心和廳直屬事業單位云中心的互聯互通。
自然資源云中心總體架構如圖1所示,省級云中心邏輯架構包括“四層三翼”。其中,“四層”包括Iaas基礎設施、Paas和DaaS、云管理平面、用戶使用平面。“三翼”包括自然資源信息化建設標準規范、信息安全保證體系和運維服務保障體系。
省級云計算中心分別與十六個市云計算中心和部分事業單位云計算中心對接,各市云中心與各縣區云中心進行對接。

圖1 自然資源云中心總體架構圖
隨著網絡應用規模和復雜度的不斷提高,自然資源云中心數據量急劇上升,網絡攻防對抗日趨激烈,內部新的安全問題開始顯現。
安全管理需求主要體現在:復雜的網絡環境讓安全工作無從下手;傳統安全技術對高級持續性威脅無能為力;圍墻式的防御體系不再適應當前的網絡環境等。
自然資源云中心需使用新的技術手段來掌控全局的安全態勢,從而優化安全運維過程,將網絡安全風險控制在合理的區間。
安全運維技術需求主要體現在廣泛的數據采集能力、可水平擴展的數據計算和存儲資源、流量的安全檢測、海量數據的計算與分析能力、自動化的告警響應處置、完善的工單處理系統以及安全態勢感知管理等七個方面。
自然資源云中心提供網絡、計算、存儲和安全等資源,用以搭建各自的業務系統。隨著系統資產的逐漸增多,梳理完善各資產信息顯得越來越重要。這些需求主要體現在資產管理、拓撲管理、漏洞管理及安全服務等四個方面。
安全態勢感知平臺總體技術框架如圖2所示,安全態勢感知平臺通過全流量檢測系統對互聯網、自然資源專網、重要信息系統等關鍵位置的網絡流量進行全面的安全檢測和數據采集;通過威脅情報云系統對互聯網、自然資源專網、重要信息系統的漏洞信息和情報數據進行掃描爬取、安全檢測;通過安全態勢感知子系統對安全要素進行呈現、分析以及預測未來的發展趨勢。
(1)資產風險普查子系統
利用具備主動探測發現無主資產和僵尸資產功能的資產掃描器,可以對資產進行全生命周期的管理。運維人員可針對目標站點主動下發資產探測任務,進行網絡主機探測和端口探測,得到服務器、中間件、Web 應用、端口服務及版本信息等數據信息,可以時刻了解主機、網絡設備、安全設備、數據庫、中間件及應用組件等資產是否正常運行,以及被開放的端口信息等。其主要功能包括:探測主機可用性;探測端口和服務可用性;定期探測,及時更新資產信息;實現網絡資產評估的周期性管理;子域名探測功能。

圖2 安全態勢感知平臺總體技術框架圖
(2)日志分析子系統
由于某些設備(如防火墻、入侵檢測系統和入侵防御系統)具有生成大量日志數據的EPS(每秒事件數),使得日志收集的工作量尤為龐大。
無論日志數據量和網絡中的設備數量如何,實時收集和處理日志數據要求機構具有強大的日志收集機制。日志分析模塊應具備日志收集功能,通過在目標設備上部署Agent收集設備日志,支持對任何安全設備的日志進行收集、過濾和分析,支持大量的數據獲取方法,并將其存儲供后期分析利用。用戶使用該模塊的日志收集功能統一收集分散的設備日志。具體收集的設備日志如下:
支持各類主流設備(包括主機、防火墻、路由器、交換機、入侵檢測與防御系統、KVM等);日志收集兼容的系統(Debian-32bit、Debian-64bit、Redhat-32bit、Red hat-64bit、Linux-32bit、Linux-64bit、MAC、Windows-32bit、Windows-64bit等);日志收集兼容的數據庫(Aerospike、Ceph、Couch base、Redis、MySQL、etcd、HAProxy等);日志收集兼容的應用服務(Docker、Dropwizard、EnvoyProxy、Graphite、HTTP、Kafka、Jolokia、Kubernetes、IIS、Nginx、Apache 2等)。
(3)APT全流量威脅檢測子系統
APT(高級持續性威脅)全流量威脅檢測子系統通過實時分析網絡全流量,結合威脅情報數據及網絡行為分析技術,深度檢測所有可疑活動。
文件檢測采用全面沙箱分析,通過在沙箱(Sandbox)中運行(行為激活/內容“引爆”)各種文件,分析文件行為,識別出未知威脅。網絡檢測與文件檢測同步進行,采用情報共享機制,構筑檢測生態圈,準確、快速地掌握攻擊鏈條,以便進一步采取相關措施。APT全流量威脅檢測系統具有如下功能。
網絡異常行為檢測技術:識別豐富的網絡應用層協議,通過協議分析、網絡異常行為模式匹配等檢測技術快速鑒別出C&C通訊、DGA惡意域名、DDoS攻擊、SSH/FTP暴力破解、SQL注入、DNS/ARP污染、漏洞掃描和漏洞攻擊等網絡惡意行為。
基因圖譜檢測技術:結合機器學習/深度學習、圖像分析技術,將惡意代碼映射為灰度圖像,建立卷積神經元網絡CNN深度學習模型,利用惡意代碼家族灰度圖像集合訓練卷積神經元網絡,并建立檢測模型,利用檢測模型對惡意代碼及其變種進行家族檢測。而且,該方法能夠有效地檢測使用特定封裝工具打包(加殼)的惡意代碼。
全面的已知和未知威脅檢測:通過內置的下一代入侵檢測引擎,Multi-AV防病毒引擎和威脅情報檢測技術對已知威脅進行靜態檢測;通過基因檢測技術對惡意代碼的變種進行檢測,通過對惡意代碼在沙箱中的主機行為和網絡行為進行深入分析,對未知威脅進行檢測。
溯源取證能力:支持解析并存儲HTTP、DNS、FTP、SMTP等幾十種協議的元數據,具有完整的追溯取證能力。通過可視化操作,該能力可定位攻擊者,并定位出攻擊者的IP、MAC、攻擊方式、攻擊協議以及攻擊目標等詳細信息。
(4)威脅情報云子系統
威脅情報能夠提供關于某攻擊事件或黑客組織的重要特點與關鍵信息,為安全管理人員的安全防御決策和安全策略制定提供重要的參考,并促進安全事件的快速預警與響應。
高質量的威脅情報可以大幅度地提升檢測、分析和應急響應效率,進而改變攻防態勢。威脅情報云子系統主要包括以下幾個方面。
IP情報數據:將網絡中的IP信息進行收集分析,并及時下發至各個組件,使得各個組件能及時提取相關的威脅情報。
域名情報數據:主要包括URL信譽檢測、域名注冊信息、網頁病毒/掛馬情報、網頁暗鏈/Shellcode檢測情報、可視化分析等。
文件情報數據:通過黑白名單、反病毒引擎、基因圖譜檢測以及沙箱行為等方式檢測出的惡意文件情報發送至威脅情報系統,以各種形式發送到各個組件,及時升級威脅庫。
漏洞情報數據:通過將任何CVE漏洞提交到威脅情報云中進行檢測查詢,獲得包括該漏洞公布時間、修改時間、漏洞系統評分以及詳細報告等詳細信息。
(5)大數據安全態勢子系統
基于海量的網絡安全數據、主機安全數據、威脅情報數據及其他安全數據,采用實時大數據處理引擎和批量大數據處理引擎,并結合機器學習、深度學習等技術,對整體網絡安全態勢進行全面的呈現、分析及預測,為大范圍的預警和響應提供決策支持。
數據預處理:海量的原始數據中存在著大量的不完整(有缺失值)、不一致、有異常的數據,嚴重影響到數據挖掘建模的執行效率。數據預處理主要過程包括數據清洗、數據集成、數據規約和數據變換等。
數據存儲:大數據往往是半結構化和非結構化數據為主,結構化數據為輔,而且各種大數據應用通常是對不同類型的數據內容檢索、交叉比對、深度挖掘與綜合分析。存儲對象主要包括結構化數據、索引數據和圖數據等。
實時流式計算引擎:對于延遲需求很高的純粹的流處理工作負載,Storm是最適合的技術。該技術可以保證每條消息都被處理,可配合多種編程語言使用。如果對嚴格的一次處理保證有比較高的要求,此時使用Trident。
實時關聯分析引擎:對威脅情報、掃描探測、DDoS攻擊、入侵攻擊、Web攻擊、漏洞攻擊、失陷主機、隱蔽通道數據外泄、異常流量、異常行為、僵尸木馬(DGA機器學習+特征檢測)、蠕蟲病毒(基于蠕蟲病毒的網絡行為檢測)等信息進行置信度關聯分析。
離線數據分析引擎:使用HDFS存儲技術,針對數據量巨大且保存時間長的相關信息,采用離線方式進行數據分析。
機器學習引擎:通過數據標注、特征工程、數據建模等技術,對完成學習和訓練階段的工作,就可以進入檢測階段,在實際應用中發揮作用。
態勢感知引擎:基于海量網絡安全數據、主機安全數據、威脅情報數據及其他安全數據,采用實時大數據和批量大數據處理引擎,并結合機器學習、深度學習等技術,對整體網絡安全態勢進行全面的呈現、分析及預測,為大范圍的預警和響應提供決策支持。
追溯取證模塊:從多角度重組完整的會話信息,多維度展示網絡中的流量組成和網絡行為。該模塊提供端到端的全流量行為和性能的可視化分析能力,并定位出攻擊者的IP及MAC的攻擊方式、攻擊協議以及攻擊目標。
本文在介紹全省自然資源云中心架構、分析面臨的安全需求的基礎上,有針對性的提出了安全態勢感知平臺框架,設計了資產風險普查、日志分析、APT全流量威脅檢測、威脅情報云、大數據安全態勢等五個子系統。
下一步,在平臺建成后使用的過程中,可通過引入安全運維服務,提供日常告警處置、定期統計報告、流量分析、安全規則調優等工作,形成工作閉環,進一步提升自然資源云中心安全運營的工作效率。