工控系統安全監測及溯源系統的設計與實現*

張 玫，曾 彬，朱成威

(1.中南林業科技大學，湖南 長沙 410000；2.湖南友道信息技術有限公司，湖南 長沙 410000; 3.中國科學院深海科學與工程研究所，海南 三亞 572000)

0 引言

隨著工業網絡的融合發展，工業控制系統(Industrial Control System， ICS)面臨的安全形式愈發嚴峻，用戶遭受的網絡攻擊越來越復雜和隱蔽[1-2]。ICS逐步由物理隔離的封閉網絡系統實現與IP/IT網絡融合，在提升效率的同時，也會造成傳統的IP/IT系統攻擊行為滲透到工控網絡中來，使得工業協議漏洞和工業系統威脅來源日益增加[3-4]。另一方面，由于ICS工業通信協議相對簡單、操作系統和軟件缺乏安全性，這些漏洞很容易受到攻擊[5-6]。傳統以“防護”為主的安全體系面臨極大挑戰：各種檢測技術從不同的角度發現網絡中可能存在的安全問題，但無法準確和有效地找出工控網絡中存在的真實威脅，對工業生產系統的通信行為、工控協議漏洞、異常事件的捕捉、數據的真實性、完整性進行有效監控與溯源分析是非常必要的[7-9]。

1 相關工作

針對工控系統面臨的網絡安全風險與挑戰，歐美等發達國家在技術標準、搭建攻防實驗室等方面都加大了投入，比如在 2014年由美國能源部、美國愛荷達國家實驗室和Nexdefense公司聯合開發的工業異常檢測系統(Sophia)正式被宣布為商業化產品[10]。在國家政策的扶持下，我國的工控安全廠商在工控安全領域也取得了不錯的進展，但是就對工控網絡的整體防護技術而言，和西方發達國家還有一定的差距。常見工控安全監測分析技術手段主要包括三種：

圖1 系統整體架構圖

圖2 智能采集探針功能模塊框架圖

(1)基于特征庫匹配，通過對工控網絡中傳輸數據與所積累入侵模型進行對比，如具有一致性則判斷為入侵行為從而產生報警；

(3)基于工控協議解析，針對OPC、S7、Modbus等主流工控協議進行深度解析還原，發現存在的安全漏洞[11-14]。

總體說來，已有的工控安全監測分析系統，對工業威脅情報的理解、分析和感知能力不足，具體表現為：對工控協議的支持不足；缺少工控安全事件的歸一化能力；缺少機器學習等智能算法的理解、分析和關聯能力，無法實現工控網絡安全態勢的多維感知和預測等。

2 系統設計

系統采用全新的分布式協同測量體系架構，支持虛擬化部署與分權分域部署。系統基于“分布式部署、集中化管理”的設計理念，安裝部署簡單，只在需要監控的網絡鏈路中部署分布式智能探針，用于網絡流量的采集和預處理，單臺探針也能同時監測多條鏈路。

2.1 系統組成

系統采用前端分布式監測采集(智能采集探針)與后臺集中式綜合分析(數據分析中心)的系統結構，充分發揮網絡監測探針強大的數據采集、存儲與分析能力，提供數據平面與控制平面全面的監控指標與可視化分析。系統整體架構如圖1所示。

智能采集探針工作在設備層、數據采集層；數據分析中心工作在分析調度層和交互層。設備層主要用來對鏈路進行監控，可監控鏈路層和網絡層的流量、應用層協議和鏈路上的硬件設備；數據采集層采集鏈路設備上的數據，支持采集流量、設備、會話、業務、性能、安全等多元網絡數據，將采集到的數據經過格式化處理后進行存儲；分析調度層進行智能關聯分析，包括多維度流量透視、協議健康度評價、攻擊檢測與分析、安全事件回溯、綜合態勢感知等；交互層提供可視化的管理功能，實現探針管理、策略管理和數據輸入輸出管理。

數據分析中心子系統統一管理與控制各分布式探針，以輪詢方式或接收主動匯報方式采集探針的指標數據，采用B/S方式為用戶提供操作界面，提供工控安全事件檢測、安全態勢感知、流量跟蹤溯源、業務健康度分析、故障預警告警與趨勢分析等功能，為工業網絡運行維護、規劃設計、業務部署、協議研究與設備研發提供網絡運行實際數據。

2.2 智能采集探針設計

探針通過鏡像或分光方式全量捕獲流量，這種非侵入式被動監測方式不對工業生產造成影響。除了底層物理層協議的不同之外，上層從IP層開始，所有處理方式類似。不同接口采用不同監測分析板卡實現，如圖2所示。將數據包采集、轉發與深度分析相分離，專用板卡在收到數據包后立即轉發以保證低延遲的同時，通過與主機CPU共享獨占內存單元的方式依指定規則將不同組別的數據包HASH到不同的CPU上去。系統利用多核特性并行處理和分析每一個數據包、每一條流、每一次業務流程，可以廣泛關聯，使得充分的帶寬關懷與凈化策略擴展成為可能，從包、流、會話、文件、協議元數據、網絡行為、文件行為等多個層次進行檢測，獲得威脅信譽、威脅名稱、核心行為等多維度信息，包括指令級的工業控制協議通信記錄。

現在產業需求側需要的人才不僅是掌握一定理論基礎，更要有較強實踐操作技能，這樣的人才炙手可熱。面對產業需求側的需求變化，以培養技能型人才為目標的職業院校，必須突出實踐教學，加大課程改革力度，降低理論知識要求，提高實踐技能要求，滿足產業需求側的需要。

圖4 工控安全監測及溯源系統部署場景

探針系統采用深度包檢測技術、Suricata+PF_RING技術，對大流量、高并發網絡進行全流量采集和初步分析，如圖3所示。PF_RING技術用于數據采集處理捕包過程中減少硬件和操作系統的中斷次數和內存在內核空間與用戶空間之間的拷貝次數，提升網絡流量數據的采集性能，Suricata可以對捕獲的數據包進行重組，過濾和初步分析，并將分析結果封裝成消息數據后傳輸給數據分析處理模塊。數據分析處理模塊基于協議指紋特征進行流量樣本庫的建立，與系統累積的事件規則標識匹配。未標記的流量數據，運用改進的半監督聚類算法建立工控系統數據報文分析模型，在原有的事件規則匹配庫的基礎上制定實時檢測規則。實時檢測根據制定的檢測分析規則對實時數據進行在線匹配，輸出結果。

圖3 探針數據處理技術模型圖

2.3 系統部署

系統提供工業以太網各種監測接口，探針可以部署于生產單位網絡出入口、網絡骨干、匯聚或接入層以及工控生產現場各層，接受數據分析中心的監控配置信息，采集實施數據，監測待測鏈路與設備的狀態、安全事件、業務、性能與流量等。在工控網絡環境中以SCADA(Supervisory Control And Data Acquisition) 網絡為例，工控安全監測及溯源系統的典型部署如圖4所示。首先，把“數據采集探針”部署在站控層的匯聚交換機旁，通過端口鏡像方式復制該工業以太網中的通訊報文。“工控安全監測及溯源管理分析平臺”部署在控制中心，以B/S方式實現對“數據采集探針”的遠程集中管理和數據綜合分析。

通過對站控層網絡通信報文的全流量采集分析，實現對工控指令攻擊、攻擊參數篡改、誤操作、違規行為、非法設備接入、工程師站組態變更、操作指令變更、PLC下裝、負載變更等行為進行實時檢測，對端口掃描、代碼溢出、木馬病毒、蠕蟲、系統漏洞等攻擊的檢測和溯源。

3 關鍵技術

3.1 工控系統的協議深度解析分析

各種工控專用協議的精確深度解析非常具有挑戰性，僅采用單一的協議解析方法具有諸多限制，很難保證工控網絡中主流或私有協議的準確識別；而且現有的相當一部分流量識別方法僅僅是面向了離線識別的應用，而不能滿足在線識別的要求。系統綜合采用特征串匹配、協議特征分析、業務行為統計特征、流關聯和機器學習等多種技術，針對Modbus TCP、DNP3、Profinet、OPC、S7、IEC等主流工控協議進行特征提取和過程還原。并且通過應用層業務識別描述語言解釋器，既實現對典型應用層業務的識別，又可擁有對新出現和工控領域中專屬業務識別的擴展能力。應用層業務識別描述語言采用類XML的形式，定義了一套靈活、方便的協議識別規則描述方法，可實現對2～7層各類協議的規范化描述。在識別模塊中主要完成識別引擎(完成具體識別的過程)和識別規則管理兩部分的功能。識別引擎如圖5所示。

圖5 工控協議識別引擎

3.2 工控網絡異構安全告警挖掘、關聯引擎

在流量行為分析的基礎上，結合持流量、性能、威脅情報、設備等結構化及非結構化數據的關聯建模分析技術，實現網絡安全態勢可視化與有效防護。如圖6所示，在kill chain等相關研究的基礎上，把網絡入侵的行為劃分為3個步驟，7個階段。并基于劃分，對收到的海量告警信息進行拆分和關聯，設計和開發了異構數據源的告警挖掘、關聯分析引擎，支持對IDS、防火墻、漏掃業務產生的日志進行關聯分析。采用關聯分析、時序模式分析、聚類分析法等方法對告警數據進行關聯處理。比如對網絡的流量大小、業務分布、端口情況等進行建模，當發現網絡中的流量分布和正常流量存在偏差時，通過異常流流量和kill chain確認階段的告警信息，對模型的差異進行分析，可以確認設備已經感染木馬或者蠕蟲等惡意程序。

圖6 基于工業互聯網的kill chain關聯引擎

3.3 海量原始數據的存儲回溯方案

系統支持200多類工控網絡常用運維協議識別、深度解碼分析與長時間存儲，便于安全事件的調查取證。同時具備快速的數據檢索回放能力，能夠方便回查歷史業務流量的原始數據。

數據來源包括網絡流量、app數據、數據文件、網絡日志、第三方數據、DDoS攻擊、蠕蟲、木馬、海量安全事件日志、指紋終端、物聯網終端、資產數據、其他數據等。

采集器實現全網實時流量數據捕獲，采集數據的速度與數據處理速度不一定同步，因此添加Kafka作為數據緩存層。

離線批處理模塊訂閱Kafka中的流數據，使用SparkSQL、Spark MLlib、MapReduce對數據進行深度挖掘、數據聚合、攻擊溯源、熱點統計、用戶統計、用戶畫像分析，對分析后的數據定期存入數據庫。

實時在線處理模塊SparkStreaming訂閱Kafka中的流數據，結合預處理集群，對實時數據實現在線實時分析，多維度擴維、異常告警、異常行為等數據，分析到的實時流數據、熱點數據、用戶數等數據可緩存Redis,供界面展示或者第三方接口調用，同時可將擴維、異常等數據存放數據庫。

MySQL存儲基礎數據,如匯聚后的匯總數據、基礎配置數據等；Hbase存儲海量實時數據、匯聚數據、溯源攻擊數據；HDFS存儲歷史流量數據、原始數據包等；Redis存儲熱點數據、用戶數等數據。

MQ+實時告警分析模塊從實時在線處理模塊獲取實時流記錄匹配告警規則產生實時告警數據推送至MQ供Web進行展示。根據不同客戶對不同數據源的需要，可以在不同的節點提供接口分享數據。圖7為大數據存儲回溯解決方案。

4 系統實現與應用

以某廠實際部署的工控網絡安全態監測分析及溯源系統為例，含工控探針2臺，互聯網探針1臺，數據管理分析中心1臺。在數據管理分析中心的展示界面，既可以分工控探針、互聯網探針查看流量數據的安全及訪問狀態，也可以一起查看所有探針的數據。通過該系統的部署，從全網安全態勢感知、工控安全檢測、工控流量分析、關鍵事件檢測、數據溯源分析、指紋識別和無損探測、威脅文件還原、工控安全反制、告警等方面實現對生產流程的全方位管控，保障單位生產的正常運行。

支持對OPC、Siemens S7、Modbus、IEC104、Omron FINS、DNP3等主流工控協的精準識別與流量成分及流向分析，展示各終端設備的網絡通信軌跡與狀態。

通過全流程檢測，對工控指令攻擊、攻擊參數篡改、PLC下裝、誤操作、操作指令變更、違規行為、非法設備接入、工程師站組態變更、負載變更等行為進行記錄和存儲，用于后續工控操作行為與違規事件的事后分析。

圖7 多元海量監測原始數據存儲回溯方案

可對異常工控協議報文進行匹配檢測，并定位其中攻擊行為，對安全隱患進行直觀的分析，能夠對網絡安全告警流量從被攻擊分析與攻擊分析兩個角度查看，支持任意維度(如告警類型、告警信息、目標國家、目標城市、協議、源地址、目的地址、嫌疑犯用戶組、嚴重等級)多層次按順序關聯分析，同時可以其中任一個維度作為起點并在其中間任意游走，支持多維度的Drill-Down分析，并且可以查看告警事件趨勢、事件數目、流量狀態等詳情。可以對告警來源、目的、安全網關、協議、類型以及告警級別內容進一步地分析、展示。同時，系統內置31 000+安全規則庫，提供全局數據安全檢測分析，包括對工控指令攻擊、病毒、木馬、攻擊參數篡改等攻擊行為。

保存所有終端設備的會話記錄，支持原始數據報文保存，可對歷史數據包回溯，可按照時間、IP、端口、協議等多條件查找歷史會話和數據包，可查看每一條會話記錄的原始數據包交互信息、各層協議解碼信息。支持擴展對安全設備及網絡設備日志進行采集和檢索，便于日后對于各類安全、生產事件的回溯取證。

通過主動掃描探測與指紋特征提取技術，展示當前工控設備與資產的現狀與存在的漏洞，如基礎的DCS、PLC、SCADA設備等(首頁展示，國際流量交互情況，識別本廠、本省網絡工控設備)。主動探測掃描信息，包括IP、端口、區域位置、版本、協議名稱、廠商、PLC名稱、模塊名稱、模塊序列號、模塊類型名稱等內容。

支持對文本、圖片、音視頻、可執行文件、壓縮包等基于HTTP/FTP/郵件等協議傳輸的各類型文件進行還原，支持被還原文件下載查看，并且要支持對威脅文件(如exe、dll等文件類型)數據報文檢測、捕獲并還原威脅文件，如圖8所示。

當系統通過檢測分析手段發現工控網絡存在異常風險時，支持對異常行為、攻擊行為進行反制。具體手段包括防火墻實時策略、接入系統聯動、流量反制、DoS反制。

5 結論

本文結合深度數據包檢測、攻擊特征匹配、協議識別、網絡行為學等多種技術手段，實現在工控網絡中的高性能數據包采集和智能分析。通過分布式部署在網絡關鍵節點的探針，實時全量捕獲數據包級工控網絡通信流量，能提供最精確、最全面的網絡流量、安全、性能、業務等統計數據，達到對工控系統任何時間任何地點的可視性監視，為故障快速排除、事故調查追責提供原始數據支撐與關鍵指標的深度挖掘。

圖8 威脅文件還原