大數據安全技術研究

李艷華

（北京賽迪時代信息產業股份有限公司，北京 100080）

1 引言

隨著信息技術的飛速發展，內網、外網以及互聯網等各種形式的網絡將社會的各個領域連接起來，數據的大規模生產、共享和應用的大數據時代已經到來。大數據由于其多元化的來源、異構化的體系、分布式的時空狀態等多層面、復雜化的狀況，產生了獨特的體系結構，在推動存儲、網絡和計算機技術發展的同時，也帶來了新的安全問題、安全機遇和挑戰。

2 大數據發展帶來新的安全挑戰和機遇

2.1 大數據技術發展給安全帶來極大挑戰

（1）海量數據使得安全管理的難度顯著增加。一方面，大量的數據集中存儲在一個物理位置或同一個邏輯地址，增加了泄漏的風險，黑客的成功攻擊可以獲得比以往任何時候更多的數據，幾乎降低了黑客的攻擊成本，增加了攻擊收益。另一方面，海量數據的收集可能包含更復雜、更敏感和更有價值的數據，這將吸引更多潛在的攻擊者。

（2）大數據的多樣性和復雜性使得驗證信息是否有效的工作變得更加困難。在大數據時代，數據來自多維空間，不再局限于特定的數據采集模式。不僅需要鑒別不斷增加的數據是否真實、可靠、有效、大量重復。對于如何區分數據是否具有時效性、可提取特征或統計意義，也是一個棘手的問題。

（3）低密度值分布數據使得大型信息系統必須擴大邊界安全和防護范圍。一方面，大量的數據被混合在一起，其中包括大量的業務操作數據、客戶信息、個人隱私和各種行為的詳細記錄。不同類型的數據通過不同的采集渠道經過不同方式的數據清洗和處理，按照不同的結構存儲在不同類型的介質上，其安全需求的多樣性和復雜性顯而易見。另一方面，由于一些敏感數據的所有權和使用權沒有明確界定，許多大型基于數據的分析沒有考慮到涉及的隱私問題，導致個人信息保護堪憂。最后，大數據給數據完整性和可用性帶來了挑戰，在防止數據丟失、被篡改、被盜、濫用和銷毀等方面存在新的技術困難，許多傳統的安全工具在大數據安全面前都顯得無能為力。

2.2 大數據技術應用提升安全保障能力

大數據技術也為數據安全的發展提供了新的機會，為安全分析提供了新的可能性。

一是大數據技術可以應用在對A P T攻擊檢測上。相對于傳統威脅，A P T攻擊具有特定目標、隱蔽性強、破壞力大、持續時間長的特點。目前，A P T攻擊檢測主要集中在三個方面：惡意代碼檢測、主機應用保護和網絡入侵檢測。通過大數據技術，可以獲得全方位的數據，對不同階段的安全威脅進行感知；同時，大數據技術可以實現全流量分析，并發現異常情況。基于大數據分析的防A P T產品可以對企業內部的網絡進行全流量鏡像偵聽，通過存儲和分析流量數據，發現異常的數據行為，探測A P T攻擊，并根據這些數據對APT攻擊進行溯源。

二是大數據技術可以應用在態勢感知上。網絡態勢感知能夠獲取、理解、顯示和預測在大規模網絡環境下導致網絡態勢變化的安全要素。基于大數據技術的網絡安全態勢感知，可以存儲諸多網絡探針獲取的數據，并基于數據挖掘技術，從海量數據中挖掘出有用的數據信息。隨著網絡規模的擴大和網絡攻擊復雜性的增加，網絡態勢感知數據量會進一步擴大，此時只有應用大數據技術才能處理海量數據，理解并預測網絡安全態勢。

三是大數據技術可以應用在終端防護、特種木馬防范等信息安全技術領域中。現今，惡意代碼的變種總數已經達到千萬級，而有效的樣本數則達到了數以億計。在這一前提下，只有應用大數據技術，才能實現全樣本分析，繪制成圖譜。二十年前，在移動方向上信息安全行業每投入兩個工程師只能分析出九個病毒，而隨著手機惡意代碼的不斷發展，到了2014年，只需投入十五個工程師就可分析出一百三十萬種手機病毒。這正是通過有效地引入了相應的自動分析處理技術和大數據方法，才讓海量樣本分析成為了可能。

3 大數據安全發展需求

3.1 大數據環境下預警和應急處置能力急需提升

當前，大數據產業涉及的數據范圍更廣、形式更多元化，近年來大數據市場一直以高增速擴大規模。在諸如醫療、銀行和金融業、社交網絡、公共安全、通信、基礎科學研究等領域，大數據都發揮著至關重要的作用。

現階段，我國互聯網迅速發展，新技術得到快速應用的同時，也給數字化、網絡化違法犯罪提供了全新途徑，各類新型網絡犯罪、社會公共安全事件呈加速增長態勢，并且手段隱蔽、影響廣泛、后果嚴重、難以防范。面對上述趨勢，相應的網絡預警及防控機制有待進一步提高和完善，現有的技術手段難以應對新型網絡違法犯罪及危害社會公共的安全事件。由于缺乏有效的預警機制，各方感知的信息難以被快速匯聚和充分利用，使防控難度不斷加大。此外，預警規則設置、數據源可信驗證等技術還需進一步加大研究力度。

應急處置方面，由于傳統的檢測是基于單個時間點的威脅特征進行實時匹配檢測，大數據已逐漸成為高級可持續攻擊的載體，先進的可持續攻擊是一個實現過程，沒有明顯的實時檢測特征，無法實時檢測。另外，大數據的價值密度很低，安全分析工具很難把重點放在價值點上。黑客可以在大數據中隱藏攻擊，這使得安全服務提供商很難分析安全事件。針對此類攻擊行為，上下聯動的應急響應體系有待進一步完善。相應地，大數據系統風險評估、數據安全態勢感知等核心關鍵技術還需突破。

3.2 大數據環境下數據安全保護技術急需突破

當前，數據安全已成為各行業和企業的最基本需求。由于大數據量大、類型復雜、價值密度低、分布式處理速度快，大數據也面臨著前所未有的數據安全威脅和挑戰。隨著大數據的使用規模和領域的擴大，大數據的安全威脅也將完全輻射到各種行業。比如，2018年發生的Facebook數據泄露事件，Facebook以50億美元代價與美國FTC和解。而IBM的年度數據泄露研究表明，數據泄露的成本包括調查取證、訴訟賠償、損失控制和修復等多種相關費用，從全球范圍來看，平均成本高達392萬美元。大數據基礎設施是大數據安全運行的基礎，攻擊者可以通過非授權訪問大數據的基礎設施，在傳輸過程中破壞數據完整性、竊取信息、發動拒絕服務攻擊、傳播網絡病毒等方式對大數據基礎設施實施破壞。因此，大流量數據安全傳輸、非關系型數據庫存儲安全、非結構數據動態脫敏、數據防泄漏等核心關鍵技術急需突破。

3.3 大數據環境下安全監測分析能力急需提高

大數據環境下，數據在采集、傳輸、存儲、處理等各環節存在大量的隱患，很多環節直接導致了信息的泄露，而這與我國大數據環境下的系統安全監測能力不足有著直接關系。現階段，安全監測產品還無法滿足大數據環境下的穩定性要求，隨著監測系統規模和復雜性的增加，系統的不確定因素也在增加，對穩定性帶來了更多挑戰。同時，監測系統對可用性的要求也很高，即監控要接近準實時或實時，這也是需要特別關注的重要方面。大數據環境下的系統安全監測活動對監測產品的吞吐量要求也更高，但現階段產品的吞吐量還顯然不足，甚至在量級上還不完全適用于大數據環境。

大數據環境下的系統安全監測活動對監測產品的監測技術也提出了更新要求。目前，監測的產品包括旁路監測技術、流量監測等，但是面對數據龐大的大數據，這些技術在應用時可能存在網絡消耗大、產品性能不達標等問題。因此，當前亟需對監測技術進行優化，以保證大數據環境下的監測活動易于實現。

4 對策建議

圍繞“保護大數據安全”和“提升大數據系統安全防護能力”兩個核心問題，建議在大數據安全保護、大數據系統安全評估兩個方向進行深化研究，具體可在數據源的可信驗證、非關系型數據庫的存儲安全和非結構數據的動態脫敏，以及大數據系統的安全監測、可信免疫技術、智能攻防技術等方向展開。

4.1 大數據安全保護技術

大數據安全保護技術主要可以從數據源可信驗證、非關系型數據庫存儲安全和非結構數據動態脫敏三個方面來考慮。

（1）研究數據源可信驗證技術，從數據源頭上實現安全防控

一是進行數據源共享安全脆弱性分析。研究數字簽名和校驗、異構網絡傳輸所帶來的數據源可信驗證開銷問題；研究各數據源不同的安全機制之間的互聯互操作問題；研究不同服務之間的協作帶來的新的安全問題。二是建立數據源可信驗證模型。建立數據源可信驗證模型，設計可行、可靠的源驗證方案，滿足數據源訪問者身份合法性、消息傳遞路徑可靠性等驗證需求。三是研究身份認證技術。研究大數據環境下的身份認證技術，設計滿足大數據環境認證需求的身份認證框架以及高效身份認證協議，提高身份認證效率，實現數據中心內、跨數據中心的身份認證。四是開展服務調用認證技術研究。開展研究服務調用認證技術，設計服務調用認證框架和服務調用認證協議，滿足數據源共享實體認證、消息源不可偽造、傳遞路徑可鑒別、傳遞信息不可篡改等要求。五是發展數據源異常檢測技術。建立數據源異常檢測模型，實現數據源訪問用戶身份仿冒、數據內容篡改、通信傳輸劫持、訪問權限變更、服務調用失常等異常情況的快速檢測和溯源跟蹤。

（2）研究非關系型數據庫存儲安全技術，打造安全的數據港灣

一是研究敏感數據分級保護與加解密技術。根據數據的不同敏感等級及保護粒度要求，研究對用戶透明的文件系統加解密、數據管理系統加解密及客戶端加解密三種數據保護技術。研究面向非關系型數據的高效加解密算法，滿足海量非關系型數據存儲安全性與可用性的需求。二是研究細粒度的一體化數據安全訪問技術。重點研究一體化的數據安全訪問技術，實現上層應用和下層存儲的解耦，以提供跨組件的可復用數據模型為研究手段，來支持行和列級別細粒度的角色訪問控制。

（3）研究非結構數據動態脫敏技術，保障數據的合規使用

首先，根據數據的特點、敏感特征以及敏感等級等要求，研究非結構化數據文件類型特點、敏感特征類型以及敏感等級，深入研究脫敏規則形成技術。一是對文本類別進行聚類和分類處理。二是基于音視頻關鍵幀匹配發現技術，對音視頻數據進行分類和敏感數據發現處理。在敏感信息的特性基礎上，對分類后的數據形成一定結構的脫敏規則。

其次，根據敏感特征以及相互組合關系，研究海量數據中如何高速匹配檢索的全文檢索技術。以一定算法為基礎，結合特定的脫敏規則，對全文進行關鍵詞匹配，尋找敏感信息。結合關鍵詞規則表達式的處理方式體現了脫敏規則，可構建高速全文搜索引擎。

再次，根據敏感特征以及需要保留的耦合關系，研究屏蔽加密敏感特征數據技術。以一定加密算法為基礎，結合需要屏蔽的加密數據本身，以及相關的位置信息、耦合關系等，生成相關的加密屏蔽的隱含信息，用以覆蓋原始的敏感數據。

4.2 大數據系統安全評估技術

大數據的安全主要由數據本身的安全和數據所處的系統平臺兩個方面安全構成，本節將主要闡述大數據系統的安全風險評估技術。建議主要從軟件系統漏洞分析、大數據系統風險評估、大數據系統安全監測、智能攻防、可信免疫五個方面的技術來考慮。

（1）研究軟件系統漏洞分析技術，發現復雜網絡環境下的安全隱患

從正面的漏洞分析和逆向的后門檢測兩個方面來研究軟件系統漏洞分析技術。一是研究面向大數據系統及應用軟件的代碼預處理技術、面向大數據的靜態缺陷分析技術和面向大數據的動態漏洞分析技術。二是開展針對大數據產品的深度檢測和后門分析研究，構建接近于真實的網絡流量和攻擊特征，用于激發潛在的未聲明功能，通過安全測試發現產品在面對復雜網絡環境時可能出現的安全隱患。

（2）研究大數據系統風險評估技術，建設完備的安全風險評估體系

大數據系統安全風險評估的第一步就是要形成面向大數據系統的安全風險評估方法、流程、核心技術，建設完備的大數據系統安全風險評估體系。大數據系統風險評估的一個重要內容是大數據環境下公民個人信息泄露風險評估技術，涵蓋大數據環境下多類型數據融合、多源數據支撐的目標對象跟蹤、公民個人信息泄露風險評估體系等內容。而基于威脅大數據的網絡威脅交換聯動技術作為大數據風險評估體系的技術基礎，旨在形成具有安全威脅數據交換聯動機制的動態安全監測體系，為大數據平臺和信息系統的動態安全防護提供支撐。

（3）研究大數據系統安全監測技術，利用大數據自身的特點實現對行為和現象的多重分析

大數據環境下系統的安全監測，需要利用大數據技術進行分析和利用，因此大數據管理能力成為了安全感知的基礎，大數據分析能力成為了安全感知的關鍵。可著重于五方面的研究。第一，專用的虛擬化系統和網絡流量監測技術；第二，可編排的安全大數據自動匯聚技術；第三，威脅信息的自動化畫像技術，實現對多文件（載荷）、網絡行為、C2和其他IOC信標的深度分析和多向量提取；第四，可編排的處置策略統一生成、及自動定向下發技術。基于威脅畫像信息和匯聚的安全大數據，研究快速生產增強檢測策略的技術，實現對流量行為、系統行為、文件對象等檢測和識別策略的統一生產；第五，基于大數據分析和機器學習技術。累積惡意代碼畫像的數據，通過大數據分析和機器學習的方法，實現對未知代碼樣本的檢測和判定方法，研究在海量流量行為和系統行為中發現異常行為和潛在威脅的方法。

（4） 研究智能攻防技術，提升網絡防御工作的基礎能力

隨著大數據和人工智能技術的發展，入侵技術自動化、智能化和多樣化程度越來越高，嚴重影響了信息安全，做好網絡安全防御工作刻不容緩。建議重點研究三方向技術。

一是基于人工智能的漏洞分析和修正推理算法研究，通過分析人工的漏洞和修正的工作過程，提煉出共性的工作流程，并推導出人工智能的推理算法和邏輯從而形成推理知識庫，以便于實現自動化攻防工具的設計和開發。二是基于人工智能的攻防自動化分析工具原型研制。建議通過持續跟蹤國際最先進的自動化攻防技術的發展，參考主流的漏洞分析開源工具和逆向分析工具，開發出攻防自動化分析工具原型，一方面實現攻防過程的自動化，另一方面實現攻防自動化技術的實訓，以培養出更多的從業人員。三是基于攻防過程數據采集的攻防過程可視化平臺研制，基于虛擬化技術的模擬仿真平臺，實現對攻防過程數據的實時采集，并在此基礎上實現對搜采集數據的分析或過濾，沉淀出可疑的行為和網絡流量，將攻防過程中所產生的相關行為以可視化方式展現到大屏幕上，實現攻防過程的可視化。

（5）研究可信免疫技術，實現大數據系統的邊計算邊防護

在大數據系統進行計算、運算的同時，安全防護工作應當同步進行，安全防護的全程可測可控是非常必要的，建議開展可信免疫技術的研究。

一是主動免疫防御安全模型及體系結構研究。重點研究主動免疫的基本模型和體系結構，為系統建立內生安全、自我免疫機制，一邊進行服務運算，一邊進行可信驗證，實現行為度量和智能感知相結合的動態驗證機制，即使系統存在缺陷也不會被輕易利用，為計算機建立自己的免疫系統，達到不裝殺毒軟件、不打補丁情況下的安全運行。

二是動態化、智能化主動免疫防御關鍵技術研究。該項研究的核心在于“計算與防護并行的雙體系結構”以及“主動免疫與其他安全機制的合作共贏”。“計算與防護并行的雙體系結構”實際就是實現計算服務與安全防護融為一體，針對服務的計算環境和業務流程量身定制驗證策略，即使系統存在缺陷也不會被輕易利用，實時阻斷攻擊鏈，為計算機建立自己的免疫系統，達到不裝殺毒軟件、不打補丁情況下的安全運行。“主動免疫與其他安全機制的合作共贏”在于主動免疫防御與其他安全機制的有機協作，在主動防御機制的支撐和調度下，通過各安全機制的動態聯動，實現攻擊身份定位、入侵取證、漏洞定位、攻擊溯源等，對攻擊活動做到既“知其然”又“知其所以然”，構建信息系統縱深防御的綜合防護體系。

5 結束語

由于大數據的延展性和開放性，在數據安全保護和系統安全評估以及風險防范等方面存在許多技術問題。因此，建議國家對網絡安全產業進行整體布局，推進業內廠商分工合作，深化研究和開發工作，實現差異化競爭，加強優勢產品的研發，對整個安全產業產生互補具有重要意義。