大數(shù)據(jù)平臺(tái)安全基線核查

引言：大數(shù)據(jù)平臺(tái)的實(shí)際應(yīng)用是中國(guó)移動(dòng)大數(shù)據(jù)戰(zhàn)略的重要過(guò)程，由于它是一種“共享型”信息技術(shù)，在實(shí)際應(yīng)用過(guò)程中必須要有安全性保障，尤其杜絕數(shù)據(jù)安全問(wèn)題及業(yè)務(wù)連續(xù)性問(wèn)題。安全基線核查作為一種基本的安全強(qiáng)化手段，可避免由于配置問(wèn)題帶來(lái)安全隱患。

近年來(lái)，中國(guó)移動(dòng)在大數(shù)據(jù)需求上呈爆發(fā)式增長(zhǎng)，原有經(jīng)分系統(tǒng)技術(shù)架構(gòu)與支撐模式亟待突破，需要構(gòu)建適應(yīng)“互聯(lián)網(wǎng)+”發(fā)展的、數(shù)據(jù)跨域整合的、架構(gòu)充分開(kāi)放的以及技術(shù)先進(jìn)的大數(shù)據(jù)平臺(tái)。目前南方基地已啟動(dòng)了系統(tǒng)重構(gòu)，搭建了傳統(tǒng)數(shù)據(jù)庫(kù)、基于x86的MPP數(shù)據(jù)庫(kù)、Hadoop/Spark及流處理等多樣技術(shù)混搭的大數(shù)據(jù)平臺(tái)，準(zhǔn)備整合B域、O域和M域的大數(shù)據(jù)并進(jìn)行統(tǒng)一規(guī)劃。

大數(shù)據(jù)平臺(tái)存在的安全隱患

數(shù)據(jù)量正在非線性增長(zhǎng)，黑客對(duì)于數(shù)據(jù)的覬覦也由原來(lái)的破壞轉(zhuǎn)變成竊取和利用，病毒或黑客繞過(guò)傳統(tǒng)的防火墻、殺毒軟件和預(yù)警系統(tǒng)等防護(hù)設(shè)備直接進(jìn)入數(shù)據(jù)層，一些高級(jí)持續(xù)性攻擊已經(jīng)難以用傳統(tǒng)安全防御措施檢測(cè)防護(hù)。“大數(shù)據(jù)”的安全風(fēng)險(xiǎn)主要可以分為以下三個(gè)方面：

第一，大規(guī)模數(shù)據(jù)分析和利用，高價(jià)值、高敏感的數(shù)據(jù)價(jià)值可能存儲(chǔ)于不安全的大數(shù)據(jù)平臺(tái)。第二，共享模式下的共用一套大數(shù)據(jù)平臺(tái)，對(duì)用戶隱私產(chǎn)生極大的威脅。第三，大數(shù)據(jù)平臺(tái)作為一種較新的IT架構(gòu)，其建設(shè)方式、網(wǎng)絡(luò)構(gòu)成、系統(tǒng)構(gòu)成、軟件特點(diǎn)、維護(hù)方式、監(jiān)控方式存在較多的新知識(shí)，就目前而言屬于實(shí)現(xiàn)難度較大、運(yùn)行機(jī)制相對(duì)復(fù)雜的IT系統(tǒng)，相應(yīng)的安全問(wèn)題一旦產(chǎn)生，容易造成較嚴(yán)重的安全事件。而中國(guó)移動(dòng)大數(shù)據(jù)戰(zhàn)略作為長(zhǎng)期戰(zhàn)略，必須在安全層面掃清障礙使大數(shù)據(jù)平臺(tái)順利建設(shè)使用。

大數(shù)據(jù)平臺(tái)安全基線核查的研究意義

大數(shù)據(jù)作為新技術(shù)正處于快速發(fā)展期，版本迭代更新快，特別是開(kāi)源技術(shù)生態(tài)復(fù)雜，組件眾多。如何適應(yīng)大數(shù)據(jù)平臺(tái)的快速發(fā)展，保障其安全運(yùn)行，是擺在所有安全維護(hù)人員面前的一道難題。

利用Hadoop平臺(tái)各組件自身的安全配置功能是成本低、見(jiàn)效快的安全防護(hù)手段。但由于專業(yè)人員較少，配置項(xiàng)眾多等原因，管理員很難全面掌握Hadoop所有組件的安全配置方法，在實(shí)際工作中，迫切需要對(duì)Hadoop各組件制定統(tǒng)一的檢查標(biāo)準(zhǔn)和加固建議，利用自動(dòng)化、標(biāo)準(zhǔn)化的檢查系統(tǒng)對(duì)其進(jìn)行全方位的檢查，保障大數(shù)據(jù)平臺(tái)的安全運(yùn)行。

安全基線是信息系統(tǒng)及設(shè)備對(duì)應(yīng)自身需求、部署環(huán)境、特定時(shí)期應(yīng)滿足的基本安全要求合集。據(jù)權(quán)威機(jī)構(gòu)統(tǒng)計(jì)，目前80%以上的安全問(wèn)題是由于IT設(shè)備和系統(tǒng)配置不當(dāng)造成的。安全合規(guī)管控產(chǎn)品的定位主要面向企業(yè)和政府用戶，是企業(yè)和政府用戶集中管理全網(wǎng)IT設(shè)備和系統(tǒng)的安全配置、及時(shí)準(zhǔn)確發(fā)現(xiàn)違反行業(yè)及企業(yè)內(nèi)部安全標(biāo)準(zhǔn)及規(guī)范的安全問(wèn)題，保障企業(yè)和政府網(wǎng)絡(luò)及業(yè)務(wù)系統(tǒng)平穩(wěn)安全運(yùn)營(yíng)的重要安全管理系統(tǒng)，為企業(yè)徹底解決網(wǎng)內(nèi)因設(shè)備配置不當(dāng)導(dǎo)致的安全風(fēng)險(xiǎn)提供強(qiáng)有力的技術(shù)支撐。

大數(shù)據(jù)平臺(tái)安全基線核查系統(tǒng)實(shí)現(xiàn)

本文以CDH大數(shù)據(jù)平臺(tái)為例進(jìn)行描述。大數(shù)據(jù)平臺(tái)的安全基線檢查不僅包含CM和CDH各個(gè)組件，還包括通用設(shè)備，如操作系統(tǒng)、數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)設(shè)備等。CDHHadoop安全配置檢查項(xiàng)需進(jìn)行梳理和開(kāi)發(fā)，檢查項(xiàng)分為身份認(rèn)證、授權(quán)、加密和日志等四類。通用設(shè)備的安全配置檢查復(fù)用已有檢查項(xiàng)，檢查項(xiàng)分為賬號(hào)口令和認(rèn)證授權(quán)、IP訪問(wèn)控制、日志安全、其他安全配置四類。

1.大數(shù)據(jù)平臺(tái)安全配置基線識(shí)別與建立

圖1 大數(shù)據(jù)平臺(tái)安全基線核查系統(tǒng)網(wǎng)絡(luò)拓?fù)?/p>

安全配置基線即設(shè)備需要滿足的安全配置基本要求。根據(jù)梳理的檢查項(xiàng)，為每一個(gè)檢查項(xiàng)設(shè)定安全配置基線，最終建立該設(shè)備類型的安全配置基線集合。安全配置基線的來(lái)源主要有兩部分：設(shè)備廠家官方網(wǎng)站的安全配置建議和專業(yè)安全廠家的技術(shù)積累。

2.大數(shù)據(jù)平臺(tái)安全配置基線檢查項(xiàng)開(kāi)發(fā)

檢查項(xiàng)的組成包括：檢查項(xiàng)描述信息、檢查腳本、解析規(guī)則、判定規(guī)則、基準(zhǔn)值、加固方案等主要部分。

檢查項(xiàng)描述信息用于描述檢查項(xiàng)分類、檢查項(xiàng)名稱、檢查項(xiàng)編號(hào)、實(shí)現(xiàn)功能、實(shí)現(xiàn)方法、判定標(biāo)準(zhǔn)等信息。

檢查腳本是檢查項(xiàng)的最重要組成部分，用于發(fā)送到被檢查設(shè)備上執(zhí)行，采集設(shè)備配置原始信息，用于進(jìn)行后續(xù)判斷。

解析規(guī)則用于對(duì)檢查腳本執(zhí)行后采集到的設(shè)備原始信息進(jìn)行進(jìn)一步的解析，得到設(shè)備用于判斷配置是否合規(guī)的具體字段，記為result。

判定規(guī)則用于將設(shè)備上的實(shí)際配置信息與安全基線配置基準(zhǔn)值進(jìn)行邏輯比較；基準(zhǔn)值是保證設(shè)備配置達(dá)到安全要求的最基本配置，記為benchmark。

加固方案是在發(fā)現(xiàn)被檢查設(shè)備配置不當(dāng)時(shí)指導(dǎo)設(shè)備管理員修改配置的詳細(xì)步驟。

（1）搭建開(kāi)發(fā)環(huán)境

搭建用于檢查項(xiàng)的測(cè)試與驗(yàn)證的大數(shù)據(jù)基礎(chǔ)平臺(tái)測(cè)試環(huán)境，其網(wǎng)絡(luò)拓?fù)鋱D如圖1所示。大數(shù)據(jù)平臺(tái)部署環(huán)境信息:操作系統(tǒng)信息：操作系統(tǒng)統(tǒng)一采用Redhat 7.0。數(shù)據(jù)庫(kù)信息：數(shù)據(jù)庫(kù)采用MySQL5.6.24。CDH 5.3。

安全配置基線檢查項(xiàng)編寫環(huán)境信息:安全基線核查系統(tǒng)：大數(shù)據(jù)平臺(tái)的安全基線檢查項(xiàng)需要在基線核查系統(tǒng)（Baseline Management System）中進(jìn)行擴(kuò)展。

（2）檢查腳本編寫

檢查腳本用于在Hadoop各組件部署的服務(wù)器上執(zhí)行，獲取配置回顯信息，用于后續(xù)對(duì)回顯進(jìn)行解析。根據(jù)調(diào)研發(fā)現(xiàn)，檢查腳本采用shell編寫，腳本主要內(nèi)容包括：腳本分類：腳本執(zhí)行的操作系統(tǒng)類型。由于當(dāng)前采用Redhat7.0作為服務(wù)器操作系統(tǒng)，所以腳本默認(rèn)按照Redhat7.0編寫，但考慮到其他大數(shù)據(jù)平臺(tái)可能采用其他發(fā)行版操作系統(tǒng)，所以增加腳本分類是必要的。

腳本名稱：腳本名稱應(yīng)能夠反映腳本的用途和適用范圍，建議采用“組件名稱+腳本用途”的方式進(jìn)行命名，如“HDFS-查看HDFS配置文件信息”。腳本內(nèi)容：承載shell腳本的實(shí)際內(nèi)容，由shell語(yǔ)言命令行組成。腳本描述：詳細(xì)描述腳本的用途、編寫過(guò)程、執(zhí)行步驟等信息。

（3）解析規(guī)則

解析規(guī)則用于對(duì)腳本執(zhí)行的回顯進(jìn)行進(jìn)一步解析，解析方式有兩種：正則表達(dá)式解析：使用正則表達(dá)式進(jìn)行關(guān)鍵字匹配，用于解析簡(jiǎn)單回顯。程序類解析：使用程序?qū)仫@結(jié)果進(jìn)行結(jié)構(gòu)化處理，用于解析復(fù)雜回顯。

（4）判定規(guī)則和基準(zhǔn)值

經(jīng)過(guò)腳本執(zhí)行、結(jié)果解析后得到的關(guān)于設(shè)備配置信息的關(guān)鍵字集合是result結(jié)果，基準(zhǔn)值是滿足配置基線要求的關(guān)鍵字集合，稱為benchmark。其中，result可以為空，benchmark不能為空。判定規(guī)則用于result和benchmark的比較，常用的判定規(guī)則如表1所示。

（5）編寫加固方案

加固方案用于指導(dǎo)對(duì)檢查不合規(guī)的項(xiàng)進(jìn)行合理配置，是其結(jié)果滿足安全配置基線要求。加固方案根據(jù)操作的類型可以分為四類：加強(qiáng)管理、系統(tǒng)改造、增加手段、更改配置等。根據(jù)調(diào)研與研究結(jié)果，Hadoop主要通過(guò)更改配置的手段完成安全加固操作。加固方案的編寫需要十分詳細(xì)，確保管理員按照此方案操作，即可保證該項(xiàng)檢查合規(guī)。

（6）檢查項(xiàng)驗(yàn)證

檢查項(xiàng)編寫完成后，需要進(jìn)行驗(yàn)證，驗(yàn)證分為兩部分：測(cè)試環(huán)境驗(yàn)證：在本地搭建的大數(shù)據(jù)平臺(tái)測(cè)試環(huán)境中進(jìn)行在線檢查，驗(yàn)證檢查項(xiàng)和加固方案的正確性。生產(chǎn)環(huán)境驗(yàn)證：在大數(shù)據(jù)平臺(tái)生產(chǎn)環(huán)境中進(jìn)行在線檢查，驗(yàn)證檢查項(xiàng)和加固方案的正確性。

結(jié)束語(yǔ)

隨著大數(shù)據(jù)應(yīng)用的發(fā)展，大數(shù)據(jù)平臺(tái)的安全防護(hù)經(jīng)歷了從無(wú)到有的發(fā)展過(guò)程，但是目前防護(hù)能力仍然薄弱。安全配置基線檢查可以喚醒大數(shù)據(jù)平臺(tái)自身的安全機(jī)能，在不增加外圍防護(hù)設(shè)備的下切實(shí)提升大數(shù)據(jù)平臺(tái)安全運(yùn)行水平，適應(yīng)公司在精細(xì)化管理、精準(zhǔn)營(yíng)銷、產(chǎn)品創(chuàng)新等方面的要求。