基于超融合技術的數據中心網絡安全設計

◆苑順周 姚曉冬 邢羽

基于超融合技術的數據中心網絡安全設計

◆苑順周 姚曉冬 邢羽

（公安部第一研究所 北京 100048）

近年來，基于超融合技術構建數據中心領域的基礎架構受到越來越多的關注。相比于傳統架構和虛擬化技術，超融合技術實現了計算、網絡和存儲資源的統一管理，具有更高的平臺投資效費比、簡化管理難度及擴展性強等優勢。隨著網絡安全的重要性不斷提升，對基于超融合技術的數據中心網絡安全方面提出了更高的挑戰。通過劃分超融合架構的不同子網，分析其中涉及的網絡安全風險點，提出了物理隔離、VLAN隔離、訪問控制、配置安全策略等網絡安全設計思路，在提升數據中心運行效能的前提下，使得數據中心網絡更加安全、可靠。

超融合；數據中心；網絡安全

傳統的數據中心在過去經歷了幾個發展階段，包括：大型機時代、獨立服務器時代、中心化存儲時代、虛擬化時代。目前，由標準x86架構加上虛擬化技術組成的云計算已經占據了大部分市場。但新的架構目前還存在著諸多問題，特別是對于私有云來說，虛擬機快速增長可能導致存儲網絡壓力的增加，更多的機器和存儲陣列導致管理復雜度的提高[1]。超融合技術打破了傳統的服務器、網絡和存儲的孤立界線，實現了統一的超融合架構（Hyper-Converged-Infrastructure，HCI）形態[2]。超融合技術（以下簡稱超融合）更加高效、天然地將計算、存儲、網絡等組件融合到一起，有利于系統的橫向擴展、提高整體系統的I/O和性能，基于超融合的軟件定義數據中心能更好為用戶提供云服務[3]。

超融合是近幾年興起的一種新的 IT 基礎架構，符合軟件定義數據中心理念，通過軟件結合標準的 x86 服務器來構建分布式存儲，強調的是分布式存儲軟件和虛擬化軟件的融合部署，并不是單純指軟、硬件融合。絕大多數的數據中心基礎架構的層次劃分很清晰，對于物理架構分層，大概可以分為以太網絡層、服務器層、光纖網絡層和存儲層。超融合架構，主要基于分布式存儲等技術來壓縮傳統SAN架構的服務器層、光纖網絡層和存儲層為一層，可簡稱為超融合層。超融合層的設備具備計算、網絡（主要是存儲網絡）和存儲功能。超融合架構的核心功能是對傳統架構進行縱向壓縮（融合）的，免去了復雜的SAN網絡，并提供了更高的存儲IOPS和支持服務器虛擬化，如圖1所示。

圖1 數據中心傳統架構與超融合架構對比

國際上，Nutanix、VMware、DELL EMC、HPE、Cisco、Microsoft等大公司紛紛進入到超融合市場的競爭之中；在中國的情況也類似，有華為、新華3 深信服、浪潮、曙光等一線廠商紛紛推出各自的超融合產品。各廠商的技術和實現方式各不相同，但是對超融合的概念理解基本是一致的，比如使用通用硬件平臺、軟件定義、虛擬化、統一管理平臺等。在超融合逐漸成為企業云環境主流基礎設施的趨勢下，超融合的核心競爭力依然是在軟件上，用軟件定義來實現IT基礎架構各項服務，包括計算、存儲、網絡融合、災備、運維管理等，實現以虛擬化為中心的技術架構（圖2）。

圖2 超融合架構示意圖

目前，通過Gartner關于超融合市場的報告，包括了國內外的各大知名廠商（如圖3），市場競爭的激烈程度可見一斑。

圖3 2019年11月Gartner超融合基礎架構魔力象限

超融合產品在數據中心基礎設施中扮演的角色越來越重要，會有越來越多行業開始接受和采用它，并會將它放入到更多的生產環境之中，分析認為超融合市場在未來一段時間中依然會處于高速增長的狀態（資料來源于Gartner官網）。

1 超融合架構的網絡劃分

網絡是超融合技術架構不可缺少的組成部分。當業務系統對性能有著很高的要求時，很容易使得超融合網絡遇到瓶頸。傳統數據中心的集群有專門的存儲系統，訪問共享的數據。然而，基于超融合架構的數據中心通常將內部每個節點的存儲匯聚到一個虛擬存儲池，I/O需求負擔較重的環境會將負載都壓在了超融合網絡之上。基于市場上主流超融合廠商的基礎架構，大致都分為帶外管理網、集群管理網、存儲網、業務網以及業務系統涉及的對外接口網，共5種網絡類型。

1.1 帶外管理網

帶外管理（Out-of-Band Management）是基于硬件的一種管理方式，使用專用硬件模塊或特殊的遠程管理卡提供管理接口，通過專用的數據通道對設備進行遠程維護和管理，完全獨立于設備操作系統之外，甚至可以在設備關機狀態下進行遠程監控與管理。目前，絕大部分服務器都提供帶外管理接口。

帶內管理使得網絡中的管理數據和業務數據在相同的鏈路中傳輸，當管理數據（SNMP、NetFlow、計費等）較多時，將會影響到整個網絡的性能，只有當管理數據較少時，對整個網絡的性能影響不明顯，可采用帶內管理。帶外管理網將管理數據與業務數據分開，在這個通道中，只傳輸管理數據、統計信息、計費信息等，可以提供網絡管理的效率與可靠性，也有利于提高網絡管理數據的安全性。對于超融合架構的數據中心來講，涉及多個集群的眾多節點的管理與監控，可能運維人員需要面對幾十、幾百甚至上萬臺服務器，對設備的訪問控制、操作記錄等均需借助帶外管理網來完成。

1.2 集群管理網

集群管理網是管理超融合平臺的基礎，保證了集群內各個節點互相通訊，使得各個節點信息同步。對于超融合架構來說，集群是一個分布式結構，將多個節點融合在一起，集群中的各個節點將共同管理集群資源和任務，構成分層存儲的統一資源池，以實現虛擬機對資源的無縫訪問。管理集群涉及配置、監視集群內的對象，包括虛擬機、存儲、網絡、硬件、運行狀況、任務監視、報警等，各個超融合廠商基本上都支持基于Web的管理控制臺進行集群管理。

1.3 存儲網

存儲網實現了超融合架構下多設備的分布式存儲，提高了存儲的IO性能和可靠性。超融合架構的核心功能是對傳統架構進行縱向壓縮（融合），免去了復雜的SAN網絡，每個超融合節點都有存儲設備，存儲節點互相熱備，如果一個節點出現故障，整個業務系統仍可以正常工作。為了保證存儲IO的性能，通常超融合節點之間存儲網絡采用萬兆以太網交換機進行通信。

1.4 業務網

業務網是基于超融合架構的數據中心最為核心的網絡。根據數據中心建設背景，在超融合架構上可能運行著各種各樣的不同的業務系統，而每個業務系統構成一個業務網，一個超融合集群上可能運行著多個業務系統網絡。

1.5 對外接口網

每個業務系統除了完成系統功能外，通常需要與其他系統進行業務對接，從而在超融合架構上需要單獨考慮對外接口網絡的設置。

2 網絡風險點

2.1 不同子網連接到同一個網絡安全域

在搭建超融合架構時，考慮到降低建設成本或管理復雜度，有些系統將帶外管理網、集群管理網、存儲網、業務網、對外接口網絡的兩種、三種甚至是5種網絡合并成一個網絡，這種未有效控制網絡安全邊界的系統具有較大的安全風險。超融合基于分布式存儲技術，對超融合節點間的存儲網的IOPS要求極高，否則無法保證節點間的同步，當其他子網與其連接到同一個網絡安全域內時，導致超融合系統故障的風險比較大。業務網屬于平臺最為關鍵的子網，不建議與其他子網進行合并。集群管理網是管理超融合的唯一入口，也不建議與其他占高帶寬的子網進行合并，否則影響平臺的管理順暢度。相比其他子網的網絡可靠度，對外接口網屬于最不可信的網絡安全域，更不應跟其他子網混用。

2.2 子網之間網段未有效隔離

對于兩個或多個子網之間不需要進行數據交互的情況下，設計網段時應該設置不同的網段進行部署。如果未按照信息的重要程度劃分子網，使得廣播風暴、惡意代碼的傳播、網絡攻擊等變得更容易，并且管理者為不同業務區域部署相應的安全策略變得更為復雜，不利于對系統的安全運維，最終對系統的穩定運行造成影響。

2.3 重點業務網安全策略不夠

超融合業務網絡系統內包含各種業務需求的虛擬機，如果業務網內虛擬機未安裝殺毒軟件、端口限定、路由控制等方式進行防護時，系統易受到病毒的侵襲、黑客的非法闖入、數據竊聽和攔截、拒絕服務攻擊、垃圾郵件等等。

2.4 對外網絡未部署訪問控制措施

如果超融合架構的對外網絡系統未在網絡邊界處部署諸如防火墻、入侵檢測等訪問控制設備，則無法對來自外部非可信網絡的網絡通信進行控制，無法對可能潛在的網絡攻擊行為進行檢測和報警，極易存在被網絡攻擊的風險。

2.5 網絡管理不規范

對于網絡安全的管理，很多企業都存在多名用戶使用同一賬戶進行登錄管理的情況，對系統僅設置超級管理員用戶，存在管理賬戶濫用權限和惡意破壞的風險。超融合架構下子網劃分更為復雜，管理制度、操作規范的缺乏可能使得相關工作缺乏規范依據和質量保障，進而影響到系統的安全建設和運維。

3 網絡安全設計

結合超融合架構技術特點，每個子網都可以看作一個網絡安全域，設計原則是系統網絡安全域之間的邊界應劃分明確，安全域與安全域之間的所有數據通信都應安全可控。設計方法考慮合理劃分安全域邊界，實施“分域分級防護”的策略。設計目標是保障超融合為數據中心提供高效的技術架構的前提下，強化網絡安全的研究設計。根據以上分析的網絡風險點，提出以下網絡安全設計思路：

3.1 物理網絡隔離

根據超融合基礎架構涉及的網絡劃分為帶外管理網、集群管理網、存儲網、業務網、對外系統接口網，設計為物理網絡隔離，在每個超融合節點上對各子網配置不同的網絡端口，連接到各自不同的網絡交換機上（如圖4），這樣設計的安全性應該是最高的。物理隔離的好處是避免了不同子網連接到同一個網絡安全域的風險。當然有些使用率低、帶寬占用少的網絡，可能沒有必要單獨配置網絡設備，也可以在做好網絡安全策略、網段隔離的情況下連接到相同的交換機上，比如帶外管理與集群管理共用一套網絡設備。但是，生產業務網、存儲網和對外接口網絡不建議混用網絡交換設備。

圖4 物理隔離的超融合節點網卡連接情況

3.2 不同VLAN隔離

VLAN 隔離技術的應用，可以把超融合架構涉及的帶外管理網、集群管理網、各種業務網、存儲網、對外接口網劃分成不同的邏輯子網（如圖5），把數據鏈路層廣播報文封閉在邏輯子網之內，形成各自的廣播域。VLAN 技術有效限制了廣播報文的傳輸范圍，一定程度上抑制了廣播風暴、防止了惡意代碼的傳播，可以一定程度上提高數據中心超融合架構網絡的安全性。

圖5 超融合架構下VLAN隔離網絡安全域

3.3 訪問控制設備隔離

對于各種類型系統來說，涉及與其他外部系統進行數據交互時，可以考慮雙重防護，第一重考慮超融合節點區分對內網卡和對外網卡進行隔離；第二重考慮對外網卡與外部系統連接之間必須經由防火墻隔離，根據業務需要設置防火墻安全策略為只允許指定IP網段或指定端口的數據通過（如圖6）。當業務系統涉及外網連接時，超融合對外連接可能需要各種隔離網閘、硬件防火墻、VPN等訪問控制設備進行隔離。

圖6 對外系統連接使用防火墻的情況

3.4 配置網絡安全策略

常用網絡安全策略包括安裝操作系統補丁程序、安裝殺毒軟件、關閉無用服務和端口、啟用操作系統防火墻、路由控制等。

傳統的數據中心都是由物理網絡來分隔不同業務系統，以確保各業務系統之間是相互隔離的。然而，根據超融合技術架構特點，就需要對數據中心內的網絡做出相應的調整，不同超融合設備廠家也設計了不同的網絡安全策略產品，比如：Nutanix自帶一款軟件定義的網絡產品Flow，該產品被高度集成到超融合架構中，使用微分段（Microsegmentation）技術簡化策略管理，創建了分布式防火墻，保障虛擬機流量的安全性。VMware自帶的一款網絡與安全虛擬化產品VMWare NSX，該產品為虛擬機提供了幾乎所有的網絡服務，如路由器、負載均衡、防火墻等。

3.5 增強網絡安全管理

網絡安全管理既要保證網絡用戶和網絡資源不被非法使用，又要保證網絡管理系統本身不被未經授權的訪問，制定合理的安全管理措施，是保證網絡安全的重要策略之一。

網絡設備的安全管理主要包括網絡設備的互聯原則、配置更改原則等，超融合軟件的安全管理，包括平臺軟件的使用原則、配置更改原則、權限設置原則等。網絡安全管理是一個有關網絡維護、運營和管理信息的綜合管理系統，主要功能是性能管理、配置管理、故障管理、計費管理等，管理的重點是安全主旨的設立、安全人事管理、安全責任與監督等。

4 結語

基于超融合技術作為數據中心領域的基礎架構，對傳統的計算、存儲、網絡等組件進行了融合，使得云平臺運行更加高效且有利于系統橫向擴展，順應了當下各行業發展，但是其安全隱患場景也越來越多。主流超融合技術將網絡大致分為帶外管理網、集群管理網、存儲網、業務網和對外接口網，結合超融合技術特點，本文梳理了涉及的各種網絡風險，提出各種網絡安全設計思路，以供各應用場景進行參考。在保障超融合為數據中心提供高效的技術架構的前提下，強化網絡安全的研究設計，更好服務于各種應用場景。

[1]艾如鵬.基于Openstack的超融合平臺的研究與實現[D].華南理工大學，2017.

[2]錢朝陽，陸明勝.淺談超融合基礎架構[J].數字技術與應用，2016，9（2）：216-217.

[3]朱炎逢，徐曉安，等.超融合網絡技術與多區域科技合作基地平臺的建設[J].科學與技術，2019，36（21）：18.

中央級公益性科研院所基本科研業務費專項資金資助項目（公安部第一研究所面上項目：A20613）