面向金融云的超高吞吐新型金融DMZ網絡

涂曉軍 孫 權,2 蔡立志

1(中國銀聯股份有限公司 上海 201201)2(復旦大學 上海 200433)3(上海計算機軟件技術開發中心上海市計算機軟件評測重點實驗室 上海 201112)

0 引 言

近年來，隨著金融云建設的深入以及金融科技的發展，金融云的組網面臨著轉型與升級的可能。其中的驅動力主要由業務與技術的雙重因素所決定[1-3]。

隨著斷直連監管措施的落地，銀聯接入了大量小額高頻的交易，對信息系統的并發度提出了很高的要求。銀聯核心的互聯網產品云閃付也發展迅猛，帶來了巨大的互聯網流量[4]。整個金融行業的整合正在加速，尤其在金融科技的技術棧越做越深之后，頭部金融機構主導的行業化服務正在興起，大型的金融行業云逐步形成，互聯網流量將大量接入。DMZ網絡區域是金融行業非常典型的一個網絡區域，用于隔離不可信外網與可信內網之間的網絡流量。如何構建架構簡單、高吞吐量，以支撐海量的互聯網入口流量是金融機構普遍關注的一個問題。

1 當前金融DMZ區實現方案

通常，金融數據中心的外網流量通過DMZ區進行接入。DMZ網絡區域是金融行業非常典型的一個區域，它的主要作用是隔離、代理不可信外網與可信內網之間的網絡流量。針對當前DMZ區的實現存在吞吐不足、成本高的問題，普遍的做法是采用昂貴的F5專用負載均衡設備，數十臺交換機用于流量轉發，上千臺服務器做Web反向代理，如圖1所示。該方案存在如下問題：

圖1 基于F5的DMZ網絡方案

1) 成本高昂：構建一個DMZ區需要用到大量的設備，包括昂貴的F5專用負載均衡設備、數十臺交換機和上千臺服務器。

2) 吞吐能力不足：即使采用了上述大量的設備，DMZ區的吞吐能力仍然較低，通常小于100 Gbit·s-1。這對于銀行業大流量的互聯網業務(例如云閃付、融e聯等)來說，在開展商業促銷活動時會遇到瓶頸，無法滿足未來的需求。

3) 無法水平擴展：整個集群的最大吞吐能力受限于最前端的F5負載均衡設備，擴容量只能更換新型號設備，無法水平擴展。

2 網絡設計

2.1 方案設計

本節針對現有DMZ區域成本高昂、吞吐性能無法水平擴展等問題，提出一種極簡架構、超高吞吐的金融DMZ區實現方法，在大幅減小DMZ區部署設備數量與復雜度的同時能夠極大地提升吞吐性能，如圖2所示。

圖2 新型DMZ網絡架構圖

整個DMZ區僅由一臺可編程交換機和一個加強型服務器集群構成?？删幊探粨Q機側主要負責入口流量的四層報文的處理，其中涉及的功能如下：

1) 四層的防火墻：依據黑白名單的地址以及內置檢測DDoS的算法，對一部分非法流量進行預清理。

2) 四層的負載均衡：依據所訪問的服務目的地址(通常是一個服務的IP)，通過查找表項以及Hash算法將目的地址轉換為實際的服務實例。

3) 流量轉發：將流量導入至服務器進行更高層的報文處理。

在加強型服務器集群中，為了使服務器端七層的報文處理達到更高的性能，需要配置加解密卡和25 Gbit智能網卡，以便于將部分的工作從CPU卸載至專用硬件上。加解密卡用于卸載HTTPS加解密的流量處理，例如Intel QAT卡；25 Gbit智能網卡用于實現25 Gbit·s-1的高吞吐，同時其還具備Vxlan、UDP分片、TCP校驗等硬件處理功能，從而可以最大限度地降低CPU的處理負擔，并且使得報文的處理延時能夠有確定性的保障。軟件層面采用Nginx服務器做七層的負載均衡、http反向代理、深度包檢測過濾等工作。

2.2 工作流程

本文方法流程如圖3所示，Internet流量進入后，包括3個步驟：

圖3 新型DMZ網絡流向示意圖

1) 交換機先處理四層的流量，包括四層DDoS防護、四層負載均衡。

2) 服務器集群負責七層報文解析，包括DPI深度包檢測、HTTPS加密流量卸載、HTTP反向代理。

3) 將清洗過后的流量引到核心App區。

2.3 DMZ網關技術原理

本文方案在網關處采用了P4 SDN可編程交換的技術以及可編程交換芯片實現超高的吞吐量級[5-7]。P4的可編程模型是相對于傳統固定流水線的交換芯片而言的，它的架構是基于PISA(Protocol Independent Switch Arch)全流水線可編程的架構?？删幊探粨Q芯片示意圖如圖4所示。

圖4 可編程交換芯片示意圖

該架構的基本單元是match-action table，其中match單元可以匹配任意報文的偏移與字段長度；action單元則有相對比較豐富的報文編輯功能；此外，片上的存儲資源SRAM與TCAM也可以進行全局靈活的配置。

整個P4的控制過程包括包頭解析、可編程入流水線、可配置緩存管理TM，以及可編程出流水線的處理。對應的編程框架包括：自定義報文頭，match-action表項的定義、全流水線控制流的串接?？梢钥闯?，P4模型的核心特征仍然是基于網絡包處理的高速交換，它可以實現Packet通信相關事件的處理，靈活匹配，靈活編輯，以及小容量的高速存儲查找。

2015年Facebook利用Tofino商用芯片的P4可編程技術實現了能夠存儲1 000萬條表項的有狀態四層負載均衡，單交換芯片的能力相當于一百臺服務器的軟負載均衡性能。本文方案也是借助于P4的可編程模型，實現有狀態的四層負載均衡，其流水線如圖5所示。

圖5 負載均衡流水線示意圖

負載均衡方案的實現難點是PCC(Per Connection Consistency)有狀態連接保持，需要控制面參與配合，并且在流表中記錄下每個新建連接的狀態。此外，為了實現負載均衡的地址池，以及來回報文的原路處理，在去程還需要實現DNAT，回程需要實現SNAT，并且定期需要廣播或者響應虛地址的ARP請求。

3 關鍵技術目標設計實現

3.1 吞吐容量設計實現

吞吐量和DMZ網關的重要指標。我們以6.4 Tbit·s-1規格的可編程交換機(采用Barefoot Tofino交換芯片)為例，設計和規劃整個系統的吞吐容量。

6.4 Tbit·s-1規格的可編程交換機有64個100 Gbit·s-1的端口，其中:

(1) 10個端口用于接收外部進入的流量(100 Gbit·s-1×10=1 Tbit·s-1)。

(2) 50個端口用于掛載服務器，每個服務器配置25 Gbit·s-1網卡，因此可以掛載100 Gbit/25 Gbit×50=200臺的服務器用于處理。

(3) 剩余4個端口用于流量的輸出(100 Gbit·s-1×4=400 Gbit·s-1)，輸出到最終的App區。

(4) 交換機的片上資源(SRAM+TCAM)可用于存儲表項，約可以存儲100萬條的有狀態四層連接。

通過64個端口的規劃設計，整個DMZ集群的吞吐量可以達到Tbit·s-1級別，并且在交換機中可以實現高達100萬條有狀態流表的負載均衡，性能已經遠超市場上現有的四層負載均衡設備。

3.2 高可用設計實現

前述的原型設計中，前端只有一臺可編程交換機設備，在實際的生產應用中，必須有高可用的保障。

由于單臺交換機已經能夠達到很高的吞吐性能，利用2臺可編程交換機，實現主備高可用，所有的服務器均雙聯至兩臺交換機，同時出入口的鏈路也進行雙聯，如圖6所示。

圖6 高可用設計示意圖

正常狀態下，備用交換機的鏈路上沒有流量。當有新的流創建時，控制平面同時寫入兩臺交換機的表項之中，使得備用交換機可以與主交換機擁有相同的流狀態表項。當主交換機異常時(通過監控其指標狀態)，則控制服務器立刻切換出入口的流量到備用交換機。由于備用交換機與主交換機擁有相同的流狀態表項，因此連接的出口依舊能夠保持，所有的流并不會中斷，由此實現平滑切換。

3.3 可擴展設計實現

在實際的生產應用中，還需要考慮未來的容量可擴展方案。在此提出兩種可擴展的方式：

一是縱向擴展方法(scale up)，即換用更高規格的交換機。當前12.8 Tbit·s-1規格的交換機也已經出現(交換機的規格一般2～3年可以增長一倍)，所對應的吞吐能力可以翻番。

二是橫向擴展方法(scale out)，需要兩層的交換機，如圖7所示。第一層交換機先依據IP前綴等簡單規則對報文先做一次分流到下一級的交換機，下一級的交換機再實現嚴格的四層負載均衡，由此可以實現整個集群最高十倍以上的橫向吞吐擴展。

圖7 橫向擴展示意圖

4 實現對比與效果

圖8展現了傳統DMZ網絡方案與本文所提出的新型DMZ網絡方案的實現對比。

(a) 傳統DMZ方案 (b) 本文方案圖8 實現對比示意圖

本文方案主要有以下優勢：

1) 單對交換機+服務器集群的極簡架構。相較于F5方案，本文方案將F5四層與七層的負載均衡功能分別下沉到交換機與服務器的位置進行處理，構成了單對交換機+服務器集群的極簡架構，極大提升了系統的可維護性。

2) 使用更少的硬件資源。相比傳統的方案昂貴的F5專用負載均衡設備，數十臺交換機用于流量轉發，大量服務器做Web反向代理，本文方案硬件成本僅為F5實現方案的20%。

3) 實現更好的網絡性能。根據實測結果對比，新型DMZ方案達到10倍以上的吞吐量提升，達到Tbit·s-1級別，能有效應對互聯網入口的巨大流量。

表1對比了本文方案與基于軟件轉發的實現和專用硬件實現的技術參數與成本[8-10]。

表1 DMZ區方案實現對比

5 結 語

本文針對現有金融DMZ區域成本高昂、吞吐性能無法水平擴展等問題，提出一種精簡架構、超高吞吐的金融DMZ區實現方法，在大幅減小DMZ區部署設備數量與復雜度的同時可以極大地提升吞吐性能；通過一對可編程交換機加服務器集群的精簡設備組，實現原有10倍以上的吞吐能力。本文方案中交換機同時負責轉發流程和四層負載均衡，服務器負責七層負載均衡，將原有F5負載均衡的能力分布到了交換機與服務器集群中。同時，還充分利用加密卡、25 Gbit智能網卡等硬件設備的加速特性以提升整體集群的性能。