成都天府國際機場空管數(shù)據(jù)業(yè)務網(wǎng)絡概述

程 震，李亞鵬

（中國民用航空西南地區(qū)空中交通管理局，四川 成都 610000）

0 引 言

企業(yè)網(wǎng)絡是一個需要具備高穩(wěn)定性、高冗余性以及高擴展性并且經(jīng)濟實用、數(shù)據(jù)傳輸安全可靠的網(wǎng)絡平臺[1]。傳統(tǒng)組網(wǎng)要求性價比高，建網(wǎng)模式統(tǒng)一，網(wǎng)絡協(xié)議統(tǒng)一，保證可靠性、穩(wěn)定性、先進性以及實用性，此外具有良好的開放性和擴充性，并在一定程度上保證安全。“安全是民航業(yè)的生命線，要始終把安全工作作為頭等大事來抓”，空管行業(yè)的組網(wǎng)目標與側(cè)重點有別于一般企業(yè)，應將安全作為組網(wǎng)的第一追求，運維便捷、易故障排查、網(wǎng)絡環(huán)境穩(wěn)定以及隔離邊界分明等都是最核心的目標，低延時、大帶寬以及易擴展等則是組網(wǎng)的重要目標。

局域網(wǎng)中常用的網(wǎng)絡拓撲結(jié)構(gòu)包括總線型結(jié)構(gòu)、星型結(jié)構(gòu)以及樹形結(jié)構(gòu)，其中樹形結(jié)構(gòu)可視為星型結(jié)構(gòu)的拓展，也稱為多級星狀網(wǎng)絡[2]。傳統(tǒng)小型企業(yè)組網(wǎng)以星型結(jié)構(gòu)為主，分為核心層、匯聚層以及接入層。該結(jié)構(gòu)具有組網(wǎng)容易、運維簡單及功效高等特點，但星型結(jié)構(gòu)對中央節(jié)點可靠性具有極高要求，一旦中央節(jié)點系統(tǒng)發(fā)生故障，將引發(fā)整個系統(tǒng)的癱瘓[3]。中大型企業(yè)則偏向使用三層網(wǎng)絡結(jié)構(gòu)的樹形拓撲，其包含核心層、匯聚層以及接口層。該拓撲線路連接簡單，維護簡單且易于拓展，但同樣存在對根節(jié)點依賴性大、傳輸時延較長、資源共享能力較低及可靠性不高的問題[2]。

成都天府國際機場是國家“十三五”期間在民用運輸樞紐機場上規(guī)劃建設的最大項目，也是現(xiàn)今四川投資體量最大的項目。空管數(shù)據(jù)業(yè)務作為天府機場空管工程中的一個重要組成部分，其建設內(nèi)容主要包含管制信息系統(tǒng)一體化平臺（ATM Information System Platform，AISP）和空管生產(chǎn)數(shù)據(jù)中心平臺（ATM Data Center Platform，ADCP）。AISP將在后期運營中為管制及其他專業(yè)提供空管數(shù)據(jù)服務，ADCP將提供對外數(shù)據(jù)接口并為民航相關用戶提供自助查詢服務等。天府機場空管數(shù)據(jù)網(wǎng)絡（Tian Fu ATM Network of Data Business，TFAN）不屬于任何一種傳統(tǒng)網(wǎng)絡，其用戶區(qū)網(wǎng)絡是一個經(jīng)典的三層網(wǎng)絡樹形拓撲結(jié)構(gòu)，服務器網(wǎng)絡則是一個基于虛擬化技術而產(chǎn)生的大二層網(wǎng)絡，將其和雙流空管數(shù)據(jù)網(wǎng)絡看做一體，它又是一個分布式數(shù)據(jù)中心網(wǎng)絡。空管數(shù)據(jù)業(yè)務主體網(wǎng)絡實現(xiàn)的目標包括兩場存儲互聯(lián)、兩場業(yè)務互聯(lián)、虛擬化平臺管理互聯(lián)、業(yè)務系統(tǒng)隔離、用戶區(qū)邏輯隔離、網(wǎng)絡硬件設備統(tǒng)一管理以及網(wǎng)絡運維安全等，確保“一市兩場”通信網(wǎng)絡一體化運行得安全、順暢且高效。

1 相關背景知識

1.1 VLAN技術

虛擬局域網(wǎng)（Virtual Local Area Network，VLAN）屬于邏輯上的二層概念，它可以不受地理位置限制將不同的設備和用戶進行二層域劃分，控制廣播范圍。其提供的三層交換機虛擬接口（Switch Virtual Interface，SVI）可以為該VLAN提供最后的路由，從而實現(xiàn)不同VLAN之間以及VLAN對其他網(wǎng)絡的數(shù)據(jù)訪問，在TFAN設計中，VLAN主要用于不同業(yè)務及不同用戶群體之間的二層隔離。

1.2 鏈路聚合技術

鏈路聚合包括二層聚合（橋聚合）和三層聚合（路由聚合）兩種模式，聚合方式分為動態(tài)聚合和靜態(tài)聚合兩種。利用二層聚合可以將不同的物理端口視為同一個邏輯端口，從而達到拓展帶寬、鏈路備份以及負載分擔的目的，三層接口則可以額外提供路由功能。鏈路聚合技術在TFAN中主要起到網(wǎng)絡設備縱向中繼互聯(lián)及橫向路由冗余的作用。

1.3 堆疊技術

堆疊技術可以將多臺同類型的設備合并為一臺邏輯設備，在TFAN硬件規(guī)劃上，多網(wǎng)卡的終端設備會同時連接到同一邏輯設備中的不同物理網(wǎng)絡設備上，以此達到設備級冗余的目的。此外，堆疊后的邏輯設備之間僅需在不同設備上提供兩個物理端口進行口字型連接便可實現(xiàn)上行鏈路冗余的效果。堆疊方式主要分為菊花鏈堆疊模式和星型堆疊模式。菊花鏈堆疊模式的功能和級聯(lián)近似，可以起到拓展端口和硬件冗余的作用，沒有明顯的傳輸瓶頸，但不具備傳輸距離延長的作用，也不能顯著提高通信效率。星型堆疊模式可以顯著提高交換機之間的轉(zhuǎn)發(fā)效率，但主交換機通信壓力較大且存在單點故障的問題[4]。綜合考慮空管數(shù)據(jù)業(yè)務運行需求，菊花鏈堆疊模式更符合實際生產(chǎn)需要。

1.4 OSPF協(xié)議

開放式最短路徑優(yōu)先（Open Shortest Path First，OSPF）是一種應用于內(nèi)部網(wǎng)關之間的動態(tài)路由協(xié)議，該協(xié)議適用于組建大型自治系統(tǒng)網(wǎng)絡，具有收斂速度快、防止路由環(huán)路以及適應性廣等優(yōu)點[5]。使用OSPF協(xié)議可以令整個自治網(wǎng)絡更易于拓展和運維管理，在H3C廠商提供的技術文檔中，OSPF GR技術還可以顯著減輕網(wǎng)絡環(huán)境變化所帶來的的路由震蕩[6]。然而，該協(xié)議配置相對復雜，故障排查較難，要求網(wǎng)絡運維人員技術功底扎實，根據(jù)實際場景判斷是否有必要啟用該協(xié)議。

1.5 VRRP

虛擬路由器冗余協(xié)議（Virtual Router Redundancy Protocol，VRRP）是一種選擇協(xié)議，它可以將多臺路由器虛擬為一臺路由器，當主用物理路由器停止工作時可由備用路由器搶占轉(zhuǎn)發(fā)[7]。使用VRRP不需要改變組網(wǎng)方式也不需要在主機上做任何配置便可實現(xiàn)下一跳網(wǎng)關備份，文獻[8]中提出利用堆疊技術代替VRRP技術，但適用場景過于苛刻，不適用于TFAN的實際生產(chǎn)場景。VRRP的實現(xiàn)主要分為主備備份方式、多備份組負載分擔方式以及負載均衡方式，一般的業(yè)務場景常使用傳統(tǒng)的主備備份方式，負載均衡方式則可以更好地提高網(wǎng)絡利用率[9]。天府空管數(shù)據(jù)網(wǎng)絡的VRRP應用場景與傳統(tǒng)場景不同，涉及經(jīng)過兩臺網(wǎng)段不同且遠距離傳輸通信的三層邏輯設備。

1.6 分布式數(shù)據(jù)中心架構(gòu)

傳統(tǒng)網(wǎng)絡數(shù)據(jù)中心采用核心、匯聚以及接入的三層網(wǎng)絡架構(gòu)，云計算數(shù)據(jù)中心則采用跨云計算中心的大二層網(wǎng)絡，如圖1所示[10]。分布式數(shù)據(jù)中心相較于傳統(tǒng)數(shù)據(jù)中心，比雙活數(shù)據(jù)中心更節(jié)省計算和存儲硬件資源，比兩地三中心更節(jié)省IT資源，但同樣需要面對業(yè)務訪問網(wǎng)絡設計、大二層網(wǎng)絡設計以及數(shù)據(jù)同步3個難題。

圖1 數(shù)據(jù)中心網(wǎng)絡架構(gòu)

2 TFAN初期網(wǎng)絡設計

TFAN設計綜合考慮了網(wǎng)絡安全性、可靠性以及拓展性，并利用堆疊、鏈路聚合、訪問控制策略以及網(wǎng)絡鏡像等方式來實現(xiàn)。為了使整張網(wǎng)絡拓撲更清晰，依據(jù)功能將TFAN劃分為服務器匯聚網(wǎng)絡、核心區(qū)網(wǎng)絡、用戶接入?yún)^(qū)網(wǎng)絡、硬件管理網(wǎng)絡以及安全運維區(qū)網(wǎng)絡，其中硬件管理網(wǎng)絡獨立于其他網(wǎng)絡。核心區(qū)和用戶接入?yún)^(qū)的主要網(wǎng)絡設備運行OSPF協(xié)議，實現(xiàn)路由互通，所有的H3C網(wǎng)絡設備運行SNMP協(xié)議，為統(tǒng)一網(wǎng)絡運維平臺U-Center提供告警信息。

2.1 TFAN主體網(wǎng)絡架構(gòu)

TFAN以核心區(qū)網(wǎng)絡為中心，向下經(jīng)服務器匯聚交換機與虛擬化服務器互聯(lián)，經(jīng)安全設備與用戶接入?yún)^(qū)網(wǎng)絡互聯(lián)，經(jīng)安全核心交換機與安全運維區(qū)網(wǎng)絡互聯(lián)，經(jīng)波分網(wǎng)絡連接雙流空管數(shù)據(jù)網(wǎng)絡。硬件管理網(wǎng)絡使用帶外管理的方式實現(xiàn)，獨立于其他網(wǎng)絡功能區(qū)。天府服務器網(wǎng)絡經(jīng)波分網(wǎng)絡與雙流數(shù)據(jù)中心服務器網(wǎng)絡進行物理打通，利用虛擬化技術實現(xiàn)大二層網(wǎng)絡設計，通過Edge虛擬機兩場互備方式實現(xiàn)網(wǎng)關冗余提高業(yè)務可靠性。圖2中各分區(qū)根據(jù)網(wǎng)絡功能劃分，實際設備存在交叉。

圖2 天府數(shù)據(jù)網(wǎng)絡

2.2 核心區(qū)網(wǎng)絡設計

核心網(wǎng)絡區(qū)在水平方向上與雙流空管數(shù)據(jù)網(wǎng)絡打通，為兩場業(yè)務互訪提供路由功能，在垂直方向上為天府用戶訪問天府數(shù)據(jù)業(yè)務提供路由功能，在安全運維上為監(jiān)管及審計流量提供二層通道。兩組核心交換機及一組匯聚層交換機使用IRF堆疊技術劃分為3個堆疊域，形成3臺邏輯設備，分管不同業(yè)務實現(xiàn)三層隔離。核心區(qū)網(wǎng)絡如圖3所示。

圖3 核心區(qū)網(wǎng)絡

2.3 服務器匯聚區(qū)網(wǎng)絡設計

在服務器匯聚網(wǎng)絡中，存儲設備通過光纖交換機和波分網(wǎng)絡與雙流數(shù)據(jù)網(wǎng)絡存儲資源互聯(lián)，虛擬化服務器通過匯聚層交換機和波分網(wǎng)絡與雙流數(shù)據(jù)網(wǎng)絡計算資源互聯(lián)，實現(xiàn)新老機場虛擬化存儲和計算資源共享。各匯聚層交換機采用菊花鏈堆疊模式的IRF技術虛擬成一臺邏輯設備，其至兩組核心交換機的上行鏈路采用雙端口動態(tài)鏈路聚合的方式互聯(lián)。虛擬化服務器具有4光4電8個以太網(wǎng)接口，分別與匯聚層交換機的不同物理交換機互聯(lián)，保證服務器網(wǎng)絡高可用。在兩地數(shù)據(jù)中心互聯(lián)的層面上采用A/B雙平面的裸光纖波分復用技術，既保證了天府至雙流的帶寬又有雙平面?zhèn)鬏斮Y源，保證業(yè)務連續(xù)性。服務器匯聚網(wǎng)絡如圖4所示。

圖4 服務器匯聚網(wǎng)絡

2.4 接入?yún)^(qū)網(wǎng)絡設計

用戶接入?yún)^(qū)網(wǎng)絡基本納入了AISP的所有用戶，后期會根據(jù)實際運行需求新增防火墻及其他點位的用戶接入設備，因此該區(qū)域使用樹形網(wǎng)絡結(jié)構(gòu)。該結(jié)構(gòu)具有拓撲線路連接簡單、維護便捷以及易于拓展的優(yōu)點。各用戶訪問空管數(shù)據(jù)業(yè)務采用縱向訪問和橫向隔離的方式，引入用戶匯聚交換機作為一個純二層設備簡化網(wǎng)絡結(jié)構(gòu)，節(jié)約防火墻端口。用戶終端的網(wǎng)關部署在防火墻上，由防火墻提供ACL策略、NAT等功能。設備廠商不同防火墻上行至核心交換機采用靜態(tài)鏈路聚合，不同接入點位的用戶根據(jù)所屬辦公區(qū)和樓層進行VLAN劃分，設備堆疊域根據(jù)點位劃分，方便運維人員檢查判斷。用戶接入如圖5所示。

圖5 用戶接入網(wǎng)絡

2.5 硬件管理區(qū)網(wǎng)絡設計

天府數(shù)據(jù)網(wǎng)絡硬件管理采用帶外管理的方式，利用同機房綜合布線資源及遠距離成端傳輸資源將各硬件設備的管理口數(shù)據(jù)引接至硬件管理交換機，沒有管理口的設備則使用該設備的最后一個以太網(wǎng)口替代，經(jīng)監(jiān)控接入交換機連接前臺監(jiān)控。硬件管理網(wǎng)絡如圖6所示。

圖6 硬件管理網(wǎng)絡

2.6 安全運維區(qū)網(wǎng)絡設計

根據(jù)《民航空管系統(tǒng)網(wǎng)絡安全和信息化工作管理規(guī)定》《民用航空信息系統(tǒng)安全等級保護實施指南》以及《民航Web應用系統(tǒng)安全檢查指南》等文件要求，TFAN建設需滿足三級等保條件，除核心區(qū)網(wǎng)絡對外出口部分，多數(shù)安全設備均配置在安全設備區(qū)。AISP核心交換機至安全核心交換機及ADCP核心交換機至安全核心交換機之間各有一條光纖互聯(lián)，將核心交換機與匯聚層交換機之間交互數(shù)據(jù)的鏡像流量轉(zhuǎn)發(fā)給下掛在安全核心交換機上的審計設備。匯聚層交換機至安全核心交換機有兩條光纖互聯(lián)，一條用于將虛擬化服務器與匯聚層交換機之間產(chǎn)生數(shù)據(jù)交互的鏡像流量轉(zhuǎn)發(fā)至安全審計設備，另一條用于網(wǎng)絡安全設備對業(yè)務虛擬機和客戶端等設備管理產(chǎn)生的流量交互。安全運維網(wǎng)絡如圖7所示。

圖7 安全運維網(wǎng)絡

3 TFAN施工調(diào)整

在天府空管數(shù)據(jù)業(yè)務項目實施過程中，綜合考慮現(xiàn)場環(huán)境、空管業(yè)務特點以及后期值班人員的運維壓力，建設人員與廠家工程師針對TFAN設計方案進行多次商討修訂，最終實施結(jié)果與最初方案有如下4項修訂。

3.1 廢除OSPF協(xié)議改為靜態(tài)路由方式

TFAN的網(wǎng)絡設備數(shù)目少且拓撲較簡單，OSPF協(xié)議在該局域網(wǎng)中沒有明顯優(yōu)勢。防火墻作為安全設備不宜納入到普通三層設備的管理中，在規(guī)劃上依然沿用的靜態(tài)路由方式。此外，啟用OSPF協(xié)議運維難度較大，會延長故障恢復時間。

3.2 變更用戶區(qū)VLAN劃分規(guī)則

在原方案中，相同辦公區(qū)域的不同業(yè)務終端之間的網(wǎng)絡隔離依賴客戶端IP和網(wǎng)關，運維權限被下放至終端會增加運維風險，因此用戶區(qū)VLAN編號在采用原辦公區(qū)+樓層的方式基礎上納入業(yè)務編號組成新的三位數(shù)字編號（VLAN ABC），廣播域范圍也進一步縮小。VLAN規(guī)劃如表1所示，數(shù)字A為辦公區(qū)編號，數(shù)字B為樓層編號，數(shù)字C為系統(tǒng)編號，內(nèi)容已做脫敏處理。

表1 用戶區(qū)VLAN ABC規(guī)劃表

3.3 生產(chǎn)系統(tǒng)業(yè)務網(wǎng)關變更

軟件定義網(wǎng)絡相比硬件網(wǎng)絡更加復雜，利用天府雙流兩場Edge虛擬機互備的方式保證業(yè)務網(wǎng)關高可用，對運維人員的虛擬化技術能力要求高，增加了故障處置難度。在最終交付的網(wǎng)絡中，各生產(chǎn)系統(tǒng)業(yè)務的網(wǎng)關上調(diào)至服務器匯聚交換機，廢除VMware NSX Edge功能，采用VRRP技術的主備方式實現(xiàn)數(shù)據(jù)業(yè)務網(wǎng)關在天府機場和雙流機場的兩場路由互備。由于生產(chǎn)數(shù)據(jù)中心為分布式架構(gòu)，TFAN業(yè)務網(wǎng)關路由冗余場景與傳統(tǒng)場景不同。圖8為傳統(tǒng)網(wǎng)絡場景與實際網(wǎng)絡場景的對比圖，可以看出在實際場景中若Network-A的用戶需要訪問10.1.1.3需要跨核心層交換機，由于A用戶默認路由下一跳為10.0.0.252，如果只是對匯聚層交換機的業(yè)務網(wǎng)關做VRRP路由冗余，同樣網(wǎng)絡不可達。圖9為傳統(tǒng)VRRP配置方案和天府機場實際配置方案的對比圖，可以看出，在實際網(wǎng)絡場景中，核心層面同樣做了VRRP路由冗余來保證網(wǎng)絡可達。

圖8 傳統(tǒng)網(wǎng)絡場景與實際網(wǎng)絡場景

圖9 傳統(tǒng)VRRP配置方案和TFAN實際配置方案

3.4 防火墻上行核心交換機改為動態(tài)聚合模式

在施工過程中，深信服與華三工程師進行了設備聯(lián)調(diào)，因此防火墻上行核心交換機改為動態(tài)聚合模式，以防止靜態(tài)聚合出現(xiàn)不可預料的問題。

4 結(jié) 論

TFAN從設計至實施落地，始終圍繞“安全、穩(wěn)定、便捷”主題推動前行，為天府空管網(wǎng)絡的數(shù)據(jù)提供可靠的通信環(huán)境，打下網(wǎng)絡“智慧空管”目標的硬件基礎，并通過介紹TFAN網(wǎng)絡架構(gòu)、初期網(wǎng)絡設計以及實施修訂內(nèi)容來傳遞空管網(wǎng)絡運維理念。