SDN多控制器一致性的量化研究

李軍飛，蘭巨龍，胡宇翔，鄔江興

?

SDN多控制器一致性的量化研究

李軍飛，蘭巨龍，胡宇翔，鄔江興

（國家數字交換系統工程技術研究中心，河南鄭州 450002）

針對SDN網絡中多控制器的一致性問題，提出了一種量化的研究方法，為控制層的東西向擴展提供更為精準有效的共享網絡視圖方法。首先，結合SDN的特性，給出了控制器之間一致性、性能以及可用性的度量指標，建立通用的量化分析模型。其次，針對其中3類典型的一致性問題進行了量化研究，明確了其取得最優值的條件，為一致性參數的配置提供了參考。最后，通過仿真實驗對該量化方法進行驗證。實驗結果表明，該量化方法能夠有效提高SDN控制層的性能和可用性。

SDN；多控制器；一致性；性能；可用性

1 引言

隨著網絡應用的快速發展，傳統的網絡交換設備承載著越來越多的控制邏輯，已難以適應虛擬化、云計算、大數據及相關業務發展對數據高速傳輸、資源靈活配置、協議快速部署的需求。軟件定義網絡（SDN, software defined network）提出了控制與轉發分離的設計結構，實現了開放的可編程網絡接口，為網絡提供了更細粒度的管理，引起了學術界和產業界的廣泛研究[1,2]。然而，SDN的集中式控制在為網絡應用帶來創新與便利的同時，也帶來了可靠性、可擴展性以及可用性等方面的問題。目前，無論是針對SDN的可靠性問題[3]，還是可擴展性問題[4]，大多數的解決方法均采用多控制器間主備冗余或對等協同的方法。

然而，多個控制器之間如何高效地共享網絡視圖，以期實現快速的主備切換或有效的集中式控制，即SDN控制器的一致性(consensus)問題，仍是SDN多控制器網絡面臨的主要難題之一。維護SDN控制器一致性的主要目的就在于要保證主控制器獲取的網絡事件能夠共享給從控制器，或本地控制器獲取的網絡事件能夠傳播給全局其余的控制器，以使多個控制器在關于全網的視圖問題上達成一致。在SDN網絡中，強一致性有利于多個控制器間具有更加一致的網絡視圖，使基于集中式控制的上層應用的效果更好。但是，這也會帶來更多的通信開銷和延遲，影響控制層面的性能并降低其可用性。

目前，SDN控制器的一致性主要是通過分布式數據存儲系統來實現[5]，其可供選擇的一致性協議、數據交互和同步方法有限，難以滿足上層應用的多樣化部署和流量優化需求[6,7]。而且，控制器一致性的研究主要集中在設計和實現方面，多是針對不同強度一致性的定性研究，缺少對其進一步的量化和優化。因此，研究多控制器之間一致性、性能以及可用性的量化關系，并基于此來尋求SDN多控制器間的協同優化配置，對于提升SDN控制層面的整體性能具有重要的現實應用價值。

綜上，本文提出了一種SDN多控制器的一致性量化研究方法，希望能引起相關研究者的興趣。具體而言，本文通過建立SDN多控制器的通用量化分析模型，研究其一致性、性能及可用性之間的協同優化配置，以減少同步的通信開銷、提高可用性。

2 相關工作

SDN的主要優勢之一就是具有全局的網絡視圖，供部署在控制器上層的應用所使用，以簡潔高效地解決傳統網絡中難以解決的問題，如Handigol、Wang等[1,2]的研究結果表明集中式網絡具有更為有效的負載均衡管理。然而，SDN網絡中也存在著可靠性、可擴展性以及可用性等方面的問題，成為了該領域的研究熱點。例如，Li等[3]針對主控制器異常會造成整個網絡癱瘓的問題，提出了多個冗余控制器采用BFT (byzantine fault tolerant)技術，以增強控制層的可靠性。另外，Dixit等[4]針對不斷增長的SDN網絡規模及單個控制器性能有限的問題，提出了多個分布式控制器協同工作的方法，以解決SDN網絡的可擴展性。因此，無論是解決SDN網絡中的可靠性還是可擴展性，目前大多數的方法都是基于多控制器的思想。然而，由于不同控制器管理的交換機不同或角色不同，導致其獲得的網絡視圖不同，為了能夠達到SDN的集中式控制效果，多個控制器之間需要同步其網絡視圖?？刂破髦g如何同步，使具有更加一致的網絡視圖，是上述研究要解決的根本問題。

HyperFlow[8]是第一個提出在SDN網絡中引入分布式控制器概念的，控制器之間通過構建在分布式文件系統WheelFS之上的訂閱—發布平臺實現數據同步，以確保節點之間對網絡視圖的一致性。同時，文獻[8]也評估了HyperFlow中控制器節點之間的同步性能，即每秒能夠處理1 000次以下的網絡事件更新，但沒有對一致性強弱對性能的影響做進一步的研究。Onix[5]是第一款產品級的強調可用性和可擴展性的SDN控制器，由于其針對大規模的商用級網絡所開發，所以廣泛應用于Google、VMware等公司的商用網絡中。Onix控制器為上層應用提供了NIB (network information base) 的網絡視圖，并有2種可供選擇的不同類型的數據庫用于節點間的數據同步：面向SQL的、具有強一致性的事務型數據庫，但其同步性能較低；基于DHT (distributed Hash map)的、僅能最終一致性的Key-Value數據庫，但有較好的同步性能。然而，Onix是一款不開源的控制器，且僅提供了2種不同強弱的一致性模型，難以適應SDN上層應用的多樣化需求。OpenDayLight是一個以商用為初衷的開源的控制器項目，得到Cisco、IBM等公司的支持，其中的多控制器協同主要是采用云計算中的Infinispan數據存儲框架[9]，但由于其目前仍在開發之中，沒有達到理想的性能指標，故需要重新考慮該部分的設計[10]。

另外，Bailis等[11]研究了如何采用PBS (probabilistically bounded staleness) 模型預測分布式節點間數據的最終一致性強度，為一致性和性能之間的權衡提供了借鑒方法。但是，該模型針對通用的分布式系統，沒有結合SDN的特性給出具體的優化方法。Hassas等[12]提出了一種層次式架構來實現多控制器間的一致性，其中，上下兩層控制器形成樹狀結構，下層的控制器負責局部交換機的管理，上層控制器協調下層控制器的同步，維護網絡視圖的一致性。然而，該方法僅改變了多控制器間的通信模式，并沒有緩解一致性和性能之間的沖突問題。

3 一致性問題的量化模型

3.1 動機

在分布式系統一致性的研究中，一致性與性能之間的平衡始終是研究熱點，針對不同的應用場景提出了不同強弱的一致性協議[13,14]。例如，Paxos是解決分布式系統一致性問題的經典算法，可以保證多控制器之間具有強一致的網絡視圖，但是在一次數據同步中，proposer、acceptor和learner之間需要多次交互。如圖1所示，這種信息交互方式會產生較大的網絡通信開銷，尤其是在選舉失敗或提議沖突的情況下消耗的網絡帶寬更為嚴重。因此，采用弱一致性協議或最終一致性協議來降低節點間同步的通信開銷，對于提升性能具有較好的效果。然而，弱一致性導致了控制器之間網絡視圖的差異，影響某些上層應用的功能和效果，文獻[6]中所提及的流量負載均衡應用。因此，如何在滿足上層應用一致性要求的情況下，實現最小的同步通信開銷以及最高的可用性，是本文的研究重點。

3.2 相關概念

3.2.1 一致性

對于一個SDN控制器節點，由于本地緩存或通信延遲，使其控制區域內更新的網絡事件沒有及時地共享給它其余的控制器，造成了節點間網絡視圖的不一致。因此，這里采用控制器間網絡事件的差異度作為一致性的度量指標，控制器之間網絡事件的差異度越大，意味著系統的一致性越弱。另外，控制器節點上有不同類型的網絡事件，表1中列舉了部分常見的事件，如新的主機節點加入、鏈路斷開、流量負載更新等，并且，一致性的強弱很大程度上依賴于具體的應用，例如，對于路徑計算應用來說是弱一致性的協議，而對于負載均衡應用來說卻可能是強一致性的。同時，不同的網絡事件對于同一上層應用的一致性影響是不同的，例如，對于路徑計算應用的一致性而言，網絡拓撲的變化相對于流量負載的變化，具有更大的影響。

表1 常見的網絡事件

綜上可知，一致性的分析是要針對某一具體的上層應用，且取決于該應用中所涉及網絡事件的類型和數量。所以，對于部署在多個SDN控制器上的某一應用，定義控制器節點CN的一致性為

其中，E(1≤≤)表示在控制器節點CN上應用中所涉及的網絡事件的類型，|E|表示該控制器節點上已更新的但還沒有及時同步的網絡事件E的最大數量，λ表示事件E在應用中的影響因子?？梢钥闯觯?i>c的取值越大，該節點的一致性越弱。進一步地，可以定義應用在整個系統中的一致性為

(2)

其中，表示網絡中控制器的數目。那么，當僅有，，，意味著SDN控制層面僅有一個控制器節點有事件更新，對應用于增強SDN網絡可靠性的主備冗余多控制器網絡；當，，意味著每個節點最多有一個需要同步的事件，對應強一致性的分布式多控制器網絡。

3.2.2 性能

控制器之間進行一致性同步的性能主要受限于2個因素：1）節點間的通信開銷；2）單節點的同步負載。下面將逐一分析上述因素與一致性的關系，以研究性能與一致性之間的平衡點。

對于通信開銷，控制器節點CN在同步一個網絡事件E時，產生的數據分組通常較小，平均在1 KB左右，最大不超過4 KB[15]，如圖1中步驟2的數據分組。而且，一致性協議交互過程中的其余數據分組的大小也大都在該范圍內，差異不大，如圖1中步驟3~步驟5通信過程的數據分組。因此，使用單位時間內的通信次數作為衡量通信開銷的指標，文獻[16]中也采用了該近似方法。那么，當控制器節點CN每次均在達到一致性上限C時，節點間進行一次一致性同步，則可以獲得最小的通信開銷，速率為

其中，是一個固定的常數，取決于系統中采用的一致性協議。g表示控制器節點CN上網絡事件E的產生速率。進一步，可以計算整個系統通信開銷的最小速率為

(4)

單節點的同步負載主要是指本地發送的或接受遠程的同步請求，可以采用同步次數作為其量化指標，即上文中所述的V。因此，式(3)和式(4)可以表示一致性與性能之間的關系。

3.2.3 可用性

可用性是另一個與一致性沖突的因素，在要求強一致性的多控制器網絡中，當某個節點出現故障時，使控制器之間的網絡視圖形成差異。此時，控制層由于無法達成強一致性的網絡視圖，將不能再繼續工作，失去可用性?？刂破鞴濣c間如果減弱一致性強度，在本地緩存部分更新的網絡事件，則能夠容忍短時間的故障。

進而，整個控制層的可用性可以被度量為

(6)

3.3 一致性問題

在對SDN多控制器的一致性、性能以及可用性進行量化分析之后，接下來本文研究它們之間的平衡點，以獲取最大的效益。在對某一上層應用進行一致性配置時，通常會有2類針對不同目標的優化問題：1）在給定一致性的約束條件下，求解可以實現的最大性能或最高可用性；2）在給定性能或可用性約束的條件下，求解可以實現的最大一致性。對于這些約束條件，一般從全局的角度對整個系統進行約束，進一步地，考慮到網絡環境和應用需求的多樣性，也可以對每個控制器節點進行具體的約束。因此，該一致性問題又可以細分為幾類具體的子問題，下面選取其中具有代表性的3個問題進行詳細的描述和分析。

1) 給定一致性的全局約束，求能實現的最大性能

Q1：對某一上層應用，已知其在各個控制器節點上所涉及網絡事件的更新速率，即，在式(2)的一致性約束的條件下，求式(4)的最小取值。

2) 給定一致性的全局約束，求可獲得的最高可用性

Q2：對某一上層應用，已知其在各個控制器節點上所涉及網絡事件的更新速率，即，以及故障節點修復時間t，在式(2)的一致性約束的條件下，求式(6)的最大取值。

3) 給定一致性的具體約束，求能實現的最大性能

Q3：對某一上層應用，已知其在各個控制器節點上所涉及網絡事件的更新速率，即。給定式(1)的一致性約束，及式(2)的約束，且，求式(4)的最小取值。

4 一致性問題的求解

本節將逐一討論上述一致性問題的最優解，并分析其獲得最優解的條件。

4.1 問題Q1的最優解

(8)

c的取值雖然復雜，但其含義是簡單清晰的，可以稱其為“平方根分布法則”[16]，表示每個節點的一致性上限與其產生網絡事件速率的平方根成正比。所以，在給定一致性的全局約束下，可以根據各個節點產生網絡事件的速率來分配各節點的一致性上限，以獲得最小的通信開銷，實現更高的性能。

4.2 問題Q2的最優解

同問題Q1類似，c的取值取決于節點產生網絡事件的速率，當兩者之間構成正比關系時，整個控制層的可用性達到最大。同時，本文也注意到該問題的最優解并不唯一，上述僅是其中的一組。

4.3 問題Q3的最優解

問題Q3的求解是一個典型的多約束非線性規劃問題，可形式化描述為

MNP啟發式算法

在該啟發式算法中，首先按照4.1節中的平方根分布法則，計算在全局約束下取得最優解的點（第4)、5)行），以其作為啟發，搜索臨近的近似最優解。同時，記錄與局部一致性相沖突的項x，構成集合（第6)、7)行）。然后，在能夠較快接近最優解的方向上搜索，即在集合中選擇x，使其對應的t是所有沖突項中最大的，并使其滿足局部一致性約束（第13)、14)行）。最后，從解向量中去除x項（第15)、16)行），進行下一輪的最優解搜索，直至所有的項同時也滿足局部約束（第8)~11)行）。

5 實驗驗證與分析

5.1 測試環境

為了測試該量化模型，本文采用C++語言實現了一個仿真器，來模擬多控制器之間的一致性交互。該仿真器基于Internet 2 OS3E網絡拓撲，OS3E是一個遍布美國的用于先進科學研究的SDN網絡[18]。如圖2所示，OS3E具有34個節點和42條鏈路，每個節點表示一個獨立的大學或組織，通常需要部署一個SDN控制器。因此，在該仿真器中，本文假定OS3E的每個節點上均部署一個控制器，控制器之間需要一致性交互。

同時，在該仿真器中實現了3種一致性策略：1) Strict Mode：確保SDN網絡中的每個事件能夠被及時地全局共享，即，類似于Onix中基于SQL的強一致性模型；2) Relaxed Mode：在滿足一致性約束的前提下，節點間選擇最弱的一致性協議，且各節點的一致性配置相同，即，類似于Onix中基于Key-Value的弱一致性模型；3) Elastic Mode：基于上述量化模型的分析結果，設計一種具有彈性的一致性協議，使各節點的一致性配置與其網絡事件的更新速率相協調。通過分析上述3種策略的仿真結果，來說明該量化模型相對于SDN網絡中常用一致性模型的優勢。

5.2 實驗數據

對于要在多個控制器節點上部署的上層應用，假定其全局一致性約束C= 68，并在上述實驗環境中對其進行仿真測試。圖4所示為在該約束下全局通信開銷的仿真結果，包括同構網絡和異構網絡2種仿真場景，其中的軸采用西八區（PST）時間。從仿真結果可以看出，在3種一致性策略中，Elastic Mode一直具有最小的通信開銷，Strict Mode的通信開銷最大，且三者隨時間的走勢大致相同。所以，Elastic Mode相對于常用的一致性策略能夠實現更好的性能。另一方面，通過對比分析具體的數據，可以發現在異構網絡中，Elastic Mode具有更好的效果，即各節點網絡事件數量的差異越大，Elastic Mode提升性能的效果越顯著。

進一步地，在全局一致性約束的基礎上，再對每個控制器節點做具體的約束，即，其中，b在[1, 3]內隨機取值。Elastic Mode采用4.3節所述的啟發式算法，計算每個節點的一致性參數c。這里僅在異構網絡中進行了仿真，圖5給出了該一致性約束下的通信開銷。同樣，Elastic Mode具有最小的通信開銷，而Strict Mode的通信開銷最大。另外，與圖4(b)對比，圖5中Relaxed Mode通信開銷的抖動較大，即在一些特殊情況下的性能較差（如圖5中7 h、11 h、19 h等時刻），而Elastic Mode通信開銷的變化較為平穩，能適應不同情況的一致性約束。

對于可用性的仿真測試，為了便于對比分析，考慮另一個在多個控制器節點上部署的上層應用，假定其全局一致性約束C= 1 700。由于各節點產生網絡事件的速率很快，為了不致使其在故障發生后均能超出本地一致性約束的上限，假定系統可以在很短的時間內修復故障，即t= 0.01 s。這里也僅在異構網絡中進行了仿真，測試結果如圖6所示，軸表示式(6)中的。其中，Elastic Mode和Relaxed Mode的可用性大致相當，在9~15 h時，Elastic Mode的可用性略占優勢。而Strict Mode的可用性為定值，遠低于上述兩者的可用性。

圖5 具體約束下的通信開銷

綜合上述分析可以發現，在多控制器的SDN網絡中，基于該量化模型來適時調整一致性參數的Elastic Mode，相對于傳統的一致性策略Strict Mode和Relaxed Mode，在減小通信開銷和提高可用性上，都具有一定的優勢。因此，該量化模型對于研究多控制器之間的一致性問題，提升控制層面的性能和可用性，具有重要的意義。

6 結束語

本文針對SDN多控制器間的一致性問題，首先介紹了該領域的相關工作和研究。然后，結合SDN的特性，給出了一致性、性能及可用性的度量指標，建立了量化分析模型。然后，選擇其中的幾類一致性問題進行量化研究，求解其最優值以及獲得最優值的條件，為一致性參數的配置提供了指導。最后，將基于上述量化模型的一致性配置方法與傳統的一致性方法進行了對比，實驗結果表明該方法能夠有效提高控制層面的性能和可用性。下一步的工作是把該方法應用到OpenDayLight控制器上，將其作為東西向接口以實現控制器之間的同步，測試在真實SDN環境下的一致性效果。

[1] HANDIGOL N, SEETHARAMAN S, FLAJSLIK M, et al. Plugin-serve: load-balancing Web traffic using OpenFlow[J]. ACM SIGCOMM Demo, 2009, 4(5): 6.

[2] WANG R, BUTNARIU D, REXFORD J. OpenFlow-based server load balancing gone wild[C]//USENIX HotICE. c2011:12.

[3] LI H, LI P, GUO S, et al. Byzantine-resilient secure software-defined networks with multiple controllers in cloud[J]. IEEE Transactions on Cloud Computing, 2014, 2(4): 436-447.

[4] DIXIT A, HAO F, MUKHERJEE S, et al. Towards an elastic distributed SDN controller[C]//ACM SIGCOMM Computer Communication Review, 2013, 43(4): 7-12.

[5] KOPONEN T, CASADO M, GUDE N, et al. Onix: a distributed control platform for large-scale production networks[C]//OSDI. c2010: 1-6.

[6] LEVIN D, WUNDSAM A, HELLER B, et al. Logically centralized: state distribution trade-offs in software defined networks[C]//The First Workshop on Hot Topics in Software Defined Networks. ACM, c2012: 1-6.

[7] STRAU? J. Control-plane consensus in software-defined networking: distributed controller synchronization using the ISIS2 toolkit[J/OL]. http://elib.uni-stuttgart.de/handle/1162/357/.

[8] TOOTOONCHIAN A, GANJALI Y. HyperFlow: a distributed control plane for OpenFlow[C]//The 2010 Internet Network Management Conference on Research on Enterprise Networking. USENIX Association, c2010: 3.

[9] LUO M, WU X, ZENG Y, et al. Multi-dimensional hashing for fast network information processing in SDN[C]//Complex, Intelligent, and Software Intensive Systems (CISIS), 2015 Ninth International Conference. IEEE, c2015: 140-147.

[10] BOTELHO F, BESSANI A, RAMOS F, et al. SmartLight: a practical fault-tolerant SDN controller[J]. arXiv preprint arXiv:1407.6062.

[11] BAILIS P, VENKATARAMAN S, FRANKLIN M J, et al. Probabilistically bounded staleness for practical partial quorums[J]. Proceedings of the VLDB Endowment, 2012, 5(8): 776-787.

[12] HASSAS Y S, GANJALI Y. Kandoo: a framework for efficient and scalable offloading of control applications[C]//The First Workshop on Hot Topics in Software Defined Networks. ACM, c2012: 19-24.

[13] BAILIS P, VENKATARAMAN S, FRANKLIN M J, et al. Quantifying eventual consensus with PBS[J]. The VLDB Journal, 2014, 23(2): 279-302.

[14] DIAO Z. Consistency models for cloud-based online games: the storage system’s perspective[J/OL]. http://ceur-ws.org/Vol-1020/paper_03.pdf.

[15] BOTELHO F, RAMOS V, MANUEL F, et al. On the feasibility of a consistent and fault-tolerant data store for SDNs[C]//Software Defined Networks (EWSDN), 2013 Second European Workshop. IEEE, c2013: 38-43.

[16] ZHANG C, ZHANG Z. Trading replication consensus for performance and availability: an adaptive approach[C]//Distributed Computing Systems, 23rd International Conference. IEEE, c2003: 687-695.

[17] YU H, VAHDAT A. The costs and limits of availability for replicated services[J]. ACM SIGOPS Operating Systems Review, ACM, 2001, 35(5): 29-42.

[18] Internet2 open science, scholarship and services exchange[EB/OL]. http://www.internet2.edu/network/ose/.

[19] SHALIMOV A, ZUIKOV D, ZIMARINA D, et al. Advanced study of SDN/OpenFlow controllers[C]//The 9th Central & Eastern European Software Engineering Conference in Russia. ACM, c2013: 1.

Quantitative approach of multi-controller’s consensus in SDN

LI Jun-fei, LAN Ju-long, HU Yu-xiang, WU Jiang-xing

(National Digital Switching System Engineering & Technological R&D Center, Zhengzhou 450002, China)

For the problem of multi-controller’s consensus in SDN, a quantitative approach was proposed, which provided a more accurate and effective method of sharing network view for the control layer's east-west extension. Firstly, the metrics of consensus, performance and availability between the controllers with the feature of SDN was provided, establishing the common model for quantitative research. Secondly, for the three typical questions in the research of multi-controller’s consensus, the condition to achieve its optimal value was explicated, which provided a reference for the configuration of consensus. Finally, to verify the validity of the quantitative approach by simulation, experimental results show that this approach can improve the performance and availability of the control layer in SDN effectively.

SDN, multi-controller, consensus, performance, availability

TP393

A

10.11959/j.issn.1000-436x.2016119

2015-10-19；

2016-05-10

國家重點基礎研究發展計劃（“973”計劃）基金資助項目（No.2012CB315901, No.2013CB329104）；國家自然科學基金資助項目（No.61521003，No.61372121）；國家高技術研究發展計劃（“863”計劃）基金資助項目（No.2015AA016102, No.2013AA013505）

The National Basic Research Program of China(973 Program) (No.2012CB315901, No.2013CB329104), The National Natural Science Foundation of China (No.61521003, No.61372121), The National High Technology Research and Development Program of China(863 Program) (No.2015AA016102, No.2013AA013505)

李軍飛（1989-），男，河南安陽人，國家數字交換系統工程技術研究中心博士生，主要研究方向為集中式網絡管控下的主動防護技術。

蘭巨龍（1962-），男，河北張北人，博士，國家數字交換系統工程技術研究中心總工程師、教授、博士生導師，主要研究方向為新一代信息網絡關鍵理論與技術。

胡宇翔（1982-），男，河南周口人，博士，國家數字交換系統工程技術研究中心講師，主要研究方向為新一代信息網絡關鍵理論與技術。

鄔江興（1953-），男，浙江嘉興人，國家數字交換系統工程技術研究中心教授、博士生導師，主要研究方向為網絡通信和網絡安全。