基于軟件定義的數據中心網絡控制技術*

謝 衛，陳 松

（中國電子科技集團公司第三十研究所，四川 成都 600045）

0 引 言

基于軟件定義的數據中心網絡采用控制平面和數據平面分離的思想，分離出的控制平面為應用程序提供北向編程接口，并通過南向接口來控制數據平面的轉發行為。集中式運行的網絡控制平面具有靈活和細粒度的控制能力，是網絡的“大腦”，在軟件定義網絡中具有舉足輕重的作用。本文將介紹分布式網絡控制器集群的系統架構和控制模型，以滿足大規模軟件定義數據中心網絡對網絡控制的可擴展性、可靠性和其他性能的要求。

1 分布式集群控制器的架構

軟件定義網絡采用邏輯上集中的控制方式，這種方式一方面大大增加了網絡控制的靈活性，另一方面帶來了網絡控制的可擴展性問題。分布式控制器集群可以有效解決網絡控制的可擴展性問題。對于一個大規模軟件定義網絡，高效的分布式控制器集群應該滿足三點要求：（1）具有良好的可擴展性；（2）具有高可靠性；（3）具有簡單和高效的一致性保證機制。此外，隨著硬件性能的快速提升和用戶對數據中心網絡靈活性方便的需求，虛擬化技術得到了快速發展，并在數據中心網絡中得到了廣泛應用。在服務器端，多個虛擬機可同時運行于同一個物理服務器上，以共享物理計算資源。控制器軟件可以充分利用虛擬化的計算資源運行。

基于實際數據中心網絡的特點，采用分布式分層分域控制架構較為合適。集群分布式控制架構的網絡層次化結構能夠簡化網絡規劃，保證網絡重構的快速性和準確性，充分發揮網絡整體性能，減輕網絡開銷，實現網絡分級分權分域管理，提高網絡的可用性和可靠性。根據組網能力指標要求和保障需求，數據中心控制網絡可以采用分層結構設計，如支持底層域控制L1、中間域控制L2和頂層域L3的三級組網模式[1]。如圖1所示，整體架構中共有十幾個基本區域（L1），每個區域內包含上百個網絡節點，可將這十個區域根據不同需求組合為幾個中型區域（L2）；頂層區域（L3）則負責管理三個中型區域。

圖1 集群分布式分層分域控制架構

上層控制器將下層控制器當作網絡節點進行控制，主要用于多區域間的尋路。各區域內有對應的控制器，各層控制器的權限不同，從頂層到底層，權限依次降低。L3控制器控制著整個網絡，但是其不具體去對某個子區域內的路由進行管理，而是由其將指令發送到中型區域的L2控制器，中型區域的控制器再將指令分發到L1控制服務器以執行具體的網絡操作。

圖1中，各個區域內的控制服務器以虛線表示邏輯互連。由于各個區域內的網絡分別由不同的控制器控制，為了在更大范圍內實現控制服務器之間的相互通信和資源共享，兩者之間的互聯便成為一種信息快速傳達的最好方式。本架構中各個區域內的控制服務器之間的互聯是在應用層。而在圖1中，同一區域內的控制服務器之間是以虛線互連，之間并沒有實際的鏈路。例如，在基本區域的三個控制服務器之間以虛線互連，這個邏輯互連的網絡由一個中型區域的控制器控制，同一層次控制域內的控制器相互協作，通過對等P2P協作控制其自身管理的區域。可以實現的功能包括網絡可視化、流量工程優化和拓撲呈現。在物理拓撲發現和監測網絡的過程中，需要交互大量從子區域內收集的信息，這需要每個控制器相互協調，通過同一層次的對等網絡實現信息交互和共享，然后綜合分析后將信息匯聚上報給頂層的控制器，使其依據這些數據做出相應的決策。

2 網絡控制的一致性問題

軟件定義網絡存在兩個控制一致性問題：狀態更新一致性問題和網絡狀態視圖一致性問題。狀態更新一致性問題是指在控制器更新交換機流規則的過程中，由于控制消息下發先后和傳輸時延的影響，不同交換機上流表生效的時間存在差異，從而導致不同的交換機可能采用不同的流規則來處理同一條流，最終導致流路由成環、路由策略改變、流隔離失敗等問題。目前，狀態更新一致性問題的解決方案主要包括按一定順序更新交換機控制策略、在數據包上打標簽和使用精確的時間同步方法。這些方法都能取得較好效果，因此本項目中將重點研究網絡狀態視圖一致性問題。

在大規模實際軟件定義網絡中，為了解決控制的可擴展性和可靠性，軟件定義網絡必然會使用分布式的網絡控制器集群。分布式網絡控制器集群采用多個控制器來控制網絡，其中每個控制器負責控制一部分網絡節點。然而，實際網絡中，由于網絡失效、通信延時、狀態更新不及時等問題的影響，控制器集群中的不同控制器可能會看到不同的網絡狀態視圖，從而導致控制器集群做出相互沖突甚至錯誤的網絡控制策略，通常被稱為網絡狀態視圖不一致問題。

為了解決網絡狀態視圖不一致問題，現有的分布式控制器集群架構如ONIX、ONOS、ODL等，都采用傳統一致性保證機制，如Paxos或RAFT來保證多個分布式控制器上網絡狀態視圖的一致性。這些傳統的一致性保證機制基本都采用基于共識的機制，即當網絡事件發生后，多個控制器之間需要先對該網絡事件達成共識，然后才能執行相應操作。然而，應用這種基于共識機制的同步方案明顯具有如下三點不足。第一，對網絡事件的響應時間較慢。當網絡事件發生后，控制器對該事件的響應必須在控制器達成共識后。第二，可用性較差。基于共識機制的同步方案中，只有當一定數量（比如一半及以上的）控制器都意識到網絡事件后才算達成共識，如果網絡中的一些控制器失效，且存活的控制器數量不足總法定數量，那么該共識機制不可用。第三，這些一致性保證機制會引入很大延時。為了提高網絡控制的實行性和可靠性，需要簡化和改進現有分布式控制器集群的一致性保證機制。

本文在控制器上增加了控制器代理模塊，在交換機上增加了交換代理模塊。每個控制器通過控制器代理模塊周期性地向網絡中的其他控制器通告它所在網絡域中的網絡事件日志，以實現控制器集群上網絡事件日志的一致性。為了及時感知數據平面狀態的變化，控制器代理模塊還會定期向交換機發送探測消息，以探測交換機的狀態。控制器代理模塊會根據收到的網絡事件日志和探測到的交換機狀態，使用狀態合并算法保證狀態的一致性。當某個控制器觀測到網絡事件日志或者數據面狀態發生了改變，它就觸發控制策略重計算，以生成新的數據面配置。該方法的核心思想是控制器意識到網絡事件后立馬響應，避免了傳統方案多控制器間達成共識所需要的時間，以及不需要達成共識所需法定人數的條件，避免傳統方案某些場景不適用的情況。

3 多網絡控制器的部署問題

在軟件定義網絡中，控制器的部署將會影響控制器處理網絡事件的能力。例如，控制器響應交換機請求的網絡時延與部署位置密切相關；當考慮網絡可靠性時，每個節點至少要通過分離路徑連接到至少2個控制器。控制器的部署問題主要需要解決兩個問題：（1）確定控制器的部署數目，即在滿足網絡管理性能需求的情況下最少需要多少控制器；（2）確定控制器在拓撲中的位置以及每個控制器控制的網絡節點（確定每個控制器的控制范圍）。控制器部署問題主要考慮的性能目標包括部署代價、控制時延、控制器負載和可靠性要求[2]。

軟件定義網絡控制器部署問題為NP難問題。因此，擬采用近似算法進行求解。基于以往的研究經驗，擬主要嘗試的近似算法包括基于隨機搜索的算法、基于多目標規劃的算法和基于聚類的算法。基于隨機搜索的算法的基本原理是采用有效的隨機搜索算法（如模擬退火、遺傳算法等）在解空間中搜索最好的解。基于隨機搜索的算法的關鍵是如何確定各種算法參數，以使得算法收斂快、優化性能好。基于多目標規劃的算法首先將控制器部署問題轉化為一個多目標優化問題，而控制器部署的最優解取決于多個性能目標的滿足程度，在多個性能尺度之間和各種約束條件之間求得一個合理的折中值，如用Pareto最優解作為控制器部署問題的解。基于聚類的算法根據選擇的性能尺度和約束條件，將N個交換機（或網絡節點）劃分為K個類別，使每個類別內的交換機與控制器間關系的相似度較大，而交換機與其他類別的控制器間關系的相似度較小。K為控制器的數量，每個類別表示控制器的管理域。例如，可以使用函數g表示管理域間連接鏈路，代價函數f表示管理域內控制器與交換機見平均傳輸時延，通過使f和g最小化來對網絡中管理域進行劃分。

4 分布式網絡控制器負載均衡策略

單臺物理控制器受限于處理能力與資源的分配，且擴展性不夠。因此，數據中心必須考慮采用分布式網絡控制器的集群工作方式，以滿足數據中心要求的可擴展性、可靠性。但是，集群工作下，控制器的負載均衡策略是一項待突破的關鍵技術。

根據控制器集群的南向接口集群要求，需要為每個交換機在OpenFlow集群中選擇master/slave控制器。控制器的選擇原則之一，是要保證最后的負載均衡；選擇的原則之二，是要保證選擇的控制器異常后對負載均衡的破壞程度最小。

負載均衡策略負責負載均衡計算和維護負載均衡的穩定性。根據以上兩個原則，在負載均衡算法設計上，使用負載因子和影響因子作為集合選擇的根本依據。

負載因子的設計，本質上是最小連接數思想。使用控制器管理的交換機數量，作為master/slave控制器選擇的指標之一。該因子用來標識控制器的負載情況。負載因子越大，負載越重；反之，越輕[3]。

影響因子的設計，本質上是離散分布思想。使用控制器所接管交換機的slave連接分布情況，作為master/slave控制器選擇的指標之二。該因子用來標識控制器異常后，負載均衡遭到破壞的程度，或者說它是對負載均衡影響的衡量。影響因子越大，破壞程度越高。理想情況下的影響因子應該為0，即異常后無破壞。實際中，很難保證影響因子一直為0，一般會在0附近波動，但在一定范圍內波動可視為正常無破壞[4]。

第一步：計算控制器接管的交換機的slave鏈接在剩余OpenFlow集群成員中的分布值；

第二步：使用方差計算分布情況。

master/slave控制器的選擇原則為負載盡量小，影響因子盡量小。以下是選擇規則：（1）選擇負載因子最小的控制器；（2）如果存在兩臺及以上相同最小負載因子的控制器，則選擇影響因子最小的控制器；（3）如果最小影響因子的控制器存在多臺，隨機選擇一臺控制器。

如圖2所示，向網絡中加入一個交換機，三臺服務器中負載因子最小的為S2和S3，兩者的影響因子相同。這里選S3作為新進入交換機的mater控制器，S1為slave控制器。

圖2 新加入交換機的master控制器選取策略

調整影響因子，使用slave重分布策略。該策略保障控制器上接管的交換機的slave連接均勻分布在剩余OpenFlow集群成員中，使得影響因子盡量接近理想值。slave重分布的觸發條件是影響因子超出一定范圍。分布策略的關鍵在于計算需要重分布的交換機，以及這些交換機的slave鏈接需要遷移到哪臺控制器。遷移原則為高于理想值的slave鏈接向低于理想值的控制器遷移。

具體的slave重分布規則如下。

第一步：計算出控制器理想情況下和實際情況下的slave分布值；

第二步：找出實際情況下slave分布值低于理想值的控制器集合A，實際情況下，slave分布值高于理想值的控制器集合B；

第三步：計算A集合中每臺控制器允許遷過來的交換機數和B集合中每臺控制器可以遷移的交換機數；

第四步：從B集合中依次遷移交換機至A中的首位控制器，直到其slave分布值達到理想值；

第五步：執行第四步，直到B為空。

圖2為加入新交換機后的網絡情形，S3的影響因子由0.25增加到1。假設影響因子允許范圍為0～0.3，則S3的影響因子超出范圍，應進行slave重分布。因此，做了如圖3所示的slave調整[5]。

圖3 交換機slave重分布

當新的控制器動態加入集群工作時，如果不進行接入管理，那么將沒有交換機會連接至此臺控制器；如果在進行接入管理的情況下，沒有任何其他策略進行處理，那么此臺控制器只能成為所有交換機的slave控制器，沒有任何業務；如果有策略進行了負載轉移，但是新加入控制器并不能成為任何其他交換機的slave。因此，集群擴展策略旨在解決新加入控制器的接入和rebalance問題，負責集群的動態擴展和進行負載轉移，從而始終保證集群的高可擴展性。

5 結 語

在軟件定義網絡控制技術方面，本文提出了一種分層分域的控制架構，保障了網絡控制的可擴展和可靠性。此外，針對多網絡控制器的一致性問題，簡化和改進了現有控制器集群的一致性保證機制，提出了近似算法來解決控制器的有效部署問題，設計了分布式控制器的負載均衡策略，保障了整體的集群工作。