一種高可靠的SDN 南向數據對賬系統設計方案

唐乙雙，胡 洋，向 偉

（中國電子科技集團公司第三十研究所，四川 成都 610041）

0 引言

在傳統的互聯網（Internet Protocol，IP）網絡體系架構中，作為核心設備的路由器包含路由決策和數據轉發等功能。隨著網絡規模的急劇膨脹，其結構及其所承載的功能變得繁復不堪并且有越來越復雜的趨勢[1]。相對于互聯網通信協議第四版（Internet Protocol version 4，IPv4）網絡，軟件定義網絡（Software Defined Network，SDN）技術的核心思想是實現網絡控制面和數據轉發面分離的架構，從而顯著減少了傳統網絡中路由器所承載的諸多大而全且復雜的功能。作為現今網絡通信技術領域的熱點技術，SDN 被認為代表著未來網絡通信技術的演進發展方向。松耦合的邏輯控制和數據轉發、網絡狀態的集中控制、底層網絡設備對上層應用透明、動態可編程[2]是其最重要也是SDN 最顯著的特點。

控制與轉發分離是SDN 網絡架構的基本特征之一。SDN 控制器通過網絡配置交換機，SDN 交換機通過網絡發送設備信息到控制器。網絡的穩定性問題及SDN 交換機具體實現的差異性，會導致SDN 控制器與SDN 交換機之間出現數據不一致的問題，甚至會出現SDN 交換機配置出錯但是控制器卻一無所知的情況。如何保證控制器與交換機之間的數據一致性是構建高可靠、高自愈SDN 網絡的關鍵。針對控制器與交換機之間數據一致性問題，在目前大多數控制器開源框架，如FloodLight、OpenDaylight 等，均專注于核心業務，極少考慮到實際應用中由于各種原因導致的控制器與網絡設備間數據不同步的問題。商用的控制器產品雖然具備維護配置數據一致性的相關功能，但大部分僅支持手動配置維護，自動化程度較低，且在進行數據查詢時通常才采用一次性拉取方式。該方式在交換機需要同步海量數據時，顯得有些力不從心。

因此，在高安全可靠的SDN 控制器的設計中，本文提出一種基于數據快照的南向數據對賬技術，通過該技術，控制器通過定時數據快照比對的方式，基于優先級、數據管理權限等完成交換機與控制器之間的數據對賬，發現并糾正出現的差錯。此外，針對控制器與交換機的數據對賬需求，本文通過借鑒用于存儲網絡中軟故障恢復的快照技術[3]，從數據建模、數據拉取、數據比對3 個方面出發，設計一種基于數據快照的高可靠南向對賬系統。利用該系統，控制器可以避免直接從海量數據中提取有用信息，而是使用定時數據快照比對的方式完成交換機與控制器之間的數據對賬，發現并糾正出現的差錯，極大提高了數據對賬的效率。

1 系統設計

1.1 系統框架設計

基于數據快照的南向數據對賬系統在設計上應與控制器整體框架保持一致，并將整個設計融入到SDN 控制器整體框架中，細化自動化配置數據一致性功能的業務邏輯，由此得到系統的總體架構如圖1 所示。

圖1 系統結構

圖1 展示的系統結構是根據軟件工程中分層框架設計原則設計的。基于數據快照的南向數據對賬系統的總體架構分為北向接口層、控制層以及南向接口層。

北向接口層為網絡管理員提供自動對賬和日志管理接口。其中，自動對賬接口為網絡管理員提供對賬管理的控制接口；日志管理接口主要負責向網絡管理員展示數據對賬服務的運維狀態和輸出結果。

控制層主要根據網絡管理員設置的抽樣比例周期性地調用數據對賬服務對一定數量的網絡設備進行配置一致性維護。

控制層提供的數據對賬服務是整個數據對賬系統的邏輯主體，主要負責根據抽樣比例自動地選取控制器所管控的網絡設備進行配置數據一致性的維護工作。在數據對賬服務中，數據修復與數據比對模塊是實現數據自動對賬功能的基礎，對賬管理、對賬設備選取與對賬權重維護模塊則負責制定數據對賬服務的依據。

南向接口層主要為數據對賬服務提供設備的維護和管理功能。其中設備通信模塊除作為數據對賬服務實現設備對賬管理的渠道外，也是控制器其他功能模塊賴以控制管理網絡設備的基礎，這里本文僅需要利用控制器已有的設備通信模塊的完成網絡設備參數的查詢和設置，無需進行特殊改造。數據拉取模塊負責周期性獲取網絡設備的實時配置參數，是實現數據對賬服務完成數據比對的依據。

在南向數據對賬系統的3 層結構中，控制層與南向接口層是實現數據對賬系統的核心部分，下文將展開具體介紹。

1.2 南向接口層功能設計

南向接口層是數據對賬服務實現配置數據一致性的通道，數據對賬系統不僅需要利用設備通信單模塊來實現設備的參數查詢和配置，還需要通過數據拉取模塊來獲取實時的網絡設備配置數據。

1.2.1 設備通信模塊

設備通信模塊是控制器對底層網絡設備進行集中管控的橋梁，該模塊提供了各種南向協議如OpenFlow、網絡配置（Network Configuration，NETCONF）等。每個被管控的網絡設備通信在設備通信模塊內部都存在一個唯一的映射，每個映射對象都維護著一個與對應設備建立的南向協議會話，該會話負責控制器與網絡設備間的數據交互。本文所設計的數據對賬服務主要利用NETCONF[4]協議完成與網絡設備的信息交互。

1.2.2 數據拉取模塊

數據拉取模塊負責為數據比對提供數據源。數據拉取模塊負責利用NETCONF 協議進行基于YANG 的數據建模，是針對NETCONF 訪問的數據建模語言，它可以描述各種操作、數據、以及通知進行建模，具有良好的可讀性和可擴展性。根據需要，通過YANG 語言對控制器內所要對賬的數據進行建模，包括流表與業務配置。控制器數據庫在設計上分為Config datastore 與Running datastore[5]。Config datastore 用于保存控制器各功能模塊成功向網絡設備下發的配置數據，Running datastore 用于從設備拉取回來的數據保存，用于作為數據比對時配置獲取的數據源。需要注意的是，設備的表項內部會攜帶狀態數據，比如統計、狀態等，這些數據會在建模時與配置數據一起定義，在數據拉取的時候狀態數據會被一同拉取回來，但是比對的時候不需要考慮狀態數據，狀態數據的拉取可用于應用層面需要狀態同步的情形。

數據拉取模塊在進行數據拉取前需要對業務數據進行分類，每一類數據是一個datastore，比如Openflow 流表是一類，interface 配置是一類，路由表是一類，標簽交換路徑（Label Switched Path，LSP）是一類等等。業務數據分類后，在設計業務數據的時候，需要為每一條業務數據加Index 標簽定義，用于全局唯一標識該數據表項。比如流表的標簽是標準定義的，路由的標簽或者LSP 的標簽可以自己定義。

交換機內的表項數據有時候規模非常大，比如流表可能達到上百KB 的級別，這么多表項如果一次同步拉取，一方面將影響控制器的性能，另一方面也會影響設備的管理性能。為此，本文將數據在分類的基礎上再分塊（Data Block），數據塊的大小可調節，默認一個塊的數據是2 000 條。數據分塊之后，控制器向交換機拉取數據的時候，每次最多拉取一個塊的數據。由于數據存在標簽，控制器知道上次拉取的位置，所以下次就從新的標簽處開始拉取，具體流程如圖2 所示。

圖2 數據拉取流程

1.3 控制層功能設計

控制層是南向數據對賬系統的邏輯主體，包括對賬管理、對賬設備選取、對賬權重維護、數據比對與數據修復5 個功能模塊。

1.3.1 對賬管理模塊

對賬管理模塊根據網絡管理員設定的時間周期定時地抽樣選取網絡設備進行數據比對工作。對賬管理模塊在初始化時會激活該模塊的守護進程，該進程將周期性地調用對賬設備選取模塊提供的服務，并根據選取結果完成指定設備的數據比對工作。待數據比對工作執行完畢后，對賬管理模塊將會調用北向接口層的日志管理接口記錄比對結果。

1.3.2 對賬設備選取模塊

考慮到網絡規模較大，網絡節點較多時，一次性遍歷所有設備將會占用大量的網絡和計算資源，極大降低了控制器性能，因此需要增加對賬設備選取模塊來提高數據對賬的效率。對賬設備選取模塊通過調用對賬權重維護模塊抽樣選出對賬權重大的網絡設備，并將選出的網絡設備交給數據比對模塊，完成這些設備的數據對賬工作。對于數據比對模塊所返回的對賬結果，對賬設備選取模塊除了將比對結果傳遞對賬管理模塊外，還需要將結果信息作為下次對賬權重維護模塊進行對賬權重調整的依據。一般而言，數據對賬的工作量級會隨著抽樣比例的增大而增加，網絡管理員可以根據控制器性能對賬靈活調整對賬管理任務的工作量級。

1.3.3 對賬權重維護模塊

該模塊主要負責為控制器在管的所有網絡設備設定對賬權重，使對賬設備選取模塊可以快速且具有針對性地選出將要進行數據對賬的網絡設備。對賬權重維護模塊開始運行時會查詢所有網絡設備的設備ID 并為每個設備交換機分配一個初始權重，這個權重會根據隨著選取情況及后續對賬結果進行動態調整。對于上次選出且對賬成功的設備，在本次次選取時應降低其對應的權重值；對于在上次選出且對賬結果異常的設備，對賬權重維護模塊則應該提高異常設備的對賬權重，確保其能夠在下一次數據對賬任務中被再次選中。另外，對賬權重也與上次選中進行數據對賬的時間差成正比，假設第i次設備對賬權重W(si)，第i-1 次設備對賬權重為W(si-1)。W(si)具體計算公式為：

式中：θ表示調節系數；Δt表示本次計算距設備上次選中的時間差；ri-1表示上次設備對賬結果，一共有3 種取值，ri-1=1 時表示對賬成功，ri-1=-1 時表示對賬失敗，其他情況下ri-1=0。

由上述公式計算出的對賬權重來進行設備選擇，權重越高表示設備優先級越高。

1.3.4 數據修復模塊

數據比對完成后，對于存在異常配置的網絡設備，數據比對模塊會通知數據修復模塊進行配置修復。數據修復模塊在接到命令后會根據比對結果生成對應的策略，對網絡設備內缺少的數據，需要生成相應策略補全對應的設備參數，對于多出來的數據，同樣需要生成對應策略，以便刪除掉這些配置。最后利用設備通信模塊完成對網絡設備配置數據的修復，并將設備側返回的執行結果加以解析和整理，返回處理結果給數據比對模塊。

1.3.5 數據比對模塊

數據比對模塊是整個南向數據對賬系統的核心模塊，主要負責對控制器與其所管控的網絡設備進行數據一致性檢查。數據比對模塊執行時，需要根據設備ID 從Running Datastore 和Config Datastore 中提取對賬設備的運行數據和配置數據，并將二者數據進行比對，然后將比對結果反饋給對賬設備選取模塊，用以作為對賬設備模塊進行下一次設備選取的依據。在進行數據比對時，為了提高比對效率和速度，本文提出了一種基于差分快照的數據比對方法，下面將展開具體介紹。

2 基于數據快照的數據比對方法

數據比對有兩種選擇，一種是基于數據庫內抽象數據的比對，另外一種基于業務類型與條目的比對。由于網絡設備內數據在順序的分布上可能和控制器不一致，所以選擇基于第二種比對方法，即基于業務數據類型的條目比對。在對業務數據進行條目比對時，難點是比對數據量大、任務重。考慮到控制器的性能問題，必須將比對任務離散化，即每次數據比對只是比對一部分數據，與數據拉取類似，通過數據表項的索引來進行多次的數據比對。

在進行單條數據比對時，考慮到如果對記錄數據的所有字段逐一比較來實現，需要對整個數據庫的所有記錄信息進行比對，導致控制器開銷較大。考慮到數據指紋技術可以通過提取記錄信息的特征來對原始信息進行唯一的標識，由此來提高海量信息的檢索效率。因此，本文完全可以將原始數據用數據指紋生成單條表項的數據快照的方式來替代，解決海量數據比對的效率問題。

有了基于數據指紋的數據快照，無需比較記錄的所有字段，只需比較該記錄的數據是否發生變化。本文中的數據指紋由單條數據表項的“主鍵”+“摘要信息”的方式構成，“主鍵”采用單條數據表項的“Index 標簽”表示，“摘要信息”采用信息-摘要算法（Message-Digest algorithm 5，MD5）算法[6]對整條項記錄計算出的“摘要”。

基于數據快照的數據比對的具體流程如下文所述：

輸入：f1、f2（Config Datastore、Running Datastore數據快照），f（f1的MD5 臨時表）

輸出：增量文件

開始

按塊讀入方式將MD5 臨時表f 讀入內存。

根據哈希函數h，計算內存中f 每條記錄t1的值h（t1.Key），并建立相應的哈希表。

按塊讀入新快照f2。

對f2中的每條記錄t2，計算其記錄摘要即MD5值，將記錄的Key 值和MD5 值暫存到鏈表變量list中，同時根據哈希函數h計算h(t2,K)，并與（2）中建立的哈希表進行Key 值和MD5 值的匹配。

重復步驟（4），直到f2中的所有記錄都匹配完畢。

對哈希表中剩余的記錄，即未被匹配的記錄，作為被刪除的記錄輸出到增量文件中。

結束

數據快照的數據比對的流程中，初始化時，創建表f1（Config datastore 數據快照），表f2（Running Datastore 的數據快照），臨時表f，這張表包含兩個字段，分別保存控制器Config datastore 每一條數據的Key 值和記錄摘要（即MD5 值），并在表f 中記錄Key 值和MD5 值，由此建立了Config datastore Key 值和MD5 值一一對應的Hash 表。對通過數據拉取模塊獲取的實時更新的Running Datastore 的每一條記錄計算其數據指紋信息，并將生成的Key 值和MD5值與臨時表f中的Key值和MD5值進行匹配，最后將匹配失敗的記錄輸出到增量文件中。

3 結語

本文通過分析SDN 網絡中控制器與網絡設備配置數據一致性的高可靠性與實時性需求，設計了一種基于數據快照的南向數據對賬系統方案。該方案在遵循控制器基本框架的基礎上，巧妙地利用為NETCONF 協議服務的YANG 語言構建數據模型，提出了基于分片分塊的數據巡檢拉取方法，避免了因一次同步造成的控制器性能下降問題。并在數據比對過程中提出了一種采用數據快照來替代整條數據記錄的方式，生成數據快照由記錄的數據指紋（“主鍵+記錄摘要”）構成，“記錄摘要”采用在信息摘要中廣泛應用的MD5 算法對整條記錄計算生成，利用記錄的數據指紋來比較和替代記錄的全部字段比較，極大提高了數據比對效率。該機制為解決大規模的SDN 網絡環境的數據配置同步問題提供了一種解決思路，對于新一代高可靠SDN 控制系統的設計開發有借鑒意義。