時間觸發以太網時鐘同步的容錯方法分析

蘭 杰，熊華鋼，李 峭

（1.北京航空航天大學 中法工程師學院，北京100191；2.北京航空航天大學 電子信息工程學院，北京100191）

0 引 言

先進的航空電子系統采用綜合化體系結構［1］，例如：大型飛機空客A380 和波音787 采用綜合模塊化航空電子（IMA）系統和AFDX［2］骨干互連，其核心綜合處理模塊在機架上集中安裝。然而，雖然AFDX 網絡采用了速率約束（rate constraint，RC）機制，但其端到端時延抖動可達百微秒量級，意味著綜合化系統的時間完整性仍會受到不確定的通信傳輸的影響。

高完整性時間觸發通信互連技術，具有精確的分布式時鐘同步能力，并能進一步使異構的航空電子模塊或主機之間實現同步并行處理，形成分布綜合模塊化航空電子（DIMA）體系結構，支持時間隔離和分區隔離相結合的分布式綜合設計，具有嚴格時間確定、容錯和可重構特性。

時間觸發以太網 （time－triggered Ethernet，TTE）［3］是時間觸發體系結構［4］在交換式互連實時通信領域的協議實現，不同于共享介質的TTP網絡［5］，它不能依靠監聽總線進行同步，而是通過傳遞和處理專門的協議控制幀 （protocol control frame，PCF）實現，并在同步協議中設計了容錯機制。

TTE已經在NASA 的載人飛船項目中獲得實用［6］。另一方面，TTE 網絡可以在同一物理網絡上支持時間觸發（TT）同步通信和異步通信流量，其中異步通信包含事件觸發的速率約束 （RC）流量和 “盡力傳” （best effort，BE）流量［7］。這樣，TTE網絡有望作為AFDX 的子集，在保證既有RC流量的基礎上，擴展添加高完整性的TT 通信服務。

本文首先介紹TTE網絡時鐘同步算法與容錯機制，分析其容錯能力和實現效果，隨后通過仿真實驗的方法證實同步算法對抗單失效假設的有效性。

1 TTE網絡時鐘同步算法

根據同步的參照對象的不同，時鐘同步算法分為外部同步算法和內部同步算法，前者使各個節點同步到一個外部的參考時鐘；后者使各個節點彼此相互同步，即讓各個節點之間的偏差值最小化。根據分布式同步結構的不同，可以分為對稱式算法和非對稱式算法。前者各個節點并不具有特殊性，它們平等地向相鄰或者所有節點發送同步信息并根據遠程節點的時間信息修正自己的時鐘；后者也叫“主從式”算法，往往具有分層的等級結構。TTE 網絡的同步采用內部同步算法，但其結構既非傳統意義的對稱算法——節點充當不同的主控器和客戶端角色，也不是單個節點之間的主從同步——時鐘的修正是完全分布進行的，但同步集群之間可以有優先級層次結構。在這種較為復雜的同步方法的基礎上，TTE 網絡協議還設計了時鐘同步容錯機制。

在TTE網絡中，通過時鐘同步服務保證分布式系統各節點之間時間觸發通信的精確定時。在設備層次，存在3種同步基礎設施［3］：同步主控器 （synchronization master，SM）、同步客戶端 （synchronization client，SC）和壓縮主控器 （compression master，CM）。并且，TTE 允許對于執行關鍵壓縮功能的CM 進行冗余配置［8］，以保障同步系統的抗摧毀能力。

1.1 同步方法

TTE網絡中，同步節點之間通過協議控制幀［3］傳遞同步消息。其攜帶信息主要包括：“同步域”定義的節點所在同步域；“優先級”定義的同步節點的優先級；由 “類型”字段的枚舉值定義的PCF的類型——即：冷啟動幀 （CS）、冷啟動應答幀 （CA）和綜合幀 （IN），前兩者用于啟動過程，后者在每一次綜合循環開始后傳輸，傳遞時鐘同步消息；由 “綜合循環”域的計數表示的PCF 所屬的綜合循環；“新成員”域的比特矢量每一位代表系統中與之對應的SM，為 “1”時表示該SM 和發送PCF 幀的節點之間進行同步操作；由 “透明時鐘”域記錄PCF 從發送端到當前節點所經歷的傳輸時延［9］，達到對網絡傳輸時延進行實時測量的目的［10］。

TTE網絡分布式時鐘同步算法通過如圖1所示的原理完成時鐘同步。

在每個綜合循環中，多個SM 在本地時鐘到達綜合循環的預設時間點向CM 發送IN 幀，由于存在時鐘偏移，各個SM 發送IN 幀的真實時間會有差別，且傳輸延遲也有差異。

圖1 TTE分布式時鐘同步算法

CM 收到IN 幀的時序和發送時序不一致，需要執行固化功能，通過 “透明時鐘”攜帶的傳輸延遲信息還原SM派發 （dispatch）IN 幀的真實時序和絕對時間間隔。隨后，CM 對固化后的時刻執行壓縮功能，即：對于還原的多個SM 的發送時刻取平均，作為時鐘更正的基準值。CM 一方面根據基準值對自身時鐘進行修正，另一方面根據基準值進行一段預設的延遲，再向SM 和SC派發壓縮后的IN 幀。SM／SC也執行固化功能還原IN 幀的實際派發時刻，并將此實際時刻與期望時刻對比，算出本地時鐘和基準值的差值，用以修正本地時鐘。

1.2 固化和壓縮的計算方法

固化功能使用 “透明時鐘”記錄的同步消息從發送端派發時刻td到最終接收端接收時刻tr所經歷的傳輸延遲Dt，固化時刻點tp＝tr＋Dmax－Dt，其中，Dmax為最大可能的傳輸延遲。

壓縮功能從第一個不與現有進程 （一般由硬件實現）含有相同綜合循環值的固化時刻點tp，1時開始，并打開一個長度為P 的觀察窗，如果在該觀察窗內收集到至少2個固化時刻點則打開下一個觀察窗；在第i （i≥2）個觀察窗內，若沒有收集到至少1個固化時刻點，則結束觀察窗的打開和收集；若收集到至少1個固化時刻點，則打開第i＋1個觀察窗，直到最大觀察窗長度TOWM＝ （f＋1）×P，其中f 為需要容忍的錯誤SM 數。

觀察窗的長度P 與同步的精度要求有關。通過在連續打開觀察窗的機制，可使相互之間時間間隔超過該精度或者不在同一個綜合循環內的PCF 幀由不同的進程分別處理［3］。時鐘更正的基準值——壓縮修正值tcc通過如下具有容錯能力的均值公式 （fault－tolerant average，FTA）進行計算：

1個固化時刻點：tcc＝tp，1

2個固化時刻點：tcc＝ （tp，1＋tp，2）／2

3個固化時刻點：tcc＝tp，2

4個固化時刻點：tcc＝ （tp，2＋tp，3）／2

3×f 個以上固化時刻點：tcc為第f＋1小和第f＋1大的固化時刻點的算術均值。

FTA 算法的收斂性確保每組幀的均值有確界，而且這種方法避免了小數除法，便于采用硬件邏輯實現。

FTA 的計算固定開銷為Tco，進一步得到壓縮時刻點tcp＝tp，1＋TOWM＋Tco＋tcc。以tcp為基準，CM 將壓縮后的PCF幀發送回SM，SM 仍使用固化功能接收。由于Dmax、Tco等參數已知，往返SM 和CM 的傳輸延遲由透明時鐘可得，實質上每個參與同步的節點都是依據同一個壓縮修正值tcc調整本地時鐘。

1.3 最佳PCF幀

考慮低層組件可能發生故障的情況，壓縮功能有可能出現多個進程，它們要么對應多段連續的時間窗，要么對應不同綜合循環值的多組時刻點。在不同進程計算得到的壓縮時刻點中，有的是錯誤的，有的由于沒有達到足夠的同步成員數目是不可信的。根據最多的固化時刻點計算得到的壓縮時刻點最有可能是正確的，被稱之為 “最佳的”。

在時鐘修正階段，CM 和SM 分別根據式 （1）和式（2）計算調度時刻點TS，以TS標定的一段時間為接受窗口

落在正常的接受窗口中，并且 “新成員”比特矢量域中 “1”的數目最多的PCF幀被稱為 “最佳PCF幀”，因為它對應于最佳壓縮時刻點，以此進行CM 和SM 的本地時鐘修正。

2 TTE網絡時鐘同步容錯

容錯是通過協議控制在一定的程度上防止錯誤導致功能失效的機制；所謂 “錯誤”是指計算或觀測的數值與真實的數值的差異。通常意義上，故障導致錯誤，如果對錯誤的影響不加以限制，就會造成失效。對于具有層次化結構的系統，低層組件的失效，對于上層功能而言是 “錯誤”。TTE 時鐘同步的容錯實質上是容忍網絡節點操作的失效。

進行同步的時候，時鐘、處理器和網絡接口都有可能發生物理故障或邏輯錯誤，例如：硬件時鐘不滿足所謂“有限硬件時鐘偏移率”準則的故障，被稱為硬件時鐘故障；而本地時鐘的精度不滿足給定的要求值P，被稱為本地時鐘錯誤。這些故障和錯誤是導致失效的基礎性因素，但TTE網絡時鐘同步容錯機制只需在上層協議考慮幾種抽象的失效模式。

2.1 失效模式和失效假設

失效模式總是與網絡接口的行為有關。典型的失效模式包括：

（1）靜默：設備失效并停止輸出。

（2）遺漏：設備將遺漏任意數目的發送／接受幀。

（3）不一致：這種模式僅出現于一個發送器向多個接收器的多播情況，不同接收器收到的信息不一致。

（4）不一致－遺漏：（2）和 （3）兩種模式的組合。

（5）隨意：不受控制的設備在任意時刻以任意的內容產生混亂的消息。

失效假設主要與失效節點的數目有關，每種假設下可以包含不同的模式。TTE 被設計對抗兩種失效假設：單點失效和雙點失效。在單點失效假設下：TTE 能夠容忍一個端系統的 “隨意”或一個交換機的 “不一致－遺漏”行為；在雙點失效假設下：TTE網絡可以容忍兩個節點 （端系統或交換機）的 “不一致－遺漏”行為。

由于 “靜默”和 “遺漏”不容易造成錯誤的傳播，容錯同步主要考慮的是對抗 “隨意”和 “不一致”失效。

TTE網絡可以采用標準完整性或高完整性配置，兩者的容錯能力的差別在于：

（1）雖然兩種配置都可以消除不一致失效的影響，但高完整性系統反應更迅速；

（2）在冷啟動的時候，標準完整性系統不能對抗隨意失效，而高完整性系統可以；

（3）通過檢測結團狀態消除多點的不一致失效的效果也不同。

2.2 冷啟動隨意失效的消除

在通信設施上電后，SM 和CM 通過特殊的PCF 幀——CS與CA 完成握手。其過程同綜合幀 （IN）的方式相同，但是CM 并不固化和壓縮收到的CS幀，只是延遲并送回CA。握手通信后，節點進入到協議狀態機中同步操作的初始化狀態并開始同步。

TTE網絡標準完整性或高完整性配置的主要區別在于：

運行狀態時，前者CM 只返回所選取的最佳PCF 幀，而后者返回經過壓縮的所有PCF幀，由接收SM 自行選擇。高完整性實現的復雜程度高，在運行的時候可以保證SM的穩定性，即不會出現沒有接收到有效壓縮后PCF 幀的情況。

冷啟動時，前者的SM 會應答包括自己發送的所有冷啟動幀，有可能出現并沒有和其它節點 （特別是CM）達成握手的情況，即并未達成綜合循環的一致，由此形成隨意失效；后者的SM 不會應答以SM 為來源的冷啟動幀，并且不會在一個綜合循環內發送超過一個IN 幀，SM 和CM會在有確界的差異內開始綜合循環。由此，高完整性可以在冷啟動的時候對抗隨意失效，使得即使出現復雜的失效，也只是 “不一致－遺漏”失效。

2.3 不一致失效的消除

TTE網絡除了可以沿用普通網絡CRC的錯誤判斷方式以外，其時鐘同步還有獨立的算法層面的不一致故障消除方式。如1.3中所述，接受窗口對同步消息幀分進程處理，這保證了與大部分節點時間差超過精度或者不是同一綜合循環的PCF幀 （這兩者都對應錯誤的時鐘值）得到了不同的壓縮時刻點；接受窗口和最佳PCF 幀的選取，可以選擇出 “最佳的”壓縮時刻點，從而消除不一致故障的影響。

2.4 結團的檢測與消除

所謂的 “團” （clique）是指同步域中某子集。結團檢測是為了解決 “團”中設備達成同步，但是同步無法超出子集的邊界，即無法在各個子集間達到全局同步的問題。這種問題無法通過常規的不一致失效消除機制解決，需要隨著綜合循環進行周期性的結團檢測。

結團檢測分為同步和異步兩種方式，如圖2 所示。對某一同步節點，在同步檢測每周期結束時進行 “同步評估”：將該周期內最佳PCF 幀的新成員值儲存在 “本地同步成員列表”中，記錄了本節點同步的SM 數量。在異步結團檢測周期結束時進行 “異步評估”：將該周期內沒有落在接受窗口或不在一個集成周期的PCF幀的 “新成員”矢量，對各矢量進行位邏輯或（bit－or）運算，儲存在 “本地異步成員列表”中，代表不與當前節點同步的SM 數量。當“本地同步成員列表”的值小于 “本地異步成員列表”時，則說明形成結團，節點從同步狀態轉換到非同步狀態。此時進行重啟動，再次發送CS幀尋求握手，重新開始同步操作。

圖2 同步結團檢測和異步結團檢測

3 時鐘同步仿真

SIDERA 是一種針對時間觸發體系結構下分布式實時系統的建模和軟件仿真工具，由維也納技術大學開發；可以實現啟動、消息傳遞、時鐘同步和成員列表維護等多種協議的仿真。利用該軟件，設計并進行時鐘同步仿真實驗。

3.1 同步仿真設計

設v＝50ns為物理時鐘脈沖的寬度，并以v 作為時間單位。預期精度為1μs，即20×v。

進行單同步域下4個SM 節點和2個雙冗余CM 節點的仿真實驗，進行32輪同步，每輪同步時間為1ms。設定6個節點的本地時鐘偏移率為ρi＝ ｛－2.5×10－4，－1.5×10－4，－0.5×10－4，0.5×10－4，1.5×10－4，2.5×10－4｝，其中i＝1，…，6，ρ1 和ρ3 對應交換機上實現的CM1和CM2；ρ2，ρ3，ρ4，ρ6 分別對應SM1，SM2，SM3和SM4。

由于對于FTA 公式有節點總數n＞3f，預設的需要容忍的錯誤SM 數為f＝1。設定網絡延遲區間為 ［5，250］μs，帶寬為100 Mbit／s。

針對 “靜默”，“不一致－遺漏”，“隨意”3種失效模式，設計6種仿真場景，實驗1～實驗4配置為標準完整性，實驗5、實驗6為高完整性：

實驗1：無失效同步；

實驗2：單節點靜默失效同步——設置某SM 從第1輪同步開始失效，靜默500μs后重啟動，共失效5次，每次間隔約800μs；

實驗3：單節點不一致遺漏失效同步——設置某節點從第22輪開始出現不同節點傳輸不一致的錯誤信息或者不發送信息，共出現兩次，間隔約為5ms。

實驗4：單節點隨意失效同步——從第12輪同步開始，設置一個SM 出現本地時鐘修正值的隨意錯誤，并達到正常同步時不可能出現的較大數值 （仿真中設定為21×v），該SM 以此錯誤的數值進行修正，導致本地時鐘錯誤，共仿真失效3次，每次間隔約2ms；

實驗5：對照實驗組——設置同實驗3，但將所有節點配置為高完整性狀態機。

實驗6：多失效同步——設置不同節點按照實驗2、實驗3、實驗5中的失效進行同步實驗，用以驗證不同類型的失效相互之間不會造成影響。

3.2 仿真結果及分析

仿真實驗結果如表1及圖3 所示。在圖3 中，橫軸為仿真時間，縱軸表示精度偏差 （Precision）和本地時鐘修正值 （Correction），以v為單位。“精度偏差”以本地時鐘偏離全局同步時鐘的數值來衡量，如果超過20×v，則最大時鐘偏差超過預設的TTE網絡精度要求，意味著某些節點失去同步。

表1 TTE網絡時鐘同步容錯仿真結果

圖3 TTE網絡時鐘同步容錯仿真

由表1和圖3可見，TTE 網絡同步算法對于單點失效具有全面的容忍能力，任意單點失效對全局時鐘的精度影響是有界的。

根據同步狀態的變化，實驗2結果表明靜默失效不會影響其它節點之間的同步。實驗3結果表明不一致－遺漏失效不會影響全局同步，并且在當次綜合循環中也可以通過其它節點的同步信息完成同步。

實驗4和實驗5的結果對比表明，隨意失效會造成節點時鐘精度的較大偏差，但是這只限于發生錯誤的節點，不會影響其它正常節點之間的全局同步。在標準完整性配置下，失效節點因為隨意失效超過預設精度脫離同步后，由于在冷啟動時并沒達成綜合循環的一致，從而不能再恢復同步。在高完整性配置下，失效節點會在下次同步中通過較大的時鐘修正重新獲得同步。實驗6結果表明不同失效在恢復同步之后不會相互之間產生影響。

4 結束語

TTE網絡的時鐘同步算法能夠確保其嚴格的確定性時間觸發通信，通過對算法容錯性能的研究可以幫助驗證其可靠性。本文對TTE網絡協議進行分析，將其同步服務的一般性描述還原為時鐘同步算法的理論模型與容錯機制。容錯機制的關鍵內容包括：最佳PCF幀的選擇對不一致失效的消除、高完整性配置在冷啟動時對抗隨意失效、結團的檢測和消除。在容錯機制的支持下，TTE 網絡可以全面對抗單個的節點多種失效模式，達到高安全性實時系統的應用需求。通過仿真實驗，印證了上述結論，并發現在對抗單隨意失效時，高完整性配置具有更好的魯棒性。

［1］XIONG Huagang，WANG Zhonghua.Advanced avionics integration techniques ［M］.Beijing：National Defense Industry Press，2009 （in Chinese）.［熊華鋼，王中華.先進綜合航空電子技術 ［M］.北京：國防工業出版社，2009.］

［2］XIONG Huagang，LI Qiao，HUANG Yongkui.Study on the avionics full－duplex switched Ethernet standards［J］.Aeronautic Standardization ＆Quality，2008，223 （1）：25－28 （in Chinese）.［熊華鋼，李峭，黃永葵.航空電子全雙工交換式以太網 標 準 研 究 ［J］.航 空 標 準 化 與 質 量，2008，223 （1）：25－28.］

［3］SAE AS6802：Time－triggered Ethernet［S］.SAE Aerospace Standard，2011.

［4］Koptez H.Real－time systems－design principles for distributed embedded applications ［M ］. 2nd ed. New York：Springer，2011.

［5］SAE AS6003：TTP communication protocol［S］.SAE Aerospace Standard，2011.

［6］Steiner W，Dutertre B.Layered diagnosis and clock－rate correction for the TTEthernet clock synchronization protocol［C］／／The Proceedings of the 17th Pacific Rim Intl Symposium on Dependable Computing.IEEE，2011：244－253.

［7］LIU Wanchun，LI Qiao，HE Feng，et al.Research on timetriggerd Ethernet synchronization and scheduling mechanism［J］.Aeronautical Computing Technique，2011，41 （4）：122－127 （in Chinese）.［劉晚春，李峭，何鋒，等.時間觸發以太網同步及調度機制的研究 ［J］.航空計算技術，2011，41（4）：122－127.］

［8］Steiner W，Dutertre B.Automated formal verification of the TTEthernet synchronization quality ［G］.LNCS 6617：The Proceedings of NFM. Berlin： Springer－Verlag， 2011：375－390.

［9］IEEE 1588－2008：IEEE standard for a precision clock synchronization protocol for networked measurement and control systems［S］.IEEE，2008.

［10］LI Jun，SUN Shuying，LIU Jiangyi，et al.Network clock synchronization based on real－time clock variance algorithm［J］.Computer Engineering and Design，2013，34 （5）：1538－1541 （in Chinese）. ［李軍，孫書鷹，劉江義，等.基于實時時鐘方差算法的網絡時鐘同步 ［J］.計算機工程與設計，2013，34 （5）：1538－1541.］