基于GTX的高速以太網數據傳輸設計

楊昌勝，姜興，廖欣，傅天文

（桂林電子科技大學，廣西桂林，541004）

0 引言

天地一體化網絡的優勢可實現空間網絡與地面網絡資源的充分共享和高效利用。以衛星等空間飛行器為節點組成的天基空間通信網相對于地面網絡，具有網絡覆蓋范圍大、不受環境影響、資源利用率高等優點[1]。隨著衛星通信技術的發展，衛星節點之間的信息互通不再是點對點地通信，而是網絡的拓撲以及路由協議。IPv6協議相比于IPV4協議而言其網絡地址資源更豐富，可為空間組網增加許多優勢，用戶可根據需求擴展定義，備受衛星通信研究者青睞。CCSDS-AOS 是IP Over CCSDS Space Links中提出的一種高級在軌系統（Advanced Orbit System，AOS），AOS協議適用于航天器之間以及航天器與地面之間的通信。AOS協議可以實現高速率通信、處理多種數據類型以及大容量信息數據，實現高速的上行和下行鏈路。光纖通信技術具有通信容量大、傳輸距離遠、傳輸速度快和抗干擾性強等優點，它與FPGA技術相結合是解決高速數據傳輸的主流方案。

天地一體化信息網絡的拓撲結構具有高度動態變化，網絡采用多層封裝的IP統一承載開銷較大，從而出現了網絡端到端的路由尋址、鏈路和用戶切換控制等技術難題。本文采用標簽交換方式，將標簽值封裝在AOS數據幀特定位置中，從而根據標簽實現空間數據轉發。該轉發方式無需涉及上層協議，避免大量的拆解封包操作，從而實現數據高效轉發。

1 硬件平臺設計

本文使用型號為XC7K325T Xilinx Kintex-7系列的FPGA芯片，設計了四路GTX接口電路，參考時鐘采用可編輯時鐘芯片SI5338提供，FPGA可通過I2C配置方式根據不同速率需求可修改GTX參考時鐘，數據傳輸接口全部外接SFP模塊。串口（UART）用于接收CPU控制板下發的標簽交換表，同時上報FPGA當前數據流量傳輸狀態；DDR3用于緩存傳輸數據，其設計框圖如圖1所示。

2 高速以太網傳輸方案設計

■2.1 AOS幀格式與標簽交換原理簡介

為實現AOS幀基于標簽交換的轉發機制，需要對AOS幀格式進行修改，標準AOS幀格式依次包括6～8字節傳送幀的主幀頭（Transfer Frame Primary Header），變長的插入域（Insert Zone）和數據域（Data Field）和可選的中貞尾（Transfer Frame Trailer）本文所用的AOS幀為了支持標簽交換，在插入域部分劃出定長的標簽區域和控制數據域，等價于在AOS幀頭后又增加了一層標簽封裝[2]，使用插入域中劃定固定長度方式傳輸控制協議方式有傳輸速率較為穩定、傳輸時延的抖動小、與業務數據隔離等優點。

虛擬通道交叉原理如圖2所示，傳輸以太網數據業務時將標簽號、出端口號等信息封裝在AOS幀特定位置中。虛擬交叉通道結構應該能完成兩方面基本功能：一是空間交換，即通過查詢標簽交換表中標簽與出端口的映射關系，將AOS幀從一條鏈路上交換到另一條鏈路上，又叫路由選擇；另一個功能是VC通道交換，即將AOS幀從特定虛擬通道輸出之前完成標簽替換。例如，當AOS幀入標簽值為X，查詢到對應的出端口為1，將當前標簽X更新為K后將數據轉發至下個衛星節點。

圖2 虛擬通道交叉工作原理

■2.2 萬兆以太網數據傳輸設計

10G Ethernet Subsystem[3]核實現了物理層與數據鏈路層功能，并為MAC與PCS/PMA之間的連接提供兩種模式（10GBASE-R或10GBASE-KR）接口，發送和接收數據接口可采用內部寄存器的AXI4-Stream接口，同時還提供AXI4-Lite接口完成MDIO管理接口的協議轉換，萬兆以太網數據傳輸方案如圖3所示。

圖3 兩路萬兆以太網數據傳輸設計

10G Ethernet Subsystem核的參考時鐘（GTREFCLK）156.25MHz由外部可編輯時鐘芯片提供，用戶接口數據位寬（DATA[63:0]）選擇64位，當IP核收到以太網數據后將其送入接收模塊對數據包進行包長度計數、FIFO緩存處理。由于AXI4總線協議規定的數據傳輸方式是觸發式的，當傳輸的以太網數據不是8字節數的整數倍時，在發送有效數據最后64位數據時接口會自動填充無效數據字節并利用字節修飾符（TKEEP[7:0]）表示出來。為了實現以太網發送控制模塊有效發送數據位的控制，提高數據傳輸的速率，將最后有效時鐘周期的TKEEP值和以太網數據獨立保存，并使TKEEP值伴隨數據通過GTX傳輸。因此，當數據從GTX傳輸接收模塊到達以太網發送模塊時，先發送以太網數據，在發送最后一個有效時鐘周期內將以太網數據發出的同時讀出TKEEP值。為了解決10G Ethernet Subsystem核和GTX收發器時鐘域匹配、數據位寬變換問題，采用異步FIFO對數據進行緩存處理。寫入以10G Ethernet Subsystem核接收時鐘（Userclk2）作為參考時鐘將64位以太網數據寫入FIFO中；以GTX高速串行收發器的發送時鐘作為FIFO的讀時鐘讀出32位以太網數據后經過GTX發送控制模塊后將其發送至其他光纖設備。

3 GTX收發器控制模塊設計

GTX收發器[4]是Xilinx公司在FPGA內部集成的高速串行收發模塊，其能提供500Mbps到12.5Gbps的數據線路速率，支持多種物理層協議，包括PCIE接口、萬兆網XUAI接口、OC-48、串行RapidIO接口、SATA（SerialATA）接口、數字分量串行接口（SDI）等等。GTX收發器內置高速串并轉換、時鐘數據恢復、線路編/解碼、時鐘糾正和通道綁定等功能電路，是實現高速串行數據傳輸的物理層基礎。GTX主要包含PMA（物理媒介適配層）和PCS（物理編碼子層）兩個子層。PMA子層中集成了SERDES，發送和接收緩沖，時鐘發生器及時鐘恢復電路。PCS子層負責8b/10b編碼解碼和CRC校驗，并負責通道綁定和時鐘修正的彈性緩沖。

本文設計中設置GTX串行收發器的數據線路速率（Line Rate）為1.25Gbps/10Gbps，配置的協議格式為Aurora協8b/10b協議的4Byte單通道模式，收發器的參考時鐘為125MHz(GTXREFFCLK)；外部數據寫入為32位數據，外部數據寫入時鐘（TXUSERCLK）千兆以太網數據傳輸時為125MHz，萬兆千兆以太網數據傳輸時為156.25MHz。為了接收端解串器數據位的對齊，我們必須在數據通道中發送相應的COMMA，它指示幀的開始和結束標志，或始終修正和數據流對齊的控制字符，設置為K28.5。TXCHARISKGTX[3:0]用來指示發送的數據是同步碼控制字符還是正常傳輸數據，高電平表明是同步碼控制字符。收發器的發送和接收控制模塊狀態機如圖4所示。

圖4 GTX收發模塊狀態機

在GTX發送控制模塊中，當收到以太網發送請求信號，數據發送通道（TXDATA）首先發送同步碼，同時拉高同步碼標志信號（TXCHARISK[3:0]）。再發送數據包的長度、類型，以便于在接收端確保數據包的正確長度，從而停止一包以太網數據接收和校驗計算。然后開始讀取異步FIFO里的以太網數據并通過GTX發送出去，為了能判斷接收端數據是否正確傳輸，在發送數據的同時以相鄰字節累加的方式計算校驗和（Checksum），該校驗和用作接收數據校驗依據，在發送完成數據之后把Checksum以數據的形式發送出去。值得注意的是，當傳輸萬兆以太網數據時，我們還需要在送完成數據Checksum發送其字節修飾符（TKEEP[7:0]）。在GTX接收模塊，當檢測到COMMA時候并根據其標志信號RXCHARISKGTX[3:0]判斷數據是否出現位移位的情況，若發生數據移位我們則需要進行數據位對齊處理，從而使得后續的COMMA和數據實現對齊，保證數據正確傳輸。數據對齊處理結束后接收以太網數據包長度、類型，然后開始接收以太網有效數據，并以發送端同樣的計算方式進行校驗和計算，數據接收完成后與發送端的相比較，兩者相等，則數據發送接收正確，緩存以太網數據和字節修飾符，等待以太網發送模塊讀取；若兩者不相等，說明傳輸數據發生錯誤，則丟棄該數據包返回等待狀態。

4 功能測試

在FPGA與CPU軟硬件設計已完成的基礎上進行聯合調試，并對整個組網協議的功能進行測試，該測試通過自動完成LSP（Label Switching Path）的建立來進行。業務功能測試使用PING模擬三顆衛星通信。測試系統如圖5所示。

圖5 以太網測試系統

萬兆以太網傳輸功能測試時，為了獲得10Gbps數據的吞吐量，測試輸性能之前必須為主機A和主機B安裝萬兆光纖網卡。網卡在發送PING包前會先封裝以太網幀，需要對端主機MAC地址，否則其不會下發PING包，因此需要配置靜態ARP映射表。設定主機A萬兆以太網的IPV6地址為：fe80:0:0:83::，主機B萬兆以太網的IPV6地址為fe80:0:0:85::；添加對端目的IPV6地址和對應的MAC地址，配置成功后PING可以正常下發以太網數據包。觀察網口連接狀態，鏈路速度設置為自動協商，可以觀察到其網口狀態速度協商結果為10Gbps，采用分析工具ChipScope觀測FPGA內部以太網數據包與網絡封包分析軟件WireShak捕獲的網口數據包作對比分析，傳輸數據完全一致。Ping下發20000個測試請求包，其中收到回應數據包20000個丟失了0個測試包，驗證了標簽交換方案的可行性。鏈路測試結果如圖6所示。

圖6 萬兆以太網數據傳輸鏈路測試結果

5 結束語

本文根據實際需求，在硬件設備上設計了四路SFP接口電路，軟件上設計出兩套高速以太網接收轉發代碼，在不改變設備硬件的條件下通過更換不同速率SFP模塊即可實現設備接口同時收發兩路萬兆以太網或千兆以太網數據。通過合理的模塊設計、平臺搭建，傳輸系統性能達到了預期效果，數據傳輸準確無誤。該設計為復雜衛星通信組網地面模擬實驗提供高速數據源和硬件平臺，并驗證了標簽交換方案的可行性，具有較高的實驗應用價值。