SRIO交換單元的任意互連設計實現*

王青波，高 俊，崔中普

（海軍工程大學 電子工程學院，湖北 武漢 430033）

SRIO交換單元的任意互連設計實現*

王青波，高 俊，崔中普

（海軍工程大學 電子工程學院，湖北 武漢 430033）

SRIO采用基于設備ID的方式來搭建系統。在將SRIO應用于多通道短波通信系統時，交換單元的指定端口需接入指定的目標ID設備，而且交換單元全局的復位設計存在缺陷，在工作狀態下熱插拔接入設備時，將會引起整套系統的復位。根據對SRIO協議的可靠性傳輸機制、錯誤恢復機制及維護操作的分析，設計了一種似因特網交換機的動態設備ID分配、器件任意端口接入，且在熱插拔接入時不對系統產生全局影響的SRIO交換單元實現方案。

SRIO；交換單元；錯誤恢復；任意互連

0　引 言

隨著微處理器技術的發展、存儲器性能的提升，各服務器之間的I/O性能越來越重要，且隨著科學技術的發展，現在的系統越來越復雜，越來越趨于I/O密集型系統。數據在網絡和存儲器之間頻繁、高速地進行交換和傳輸，I/O性能的穩定性和可靠性成為制約系統性能的一個重要因素。

RapidIO是基于請求響應模型的可靠性傳輸總線。它憑借優異的性能在嵌入式系統中得到了廣泛應用，是現在唯一的嵌入式國際互連標準[1]。但是，由于它采用了設備ID的標識方法，因此在使用交換器件連接SRIO設備時，必須遵循特定端口接入特定設備ID器件，且全局的復位設計會使各設備產生相互關聯，致使整套系統復位，無法實現和因特網交換機一樣的各個設備獨立動態接入和IP動態分配功能。

1　I/O互連

1.1傳統總線

I/O互連的發展經歷了共享總線、分層總線、點對點傳輸總線。為了使系統的體積更小，性能更好，穩定性更高，便捷性更佳。I/O互連總線向著更高的數據傳輸速率、更低的EMI（ElectroMagnetic Interference）、更少的物理引腳等方向發展。

傳統總線多采用并行工作方式。要提高此類總線的數據傳輸速率，只有通過提高傳輸數據的寬度和提高傳輸速率（即提高頻率）達到。第一，提高數據寬度也就增加了總線的引腳數，使得與總線互連的各個器件的引腳數不斷增加，器件的封裝尺寸增加。在PCB（Printed Circuit Board）印制時，這不符合現在電子設備日趨小型化的特點。現有部分總線采用了數據線和地址線復用的方式來解決此問題，如PCI總線。但是，由于采用了同樣的物理連線傳輸兩組數據，因此需要另外的控制仲裁單元，且降低了數據的傳輸速率。第二，提高數據頻率。但是，通過提高總線頻率的方法會受到與總線連接設備的數目限制。這是因為當總線頻率超過130 M時，在總線上增加器件相當于增加容性負載[2]，而容性負載增加會使數據傳輸信號的上升和下降時間增加，限制總線的工作頻率，且頻率的不斷增加會使PCB板間的EMI增加，影響系統的穩定性。所以，對于傳統總線如PCI、VME等，信號時鐘的偏移容忍問題成為了影響總線性能的一個重要因素。

1.2SRIO總線

RapidIO互連架構是一個開放的標準，滿足了嵌入式基礎設施在應用方面的廣泛需要。可行的應用包括連接多處理器、存儲器、網絡設備上的存儲器映射I/O器件、存儲子系統和通用計算平臺[3]。

RapidIO互連定義包括兩類技術：面向高性能微處理器及系統互連的并行接口；面向串行背板、DSP和相關串行控制平面應用的串行接口[4]。串行和并行RapidIO具有相同的編程模型、事務處理和尋址機制。

SRIO（Serial RapidIO）總線是基于報文交換的點對點傳輸串行互連體系結構，具有高性能、低引腳數的特點。SRIO總線由邏輯層、傳輸層、物理層三層組成，主要特點是采用了唯一的傳輸層規范，兼容不同的物理層和邏輯層規范[5]。邏輯層位于最高層，定義全部協議和包格式，為發起和完成事務提供必要的信息；傳輸層位于規范的中間層，定義RapidIO地址空間和在斷點器件間傳輸所需的路由信息；物理層規范位于整個分層結構的最底層，包括器件級接口的細節，如包傳輸機制、流量控制、電氣特性和低級錯誤管理[3]。其數據包格式及相應位域的所屬層次如圖1所示。SRIO通過數據包中包含的CRC、ACKID保證數據的正確性，通過控制符消息的重傳、包定界等功能來保證數據的完整性。

圖1　SRIO包格式

2　多通道短波通信系統

如圖2所示，在一個多通道短波通信系統中，包含4個發射單元，6個接收單元、1個交換單元、4個業務單元及1個密碼單元。各模塊均通過SRIO交換器件連接，形成高效的點對點數據傳輸通路[6]。交換單元選用IDT公司的Tsi578作為SRIO交換器件。交換模塊上有一塊DSP芯片和FPGA芯片。由于DSP采用了TMS320C6416的定點高性能，不自帶SRIO接口，故由FPGA生成ALTERA公司的提供的SRIO的IP核模塊完成DSP芯片與Tsi578之間的數據通路搭建。DSP芯片負責數據轉發控制、部分數據的中轉及Tsi578的LUT（Look-up Table）的配置和管理。

圖2　短波電臺

發射單元和接收單元均采用DSP+FPGA結構，由FPGA進行大量數據的處理，DSP負責復雜算法的控制，以充分發揮DSP和FPGA的優勢，提高處理效率。密碼單元的設計采用黑盒子的思想，只對外提供數據接口和電源接口，不探測和響應外部狀態的變化，表現為“供電即工作，斷電即停止”的行為方式。接收到一包數據后即進行加密處理，作為系統中一個完全被動的從方存在。

業務單元為整個系統的功能單元，負責各種功能的實現。為了滿足不同的功能業務需求，業務單元通常需要在各波形（波形應用軟件，簡稱波形應用或波形，指的是軟件無線電中產生通信波形的軟件[7]）之間切換。

3　任意接入設計

3.1在線狀態共享

SRIO的可靠性傳輸是通過SRIO網絡中每層的可靠性傳輸來實現的[8]。比如，三層SRIO網絡中，發起者將數據包發送給中間器件，若中間器件返回ACKID，那么發起者則認為數據包成功發送，然后由中間器件將數據轉發到目的器件，由目的器件返回ACKID給中間器件，如此完成數據包完整正確的發送，而并不是數據包準確到達目的器件后再逐層返回ACKID。以這樣的方式傳輸數據，在發起者（Initiator）看來，這樣的傳輸方式省去了中間數據傳輸的時間，所以此方式有效提高和保證了SRIO的數據傳輸速率。此方式使得采用SRIO總線的各模塊能夠更好地獨立存在于系統中。在數據傳輸工程中，任一單元只與其直連單元產生關聯，而與其他單元沒有關聯性，其傳輸方式如圖3所示。

圖3　SRIO數據傳輸模型

采用SRIO總線連接的系統中，各設備只與直連設備相關聯，并不了解整個系統的狀態。例如，本系統中，在業務單元突然從交換單元上移除的情況下，接收單元依然會不斷上報數據到業務單元。數據會在接受單元和交換單元之間完成可靠性傳輸，但是在交換單元和業務單元之間必然產生非可靠性傳輸，引起系統堵塞，使系統產生錯誤。因此，交換單元需要實時將各單元的在線狀況共享給各個單元。各單元在進行數據傳輸時，需進行目的ID是否在線判斷。

交換單元監測各端口Port x Error and Status CSR寄存器中的PORT_OK和PORT_ERR位。當任一端口出現上下線時，更新各模塊在線狀態，立即下發各單元。本系統交換單元管理模塊以64 k的頻率檢查更新端口在線狀況，并下發給在線的各單元。

3.2ID分配方案

為了避免因同一功能單元各器件設備ID不一致而致使各器件內部軟件不統一的現象，以實現系統中同一個功能模塊的軟硬件統一，各功能模塊使用同一個功能ID，即同一功能模塊采用同一ID進行軟件設計，而在接入系統時由交換單元再次分配具體ID。例如，本系統中的功能ID和設備ID分配如表1所示。

表1　功能ID設置

交換單元由于印制在電路板上，故其對應Tsi578的端口號已經固定為0號端口；交換單元通過更改LUT中對應port的設備ID，發送門鈴信息到此port連接設備，而后通過其響應的門鈴信息獲取相應的功能ID，再根據設備ID分配情況分配設備ID，隨后再次配置LUT，并下發在線狀態到各單元，其流程如圖4所示。

圖4　設備ID動態分配

由于配置路由時不知道連接到此端口的設備ID，而我們通過匹配端口的LUT和相應發送數據包目的ID的方法，將此數據包從該端口路由發送。所以，此時發送的數據包的目的ID與連接器件的設備ID不一致，需要在進行SRIO的IP核設計時，指定設計參數Transport and maintenance中的Disable Destination ID Checking by default功能打開，關閉SRIO IP核的目的ID檢測功能，否則探測門鈴信息將會被丟棄。

通過此ID分配流程，可以完成各器件設備ID的自動分配及任意器件連接交換器件任意端口功能。

4　獨立性設計

4.1全局復位設計

在傳統的復位方案設計中，在系統運行階段不斷監測SRIO的端口狀況，對RapidIO IP核物理層提供的port_error信號采用周期性訪問查詢。若port_eror信號有效，則對自身進行復位，恢復到開機上電的原始狀態。由于密碼單元的特殊性，其并沒有進行復位設計，而是作為一個功能單元掛接在系統中。

4.2全局復位設計存在的缺陷

傳統的復位設計采用回到原點的做法來實現錯誤恢復，但是這樣的設計存在兩個缺陷：

第一，傳統的復位設計使系統各模塊之間產生級聯性，若其中任一單元出現錯誤，產生復位時，與其連接的單元由于狀態不相符合，無法與其進行通信，將跟隨產生復位操作，產生連帶效應，直到整個系統中的全部模塊均完成復位操作。這對于大型系統需要耗費大量時間，從而不滿足各功能模塊通過交換單元連接，相互獨立地存在于系統的要求。

第二，復位后無法進行正常通信，當出現密碼單元以被動方式存在于系統的模塊時，自身復位完成后，若密碼單元不進行復位，這種在兩個直連單元之間的非對稱復位將導致AckID同步失敗，導致通信中斷。

4.3單端口復位設計

對于只有一個端口的SRIO器件而言，全局復位和單端口復位是一致的。但是，對于SRIO交換器件或者Tms320C6455這樣集成多個SRIO端口的DSP則不一樣。對系統中含有多個SRIO端口的器件采用單端口復位，由于各個設備都是直連于交換芯片上的，與交換芯片上的端口形成對聯，故對交換單元上的Tsi578采取單端口復位將可以割斷各單元之間的關聯性，即一個器件故障只會影響其對應的連接端口，而不會對系統其他單元產生連帶效應。在對單端口復位完成后，此端口的LUT處于不定狀態，需要重新配置LUT。

各個器件連接到交換單元完成復位后，可能會出現錯誤，致使輸入端口進入到output_error_ stopped狀態、輸出端口進入到input_error_stopped狀態，產生的連接器件無法正常完成數據傳輸，此錯誤是由于兩互連器件之間的AckID不同步引起的。因此，需要在復位完成之后進行AckID同步。

單端口復位設計的流程為：

（1）向Tsi578的寄存器SP_MODE中的SELF_RST寫1，復位自身；

（2）向Tsi578的寄存器SP_CS_TX中寫入0x40FC4000，通過控制命令符消息向連接器件端口發送reset_port命令；

（3）完成AckID同步。

4.4AckID同步

通過SRIO的維護操作和控制符消息來完成ackID的同步。以密碼單元和交換單元為例，其AckID同步過程如圖5所示。

圖5　AckID同步流程

（1）交換單元的DSP對交換單元SRIO的SP(n)_CS_TX（端口n控制傳輸寄存器）寫入0x40 FC8000；向密碼單元立即發送一個PNA和鏈接請求端口狀態的控制符，在端口錯誤環境下，一個端口狀態請求控制符會被當作restart-from-error控制符。密碼單元SRIO收到此請求后，密碼單元從Error stopped狀態轉移到wait_for_error狀態；

（2）密碼單元SRIO發出鏈接響應及鏈接請求，交換單元接收到鏈接響應將從stop_output狀態轉移到recover狀態。此鏈接響應會本地在SP(n)_ LM_RESP（端口n鏈接響應寄存器）中寫入密碼單元SRIO的期望確認輸入值（expected ackID），交換單元接收到鏈接請求，交換單元SRIO的輸入端口從Error stopped狀態轉移到wait_for_error狀態；

（3）密碼單元SRIO收到交換單元SRIO的鏈接響應，密碼單元SRIO的輸出端口從Error stopped狀態轉移到wait_for_error，交換單元讀取SP(n)_ LM_RESP寄存器的值，并將其寫入本地SRIO的SP(n)_ACKID_STAT（端口n本地ackID狀態寄存器）的outbound和outstanding AckID域中，使本地的輸出端口的ackID和密碼單元SRIO的期望ackID相匹配；

（4）交換單元發送一個維護包到密碼單元SRIO的SP(n)_ACKID_STAT寄存器，將其輸出端口的輸出和正在輸出ackID改寫為本地SRIO期望的輸入ackID，并將密碼單元SRIO的輸入ackID改寫為步驟3中獲取的ackID+1；

（5）此時，對連的兩個SRIO的輸入輸出端口狀態均恢復到wait_for_error且ackID完成同步，可以繼續進行數據傳輸。

4.5交換單元復位設計

交換單元的各端口復位過程中需要包括ID動態分配、在線狀態共享及AckID同步，其總體流程如圖6所示。

圖6　交換單元復位流程

交換單元通電開機之后，以64 kHz的中斷速率檢測并記錄Tsi578各個端口的狀態，當端口狀態由壞變好，即端口設備上線時，對此端口進行單端口的復位操作，恢復Tsi578的端口恢復到原始狀態，不對其他端口產生影響，并完成收發端口之間的AckID的同步，使得此端口可以與相連器件正常通信，之后通過配置路由完成動態ID的分配，最后更新各單元的在線狀態，并下發到各在線器件，通知此設備ID器件加入系統并可以正常通信，進行數據傳輸。

當端口狀態由好變壞時，即下線時，立即更新狀態狀況并下發，廣播此設備ID器件脫離系統，不能對此設備ID進行數據傳輸，防止發生非可靠性的傳輸，使系統不穩定。

5　結 語

本文在將SRIO總線技術應用于多通道短波通信系統的背景下，提出了一種SRIO交換單元的設計方案。此方案實現了SRIO交換單元和因特網交換機一樣的特性，支持任一端口接入和自動分配設備ID，交換單元上各單元相互獨立存在于系統。此方案可以擴展到多交換器件系統中，但是在較大SRIO系統中的器件任意接入問題，仍然有待研究。目前，SRIO協議憑借優異的性能得到了廣泛認可與應用，但是在使用過程中的靈活性較弱。如何提高SRIO總線的靈活性尚待深入研究。

[1] 仲維亮,楊斌,雷國志.基于DDS的傳輸插件的性能比較和分析[J].通信技術,2013,46(03):13-15. ZHONG Wei-liang,YANG Bin,LEI Guo-zhi.Comparison and Analysis on Performances of DDS Transmission Plugins[J].Communications Technology,2013,46(03):13-15.

[2] 劉琳.基于RapidIO的高數數據傳輸系統設計[D].哈爾濱:哈爾濱工程大學,2013. LIU Lin.The Design of High-speed Data Transmission System based on RapidIO[D].Harbin:Harbin Engineering University,2013.

[3] 張娟娟,陳迪平,柴小麗.VxWorks下RapidIO互連系統的實現[J].計算機工程,2011,37(03):236-240. ZHANG Juan-juan,CHEN Di-ping,CHAI Xiao-li. Implementation of RapidIO Interconnect System Under VxWorks[J].Computer Engineering,2011,37(03):236-240.

[4] 鄧豹,趙小冬.基于串行RapidIO的嵌入式互連研究[J].航空計算技術,2008,38(03):123-126. DENG bao,ZHAO Xiao-dong.Research of Embedded Interconnection Frame based on Serial RapidIO Technology[J].Aeronautical Computing Technique, 2008,38(03):123-126.

[5] 李少龍,高俊,婁景藝等.基于SRIO總線的數字信號處理系統的實現[J].通信技術,2012,45(05):101-103. LI Shao-long,GAO Jun,LOU Jing-yi,et al.Implementation of Digital Signal Processing System based on SRIO Bus[J]. Communication Technology,2012,45(05):101-103.

[6] IDT.Tsi578 Serial RapidIO Switch User Reference Manual[EB/OL],www.idt.com．

[7] 樓才義,徐建良,楊小牛.軟件無線電原理與應用[M].北京:電子工業出版社,2014:321．LOU Cai-yi,XU Jian-liang,YANG Xiao-niu.Software-Defined Radio:principles and practice[M],Beijing:Publsh ingHouse of Electronics Industry,2014:321.

[8] RapidIO.[EB/OL],www. rapidio.org．

王青波（1992—），男，碩士研究生，主要研究方向為數字通信、軟件無線電；

高 俊（1957—），男，博士，教授，博士生導師，主要研究方向為通信理論與技術；

崔中普（1993—），男，碩士研究生，主要研究方向為數字通信、軟件無線電。

Design and Implementation of Arbitrary Interconnection for SRIO Switch Unit

WANG Qing-bo, GAO Jun, CUI Zhong-pu
(College of Electronic Engineering,Naval University of Engineering,Wuhan Hubei 430033,China）

Based on device ID, the system of SRIO protocol is constructed, and when SRIO protocol is applied in multi-channel short-wave communication system，the specific device ID module should be connected to the specific port of switch module，and however there exists a defect in global reset design of the switch, and a hot swap insert in operation state would lead a reset of the whole system．Based on analysis of reliability transmission mechanism，error recovery mechanism and maintenance operation of SRIO protocol，a design scheme with dynamic device ID assignment，arbitrary port access and hot swap insert without any impact on the whole system，and similar to the Internet switch is proposed and implemented．

SRIO;switch unit;error recovery;arbitrary interconnection

TN915.05

A

1002-0802(2016)-08-01098-06

10.3969/j.issn.1002-0802.2016.08.027

2016-04-20;

2016-07-23

date:2016-04-20;Revised date:2016-07-23