一種基于openVPX 的通用信號處理平臺設計

許烈華

(中國西南電子技術研究所, 成都610036)

1 引 言

基于傳統分級共享式并行總線的處理平臺(如CPCI、VME 等平臺),總線時鐘頻率和總線接口寬度決定了處理平臺的基本性能,為盡可能提高性能,器件廠家推出了一系列的改進,如提高總線時鐘頻率、拓寬總線接口寬度等。比如PCI 總線速度從33 MHz提高到66 MHz,總線寬度從32 bit變成64 bit。雖然這些改進對性能有一定的改善,但是能力有限,且任意節點間不能自由通信,導致系統設計不夠靈活。正因為此,基于共享式并行總線的處理平臺的發展已受到瓶頸限制,達到了其極限性能。但是隨著通信帶寬的越來越寬、雷達和圖像處理分辨率的越來越高以及對實時處理性能的需求,對處理平臺的性能提出了更高的要求,需要更高的總線傳輸帶寬、更強的運算能力和更靈活的數據交互能力[1]。

針對這種應用需求,本文提出了一種新的處理平臺解決方案,重點對該處理平臺的總體構架、背板、拓撲網絡和處理模塊進行了詳細的分析設計,給出了處理平臺的總線傳輸帶寬指標。

2 openVPX 發展歷程

1987 年出現的VME32 總線帶寬達到40 Mbit/s,為不斷提高帶寬,VME 進行了一系列的改進,比如后來的VME64、VME2eSST 和VXS,帶寬分別提到了80 Mbit/s、320 Mbit/s和3 Gbit/s。在2007 年加入到ANSI 的VPX,采用串行RapidIO 總線,進一步增加了帶寬,同時集成了更多的IO 和擴展了格式布局。VPXREDI 主要對VPX 的結構和制冷等方面進行規定,解決性能大幅提高的同時帶來的功耗增加和可靠性降低等問題。

但是在VPX 的推廣使用過程中,發現各個廠商的模塊與背板的通用性較差,同時VPX 在初期還留有VME 的某些痕跡,比如VITA46.1 專門對VME 進行了定義,再者VPX 自身也缺乏足夠的背板互連規范來支持最大化應用自身的優勢。為解決這些問題,2010 年VITA(VME 國際貿易協會組織)成員在VPX 的基礎上制定了openVPX 標準。openVPX 仍然采用VPX 的機械尺寸、制冷方式、供電方式和通信協議,但它對當前VPX 市場進行了通用化的統一規定,它定義了節點、背板和模塊等三大類的標準架構,每一類里面詳細描述了各種應用模型。另外,在openVPX 中,完全摒棄了VME 的痕跡,在帶寬方面進一步提高,單通道速率達6.25 Gbit/s,同時改變了VPX 中單一交換的網絡結構,采用了多交換的網絡結構[2]。圖1 展示了openVPX 的發展歷程。

圖1 openVPX 發展歷程Fig.1 History of openVPX

3 處理平臺硬件設計

3.1 總體設計

筆者在某工程應用中遇到的如下需求:

(1)16 通道采樣,實時數據總傳輸率42 Gbit/s;

(2)同時形成8 個數字波束的運算能力;

(3)具備數據記錄、回放及DA 轉換的功能。

根據這一需求,經過大量論證和反復方案比較,最終選取了基于openVPX 標準的處理平臺方案。該處理平臺主要完成16 通道的中頻信號采樣、數字波束預合成、合成、校正及數據記錄等功能,處理平臺的組成框圖如圖2 所示。其中,主控模塊完成處理平臺的初始化、交換網絡動態管理、狀態監測和對外接口;AD 模塊共2 個,每個完成8 通道的模擬信號的采樣以及數據的預處理;處理模塊共3 個,各種算法在其上實現,一個完成左邊8 路信號的預合成,另一個完成右邊8 路信號的預合成,在第三個處理模塊上完成和、差數字波束合成及校正的運算;存儲模塊完成數據的固態存儲,以便于事后分析;DA 模塊實現數字信號到模擬信號的轉換,產生校正信號;交換模塊為在同一數據網絡上的各種模塊提供數據交換,根據路由表信息完成不同模塊間的數據通信。

圖2 處理平臺組成框圖Fig.2 Composition diagram of processing platform

模塊間數據通信采用串行RapidIO 總線[3]。本方案中使用RapidIO Level Ⅱ協議, 單通道速率6.25 Gbit/s。本來RapidIO 只支持點對點的通信方式,但是處理平臺中有交換模塊,且交換模塊為全交換結構,則可實現任意節點間多點對多點的通信。比如,處理平臺中,可實現AD 模塊與處理模塊間的通信,在同一時刻,也能實現存儲模塊與DA 模塊間的通信,前后兩組間的通信完全獨立同時進行。通過重新配置交換模塊的路由表信息,不需要改變任何硬件,很容易實現把從AD 模塊與處理模塊間的通信切換到AD 模塊與存儲模塊間的通信。圖3 為處理平臺的RapidIO 網絡示意圖。

圖3 RapidIO 網絡示意圖Fig.3 Diagram of RapidIO network

同樣,處理模塊內部也采用串行RapidIO 交換結構,模塊內不同的運算單元(比如DSP 或FPGA)掛在同一RapidIO 網絡上,任意運算單元可實現多點對多點的通信。采用這種架構明顯的優點在于:系統對各運算單元的忙閑情況動態監測,根據監測情況,動態分配路由表,從而改變數據流的方向,最終實現動態分配運算單元的功能,使各運算單元的忙閑相對平衡。通過動態監測與分配,很容易實現并行處理,達到提高系統處理能力和效率的目的。

3.2 背板及拓撲網絡

處理平臺采用openVPX 中定義的標準背板形式,背板拓撲標準為BKP6-CEN10-11.2.4-3。背板中共定義了5 個層,分別是擴展層、數據層、控制層、管理層和電源層[2]。擴展層為相鄰槽位間數據傳輸,數據層分為兩種,一種是與交換槽位的連接,另一種是相鄰槽位間的連接。控制層只與交換槽位有連接。管理層定義了兩對差分線,每個槽位的差分線物理上連在一起。電源層用于給各模塊供電。

在該處理平臺中,擴展層設計為相鄰槽位間FPGA 的高速收發器(GTX)的數據傳輸,GTX 通道數為8 個,每通道速率5 Gbit/s。數據層設計為3 個4×的串行RapidIO 接口,每通道速率6.25 Gbit/s,與交換槽位2 個接口,相鄰槽位間1 個接口。控制層設計為2 個1×的串行RapidIO 接口,每通道速率為1.25 Gbit/s。管理層設計為低速控制和監視總線用的CAN 總線。圖4 為處理平臺中高速數據通道的拓撲網絡圖,圖中4 個交換芯片位于交換模塊上,交換模塊標準為SLT6-SWH-20U19F-10.4.1。VPX1 為主控模塊,VPX2、9 為存儲模塊,VPX3、8 為AD 模塊,VPX4、5、7 為處理模塊,VPX10 為DA 模塊。

圖4 數據通道拓撲網絡圖Fig.4 Network topology of data channel

該處理平臺采用雙星型網絡拓撲。雙星型網絡拓撲有兩個優點,一是解決單個交換芯片端口數量不夠問題,二是提高了網絡的可靠性,當一個網絡出現問題時,另一網絡可以作為備份。圖4 中上半部分為數據層的拓撲,采用4×的RapidIO 接口,每個節點模塊分別有一個接口與交換芯片1 和2 相連。下半部分為控制層的拓撲,采用1×的RapidIO 接口,每個節點模塊分別有一個接口與交換芯片3 和4 相連。另外,相鄰模塊間,還有一個4×的RapidIO接口和8 通道的GTX 接口。

3.3 處理模塊設計

處理模塊為處理平臺中的重要模塊,模塊符合openVPX 中的SLT6-PAY-4F1Q2U2T -10.2.1 標準。處理模塊原理框圖如圖5 所示。

圖5 處理模塊框圖Fig.5 Block diagram of processing module

模塊主要由高性能的DSP 和FPGA 器件、交換芯片和DDR3 存儲器構成, DSP 選用TI 公司的C6678 芯片,FPGA 選用Xilinx 公司virtex6 系列的SX315T,交換芯片選用IDT 公司的CPS1848 芯片,連接器采用tyco 公司VPX RT2 連接器。模塊內部及對外均采用RapidIO 接口,單通道6.25 Gbit/s。模塊支持通過RapidIO 網絡動態加載程序。

3.4 信號完整性設計與測試

在本方案中, 板內及板間的傳輸速率為6.25 Gbit/s,信號的上升時間在1 ns以內,信號完整性問題,諸如串擾、阻抗匹配、EMI、抖動等不容忽視。在本設計中,主要從高速印制板設計和高速信號測試等方面來分析與解決信號完整性問題。

在印制板設計方面,采用安捷倫的ADS 仿真工具,對高速傳輸線、關鍵器件、關鍵接插件等進行仿真和建模。通過前仿真解決走線的阻抗連續性、過孔效應、走線間耦合等問題。在電路板已經制作后,根據測試結果,對電路板進行建模并后仿真,進而分析測試結果,指導電路板改進。

在高速信號測試方面,采用高性能的數字示波器、邏輯分析儀、誤碼率分析儀等對實際的信號進行測試分析,包括波形參數測量、眼圖/抖動測量、一致性測量、協議分析和誤碼率測量等。通過測試,一方面檢測系統是否滿足規范和設計要求;另一方面在測試過程中,為每個器件的預加重、去加重、預均衡、均衡等參數的最佳選擇提供依據。

4 性能分析

處理平臺的性能主要從兩方面進行分析,一是傳輸帶寬的計算,二是運算能力的分析。傳輸帶寬的計算分兩種情況,一種是任意模塊間,另一種是相鄰模塊間,如表1 和表2 所示。RapidIO 為8B/10B 編碼,因此編碼效率為0.8,且RapidIO 基于包傳輸方式,除去包頭開銷,有效載荷數據效率只有0.9 左右[3]。

表1 任意模塊間傳輸帶寬Table1 Bandwidth between any module

表2 相鄰模塊間傳輸帶寬Table2 Bandwidth between adjacent module

由表得知, 任意模塊間的傳輸帶寬為37.8 Gbit/s,相鄰模塊間的傳輸帶寬為84.6 Gbit/s。基于共享式并行總線的處理平臺的帶寬約為4 Gbit/s,相比之下,帶寬有數量級的提升,顯著提高了處理平臺的傳輸帶寬。

在運算能力方面,處理平臺采用高性能的DSP和FPGA 芯片, 運算能力大大提高。FPGA 采用40 nm技術的virtex6 系列的SX315T,相比65 nm技術的virtex5 系列的SX95T,在邏輯資源、接口支持的速度、系統運行速度等方面都有較大的提升,同時功耗有所降低。

5 結 論

本文在openVPX 標準體系下,構建了一種新型的高性能處理平臺,平臺采用高速串行RapidIO 總線作為模塊之間和模塊內節點間的高速數據通道,采用雙星型的交換網絡結構,既能保證高的傳輸帶寬,又具有高的可靠性,通過軟件動態改變路由,從而改變數據流路徑,可大大提高系統設計的靈活性。處理平臺的總體架構與模塊接口定義滿足openVPX 標準,具有較強的通用性,可應用于總線帶寬和實時性要求高的寬帶通信、對抗、雷達或圖像處理等領域。

[1] 楊小牛, 樓才義,徐建良.軟件無線電技術與應用[M] .北京:北京理工大學出版社, 2010:251-252.

YANG Xiao-niu,LOU Cai-yi,XU Jian-liang.Software Defined Radio Technology and Application[M] .Beijing:Beijing Institute of Technology Press, 2010:251-252.(in Chinese)

[2] ANSI/VITA65-2010,Open VPX System Specification[ S] .

[3] Sam Fuller.Rapid IO 嵌入式系統互連[M] .王勇, 譯.北京:電子工業出版社,2006:202-255.

Sam Fuller.RapidIO:The Embedded system Interconnect[M] .Translated by WANG Yong.Beijing:Publishing House of Electronics Industry, 2006:202-255.(in Chinese)