基于PCI/PCIX 總線實現寬帶數據高速傳輸

張 峰,李燕斌

(中國西南電子技術研究所, 成都610036)

1 引 言

寬帶數傳通常用于空地或空空的實時預警監視圖像信息傳輸,目前的ISR 圖像正朝著高幀頻、高分辨率方向發展,這種海量數據是否能夠高速傳輸,逐漸成為限制寬帶數傳終端發展的瓶頸。傳統數傳終端采用PCI 專用芯片(PCI9054、PCI9656 等)實現PCI協議[1-3],這種實現方式存在傳輸速度低、配置靈活性差等缺點。針對這些缺點,本文通過VHDL 語言在FPGA 內實現PCI/PCIX 總線協議,實現了寬帶數據高速傳輸。PCI/PCIX 總線采用66 M/64 bit模式,突發長度為 512 byte, 利用率可達 80%, 即420 Mbyte/s,實驗表明,此通信方式穩定可靠,且易于擴展,是寬帶高速數傳終端的一種理想選擇。

2 PCI/PCIX 協議簡析

PCI 總線標準于1993 年首次提出,版本幾經更新,帶寬 由33 M/32 bit 發 展到66 M/64 bit 后, 升 至PCIX 標準的133 M/64 bit模式。PCI/PCIX 總線可同時支持多個功能模塊,并不受限于處理器結構,可作為處理器和高速外圍功能模塊的橋梁。

PCI/PCIX 總線可采用5 V或3.3 V兩種供電環境,但不能混合使用。其信號線為CMOS 電平,靜態電流小,可考慮在FPGA 內直接實現PCI/PCIX 的IP核,相對于采用PCI9054 等芯片方式,采用IP 核的方式能夠減少PCB 布板面積,降低工程成本,簡化數據流向,且具有易于升級、擴展等功能。

3 基于FPGA 實現PCI/PCIX 總線IP 核

寬帶數傳終端模塊硬件結構框圖如圖1 所示。模塊可認為由采集子單元和主控子單元構成。采集子單元主要由FPGA 及其相連的外圍芯片組成,CCD相機數據通過Cameralink 接口進入到FPGA,由FPGA 完成對相機數據的采集,并通過SDRAM 乒乓緩存,緩存后的數據通過PCI/PCI 總線與主控子單元相連。主控子單元主要由PowerPC 及其相連的外圍芯片組成,內存由512 Mbyte的DDR 存儲器組成,外置Flash 芯片用于存儲操作系統信息,通過網絡物理層芯片實現了網絡通信功能,用于與上位機進行數據交互,主控單元作為PCI/PCIX 總線的主設備,通過點對點通信,與作為從設備的FPGA 相連。

圖1 基于PCI/PCI 總線的寬帶數傳框圖Fig.1 The wideband data transport structure based on PCI/PCIX

寬帶數傳終端模塊軟件主要涉及在FPGA 內實現PCI/PCIX 協議,利用中斷和主控單元實現基于PCI/PCIX 的數據交互。PowerPC 加載操作系統及PCI 設備驅動,實現PCI/PCIX 數據交互。其關鍵技術和實現難點在于如何在FPGA 內通過VHDL 語言實現PCI/PCIX 協議及在PowerPC440 下Linux 操作系統的移植。

根據PCI/PCIX 協議,在FPGA 內實現此IP 核,可考慮將PCI/PCIX IP 核劃分為6 個單元,即PCI I/O 接口單元、極性產生/判別單元、發送單元、接收單元、配置空間單元和用戶應用接口,如圖2 所示。

圖2 PCI/PCIX 結構框圖Fig.2 PCI/PCIX IP core structure

PCI I/O 接口模塊用于PCI/PCIX IP 核的對外接口信號,通常通過“金手指”與PCI 插槽相連。

極性產生/判別模塊對地址數據AD 信號,字節使能CBE 信號R 進行奇偶校驗,并通過PERR 信號和SERR 信號上報結果。

發送模塊根據用戶應用需要產生發送數據狀態機,發送PCI/PCIX 數據, 支持的數據讀寫方式有PIO 32 位、PIO 64 位以及突發32 位、突發64 位。

接收模塊根據用戶應用需要產生接收數據狀態機,接收PCI/PCIX 數據。

配置空間模塊用于配置PCI/PCIX 配置空間中的3 個基址寄存器、命令/狀態寄存器、中斷線以及Device ID 和Vendor ID 等。

用戶應用接口是PCI/PCIX 總線IP 核最重要的邏輯接口,它控制發送狀態機發送數據,并對接收到的數據進行判斷,同時對中斷進行控制和處理等。

實際工程中,將配置空間中的Device ID 和Vendor ID 分別設置為0x1000、0x10ee,以在PowerPC440加載操作系統時加以探測并區分。將基址寄存器0配置為I/O 空間,256 byte大小,并使能BAR0。BAR2配置為Memory 空間,64 Mbyte,64 bit寬。基址寄存器2 映射為64 Mbyte空間,是根據FPGA 外接的64 Mbyte 的SDRAM 的尋址范圍確定的,如圖1 所示。

在用戶應用接口,配置PCI/PCIX IP 核為64 bit突發寫模式,FPGA 發起數據傳輸, 將數據寫入到PCI 的基址寄存器BAR2,寫完64 Mbyte數據,產生中斷信號,通知處理器PowerPC440 進行數據處理。中斷信號由FPGA 產生,通過INTA 信號接口,連接到PowerPC440 的中斷控制器上。

4 PowerPC440 加載PCI/PCIX 驅動

本文選擇在PowerPC440 處理器上運行Linux 操作系統[4]。

嵌入式Linux 操作系統的移植分為四步:第一步,做嵌入式處理器的引導程序bootloader,這一部分相當于PC 機的BIOS,即需要嵌入式處理器完成一個上電自啟動;第二步,裁減Linux 內核,需要嵌入式處理器自啟動后加載定制的Linux 內核,將PCI 編譯成內核的一個模塊;第三步,建立文件系統,Linux 通過文件系統對文件及設備進行管理,需要文件系統對PCI 進行管理、控制;第四步,編寫應用層程序,通過應用層程序,發起PCI 操作,完成數據傳輸。

由于FPGA 本身不是標準的PCI 接口,在Linux操作系統中并不存在相應的驅動,因此需要單獨開發基于FPGA 實現的PCI/PCIX IP 核驅動[4]。首先在內核中注冊一個PCI 設備,將FPGA 作為一個塊設備注冊(在Linux 下,塊設備比字符設備具有更大的數據吞吐速率);在Linux 內核中調用pci-enabledevice()函數探測并激活FPGA。當PowerPC440 處理器探測到Device ID 和VendorID 分別為0x1000、0x10ee 時,即為發現PCI 設備FPGA,發起數據傳輸操作。

數據傳輸采用DMA 方式,與配置的PCI/PCIX突發模式對應。

5 測試結果

將PCI/PCIX 驅動程序采用insmod 命令編譯進Linux 內核,加載網絡文件系統后, 在應用層發起PCI/PCIX 傳輸操作,將SDRAM 中的64 Mbyte數據由FPGA 經PCI/PCIX 寫入到PowerPC440 的內存,通過示波器測PCI/PCIX 的FRAME 信號,FRAME 為幀周期信號,表示一次訪問的開始和持續時間。

實驗條件如下:CPU 為Pentium(R)Dual -CoreE5200@2.5GHz;內存2 Gbyte;操作系統為Windows XP Professinal Service Pack 3;ISE 版本:10.1.03;Linux 內核版本:2.6.26.1;示波器:Agilent Oscilloscope DSO5034A。實驗結果如表1 所示。

表1 PCI/PCIX IP 核傳輸速率Table 1 The transmission speed for PCI/PCIX

實驗表明,基于FPGA 實現的PCI/PCIX IP 核在66 M/64 bit,以突發長度為512 byte的條件下,傳輸速度可穩定在420 Mbyte/s以上,總線利用率在80%左右,性能超過目前常用的RapidIO(3.125 Gbit/s)總線以及PCIE(2.5 Gbit/s)總線,考慮到PCI/PCIX 總線在嵌入式系統設計中的通用性及實現難度, 這種傳輸方式將會得到廣泛應用,且已在某寬帶項目中得到驗證。

6 結束語

傳統寬帶數傳通過采用PCI9054、PCI9656 等外圍芯片實現PCI 總線協議,這種方式增加了PCB 板的面積與功耗,及系統復雜性,而采用FPGA 通過VHDL 硬件語言實現PCI/PCIX 協議,將PCI/PCIX 作成一個通用的IP 核,增加了程序的通用性或移植性,為寬帶數據處理終端提供了一種靈活的數據傳輸方式,是利用FPGA 實現高速數傳的一種有效嘗試。目前,PCI/PCIX 總線是66 M/64 bit傳輸方式,下一步考慮升級為133 M/64 bit傳輸方式,以增加系統帶寬,實現更高速度的寬帶數傳。

[1] 楊茂, 戴紫彬.基于PCI9656 設備驅動程序的linux2.6內核研究[ J] .微計算機信息,2006,22(1):126-128.

YANG Mao,DAI Zi-bin.Research of linux 2.6 kernel based on devic driver of PCI9656[ J] .Information of Micor-Computer,2006, 22(1):126-128.(in Chinese)

[2] 曹琦,畢篤彥,王洪迅.基于PCI 總線的高速CCD 圖像存儲系統設計[J] .微計算機信息,2007,23(19):169-171.

CAO Qi, BI Du-yan,WANG Hong-xun.High-speed CCD image storage system desiging based on PCI bus[J] .Information of Micor-Computer,2007,23(19):169-171.(in Chinese)

[3] 周磊, 胡學龍.基于linux 平臺的PCI 數據接口卡驅動設計[ J] .國外電子測量技術,2006,25(12):16-19.

ZHOU Lei,HU Xue-long.Design of PCI data interface card driver based on linux[ J] .Foreign Electronic Measurement Techmology,2006,25(12):16-19.(in Chinese)

[4] Corbet J, Rubini A,Kroah-Hartman G.LINUX 設備驅動程序[M] .魏永明, 耿岳,鐘書毅, 譯.北京:中國電力出版社, 2007.

Corbet J,Rubini A,Kroah-Hartman G.linux device driver[M] .Translated by WEI Yong-ming,GENG Yue,ZHONG Shu-yi.Beijing:China Electric Power Press,2007.(in Chinese)