基于ＳＣＳＩ總線的高速數據存儲系統軟件設計

摘 要：設計一種基于CI總線技術的高速數據存儲系統。系統采用PC機作為數據存儲的主控單元，用2塊CI硬盤組成磁盤陣，并設計簡易的文件系統，最大限度地發揮CI硬盤的速度優勢。在實際應用中系統存儲帶寬能夠穩定地工作在100 MB/s以上。使用API開發CI接口程序，減少開發周期。在實際測試中，系統工作正常，表明了系統設計原理是正確的。

關鍵詞：CI；數據存儲；API；磁盤陣

oftware Design ofigh peed Data torage ystem Based on CI Bus

ZAO ao1，YUAN Yuan2，LI Xiuyou1，GUAN Jian1

(1Department of Electronic Engineering，Naval Aeronautical Engineering Institute，Yantai，264001，China;

2he Armament Department of the econd Artillery Corps of PLA，Beijing，10008，China)[JZ)][J12/3]

Abstract：he design of high speed data storage system based on CI bus is discussedhis system takes full advantage of the CI disk，uses PC as the main control unit，uses two CI disks and designs a simple file systemAccording to practical measure，the bandwidth can exceed 100 MB/sFor the purpose of cutting design circle，using API to implement the CI interface programhe test result indicates that the system works normally and the principle of the design is correct 

Keywords：CI;data storage;API;disk array[J12/3]

在雷達系統中對高數據率、大批量的數據進行存儲，具有非常大的應用價值。這樣做，一方面由于雷達系統外場實驗的成本較高，同時一些特定場景實驗數據又具有不可重復性，能夠及時保存珍貴的實驗數據對于雷達系統調試與性能分析都有著十分重要的意義。另一方面，當系統的實時處理能力不足時，可以將數據存儲下來以便進行非實時的處理。比如某星載AR在某系統參數下的成像處理，一段時間的數據率達到了26 MB/s［1］，在如此高的數據率下實時保存現場數據就顯得尤為重要。本文設計一種基于CI技術的數據存儲系統，并在實際工程中得到了很好的應用。

1 基于總線的數據存儲技術簡介

11 常用計算機系統總線介紹

計算機總線是計算機部件間傳遞信息的通道，總線技術在整個計算機系統中占有十分重要的位置。隨著計算機技術的不斷發展，各種標準的、非標準的總線技術層出不窮。最典型的傳統總線是IA(Industrial tandard Architecture)總線，又稱A總線。它是IBM公司1984年為推出PC/A機而建立的系統總線標準，它在80286至80486時代應用非常廣泛。隨著CPU與微機性能的不斷發展，原有總線的數據傳輸率已經無法滿足系統的需要。為解決該問題，Intel公司于1991年提出了外圍器件互連(Peripheral Component Interconnect)總線，即 PCI總線［2］。由于其優越的性能，PCI總線標準一經推出就得到了計算機業界的普遍青睞，現已成為當前最流行的總線之一。目前，PCI總線的峰值數據傳輸率可到28 MB/s，很好地解決了計算機總線遇到的瓶頸問題［3］。CPCI(Compact PCI)總線是PCI總線的增強和擴展，在電氣上完全與PCI兼容，具有抗振和利于散熱等優點，更適合于工業測控的應用。本文所介紹的高速數據存儲系統就是采用CPCI作為系統的基本總線。

12 數據存儲總線的選擇

目前高速、超高速A/D芯片已不再難以得到，各種處理器的處理速度也越來越快，如何實現數據采集速度與數據存儲間帶寬的匹配問題是當前數采系統發展的瓶頸之一。

CI（mall Computer ystems Interface）意為小型計算機系統接口。它已成為小型計算機I/O總線接口的標準［4］。CI技術從1979年推出至今，經過了CI-1，CI-2，CI-3，Ultra2 CI，Ultra3 CI，Ultra160 CI和Ultra320 CI等多個版本，其接口帶寬從最初的4 MB/s發展到目前的320 MB/s。FC(Fiber Channel，光纖通道) 是一種高速度、高可靠、低延遲、高吞吐量的串行數據傳輸接口，它可廣泛應用于高性能存儲、大規模數據庫、網絡存儲系統等領域。從實際應用的效果來看，光纖通道的帶寬要比CI帶寬高出許多，甚至數倍于CI技術［，6］。

盡管光纖通道的優勢明顯，但其高昂的成本限制它的應用范圍。同時Ultra320 CI總線帶寬達到了320 MB/s，這個帶寬基本滿足目前嵌入式數據采集存儲設備的需要。出于對系統性能分析及性價比的考慮，本系統選擇Ultra 320 CI作為系統存儲的數據總線。

2 高速數據存儲系統設計方案

21 概述

對于實時信號處理系統，為保證實時性，它要求系統必須具有處理大數據量的能力，這樣就對于數據的實時存儲提出了更高的要求。目前，解決高速的數據存儲主要有這樣幾種方法：

(1) 利用FIFO緩存器緩存高速數據流，以達到和低速存儲介質間的速度匹配的目的。但這種方法實現起來比較復雜，將大大增加系統的工作量；

(2) 采用IDE硬盤，利用多線程并行讀寫硬盤的方式來解決數據傳輸率的問題。目前雖然IDE接口硬盤的瞬時傳輸速率超過了133 MB/s，但其持續傳輸速率不超過1 MB/s，無法滿足高速數據存儲的要求。采用多線程讀寫硬盤，可以使CPU的性能得到充分發揮，有效地提高硬盤的讀寫速率。但這種方法勢必會占用大量的CPU資源，在進行數據存儲的同時無法進行其他操作［7］；

(3) 利用CI接口硬盤。目前，320 MB/s的CI硬盤在實際應用中可以達到60~70 MB/s的持續傳輸速率［8］，160 MB/s的CI硬盤性能略低，大約為0 MB/s。隨著CI硬盤成本的不斷降低，CI硬盤已成為高速、大容量數據存儲的一種較好的選擇。此外，廉價冗余磁盤陣列(RAID)也是提高數據存儲速率的一種有效手段。它采用并行原理，將多臺的磁盤驅動器組合成磁盤陣列，進行并發讀/寫操作，并以多個硬盤的數據傳輸速率來匹配系統帶寬，同時提供容錯功能。

22 系統方案設計

目前基于PC系統的高速數據存儲方案主要有2種：

第一種是采用硬件解決的方案，即數據不經系統內存，由數據采集卡通過DMA方式，經由PCI總線直接存儲到CI硬盤。這種方式沒有利用系統內存，節省系統總線帶寬，因而可應用于高速的數據存儲系統。但這種方案設計實現起來比較復雜，時間和經濟成本通常很高。圖1是這種方案的結構圖。

第二種方法是采用軟件解決的方案。它采用標準PC結構，數據先經PCI總線進入到系統內存，再經PCI存儲到CI硬盤，如圖2所示。在這種方式下，數據流在存儲過程中要2次占用PCI總線帶寬，所以其數據存儲速度不及第一種方式。這種結構下數據存儲速率的瓶頸是從PC機內存到硬盤的這個過程。

本系統采取的是第二種設計方案，為了解決存儲瓶頸，系統采用特殊的數據存儲方式，跳過Windows文件系統，直接對CI硬盤進行讀寫。同時，通過合理的選擇CI磁盤陣的磁盤數量，提高系統存儲帶寬，使CI磁盤的速度優勢得到最大限度的發揮。

23 CI硬盤實際帶寬測試

在許多存儲系統中，隨著數據量的增加，會導致系統帶寬下降，發生數據丟失現象。為此，就要找出系統發生數據溢出的節點，保證在系統帶寬與高速輸入數據流間的匹配。針對這種情況，專門對基于Ultra 320 CI硬盤的存儲系統進行了測試，測試中使用希捷公司146 GB和300 GB兩種容量的硬盤。通過Windows系統連續向CI磁盤中寫入數據，每次寫入事件返回后立刻再次寫入，直至磁盤寫滿為止。由主機分別取得寫入前與寫入后的系統時間，2次相減就是1次寫入時間。通過測試結果發現，隨著數據量的增大，2種硬盤的存儲速度都成階梯性下降，但146 GB硬盤速度曲線下降的速度幾乎是300 GB硬盤的兩倍，這主要是因為在磁道相同部位時，二者的轉速一樣，但是300GB的盤片數目正好是146 GB的2倍［9］，這說明對于高速大容量的存儲系統300 GB硬盤是一個更好的選擇。在文獻［8］中提到320 MB/s的CI硬盤持續存儲速率大約為60~70 MB/s，實際測試結果與文獻基本相符，如圖3所示。

隨著硬盤數的增多，系統的存儲帶寬不斷變寬。當CI適配器上掛2塊300 GB的320 MB/s的CI硬盤時，系統最大帶寬可以達到140 MB/s，大部分時間存儲速度能維持在100 MB/s以上。4塊硬盤時存儲速度最快能達到210 MB/s，在200 GB以前存儲速度能維持在200 MB/s以上。當存儲硬盤增加到8塊時，系統平均存儲速度大幅度提升，最低仍能維持在18 MB/s以上。但是，隨著硬盤數目的增多，系統對各個硬盤的同步性有所下降，導致各個硬盤等待寫入時間不同，速度曲線出現了毛刺現象（見圖4）。

本系統是某雷達數據采集系統的一部分，要求存儲帶寬不低于100 MB/s，同時數據記錄時間不得小于一個小時。通過計算可以得到系統數據存儲總量約為32 GB。通過前面的分析，發現在系統中使用2塊300 GB的Ultra 320 CI硬盤完全可以滿足要求。

3 系統的軟件設計

撰寫各種CI適配器的驅動程序是一項十分煩瑣的工作［4］，本系統選擇當前在PC平臺上開發CI應用程序比較流行的方法-API(he Advanced CI Programming Interface)。它是由Adaptec公司開發的，已經成為了小型機和PC機上CI編程的一個標準。通過API函數能夠方便地控制各種CI外圍設備，執行各種CI的輸入輸出指令。圖顯示的是利用API驅動CI設備的原理圖［10］。

為提高CI硬盤的存儲速度，方便對存儲數據進行管理，在本系統中設計了一個簡易的文件系統，以便減少硬盤的尋道時間，同時利用API函數并行存入數據，消除了原有文件系統處理資料寫入的額外負擔。將每次存儲的數據作為一個數據文件，指定硬盤的前100個扇區作為目錄區，記錄每次數據存儲的基本信息。每次存儲形成一個目錄信息，保存在一個扇區中，其格式定義如圖6所示。

4 系統運行結果

本系統是一種基于PC機的高速數據存儲平臺，使用2塊希捷公司的3146707LC Ultra320 CI系列硬盤作為存儲介質，CI接口卡選用Adaptec公司的7901CI控制卡。按照設計的文件結構，編程實現簡易文件系統，實現數據在磁盤中的線性存儲，提高了數據存儲速率，同時便于對文件的后續管理。實際工作中每塊磁盤的存儲速度能夠達到0 MB/s以上，用2塊CI磁盤組成RAID0陣，可以達到100 MB/s以上的[LL]存儲速率。圖7是系統實際工作中的上位機界面截圖，開發環境為C++ Builder60。圖中顯示系統實時存儲狀態，及每次存儲所形成的文件信息。從圖7中顯示狀態可以看出，存儲過程中平均速率及瞬時速率均超過100 MB/s，達到了預期的系統帶寬設計要求。

結 語

本系統充分利用PC機的軟硬件資源，發揮CI總線的速度優勢，實際測試結果表明、系統運行狀態良好、各項工作指標正常、實現了預期的設計目標。系統通過PCI/CPCI總線與數據采集系統聯合使用，可廣泛應用于雷達、通信等多種領域，應用前景廣闊。

參 考 文 獻

［1］吳瓊之高分辨力雷達實時信號處理技術［D］北京:北京理工大學，2004

［2］王玉良，戴志濤，楊紫珊微機原理與接口技術［M］北京:北京郵電大學出版社，2000

［3］蘇廣川，張笈高級計算機結構技術及其應用［M］北京:北京理工大學出版社，1998

［4］劉強，蔣智平，吳智銘CI協議的實現［J］微型電腦應用，2000，16(4):18-20

［］achs M W VarmaFibre Channel and Related tandards［J］Communication Magazine，IEEE，1996，34(8):40-0

［6］蔡皖東基于AN的高可用性網絡存儲解決方案［J］小型微型計算機系統，2001，22(3):284-287

［7］郄玉雙高速實時無壓縮數字視頻記錄及分析系統［D］北京:北京理工大學，2006

［8］eath J R，Yakutis P Jigh peed torage Area Networks Using a Fiber［J］Channel Arbitrated Loop Interconnect，Network，IEEE，2000，14(2):1-6

［9］http://wwwseagatecom

［10］宋愛軍雷達高速數據采集和數據重放系統［D］西安:西安電子科技大學，2000

作者簡介 趙 濤 男，1982年出生，滿族，遼寧興城人，碩士研究生。主要研究方向為高速數據采集與存儲。