高速大容量存儲系統設計關鍵與應用

陳凱，陳天喜，劉黎明

高速大容量存儲系統設計關鍵與應用

陳凱，陳天喜，劉黎明

（株洲中車時代電氣股份有限公司，湖南株洲，412001）

存儲系統對容量、速度、穩定性、連續性以及使用環境等都提出了更高的要求。由于閃存能夠對大量數據進行快速、高效、可靠、安全地讀寫操作，應用日益廣泛。主要闡述了系統存儲的具體技術，針對高速大容量的存儲系統提出了相應的改進方案，并介紹了軟件設計與驗證的相關操作。希望能夠為高速大容量存儲系統應用技術應用提供參考。

高速大容量；存儲系統；應用設計

引言

存儲技術的更新換代越來越快，存儲系統的穩定性與安全性等特征也得到了進一步提升，手機的海量存儲問題已經得到解決，高速大容量存儲系統憑借著其高速的存儲速度、低廉的成本、便利性等得到了企業用戶的青睞。但是隨著圖片乃至視頻存儲等數據量的逐漸增大，其對內存容量大小也提出了更高的要求。

由于閃存技術的控制程序較為復雜，且其對于序列的排序具有一定要求；同時所產生的無效塊也在很大程度影響了存儲系統的管理等。面對這類問題，存儲系統還是需要有控制器協調處理。

本文探討了并行總線操作、無效塊管理、流水線操作以及數據校驗等關鍵技術。

1　系統硬件結構

存儲系統主要利用一種LVDS（即Low Voltage Differential Signaling）低壓差分信號技術接口，來獲取相關的圖像與文字數據信息。利用RS232串口獲取相應的附加數據，例如時間、焦距等相關的數據信息，并將其處理成BMP格式的文件。然后，根據數據信息頻率的大小進行一定程度的篩選，并按照時間前后進行一定順序的排列儲存；最后，通過相關的接口對外輸出圖像以及相關的附加數據，并通過控制器和屏幕進行相應顯示。系統硬件外觀如圖1所示。

圖1　系統硬件外觀

根據時間順序排列對其進行相關的存儲、格式化以及讀寫等操作，并對鑒別出來的存儲失效塊進行標志管理或修理恢復，以提升數據存儲的可靠性與安全性[1]。

接口板的PCI地址映射如表1所示。

表1　接口板的PCI地址映射

2　系統存儲的關鍵技術

采用LVDS輸出接口傳輸數據可以使實現數據的高速率、低噪聲、遠距離、高準確度的傳輸。如在液晶顯示器驅動板輸出的數字信號中，除了包括RGB數據信號外，還包括行同步、場同步、像素時鐘等信號，其中像素時鐘信號的最高頻率可超過28 MHz。

2.1并行總線操作

并行總線操作主要是利用數據線的寬帶來達到并行操作的目的，并行操作需要將存儲系統內部的多個閃存芯片的數據線共同連接，使其能夠被同時操作與讀寫，以提升數據讀寫的效率與速度，在并行操作中，可以將連接起來的多個芯片系統看作一個模塊，然后將其作為整個存儲系統的基本讀寫單位，所有的操作都可以在上面進行，例如，一片具有8塊閃存芯片的存儲卡就會有64位的基本模塊，其通過相同的操作進行控制，其不僅包括片選信號，還包括讀寫信號等，芯片的地址一般是通過FPGA進行提供的，因此，8塊閃存芯片組成的存儲系統，其能夠儲存的數據容量是一塊芯片的8倍，且其并行速度也是沒有并行時的8倍，因此，存儲系統并行總線操作能夠在很大程度提升數據存儲的速度，提升工作效率。

2.2無效塊管理

閃存存儲芯片在被制造時就已經產生部分的無效塊了，且在后續的使用過程中，由于使用不當，也會造成存儲模塊的損壞，產生一定的無效塊，因此，在對存儲卡片進行操作之前，就應該清楚無效塊的分布與具體情況，避免對無效塊進行操作，保證所有的操作都能夠對應正確的數據，提升工作效率，保證工作質量。為了不對無效塊進行操作，相關的工作人員采取了一定的解決措施，例如建立必要的無效塊屏蔽系統以及FAT文件系統的無效塊處理方法等，但是該類解決措施總是各有利弊[2]。但是，在本文提到的方法中，其可以直接對FPGA內部開辟相關的存儲模塊以用于存儲無效塊具體位置的信息，在進行相關操作之前，應該進行必要的無效塊讀取，將無效塊的具體位置儲存入相關的存儲模塊中，在進行每次的操作之前，可以避開對無效塊的操作，實現對無效塊的高效管理。需要特別注意的是，在進行無效塊的存儲時，由于其位置的相關信息是儲存在FPGA內部的，因此，一旦斷電之后，其相關的數據都會被抹掉，因此，每次接電后，都應該對存儲卡的無效塊進行一定的管理與操作，總而言之，無效塊的管理主要是通過制造時對無效塊進行屏蔽，回避對其的操作，實現無效塊的高效管理。

2.3流水線操作

流水線操作能夠在很大程度上提升存儲卡的儲存效率，例如，對一張存儲卡進行相關的讀寫操作時，其輸入的時間頻率為30 MHz，若需要編寫一頁的編程，則相關數據的下載時間平均為133 μs，但是，閃存存儲卡的所用時間則需要800 μs，每當抹掉一個模塊的數據信息時，其所需要的時間高達1 500 μs，遠遠高于其相關數據的加載時間，因此，顯而易見，編程花費了大量的操作時間，大大影響了存儲卡的存儲效率。目前，我國使用的流水線操作，在一定程度上解決了編程的效率問題，實現了其在時間上的相對平等，當流水線開始正常運轉的時候，相關的操作甚至可以累加進行，實現了最大程度的時間利用，其總體效率明顯提升。

2.4據校驗

由于操作時間排序的錯誤以及電力不穩定等問題，一般情況下是不會造成閃存的整個模塊出現錯誤的，一般只會造成較小的“位”出現差錯，為了校驗并改正這類差錯，數據校驗一直被采用。其主要包括糾正單比特錯誤與檢測雙比特錯誤兩大功能，并且其處理的速度較快，效率較高，一般情況下，當閃存芯片開始讀取數據時，每512個字節即可生成相關的校驗碼，隨后的數據讀取依此類推，于是不斷產生新的校驗碼。當進行相關的數據校驗時，原來的校驗碼與新產生的校驗碼會進行對應的配對與對比。若不存在差錯，則結果為0；反之，則產生了相關的錯誤，就需要對其進行一定的糾正。

3　軟件設計與驗證

軟件設計與驗證以三星存儲芯片為例，其外觀結構如圖2所示。

圖2　三星存儲芯片外觀結構

3.1檢查無效塊操作

無效塊數據都記錄在每個存儲模塊的最后一個字節，當數據讀出的是FFh時，則表示其為有效塊；反之，則為無效塊。在無效塊的檢驗操作中，由于對8塊存儲芯片進行并行操作，因此其能夠讀出64位的數據信息，只要其中一位信息顯示為非F，則表示該模塊為無效塊，需要將無效塊的相關位置信息存儲到FPGA內部的存儲單位中。對8塊芯片進行并行操作時，一旦發現一塊芯片存在無效塊，則往往也認為其他7塊芯片的相同位置也是無效塊，其就導致了資源的浪費。在一般情況下，2.5 T的存儲卡若每一塊芯片浪費18 GB，則8塊芯片就浪費144 GB，其對于存儲卡的相對空間而言，不算大，屬于可接受的范圍。

3.2寫編程操作

當讀取完相應的命令與具體位置之后，閃存芯片便會進入自動的編程操作，編程的一般時間為800 μs，但是其他芯片的編程時間則長達3 ms，并且在高速大容量存儲系統中一般是使用8塊芯片的并行操作以及流水線的操作，因此，在編寫操作時所需要的時間一般為8塊芯片自動編程所需的最大時間值，由于每塊芯片自動編程所需要的時間不同[2]。因此，在進行流水線操作時，流水線的層數應該在最大程度拓展，若流水線層數偏少，則就會產生命令結束流水線進行操作，可是外界還在不停地輸入數據，在該種情況下就會導致數據的丟失。

3.3擦除操作

一般情況下，由于閃存芯片的擦除操作所需要的時間偏大，因此，為了在最大程度提升擦除操作的效率，則對擦除操作進行流水線的進程安排，例如，當第一組的閃存芯片進行編程操作時，第二組的芯片就會進行自動的擦除操作，以在最大程度減少操作時間，達到高效的目的。但是必須注意的一點是，閃存芯片在擦除數據時，會將其無效塊的位置數據一起刪除，因此，在開展擦除操作之前，必須對無效塊的位置信息進行讀取與存儲，以保證在擦除數據時能夠避開對無效塊的操作，提升操作效率。

3.4讀操作

讀操作的進行最重要的是其數據的連續性，一般情況下，為了保證讀取的數據與存儲的數據的相同性，則需要按照編寫數據的順序依次讀取數據，以達到保證數據連續性的要求。例如，通過ChipScope軟件對閃存芯片的原始數據進行讀取時，因為芯片在制作時，其內部的全部數據都被設置為了1，因此，通過讀取的數據也能夠對其進行檢驗。并且，若在數據讀取的過程中，其正確率能夠達到百分百，則說明芯片的原始設置中已經對無效塊的處理進行了信息的屏蔽，例如，當對一塊儲存卡上的信息進行讀取時，由于目前存儲卡一般采取的是8塊閃存芯片共同操作的并行結構，則數據的位數一般為64位，每位數據的加載都能得到一路信號，只要保證讀取的數據與存儲的數據的相同性，則數據就能進行精確的加載與存數，同時也能被完整地讀取[3]。

4　結束語

高速大容量存儲系統在最高程度上其速度能夠高達每秒320 MHz，即使考慮無效塊的干擾，其容量也可高達2.5 TB。本文針對該系統硬件結構進行了介紹，并對其系統存儲的關鍵技術進行了闡述。希望在未來的技術發展中，存儲系統的發展能夠支持更大容量、更高速度的數據存儲，且希望其能夠具有一定通用性，能為其他領域的數據存儲應用創造價值、發揮積極作用。

[1]李華, 王文英. 高速大容量存儲系統設計[J]. 電子元器件應用, 2009(5): 58-59.

[2]楊劍, 張月, 宿紹瑩, 等. 高分辨寬帶雷達高速數據大容量存儲系統設計[J]. 計算機工程與應用, 2010, 46(16): 23-26.

[3]李金猛, 周勇軍. 高速大容量數據存儲技術的研究綜述[J]. 測控技術, 2016, 35(2): 1-4.

Key of Design and Application on High Speed Large Capacity Storage System

CHEN Kai, CHEN Tian-xi, LIU Li-ming
(Zhuzhou Zhongche Times Electric Limited by Share Ltd., Zhuzhou, Hunan, 412001, China)

The storage system has higher requirements on the capacity, speed, stability, continuity and environment. Flash memory can read and write a large number of data fast, efficiently and reliably, so it is widely used. The specific technology of storage system is expounded and corresponding improvement scheme for the high speed and large capacity storage system is put forward Further, the related operation of software design and verification is introduced. It is expected to provide reference for the application of high speed and large capacity storage system.

High Speed and Large Capacity; Storage System; Application Design

TP338.6

A

2095-8412 (2016) 05-989-03工業技術創新 URL: http://www.china-iti.com

10.14103/j.issn.2095-8412.2016.05.044

陳凱(1984-)，工程師。研究方向：軌道交通信息系統。E-mail: chenkai@teg.cn

陳天喜(1981-)，工程師。研究方向：軌道交通信息系統。E-mail: chentx@teg.cn

劉黎明(1979-)，工程師。研究方向：軌道交通信息系統。E-mail: liulm@teg.cn