淺析地震資料處理系統中存儲技術需求

董玉敏，宋雪峰（等）

[摘 要] 地震資料處理系統是按照作業序列以緊耦合的結構化大塊數據體為對象進行密集計算的高性能計算系統。在疊前偏移成像等大數據密集計算處理作業日益增多的情況下，存儲系統性能對地震資料處理系統效率影響突顯。通過分析地震數據處理系統的數據訪存特點，提出以數據訪存帶寬性價比為主要因素， 有針對性地選用存儲新技術，構建適用性良好的存儲子系統，以滿足復雜地質條件下地震資料成像品質對高性能計算系統的數據訪存需求。

[關鍵詞] 計算機系統結構； 存儲系統； 地震資料處理系統

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2014 . 02. 063

[中圖分類號] TP391； P315.63 [文獻標識碼] A [文章編號] 1673 - 0194（2014）02- 0124- 02

0 引 言

新疆油田勘探開發研究院自2004年引入大規模PC集群地震資料處理系統，一直關注存儲系統架構與地震資料處理的數據訪存特點匹配，以期提高系統生產效率。應用面向對象的并行共享存儲系統，在一定程度上解決了資料處理系統中相對低效的數據訪存和節點高效計算能力的匹配矛盾，與CPU技術的快速進步和萬兆以太網以及Infiniband網絡的發展相比，處理集群中存儲系統的性能依舊相對滯后。存儲技術處在發展變革前沿，結合地震資料處理系統中數據應用特征和生產組織方式，有針對性地選用存儲新技術，構建適用性良好的存儲系統，提高以逆時偏移技術為代表的新成像方法的系統應用效率，有助于滿足復雜地質條件下地震資料成像品質需求。

1 存儲技術發展

固態盤技術和云存儲技術的發展代表了存儲技術的發展趨勢，并稱為下一代存儲技術。

1.1 固態盤技術簡介

固態盤（Solid-State Driver）是指利用電子部件取代傳統磁盤磁介質進行數據存儲的電子設備。固態盤內部沒有旋轉馬達，不存在轉速提升或下降的啟動時間，與傳統磁介質硬盤相比，在IOPS性能、時延、平均無故障時間（MTBF）、節能等方面有明顯優勢。

目前固態盤的推廣應用受限于性價比和性能老化兩大因素。固態盤的I/O性價比已優于高端光纖存儲盤陣，但在容量性價比方面仍存在較大差距。在頻繁隨機大小數據寫入的應用場景下，由于寫操作特性，固態盤在使用一段時間后會出現性能陡降，需要對固態盤進行初始化或更換，性能老化影響了固態盤的便捷應用。盡管存在諸多爭議，活躍的技術創新一直在加速推動固態盤的普及應用，大容量PCIe固態盤緩存在服務器的應用以及利用后端存儲固態盤為服務器提供高效緩存的應用，都在推動固態盤向基礎架構的各個層面滲透，固態盤改變了以磁介質硬盤為基礎的存儲架構體系。

1.2 云存儲技術簡介

云存儲是指通過集群應用、網格技術或分布式文件系統等功能，將網絡中大量不同類型的存儲設備集合協同，對外提供數據存儲和業務訪問的云計算系統。國際存儲網絡產業協會（SNIA）提出的云數據管理接口（CDMI）定義了云存儲管理基礎架構，保障接入不同云存儲接口的通用性。云存儲需要多種技術協同實現動態按要求提供服務，主要有統一存儲、自動分級存儲、存儲虛擬化、分布式文件系統、Scale-out橫向擴展、固態盤緩存、壓縮/重復數據刪除等技術。

云存儲面臨大數據高并發混合負載服務請求的壓力，在滿足高并發的同時，需要滿足海量數據存儲，這放大了存儲性能和存儲容量均衡性要求。自動分級存儲技術和固態盤緩存技術是目前解決云存儲性能、容量和性價比三者矛盾的熱點技術。自動分級存儲技術根據數據使用特點將數據在不同磁盤類型和RAID級別間進行遷移，可以均衡存儲在性能和空間的平衡。但是數據遷移策略通常是數據應用長期累積的經驗值，而業務應用多變又使經驗值難以固化，造成自動遷移實施復雜度較高。相比自動分級存儲技術，利用服務器上的固態盤作為大容量磁盤陣列緩存，可以降低對存儲系統IOPS性能的要求，提高數據讀取性能，但是需要與應用系統相適應的緩存算法支持。

云存儲各項技術的推進改變著存儲體系架構，固態盤存儲介質的突破固然對存儲體系產生較大影響，但分布式文件系統、緩存算法和軟件內核優化等軟件因素對存儲體系架構將產生更大影響。

2 地震資料處理系統數據特點分析

進入處理系統的初始數據在數據特征上表現為緊耦合的結構化塊數據。依據目前典型的野外數據采集方式，對于單個三維區塊資料處理作業，進入系統的初始數據通常為5TB大小，完成各類典型處理步驟，大約需要6倍于初始數據的存儲空間。在研究復雜地質構造時，隨著采集密度的進一步提高，未來用于盆地整體解剖與研究的單個三維區塊初始數據將達到100TB以上。處理系統需要較大的存儲空間以支持一個完整的資料處理作業周期。

從地震數據處理角度看，要完成的作業任務分為常規批處理和疊前偏移成像兩個典型階段。常規批處理階段要求在限定時間內用相對較少的計算資源，按序分步完成資料常規處理中各環節的數據分析與計算，特點是作業前后結果相互銜接，單作業處理數據量小，作業運行周期不長，但總體作業數量多，人機交互多，I/O訪問頻繁。疊前偏移成像處理階段要求在前期各類準備工作完成后，用盡可能短的時間（天）完成工作區域的整體成像計算，特點是處理數據量大，一般在5TB以上，單個作業對計算資源需求大。

依據數據組織方式不同，不同處理系統有不同的數據交換方式。例如Geovation地震資料處理系統利用自身優化的數據管理模式DDAM（Distributed Dataset Access Manager）將道集數據從存儲系統集中分發到計算節點后開展計算工作，作業結果由DDAM管理發送到指定存儲設備上，需要的存儲訪存能力是集中分段的。EPOS處理系統是由各計算節點直接讀取存儲系統的道集數據進行計算，需要的存儲訪存能力是連續的，直到作業完成。與Geovation系統相比， EPOS系統始終存在較為頻繁的計算節點與存儲系統之間的數據交換。

對于疊前偏移成像作業而言，在作業開始時，Geovation系統和EPOS系統都需要將道集數據從存儲系統分發到數量眾多的計算節點，存在大數據并發請求；在作業運行過程中，分布并行的各計算節點在本地節點的硬盤、緩存、內存之間進行數據交換的同時，也存在計算節點與存儲系統之間相對開始階段較少的數據交換；在作業收尾階段，分布并行的各計算節點發送計算結果到作業管理節點進行匯總，存在并發數據請求。

當處理作業的計算耗時與數據存取耗時比例相當或低于數據存取耗時，存儲系統的訪存帶寬、IOPS是影響作業速度的主要因素。對于在集群節點上計算耗時遠大于數據存取耗時的密集計算處理作業而言，存儲系統的訪存帶寬、IOPS對作業速度意義不大。

處理作業的計算耗時和數據存取耗時與眾多因素相關。計算方法的軟件實現架構是主要因素之一，涉及數據的組織方式和訪問方式，例如數據在計算節點的內存、緩存、本地硬盤的交換，數據在計算節點與存儲系統之間的交換。數據復用和緩存命中率等與系統硬件架構和數據自身特征相關的系統優化也是重要因素之一。處理作業的計算耗時與數據存取耗時的比例是應用系統在各種條件下的綜合表象。

3 地震資料處理系統中存儲技術應用需求分析

3.1 訪存帶寬評估

地震資料處理系統是按照作業序列以緊耦合的結構化大塊數據體為對象進行密集計算的高性能計算系統。與傳統數據中心環境里注重隨機訪問性能IOPS不同，地震資料處理系統對大數據塊訪存的帶寬性能較為敏感。在構建存儲系統時，對新技術的選用應以提高數據訪存帶寬能力為主，權衡容量、性能、性價比等因素，構建訪存帶寬適宜的存儲系統。

評估存儲訪存帶寬對地震資料處理系統性能影響時，應充分考慮處理作業計算耗時與數據存取耗時比例。以典型作業測試為基準，結合系統總體運行的作業類型和作業數量，進行系統應用性價比評估。在進行典型作業測試時，必須定義統一的測試條件以保障測試結果的可比性。統一的測試條件應該包括對系統軟硬件環境和作業負載特征的規范描述。硬件環境描述時，與數據傳輸相關的系統參數都應包含在內，例如互聯網絡類型和參數，計算節點的主板、CPU、內存、硬盤等的型號和相關接口等參數。軟件環境描述應包括操作系統和應用軟件的詳細信息。作業負載特征應包括作業序列、作業參數、數據體大小等與作業運行緊密相關的參數描述。被測試的存儲系統應詳細描述產品規格型號、系統微碼、軟件等信息。

處理作業計算耗時與數據存取耗時比例是應用系統在各種條件下的綜合表象。大粒度因素如計算方法的軟件實現架構，小粒度因素如數據復用和緩存命中率，都在不同程度相互交疊的影響處理作業計算耗時與數據存取耗時比例。以典型作業測試為基準，結合系統總體運行的作業類型和作業數量，可以進行統計意義上的系統處理作業計算耗時與數據存取耗時比例估算，進而較為客觀地評價系統生產應用的性價比。

3.2 存儲技術應用需求

除了對能夠提高數據訪存帶寬能力的存儲新技術的關注以外，固態盤應用也應是大規模PC集群地震資料處理系統的關注點。在資料處理過程中，PC集群上傳統磁介質硬盤的高故障率常常導致作業失敗，影響處理生產周期；采用傳統磁介質硬盤構建處理系統Scratch，其IO速度和可靠性都較差。固態盤平均無故障時間（MTBF）和低功耗的優異性能為解決大規模PC集群系統穩定性差和能耗高的弊端提供了新途徑。隨著固態盤容量性價比的提高和性能老化弊端的改善，在大規模PC集群地震資料處理系統的計算節點上部署固態盤，不失為提高系統穩定性和降低能耗之策。

另外，隨著采集密度的提高，未來用于盆地整體解剖與研究的單個三維區塊初始數據將突破100TB，對存儲系統的容量和性能要求進一步提高。保障統一命名空間下存儲系統容量和性能的雙向彈性擴展，是對資料處理系統存儲系統架構的基本要求；在滿足資料處理系統海量數據存儲和處理作業效率要求的同時，保障存儲系統良好的性價比，需要均衡存儲系統在性能和空間的平衡。Scale-out橫向擴展技術和自動分級存儲技術也因此成為處理系統存儲技術應用的關注點。

4 結 語

地震資料處理系統的應用效率與數據訪存能力和計算能力的匹配密切相關。復雜地質條件下高品質地震資料成像計算耗時較長，以典型處理作業測試為基準，結合系統總體運行的作業類型和作業數量，進行統計意義上的作業計算耗時與數據存取耗時比例估算，可以為存儲系統性價比評測提供粗略的應用背景。