存儲網絡帶寬的評估辦法

楊飛

摘要 隨著云計算，大數據等IT業務的開展，作為IT主要資源存儲網絡帶寬重要性日益凸顯，大家對存儲網絡帶寬的理論和實際使用情況關注越來越多，那么如何評估存儲網絡帶寬呢？本文將給大家介紹一種常規的評估辦法，希望給大家帶來啟發。

【關鍵詞】存儲 網絡 帶寬

某省運營商云計算平臺在日常維護中發現存儲帶寬或讀取速率不理想，瓶頸在哪里呢？整個SAN存儲網絡包括以下設備：存儲、存儲交換機、服務器、接入交換機、匯聚交換機、出口防火墻等。解決此類問題的方法，基本可以從三個方面進行分析：

1 存儲方面

1.1 單塊硬盤速率

單個硬盤，尤其是機械硬盤，主要受限于機械式硬盤結構。最大內部數據傳輸率是機械硬盤的主要指標，它是硬盤的內圈傳輸速率，指磁頭和高速數據緩存之間的最高數據傳輸速率。最高內部傳輸速率的性能是與硬盤轉速以及單盤容量有直接的關系。

還有近年來興起的SSD硬盤，又叫固態硬盤（ Solid Srate Disk），是用固態電子存儲芯片陣列制成的硬盤，由控制單元和存儲單元（Flash芯片、DRAM芯片）組成。固態硬盤的接口規范和定義、功能及使用方法上與普通硬盤的完全相同，雖然在外形和尺寸上與普通硬盤一致，但其讀寫不再依賴傳統磁頭和機械轉動，所以速度得到明顯的提升。

當前主流的兩種硬盤單盤速率一般在以下范圍：機械硬盤平均讀取速度為70-220MB/s，SSD硬盤平均讀取速度180-530MB/s。

1.2 硬盤接口

硬盤接口也對整體的速率有影響，根據接口類型，主要分為如下五類，每種接口除了電氣結構不同，理論速率也有較大差異，如表1所示。

一般情況，FC接口的機械盤轉速可以達到15000轉，SAS接口的3.5寸盤轉速一般是15000轉或者10000轉，SAS接口的2.5寸盤轉速通常為10000轉，而相對前兩者，SATA接口的機械盤多是7500轉。

根據上述硬盤內圈傳輸速率以及硬盤接口速率信息來分析，單個硬盤的瓶頸往往在硬盤內部，而不是外部的硬盤接口。

l.3 RAID對速率的影響

為了提高存儲整體效率與安全性，便有了磁盤陣列（Redundant Arrays of InexpensiveDisks，RAID）。關于RAID的基礎理論很多，這里就不作介紹和比較了，僅僅針對存儲中最常用的raid5和raidl0進行一些分析。表2能大致反映兩種主流raid的讀寫性能比較。

說明：

（1）N為磁盤數量;

（2）讀寫性能數字10表示最好，1表示最差，僅僅在同一列數據進行對比有效。

陣列性能的分析包括測試包大小，數量，緩存，IOPS等等都有可能對存儲整體性能產生巨大影響。假如忽略存儲的cache大小、不考慮各個陣列的IOPS以及讀寫命中率等參數，我們可以按照單塊盤150MB/s的帶寬速率預估計，那么，兩種raid的寫速度可以理想的近似為：150MB/sx有效容量盤個數;raidl0的最大讀速度可以理想的近似為N來估算;raid5的最大讀速率可以理想的近似為N-l來估算。磁盤raid后，讀寫帶寬瓶頸得到很大的緩和，存儲帶寬瓶頸也得到很好的改善。

以raidl0為例，目前一般可以支持16塊盤制作raidl0，完成后一個raid的理想帶寬可以達到：150MB/sx8=1200MB/s。

但如果考慮上小文件以及隨機讀寫等不同的應用場景的情況，對IOPS的消耗也就不同，在云計算瓶頸分析中需要根據具體業務的IOPS來具體分析業務對存儲整體能力的消耗，從而判斷是否存儲整體達到了瓶頸。

l.4 存儲紐網

存儲主要有DAS、NAS、IPSAN和FCSAN四種組網方式。

DAS： 直接連接存儲（DAS：DirectAttached Storage）.是指將存儲設備通過SCSI接口或FC接口直接連接到一臺計算機上。DAS不算是網絡存儲，因為只有它所掛載的主機才可訪問它。

（1） NAS：網絡連接存儲（NAS：NetworkAttached Storage），是指將存儲設備通過標準的網絡拓撲結構（例如以太網），連接到一群計算機上。NAS有文件系統和IP地址，可以類似的理解為網上鄰居的共享磁盤。

（2） SAN：存儲區域網絡（SAN：Storage Area Network），目前的SAN存儲有2種：一是基于以太網的IP SAN（也就常說的iSCSD、二是基于光纖通道的FC SAN。

下面我們主要來研究以下這兩種SAN網絡：

（1） IPSAN： IPSAN -般使用主備雙控制器，每個控制器4根千兆網線對外連接;單個文件傳輸最大速率為lGbps（忽略損耗合125MB/s）;在主機多路徑軟件分擔下，同一個raid下面的同一個lun下多文件傳輸最大速率為lGbpsx4（合500MB/s）;如果考慮多個LUN分擔在不同的A/B控制器上面，理論IPSAN外部接口速率可以達到1 Gbpsx8（合lGB/s）。

（2） FCSAN： FCSAN的光纖有4Gbps、8Gbps，以8Gbps為例，一個控制器出兩根光纖;單個文件傳輸最大速率為8Gbps（忽略損耗合lGB/s）;在主機多路徑軟件分擔下，同一個lun下多文件傳輸最大速率為8Gbpsx2（合2GB/s）;如果考慮多個LUN分擔在不同的A/B控制器上面，理論FCSAN外部接口速率可以達到8 Gbpsx4（合4GB/s）。

存儲還應考慮內部總線、后端通道端口類型，一般是使用FC和ISCSI，根據前端使用來選擇配置，速度能夠得到比較好的滿足。

整個多raid多lun存儲網絡帶寬最理想情況，IPSAN能達到1GB/s速率，而FCSAN可以是這個速度的4倍。針對單文件傳輸，IPSAN能達到125MB/s，而FCSAN可以是這個速度的8倍。可見IPSAN的單個線程傳輸速率瓶頸非常的明顯。

2 網絡設備方面

2.1 存儲交換機

針對SAN的組網，存儲網絡設備主要有光纖交換機和普通交換機兩種情況，目前從交換機本身和端口分析，應滿足以下公式：交換機內部總線處理速率>單端口最大速率×端口個數。

綜上所述，可以不考慮交換機本身的瓶頸，只考慮使用的端口具體數量對存儲速率的影響，還是分為IPSAN和FCSAN兩種情況來分析，如下：

網口：IPSAN側速率單文件理想最大瓶頸125MB/s，A/B控多lun多文件最大lGB/s;

FC口：FCSAN （8Gbps）側單文件理想最大瓶頸為1 GB/s，A/B控多LUN多文件最大4GB/s。

兩者速度都和存儲網絡出口的控制器一致，不會成為單一瓶頸。

2.2 接入交換機

云計算各個主機的接入交換機存儲平面到存儲交換機，一般是多根光纖或者網線聚合，帶寬一般確保在8Gbps以上，即1GB/s。所以接入交換機一般也不會成為瓶頸。

2.3 匯聚交換機與出口防火墻

如果要從外部系統（存儲系統以外）向存儲上傳下載，那么帶寬的計算必須還要考慮匯聚交換機、出口防火墻以及外部系統網絡情況。

（1）匯聚交換機到接入交換機一般通過兩根光纖或者四根網線相連，速率應該在500MB/s或者以上。

（2）出口防火墻到匯聚交換機的連接根據組網不同而不同，最常用的還是通過光纖連接，速率一般也是在500MB/s或者以上。

（3）出口防火墻向外最常用也是使用光纖，速率可能是10G，合1.25GB/s。但這個速率是所有內部主機出口分享的。

（4）而相對前三者，外部網絡的速度就可能慢很多，如果通過其他機房，假設按照lOMbps的網絡情況計算，最多也只有不到1.25MB/s的速度。和外部交互過程中，存儲網絡瓶頸最有可能的是來源于外部網絡。

3 總結

存儲網絡帶寬瓶頸在哪里，我們需要逐一對每個可能出現瓶頸的點根據現網情況進行分析，就不難找到瓶頸所在，為后期網絡優化奠定了基礎。

（1）如果通過內網訪問存儲，可以多考慮交換設備帶寬以及損耗、存儲控制器方式、以及raid組上產生的瓶頸。

（2）如果通過外部網絡訪問主機后再訪問存儲，可以多考慮外部網絡條件，主機硬件出口帶寬等瓶頸。

（3）如果存儲連接過多主機并承載了比較多的業務，就還需要根據IOPS等指標分析是否存儲能力達到了瓶頸。

參考文獻

[1]許子先，云計算環境下遠程安全評估技術研究[J].網絡安全技術與應用，2018（01）：62-63+76.

[2]段潔，邢媛，趙國鋒，信息中心網絡中緩存技術研究綜述[J].計算機工程與應用，2018 （02）：1-10.

[3]譚振贇，計算機網絡安全技術及防范策略[J].無線互聯科技，2017 （24）： 31-32.