基于IC芯片設計企業的分布式存儲應用

賀強 宗萍

（北京兆芯電子科技有限公司 北京市 100000）

隨著信息技術的迅猛發展，存儲系統已成為IC 研發企業保存重要數據的關鍵一環。選擇存儲系統需要參考幾個重要的指標：可靠性、容錯性及可擴展性。

本文分析了集成電路(IC)芯片設計企業對存儲系統的需求，基于分布式文件系統Ceph 和Ganesha 設計了適合IC 芯片研發企業使用的分布式存儲系統。后端存儲基于分布式架構，利用Ganesha 雙活負載集群將CephFS 導出為NFS 為高性能運算集群(HPC)提供存儲空間及Snapshot 數據快照保護及訪問權限和目錄使用量Quota 等功能設置。

實現了IC 芯片設計企業對海量存儲、小文件高IO 需求的主要功能，通過Prometheus 和Grafana 為用戶提供存儲的實時性能和歷史記錄監控，為IC 芯片設計企業提供高性能、高可靠性的分布式存儲系統。

1 Ceph架構

CephFS（Ceph File System）功能特性是基于RADOS 來實現分布式的文件系統，引入了MDS（Metadata Server），主要為兼容POSIX 文件系統提供元數據，一般都是當作文件系統來掛載為客戶端提供數據訪問服務。

主要組成部分：

（1）OSDs 主要功能包括存儲數據，處理數據的復制、恢復、回補、平衡數據分布，并將一些相關數據提供給Ceph Monitor；

（2）Monitors 主要功能是維護整個集群健康狀態，提供一致性的決策，包含了Monitor map、OSD map、PGmap 和CRUSH map；

（3）Managers 負責跟蹤運行時指標和Ceph 集群的當前狀態，包括存儲利用率，當前性能指標和系統負載；

（4）MDS 主要保存的是Ceph 文件系統的元數據；

2 IC設計企業對存儲系統的需求

對一家IC 設計公司而言，所設計研發的數據是企業最重要的資產，而且數據量巨大，往往會達到PB 級以上。為確保這些數據的最高可用性，一套穩定、可靠的存儲系統必然不可或缺。NAS存儲的特點在于數據集中管理、訪問數據及時方便。但隨著公司員工人數的增長以及運營規模的擴大，對存儲的需求也逐步擴大，以確保企業研發數據的最高可用性，存儲系統的穩定性和靈活的可擴展性也成了存儲解決方案的主要考慮因素。

根據在IC 設計公司多年IT 經驗，IC 設計企業存儲需求大致可參考表1。

3 總體架構設計

3.1 軟件環境

（1）操作系統建議選擇最新的，本文選擇CentOS 7.8 操作系統。

（2）Ceph 選擇Nautilus 最新穩定版14.2.11。

（3）文件系統采用Ceph 最新提供的BlueStore。

表1：企業存儲需求參考表

表2：全局公共調優參數

表3：Monitor 調優參數

表4：OSD 調優參數

表5：MDS 調優參數

表6：Client 調優參數

3.2 硬件環境

硬件選型原則：PB 級生產集群盡量選擇品質有保障并經過嚴格測試的平臺及硬件，由于數據量較大應該配備更多內存、CPU 和數據存儲空間及萬兆網絡來解決存儲高IO、高流量壓力。

3.2.1 服務器選型

考慮綜合性價比，盡量選槽位較多的型號，本案例選DELL R740XD 作為Ceph 主機平臺。

3.2.2 CPU 選型

元數據服務器對CPU 相對敏感，它會動態地重分布它們的負載，所以元數據服務器應該有足夠的處理能力。

3.2.3 內存選型

元數據服務器和監視器必須可以盡快地提供它們的數據，它們應該有足夠的內存，至少1GB 每個進程，運行每個OSD 默認會分配4GB 內存；然而在恢復期間它們占用內存比較大，通常內存越多性能越好。

3.2.4 硬盤選型

OSD 應該有足夠的空間用于存儲數據，考慮到大硬盤的每GB成本，建議用容量大于1TB 的硬盤，用GB 數除以硬盤價格來計算每GB 成本，因為較大的硬盤通常會對每GB 成本有較大影響，每臺服務器的硬盤槽位有限，安裝大容量硬盤意味著每臺服務器可提供更大容量的空間來平攤服務器硬件、機柜、維護等成本，更加經濟。

3.2.5 網絡設備選型

建議每node 最少兩個，甚至四個萬兆網卡，兩兩做bonding，增加帶寬、提升容災效果。現在大多數SSD 硬盤都能達到大概12Gbps 的吞吐量，網卡應該能及時處理所有OSD 硬盤總吞吐量，所以推薦四個萬兆網卡，分別用于Public Network（前端）和Cluster Network（后端），兩個網絡最好用VLAN 或物理隔離，減少額外負載。

集群網絡（最好不要與互聯網連接）用于處理由數據復制產生的額外開銷，而且可防止拒絕服務攻擊，拒絕服務攻擊會干擾數據歸置組，使之在OSD 數據復制時不能回到active+clean 狀態。

4 性能調優

4.1 硬件參數調優

（1）服務器的BIOS 設置中開啟CPU 的HT 特性；

（2）關閉CPU 的節能模式；

（3）關閉NUMA 特性。

4.2 系統參數調優

4.2.1 Kernel PID Max

echo 4194303 ＞/proc/sys/kernel/pid_max

永久生效請修改/etc/sysctl.conf 文件read_ahead。

4.2.2 Read_ahead_kb

通過數據預讀并且記載到隨機訪問內存方式提高磁盤讀操作。

echo "8192" ＞/sys/block/sd[x]/queue/read_ahead_kb

4.2.3 swappiness

主要控制系統對swap 的使用，這個參數的調整的原因主要是使用到swap 后會影響系統的性能。

echo "vm.swappiness=10" | tee -a/etc/sysctl.conf

4.2.4 I/O Scheduler

I/O Scheduler 的調整方法：SSD 用noop，SATA/SAS 使用deadline。

noop I/O 調度器實現了一個簡單的FIFO（First-In/First-Out）調度器。通過使用Last-Hit（最后命中）緩存，請求在通用塊層中被合并。對于使用快速存儲的計算密集型系統來說，這是最好的調度器。

deadline I/O 調度器替換了CFQ，后者原先是默認I/O 調度器。deadline 調度器的好處是每個調度器通過使用單獨的IO 隊列，因此與寫相比，更利于讀。

4.3 軟件參數調優

Ceph 軟件的參數都記錄在ceph.conf 配置文件中，每次Ceph的服務進程，比如MON、OSD、MDS 啟動，都會首先讀取這個配置文件。這個文件分global、MON、OSD、MDS、Client 五部分。

（1）global。global為全局公共部分，參數定義全局有效。見表2。

（2）MON。見表3。

（3）OSD。OSD scrubbing（清理）設置：OSD scrubbing 對維護數據完整性來說是非常重要的，但是也會降低其性能。可以采用表4配置來增加或減少scrubbing 操作。

（4）MDS。見表5。

（5）Client。定義的參數對所有連接Ceph 存儲系統的客戶端都生效。見表6。

（6）PG Number 計算。PG 和PGP 數量一定要根據OSD 的數量及副本數進行調整，計算公式如下，但是最后算出的結果一定要接近或者等于一個2 的指數。

Total PGs=(OSD * 100)/副本數

5 存儲集群監控

Ceph 的監控可視化界面方案很多，如grafana、Kraken、cephdash 等。從Ceph Luminous 開始，Ceph 提供了原生的Dashboard 功能，通過Dashboard 可以獲取Ceph 集群的各種基本狀態信息，也可以用命令行方式進行查看。

命令行查看集群實時狀態：

（1）查看Ceph 集群狀態：

#ceph -s

（2）查看所有OSD 大小、使用量及狀態等信息：

#cephosddf

Dashboard：Dashboard 可以查看到整個集群的主機數、OSD 數量及各服務實時狀態；性能指標主要有IOPS 及Throughput 等提供集群實時的數據訪問情況；最后還有集群容量使用狀況，如容量緊張的話，需要及時增加Node 和OSD 來保證可用性。

6 結論

Ceph 是一個分布式存儲、可擴展、高性能、不存在單節點故障的統一存儲解決方案，可以幫助企業擺脫昂貴的專屬硬件。作為全球最火熱的開源分布式存儲項目，當前中國Ceph 應用的形勢對比前幾年已經發生了決定性的變化。隨著國內越來越多各行業用戶的參與和使用，足以見證它的穩定性和可靠性，盡早大規模應用到各企業中去，從而減少對國外昂貴專用存儲的依賴，降低IC 研發企業投入成本。