云橋數據庫一體機在移動業務系統中的應用

儲浩+呂萬里

【摘 要】云橋數據庫一體機，具有超強的處理性能、無限的線性擴展能力、高IOPS和高可用性等特點。首先簡要介紹云橋數據庫一體機的軟硬件平臺的體系結構，然后通過案例詳細闡述了產品的性能，為運營商建設業務系統的數據處理架構提供了另一種思路。

【關鍵詞】數據庫一體機 Infiniband 移動業務系統 大數據 性能測試

中圖分類號：TP392 文獻標識碼：B 文章編號：1006-1010（2014）-13-0033-05

1 引言

隨著通信技術的迅猛發展和網絡規模的不斷擴大，用戶業務的需求持續增長，且出現了多樣性的需求變化。運營商數據流量的顯著增長，對業務系統的數據存儲和分析能力提出了新的要求。隨著X86架構在可靠性、穩定性和容錯能力等方面的進步，以及在成本、橫向擴容等方面的優勢，電信運營商采用的小型機+存儲的傳統架構正在向X86架構轉變。同時Infiniband技術作為當前主流的高性能計算機互聯技術之一，是業界追求高性能、高帶寬、高效率、低功耗的典范式互聯解決方案。南京斯坦德云科技股份有限公司生產的基于X86架構和Infiniband技術的云橋數據庫一體機，可為電信運營商提供強大且可橫向擴展的數據存儲、處理能力。

2 云橋數據庫一體機的體系結構

云橋數據庫一體機由計算節點（PC Server）、存儲節點和網絡節點3大部分構成，采用Infiniband技術進行各節點的互聯，并結合高速緩存技術，從硬件、操作系統和ORACLE數據庫軟件等方面進行了整體適配和優化。該一體機結構采用了全冗余設計，解決了傳統數據庫架構在IO、網絡帶寬和擴展性等方面的瓶頸問題。云橋數據庫一體機擁有1/4、1/2和全配等產品系列，其中最低的1/4配置由2臺計算節點、3臺存儲節點和2臺網絡節點組成，最高滿配的配置由8臺計算節點、14臺存儲節點和2臺網絡節點組成。產品采用“交鑰匙”的一體機交付模式，簡化了系統部署、調試的過程。云橋數據庫一體機體系結構如圖1所示。

圖1 云橋數據庫一體機體系結構

下面將從硬件平臺和軟件平臺2方面對云橋數據庫一體機的體系結構進行描述。

2.1 硬件平臺

云橋數據庫一體機的硬件平臺主要由配置HCA卡的PC Server、Infiniband網絡交換機和云橋高速存儲系統3大硬件節點組成。

（1）云橋高速存儲系統是云橋數據庫一體機的核心硬件部件，它創新地將Infiniband技術和存儲協議相結合，是一款4U、45盤位的采用SRP存儲協議的Infiniband磁盤陣列。云橋高速存儲系統內嵌定制的Linux操作系統，提供1～2個40Gbps QDR Infiniband主機通道，支持SAS、SATA和SSD存儲介質，可插入6塊智能PCI-E存儲卡。45塊磁盤陣列負責活動性較低的數據的存儲和RAID備份，智能PCI-E存儲卡作為高速緩存空間，為運營商業務系統的熱點數據提供高效的數據讀取性能。存儲節點根據實際需求可以橫向擴展。

（2）PC Server作為云橋數據庫一體機的計算節點，負責運營商業務系統的訪問和任務調度。計算節點內嵌定制的Linux操作系統，通過PCI-E 3.0的插槽插入HCA卡，接入Infiniband網絡，實現存儲數據的高速存取和處理數據的功能。用戶可以根據自身喜好選擇不同品牌的X86服務器，具備高兼容性的特性。

（3）Infiniband網絡交換機，每端口提供40Gbps的速率，將其他節點組成一個出色的可擴展的網絡架構，實現云橋數據庫一體機的數據高速傳輸的功能。

2.2 軟件平臺

云橋數據庫的軟件平臺由ORACLE數據庫、定制的Linux操作系統、并行計算技術和系統管理軟件組成。其特點包括：

（1）采用商業版的ORACLE 11g數據庫軟件作為關系數據庫的管理系統，實現RAC集群和數據存儲管理功能。

（2）操作系統基于centos定制，實現對Infiniband技術的支持和應用。

（3）采用RDMA技術并優化程序，實現數據傳輸的高效率，并降低CPU資源在數據傳輸過程中的消耗。

（4）并行計算技術，實現任務的并行調度，加快數據的處理速率。

（5）云橋數據庫一體機管理軟件，通過圖形化方式，實現對整個系統的管理和監控。

3 在移動行業的應用

云橋數據庫一體機由南京斯坦德公司研發，采用將數據庫計算層、互聯網絡層和存儲層相結合的一體化解決方案架構，將ORACLE數據庫、Infiniband網絡、云橋存儲以及flash技術整合在一起。產品采用緩存加速技術和RDMA高速專用網絡技術，使得該一體機獲得了超強的處理性能、無限的線性擴展能力、高IOPS和高可用性等主要特點，能夠為移動行業用戶提供高可用、高性能、可擴展的數據處理服務。該產品適用于業務系統的數據倉庫、數據庫OLAP/OLTP、數據中心業務整合等多種移動運營商的數據應用場景。

3.1 案例背景

某移動公司的經營分析系統負責公司日常經營數據的分析、挖掘，為決策者、各級管理者提供經營決策依據，以實現精細化營銷。隨著營銷業務的快速發展，原先使用的小型機架構的數據庫環境的性能已經無法滿足系統的要求，主要表現在當處理以數據讀取密集、運算負載高為特征的任務時反應緩慢，且其成本、擴容性和開放性等方面都存在諸多限制。為了解決系統存在的問題，新一代數據庫架構采用了X86架構的云橋數據庫一體機系統。為了對比驗證云橋數據庫一體機的性能，此次系統改造仍保留了原小型機系統。

3.2 環境配置

原生產環境小型機配置如表1所示：

表1 原生產環境小型機配置

序號 小型機節點 每臺節點配置 集群方式endprint

1 3臺HP RX8640小型機 Intel Itanium2 1.6GHz

（2 core）CPU*16，192G內存，2塊300G SCSI硬盤 ORACLE RAC集群

現生產環境采用云橋數據庫一體機1/4配置，具體配置如表2所示：

表2 現生產環境云橋數據庫一體機1/4配置序號 節點名稱 節點數量 每臺節點配置 備注

1 計算節點 2 AMD Quad-Core 8380 2.5GHz CPU*4，64G內存，200GB硬盤*2，40Gbps IB HCA卡*2 ORACLE RAC集群

2 存儲節點 3 云橋高速存儲系統，2T SAS硬盤*45，1.2T閃存緩存，40Gbps IB端口*2 -

3 網絡節點 2 mellanox IS5023交換機，40Gbps IB端口*16 -

新舊系統均處于經營分析系統的業務生產環境中，通過API保證新舊系統的存儲數據、任務調度模式均一致，保證性能對比的準確性。具體測試環境如圖2所示：

圖2 測試環境示意圖

3.3 應用效果

通過調用4個計算復雜度高及數據量較大，易對系統造成較高負載的數據庫事務，模擬移動業務系統的應用場景進行應用效果說明，數據庫事務具體內容如下：

事務1：提取歸屬地市包含XX市（前第2天，前第3天，前第4天，前第5天數據）并且終端操作系統包含Android（昨天，前第2天數據）的數據。

事務2：提取屬性是智能機（前第4天，前第5天，前第7天數據），排除在檔客戶（前第2天，前第3天，前第4天，前第5天數據）的數據。

事務3：提取入網時長大于36個月（前第2天，前第3天，前第4天，前第5天數據），并且用戶品牌包含“標準神州行”（前第5天，前第6天，前第7天，前第8天數據）的數據。

事務4：提取歸屬地市包含XX市或YY市（前第2天，前第3天，前第4天，前第5天數據），排除農信通潛在用戶（昨天，前第2天數據），且年齡介于20和30之間或者入網時長大于36個月（前第2天，前第3天，前第4天，前第5天數據）的數據。

本次應用效果分析使用了ORACLE的SwingBench、Orion和AWR測試工具。

（1）事務的應用特征驗證

使用AWR工具抓取了整個測試時間段數據庫的狀態數據驗證此次調用事務的應用特征。圖3和圖4顯示了本次測試計算節點及數據庫基本狀態信息，圖5和圖6顯示了測試過程中數據庫Top5等待事件。其中計算節點中實例STD1 CPU負載為381%，實例STD2 CPU負載為325%，接近系統最大400%的滿負載狀態數據庫的主要等待事件是row cache lock和db file scattered read，等待類型為并發和IO。綜上可以驗證此次測試使用的事務特征與高并發、計算復雜及高IO的移動業務系統應用特征相吻合。

（2）云橋數據庫一體機存儲性能

使用Orion工具衡量云橋數據庫一體機的IOPS、吞吐量等存儲性能，具體性能數值見表3（數據庫block大小為8K）：

表3 云橋數據庫一體機具體性能數值

序號 IO使用率 最大IOPS 最大吞吐量

1 80%讀，20%寫 18.6萬 1 525.08Mbps

具體測試數據見圖7和圖8。

（3）與小型機的性能測試結果對比

原生產環境采用了3臺HP小型機搭建的數據庫集群，而本次測試的云橋數據庫一體機采用的是2臺HP X86服務器組成的數據庫集群，硬件配置方面小型機占有優勢，但從測試結果看云橋數據庫一體機支撐的移動業務系統響應速度比原小型機生產環境有更佳的性能表現，具體對比結果如表4所示。

測試過程中多次調用4個事務的總耗時量對比結果如圖9所示。

（4）結論

在本次移動業務系統使用期間，云橋數據庫一體機運行平穩，能夠滿足高并發、計算復雜及高IO的業務場景的應用需求，并且具有強大的橫向擴展能力，性能、擴展性方面相比小型機具有一定的優勢。

4 結束語

本文介紹了云橋數據庫一體機的軟硬件平臺和性能特點，為移動運營商建設業務系統的數據解決架構提供了另一種新思路。

作為追求高效、穩定等性能的X86架構的數據處理產品，云橋數據庫一體機以其優越的性能和高擴展性被國內各大運營商所青睞。云橋數據庫一體機不僅可以提高運營商的信息化水平，還可以增加運營商在激烈的市場競爭中發現新業務、新需求的機會，幫助運營商在大數據時代提升市場精細化營銷水平和深度運營能力。

參考文獻：

[1] Ben Prusinski， Syed Jaffar Hussain. Oracle 11g R1/R2 Real Application Clusters[M]. Birmingham： Packt Publishing Ltd， 2010.

[2] Ulf Troppens. Storage Networks Explained： Basics and Application of Fibre Channel SAN， NAS， iSCSI， InfiniBand and FCoE[M]. America： Wiley， 2009.

[3] Source. Industrial Networking： Computer Networks， Intranet， Frame， Myrinet， Infiniband， Scalable Coherent Interface， G.Hn， Controller Area Network[M]. San Francisco： Books LLC， 2009.

[4] Peter Pacheco. Parallel Programming with MPI[M]. San Francisco： Morgan Kaufmann Publishers In， 1996.

[5] 帕切克. 并行程序設計導論[M]. 北京： 機

械工業出版社， 2011.

[6] 中國通信企業協會. 2012——2013中國通信業發展分析報告[M]. 北京： 人民郵電出版社， 2013.

作者簡介

儲浩：ISO/IEC JTC 1智慧城市研究組專家，博士畢業于同濟大學，現任南京斯坦德云科技股份有限公司副總經理兼技術總監，主要從事云計算、大數據技術的研究和研發管理等工作。先后發表科研論文40余篇，申請發明專利6項，軟件著作權9項。

呂萬里：學士畢業于上海海洋大學，現任南京斯坦德云科技股份有限公司副總經理助理，主要研究方向為云計算、大數據技術在電信和電力行業的應用，參與了智慧城市標準制定等工作。endprint

1 3臺HP RX8640小型機 Intel Itanium2 1.6GHz

（2 core）CPU*16，192G內存，2塊300G SCSI硬盤 ORACLE RAC集群

現生產環境采用云橋數據庫一體機1/4配置，具體配置如表2所示：

表2 現生產環境云橋數據庫一體機1/4配置序號 節點名稱 節點數量 每臺節點配置 備注

1 計算節點 2 AMD Quad-Core 8380 2.5GHz CPU*4，64G內存，200GB硬盤*2，40Gbps IB HCA卡*2 ORACLE RAC集群

2 存儲節點 3 云橋高速存儲系統，2T SAS硬盤*45，1.2T閃存緩存，40Gbps IB端口*2 -

3 網絡節點 2 mellanox IS5023交換機，40Gbps IB端口*16 -

新舊系統均處于經營分析系統的業務生產環境中，通過API保證新舊系統的存儲數據、任務調度模式均一致，保證性能對比的準確性。具體測試環境如圖2所示：

圖2 測試環境示意圖

3.3 應用效果

通過調用4個計算復雜度高及數據量較大，易對系統造成較高負載的數據庫事務，模擬移動業務系統的應用場景進行應用效果說明，數據庫事務具體內容如下：

事務1：提取歸屬地市包含XX市（前第2天，前第3天，前第4天，前第5天數據）并且終端操作系統包含Android（昨天，前第2天數據）的數據。

事務2：提取屬性是智能機（前第4天，前第5天，前第7天數據），排除在檔客戶（前第2天，前第3天，前第4天，前第5天數據）的數據。

事務3：提取入網時長大于36個月（前第2天，前第3天，前第4天，前第5天數據），并且用戶品牌包含“標準神州行”（前第5天，前第6天，前第7天，前第8天數據）的數據。

事務4：提取歸屬地市包含XX市或YY市（前第2天，前第3天，前第4天，前第5天數據），排除農信通潛在用戶（昨天，前第2天數據），且年齡介于20和30之間或者入網時長大于36個月（前第2天，前第3天，前第4天，前第5天數據）的數據。

本次應用效果分析使用了ORACLE的SwingBench、Orion和AWR測試工具。

（1）事務的應用特征驗證

使用AWR工具抓取了整個測試時間段數據庫的狀態數據驗證此次調用事務的應用特征。圖3和圖4顯示了本次測試計算節點及數據庫基本狀態信息，圖5和圖6顯示了測試過程中數據庫Top5等待事件。其中計算節點中實例STD1 CPU負載為381%，實例STD2 CPU負載為325%，接近系統最大400%的滿負載狀態數據庫的主要等待事件是row cache lock和db file scattered read，等待類型為并發和IO。綜上可以驗證此次測試使用的事務特征與高并發、計算復雜及高IO的移動業務系統應用特征相吻合。

（2）云橋數據庫一體機存儲性能

使用Orion工具衡量云橋數據庫一體機的IOPS、吞吐量等存儲性能，具體性能數值見表3（數據庫block大小為8K）：

表3 云橋數據庫一體機具體性能數值

序號 IO使用率 最大IOPS 最大吞吐量

1 80%讀，20%寫 18.6萬 1 525.08Mbps

具體測試數據見圖7和圖8。

（3）與小型機的性能測試結果對比

原生產環境采用了3臺HP小型機搭建的數據庫集群，而本次測試的云橋數據庫一體機采用的是2臺HP X86服務器組成的數據庫集群，硬件配置方面小型機占有優勢，但從測試結果看云橋數據庫一體機支撐的移動業務系統響應速度比原小型機生產環境有更佳的性能表現，具體對比結果如表4所示。

測試過程中多次調用4個事務的總耗時量對比結果如圖9所示。

（4）結論

在本次移動業務系統使用期間，云橋數據庫一體機運行平穩，能夠滿足高并發、計算復雜及高IO的業務場景的應用需求，并且具有強大的橫向擴展能力，性能、擴展性方面相比小型機具有一定的優勢。

4 結束語

本文介紹了云橋數據庫一體機的軟硬件平臺和性能特點，為移動運營商建設業務系統的數據解決架構提供了另一種新思路。

作為追求高效、穩定等性能的X86架構的數據處理產品，云橋數據庫一體機以其優越的性能和高擴展性被國內各大運營商所青睞。云橋數據庫一體機不僅可以提高運營商的信息化水平，還可以增加運營商在激烈的市場競爭中發現新業務、新需求的機會，幫助運營商在大數據時代提升市場精細化營銷水平和深度運營能力。

參考文獻：

[1] Ben Prusinski， Syed Jaffar Hussain. Oracle 11g R1/R2 Real Application Clusters[M]. Birmingham： Packt Publishing Ltd， 2010.

[2] Ulf Troppens. Storage Networks Explained： Basics and Application of Fibre Channel SAN， NAS， iSCSI， InfiniBand and FCoE[M]. America： Wiley， 2009.

[3] Source. Industrial Networking： Computer Networks， Intranet， Frame， Myrinet， Infiniband， Scalable Coherent Interface， G.Hn， Controller Area Network[M]. San Francisco： Books LLC， 2009.

[4] Peter Pacheco. Parallel Programming with MPI[M]. San Francisco： Morgan Kaufmann Publishers In， 1996.

[5] 帕切克. 并行程序設計導論[M]. 北京： 機

械工業出版社， 2011.

[6] 中國通信企業協會. 2012——2013中國通信業發展分析報告[M]. 北京： 人民郵電出版社， 2013.

作者簡介

儲浩：ISO/IEC JTC 1智慧城市研究組專家，博士畢業于同濟大學，現任南京斯坦德云科技股份有限公司副總經理兼技術總監，主要從事云計算、大數據技術的研究和研發管理等工作。先后發表科研論文40余篇，申請發明專利6項，軟件著作權9項。

呂萬里：學士畢業于上海海洋大學，現任南京斯坦德云科技股份有限公司副總經理助理，主要研究方向為云計算、大數據技術在電信和電力行業的應用，參與了智慧城市標準制定等工作。endprint

1 3臺HP RX8640小型機 Intel Itanium2 1.6GHz

（2 core）CPU*16，192G內存，2塊300G SCSI硬盤 ORACLE RAC集群

現生產環境采用云橋數據庫一體機1/4配置，具體配置如表2所示：

表2 現生產環境云橋數據庫一體機1/4配置序號 節點名稱 節點數量 每臺節點配置 備注

1 計算節點 2 AMD Quad-Core 8380 2.5GHz CPU*4，64G內存，200GB硬盤*2，40Gbps IB HCA卡*2 ORACLE RAC集群

2 存儲節點 3 云橋高速存儲系統，2T SAS硬盤*45，1.2T閃存緩存，40Gbps IB端口*2 -

3 網絡節點 2 mellanox IS5023交換機，40Gbps IB端口*16 -

新舊系統均處于經營分析系統的業務生產環境中，通過API保證新舊系統的存儲數據、任務調度模式均一致，保證性能對比的準確性。具體測試環境如圖2所示：

圖2 測試環境示意圖

3.3 應用效果

通過調用4個計算復雜度高及數據量較大，易對系統造成較高負載的數據庫事務，模擬移動業務系統的應用場景進行應用效果說明，數據庫事務具體內容如下：

事務1：提取歸屬地市包含XX市（前第2天，前第3天，前第4天，前第5天數據）并且終端操作系統包含Android（昨天，前第2天數據）的數據。

事務2：提取屬性是智能機（前第4天，前第5天，前第7天數據），排除在檔客戶（前第2天，前第3天，前第4天，前第5天數據）的數據。

事務3：提取入網時長大于36個月（前第2天，前第3天，前第4天，前第5天數據），并且用戶品牌包含“標準神州行”（前第5天，前第6天，前第7天，前第8天數據）的數據。

事務4：提取歸屬地市包含XX市或YY市（前第2天，前第3天，前第4天，前第5天數據），排除農信通潛在用戶（昨天，前第2天數據），且年齡介于20和30之間或者入網時長大于36個月（前第2天，前第3天，前第4天，前第5天數據）的數據。

本次應用效果分析使用了ORACLE的SwingBench、Orion和AWR測試工具。

（1）事務的應用特征驗證

使用AWR工具抓取了整個測試時間段數據庫的狀態數據驗證此次調用事務的應用特征。圖3和圖4顯示了本次測試計算節點及數據庫基本狀態信息，圖5和圖6顯示了測試過程中數據庫Top5等待事件。其中計算節點中實例STD1 CPU負載為381%，實例STD2 CPU負載為325%，接近系統最大400%的滿負載狀態數據庫的主要等待事件是row cache lock和db file scattered read，等待類型為并發和IO。綜上可以驗證此次測試使用的事務特征與高并發、計算復雜及高IO的移動業務系統應用特征相吻合。

（2）云橋數據庫一體機存儲性能

使用Orion工具衡量云橋數據庫一體機的IOPS、吞吐量等存儲性能，具體性能數值見表3（數據庫block大小為8K）：

表3 云橋數據庫一體機具體性能數值

序號 IO使用率 最大IOPS 最大吞吐量

1 80%讀，20%寫 18.6萬 1 525.08Mbps

具體測試數據見圖7和圖8。

（3）與小型機的性能測試結果對比

原生產環境采用了3臺HP小型機搭建的數據庫集群，而本次測試的云橋數據庫一體機采用的是2臺HP X86服務器組成的數據庫集群，硬件配置方面小型機占有優勢，但從測試結果看云橋數據庫一體機支撐的移動業務系統響應速度比原小型機生產環境有更佳的性能表現，具體對比結果如表4所示。

測試過程中多次調用4個事務的總耗時量對比結果如圖9所示。

（4）結論

在本次移動業務系統使用期間，云橋數據庫一體機運行平穩，能夠滿足高并發、計算復雜及高IO的業務場景的應用需求，并且具有強大的橫向擴展能力，性能、擴展性方面相比小型機具有一定的優勢。

4 結束語

本文介紹了云橋數據庫一體機的軟硬件平臺和性能特點，為移動運營商建設業務系統的數據解決架構提供了另一種新思路。

作為追求高效、穩定等性能的X86架構的數據處理產品，云橋數據庫一體機以其優越的性能和高擴展性被國內各大運營商所青睞。云橋數據庫一體機不僅可以提高運營商的信息化水平，還可以增加運營商在激烈的市場競爭中發現新業務、新需求的機會，幫助運營商在大數據時代提升市場精細化營銷水平和深度運營能力。

參考文獻：

[1] Ben Prusinski， Syed Jaffar Hussain. Oracle 11g R1/R2 Real Application Clusters[M]. Birmingham： Packt Publishing Ltd， 2010.

[2] Ulf Troppens. Storage Networks Explained： Basics and Application of Fibre Channel SAN， NAS， iSCSI， InfiniBand and FCoE[M]. America： Wiley， 2009.

[3] Source. Industrial Networking： Computer Networks， Intranet， Frame， Myrinet， Infiniband， Scalable Coherent Interface， G.Hn， Controller Area Network[M]. San Francisco： Books LLC， 2009.

[4] Peter Pacheco. Parallel Programming with MPI[M]. San Francisco： Morgan Kaufmann Publishers In， 1996.

[5] 帕切克. 并行程序設計導論[M]. 北京： 機

械工業出版社， 2011.

[6] 中國通信企業協會. 2012——2013中國通信業發展分析報告[M]. 北京： 人民郵電出版社， 2013.

作者簡介

儲浩：ISO/IEC JTC 1智慧城市研究組專家，博士畢業于同濟大學，現任南京斯坦德云科技股份有限公司副總經理兼技術總監，主要從事云計算、大數據技術的研究和研發管理等工作。先后發表科研論文40余篇，申請發明專利6項，軟件著作權9項。

呂萬里：學士畢業于上海海洋大學，現任南京斯坦德云科技股份有限公司副總經理助理，主要研究方向為云計算、大數據技術在電信和電力行業的應用，參與了智慧城市標準制定等工作。endprint