x86云化數據庫在電信企業數據中心的應用與實踐

季卿 鄭夢妍 班正波 劉娟

【摘要】? ? 本文通過對近年新興的x86云化數據庫部署方案進行的展開分析，探索研究x86云化數據庫架構的部署實施帶來的實際支撐能力以及集群技術的可靠性，本文以電信企業的核心數據庫作為研究主體，嘗試通過x86云化數據庫來遷移承載原有核心應用如CBOSS、CRM、計費等系統數據庫應用。本文采用了通過梳理核心應用系統，制度整體核心數據庫云化工作機制，預估云化后承載平臺的穩定性和可靠性，進而展開了一系列探索嘗試工作，通過實踐統計分析，驗證了x86云化數據庫部署機制來承載的機制成效，為電信企業帶來了巨大的價值分析;從而為社會各大電信企業核心類應用數據庫系統升級創新需求提供應用實質性的參考價值。

【關鍵詞】? ? x86云化數據庫? ? 高可用? ? 雙活容災機制? ? CBOSS系統

引言

隨著數字化服務、互聯網+、智能終端、智能管道和流量經營的快速發展，為應對數據流量爆發式增長，以及用戶對服務水平要求的不斷提高，相當長的一段時間以來，傳統數據庫技術在生產實踐中表現出明顯的能力不足。面對現在業務的快速發展、數據量呈指數型增長，開始存在業務風險高、投資費用高、資源利用率低等問題，已經無法滿足新型業務發展的需求。傳統電信企業核心生產數據庫優化遇到新難題。

一是普遍存在設備使用年限長，設備老舊，故障率較高。

二是資源利用率低，各系統數據庫孤島式建設，計算和存儲資源無法動態調整、錯峰共享。

三是擴展性差，小型機單節點處理能力強，但無法水平擴展。集中式的高端盤陣系統可靠性較高，同樣無法水平擴展。

四是維護管理成本方面，小型機維護成本高，維護困難。各系統數據庫孤島式建設，數據庫數量多，造成維護工作量大。

五是高可用方面，大部分數據庫雖然都是雙節點RAC架構，但單節點月忙時使用率峰值都超過了50%，如果出現其中一臺故障，另外一臺無法接管全量業務，存在高風險。

為提升用戶體驗、業務效率，IT支撐系統應加快云計算和大數據技術的應用，對采集到的數據進行深度挖掘，構建集中化、融合化、平臺化、安全又靈活的云化架構是信息化發展的必然趨勢，傳統的數據庫架構將逐漸被淘汰。

一、需求分析

根據調研分析，貴州公司傳統數據的中心生產集群物理機采用80c+512G+Oracle Linux 7.6，使用HP FC-SAN高端存儲，測試集群虛擬機采用了24c+192G+Suse 12sp3，使用的是普通共享存儲。我們對貴州公司三大承載中心的核心庫的業務量進行了評估預測，如表1所示，從預測增長數據來看，參照業界權威的Specint_Ratebase標準評測，對各種開放系統的服務器進行性能測試，我們發現，現有“小型機+高端盤陣” 的傳統數據庫部署架構已經無法繼續滿足業務發展的需要。

傳統的“小型機+233高端盤陣”雖然支持對計算能力、I/O能力、可靠性要求很高的關鍵數據庫業務部署場景，但其橫向擴展能力受限，性價比低，不符合x86云化原則。 “x86虛擬化資源池”IaaS技術重點支持應用層（通常為無狀態）的場景部署，而核心數據庫需要實現的“x86云化數據庫部署方案”，則是采用分布式架構，支持計算、存儲、網絡的分布式橫向擴展的DBaaS技術，同時也是數據庫的演進方向。DBaaS是一種能夠快速便捷地按需從網絡訪問“共享的”，“可配置的” ，“彈性的”數據庫私有云，其特征是：

一是數據庫整合。公司戰略規劃在3年內將目前生產數據庫數量減少70%。

二是數據庫資源快速交付。以前信息科技部門申請一套數據庫，從操作系統安裝，數據庫安裝，存儲劃分，系統配置，測試到交付至少需要5～10天。使用DBaaS平臺，當天即可完成資源發布。

三是提前適應未來的技術構架。容器化、云化是未來數據庫的發展方向。數據庫云化從模板管理，資源分配，性能監控，配置全量，服務提供的全棧道服務。并提供了REST接口給用戶進行二次開發。減少用戶的運維成本和運維難度。

四是集群技術使用更多的集群節點，能提供更好的高可用性和均衡負載。

二、技術方案

因此，如何采用云化技術來設計一個健壯，靈活，高可用數據庫基礎架構，將企業的核心數據庫整合到x86云化數據庫，從而為電信企業提供一個敏捷、高效、低成本的數據庫資源池。

數據庫云化技術架構是通過引入CDB與PDB的特性搭建數據庫集群。其中CDB全稱為Container Database，即容器化數據庫容器，PDB全稱為Pluggable Database，即可插拔數據庫。傳統的數據庫架構，實例與數據庫是一對一或多對一關系（RAC）：即一個實例只能與一個數據庫相關聯，數據庫可以被多個實例所加載。而實例與數據庫不可能是一對多的關系。當使用容器化數據庫后，實例與數據庫可以是一對多的關系。我們可以使用云資源池的多臺x86機器搭建容器化數據庫集群，然后在集群中創建多個可插拔數據庫。

本項目通過采用分布式的部署方式來實現對上層業務的透明化。整合后，單臺服務器出現故障后，不影響整個平臺的服務能力，且不影響數據庫對外提供正常服務，在其中某個或多個服務器停服后，業務應用服務器能夠透明的連接到存活的數據庫服務器上，業務無明顯感知數據庫異常。其次基于集群技術，實現動態擴縮容能力，上層的數據庫集群，能夠利用底層的伸縮性計算資源，來實現集群服務能力;既數據庫對外服務具有整體性，一致性的統一視圖，對外層應用完全透明，即應用無需關注底層的架構情況，只需關注數據庫是否能夠提供正常服務，這得益于基于云化架構下的數據庫集群能力。

高可用方面，本項目采用了基于DNS+SCANIP+service的高可用方式。DNS控制容災環境的主備切換，SCAN IP控制連接到集群內各節點VIP的重定向，service控制各個數據庫之間的故障切換，如圖1所示。根據電信企業業務特性及需求，在可插拔數據庫的部署方式上，我們使用“模擬全故障場景資源評估法”，計算出節點崩潰排列組合的所有可能性，利用代碼循環的驗證所有場景的資源利用情況，從而得到最優部署方案?；谠撃Ｊ剑敵霈F單庫故障的情況下，業務可在1秒之內自動切換到正常節點，用戶對故障無感知;當出現災難級故障情況下，業務可在2分鐘內自動切換到容災端恢復業務，業務連續性能力大大提高。

三、應用情況分析

本項目從節約成本，最大化資源共享的角度出發，使用30臺x86服務器部署3套云化數據庫集群，分別部署在三大數據中心，共計16計算節點和14存儲節點，承載10套核心數據庫業務，按照雙中心架構部署。雙中心之間通過數據庫復制技術，實現了數據保護，的整合，同時還包含了三中心的雙活容災環境和UAT環境。

核心數據庫整合遷移上云分為了三個階段。第一階段為數據庫云部署設計階段。本次數據庫整合為跨平臺、版本遷移，從IBM/SUN小型機遷移至x86平臺，數據庫版本從11g/12c升級至19c。通過在老生產庫采集詳細的硬件信息和數據庫性能概況。對照業務需求，在集群內合理進行資源分配、數據庫部署設計。同時為滿足業務連續性，對災難場景進行統計和分析，完成PDB/Service、Dataguard的高可用部署設計，如圖2所示;第二階段為數據庫創建、數據遷移和測試階段。通過參考數據庫系統最佳實踐完成對數據庫的參數設計并創建數據庫。根據基準測試文檔完成對集群的數據庫性能測試。由于大型業務關鍵應用程序要在響應時間、吞吐量、運行時間和可用性方面提供特定服務級別的保證。對系統的任何更改（如升級數據庫）通常都需要進行全面的測試和驗證，然后才能在生產系統中實施這些更改。因此有必要在數據遷移測試完成后進行SPA（SQL性能分析）測試，檢測由于系統、數據庫變更對SQL性能的影響。并通過針對性的優化盡量減少由于系統環境變更對業務的影響。同時為驗證應用連續性、可用性，還需模擬各災難場景進行高可用測試。第三階段為遷移上云階段。在6個月內完成10個核心數據庫（CRM、賬務等）的上云工作。

在參數設計方面，因為三個集群集合了多套數據庫，需要考慮節點失效的情況。參考數據庫系統最佳實踐、Critical Issue等文檔，完成對數據庫版本的補丁分析及參數設計。并根據原數據庫內存，CPU連接數，歸檔日志路徑設置，參考原數據庫參數設置，取消不需要的參數。同時按照容災高可用的要求，極限情況下，參數設計需要滿足一個集群能夠承擔所有業務的情況。

在基礎性能測試方面，我們對三個數據庫集群進行性能測試旨在驗證數據庫在新x86架構下的性能表現。通過測試工具OTEST，執行測試SQL語句。監控數據庫關鍵性能指標、吞吐量、響應時間、數據庫統計、等待事件等。

在資源管理方面，為滿足業務特性及需求、針對此前分析的災難場景，我們進行了IORM（資源控制）測試。IORM（資源控制）旨在軟件層面對數據庫資源（CPU/IO）進行限制，效果立竿見影且不需要進行額外調整。例如在PDB發生故障切換時，通過調整同一節點另一PDB的CPU/IO使用量，達到故障切換時兩個PDB共存不會發生資源爭用的目的。

在壓力測試方面，其中最大壓力測試設計要求達到老生產庫最大壓力峰值的3倍以上，測試時間8小時以上。我們要求云化數據庫的單節點負載的CPU利用率達到85%以上、連接數達到15000、瞬時活動連接數達到300、邏輯讀達到800萬/Sec、心跳流量>50MB/Sec、事務數量達到3000/Sec、物理讀達到1800Mb/Sec、物理寫達到500Mb/Sec（帳管數據庫增加為1500MB/Sec）、登錄達到30/Sec、硬解析達到80/Sec。

在高可用測試（PDB/Service Failover、Dataguard Failover、PDB relocate）方面，通過和業務側配合，檢測各場景下應用連續性、可用性，并記錄數據庫恢復時間、應用受影響時間。本文以CBOSS數據庫的應用為例，CBOSS庫是該電信企業的核心業務數據庫之一，對該數據庫進行7種場景的高可用測試。

在SQL性能測試方面，我們使用SPA（SQL性能分析器）進行新老數據庫性能對比。在遷移到生產系統之前為了保證安全，必須讓測試系統承受與生產環境中的工作量很近似的壓力，以便分析系統級更改對整體SQL性能的影響，并在遷移到生產環境之前進行必要的優化。采集生產庫SPA可以在數據遷移過程中進行。在完成SPA測試后，重點關注性能下降的SQL，并著手從以下4個方面進行優化，然后制定合理的優化方案并驗證方案的全局影響。

1. 對比執行計劃和運行統計的變化;

2. 抽取該SQL相關統計信息并分析;

3. 分析源數據庫中運行正常的原因、19c中降級的原因;

4. 分析版本變更后控制相關變化的key（參數，隱藏參數，或者fix control）。

為了有序的完成核心數據庫上云，我們在數據遷移及各項測試工作完成后，對數據庫上線前做了封版檢查。根據一次停機窗口遷移一至兩個庫的工作原則，貴州移動僅用了5個月就成功整合遷移了貴州移動業務支撐系統全部10套核心數據庫。遷移割接過程平穩順利，未出現回退，遷移后的數據庫性能大幅提升，業務體驗提升顯著，且真正實現業務對故障無感知。

四、效益分析

4.1經濟效益

本項目共計每年可為公司節省成本（設備維保、電費等）1795萬元，并且節省的機柜位每年可間接創造效益318萬元。

通過本項目提升資源的整合度，實現降本增效。將之前分散在各個垂直系統上的數據庫整合在基于多租戶數據庫中，建立了集中式的資源集合，能夠提供統一的管理維護入口。老舊小型機、x86主機得以回收，降低了資源成本和維護成本。利用私有云資源池動態擴縮容特性，提升資源使用率。在設備維保成本方面，本項目采用x86云化數據庫整合了10套核心數據庫以及對應的容災、UAT環境，共計小型機50臺、存儲6套，平均每臺小型機一年維保費用25萬元，平均每套存儲一年維保費用65萬元，則每年在維保成本上可節省1640萬元。

在電費成本方面，現有x86設備功耗較小，較以前減少約264千瓦/小時，按每度電0.67元計算，每年可節省電費成本155萬元。

此外采用云化架構后，使用的x86機器僅需要3個機柜，而此前小型機共使用50個機柜，存儲盤陣使用6個機柜。以IDC每個機柜年租賃費用6萬元計算，每年可為公司間接創造效益318萬元。

4.2提升前臺服務感知

DBtime是反映數據庫綜合性能的核心指標，DBtime越低，表示數據庫性能更好，本文以遷移到云化數據庫集群的CBOSS庫為例，平均綜合性能提升4倍，業務最高峰時段性能提升了13倍。 且老庫尖刺較多，新庫較老庫運行更加平穩。如圖4所示。

10套核心數據庫上云后，業務支撐系統業務體驗明顯提升，一線業務員普遍反饋“系統明顯快多了”，業務體驗明顯提升，前臺人員滿意度提高。從后臺業務辦理探測數據統計來看，各種關鍵業務的辦理速度均大幅提升：入網業務運行速度提升4倍、套餐類業務運行速度提升6倍、客戶資料類業務運行速度提高34倍、繳費賬單類業務運行速度提升2倍;另外，日賬、月帳的出賬效率提升也非常明顯，主要出賬步驟運行速度提升4倍。

x86服務器在穩定性方面較傳統小型機要差，2020年x86計算節點發生故障10余次，導致節點重啟，由于采用了云化架構的高可用設計，故障對業務是透明的，故障處理是自動的、在線的，故障發生到恢復的全過程，業務完全無感知、無中斷，極大提升了業務支撐系統的服務能力，提高了客戶滿意度。

五、結束語

本項目采用了核心數據庫云化架構，淘汰了落后產能，極大的降低了核心數據庫的總擁有成本，大幅提高了數據庫性能和業務響應速度，降低故障率，提升了客戶滿意度，并且實現節能減排，減少對日益昂貴的機房資源等配套需求，起到降本增效的作用。