無線網絡優化平臺數據庫性能優化設計思路

王志海

（中通服網優技術有限公司，上海 200050）

1 引言

隨著移動互聯網的迅速發展，運營商成為一個海量信息的制造者和處理者，信息的爆炸式增長速度已遠遠超過比摩爾定律。由于IT環境日趨復雜，數據量暴增，給電信運營支撐系統帶來了巨大的壓力，傳統的IT系統出現不同程度的性能問題亟待解決。

無線網絡優化平臺是運營商重要的IT支撐系統，需要抽取各廠商設備的性能、參數、告警、話單等各類數據源，3G的快速發展使得用戶上網記錄數據快速增長，逐月呈現指數級增長速度，給數據平臺帶來了巨大的壓力，數據加載、數據處理和數據查詢出現不同程度的性能下降，網絡優化平臺運維工作面臨巨大壓力和嚴峻挑戰。如何解決性能下降，保證系統平穩運行成為平臺運維支撐的首要任務。

2 性能概述

不同系統會有不同的資源需求，當資源需求不能滿足時，便會產生不同性能瓶頸。系統資源中的CPU、內存、磁盤和網絡都有可能成為性能瓶頸。要確定一個系統的性能瓶頸，可以通過逐項排查進行問題診斷，在此基礎上進行問題分析和定位。

通常系統資源在達到一定利用率時便會對系統性能產生嚴重影響，不同的系統和硬件可能會對資源利用率的定義有所不同。CPU僅僅只能決定運算速度，即使是運算速度都還取決于與內存之間的總線帶寬以及內存本身的速度；內存大小決定了所能緩存的數據量，主要決定了熱點數據的訪問速度；磁盤的轉速決定了每次I/O請求的延時時間。硬件資源所能提供的處理能力一定是它們多方面共同決定的整體能力，任何一個方面出現瓶頸，都能導致整體性能出現下降。

3 問題分析

系統資源中，CPU負責所有計算任務，是最重要的一個子系統，基于摩爾定律，CPU是發展最快的一個硬件，所以瓶頸很少出現在CPU上。對于無線網絡優化平臺，線上環境通常是配置較好的小型機做RAC，CPU資源充裕，通過診斷觀察顯示CPU的利用率持續保持在20%以下，利用率很低，CPU出現性能瓶頸的情況基本排除。通過對內存的檢查發現，物理可用內存free持續維持在大于20%的范圍內，數據庫實例的內存利用率也在80%以下，故內存出現性能瓶頸的情況也可以排除。一般來說，應用與數據庫之間的網絡交互所需的資源并不是非常大，所以這個環境遇到瓶頸的可能也并不是非常大。平臺運行在運營商內部局域網通常采用千兆帶寬，通過對線上網絡環境的檢查也排除網絡資源瓶頸的可能。

對于數據庫系統，如果數據保存在磁盤中，磁盤性能對于系統性能就非常重要；如果要對流數據進行壓縮和解壓縮，CPU的速度和內存容量也非常重要。由于無線網絡優化平臺數據庫要傳輸和讀取大量的數據，因此磁盤比CPU、內存等更加重要。

無線網絡優化平臺采用單I/O節點服務多個計算節點的模式。數據都存儲在I/O節點上，系統發起一個計算任務時，首先將計算任務分配給多個計算節點，而每個計算節點又要訪問同一個I/O節點以獲取請求的數據。這樣I/O節點的負載在整個數據請求和返回過程中都非常大，要處理所有計算節點發來的請求，而計算節點只需要等待I/O的返回結果，處理自身分配的計算任務，負載非常小。當請求的數據量以及查詢數據量越大時，I/O的負載和處理壓力就越大。當需要處理的數據急劇增長時，I/O效率就會嚴重下降，出現瓶頸。因此，改進I/O效率成為問題解決的關鍵所在。

4 優化設計

運營商IT支撐系統性能問題的解決思路通常有：一是優化系統、深化設計，通過技術設計解決或緩解當前性能問題；二是技術架構的重構，引入新技術和新產品來解決性能問題。技術架構的重構的一個有效途徑是引入大數據產品，需重點考慮現有數據架構與大數據產品的融合和互補，形成有效應用模式，這通常需要投入大量人力物力，對現網環境的影響也較大，要達到成熟應用的目標通常需要較長周期的過渡。在現有資源和技術架構條件下，既要保證對現網環境的影響減到最小，又要在短時間內解決性能問題，通常現實可行的思路就是進行系統優化、深入設計，保證現網系統正常運行。在現網系統正常運行的前提下，再根據問題診斷的結果預測數據增長可能帶來的后續問題，以及是否需要進行技術架構的重構和升級。結合無線網絡優化平臺線上實際情況，本文主要介紹以下方面的優化設計思路：

4.1 時間價值分級

從應用訪問方式上，有些數據需要頻繁進行查詢，而有些數據需要進行頻繁修改。如果數據查詢頻繁但是幾乎不進行修改，在數據庫設計時可以考慮應用訪問的內容，考慮進行一些物理的不規范化處理，使得盡量通過簡單的查詢就可以得到結果；而對于需要頻繁修改的數據，在進行設計時就需要按著范式的要求進行設計。無線網絡平臺是一個數據倉庫系統，多數的數據屬于一次寫入頻繁訪問，所以在物理不規范化設計上需要多考慮應用系統的需要。

時間作為一個信息維度，是很多日志類的數據查詢和統計的關鍵條件，通過對應用請求的統計，約95%的請求訪問近7天的數據，其中80%的請求訪問近24小時的數據，因此在數據存儲和數據模型設計時可以考慮在物理上將近期數據單獨存放在高性能的存儲設備上，甚至可根據實際應用將近期實時數據存儲在內存中，如圖1所示。這樣可以大大提高應用訪問的效率和速度，減少查詢和統計對數據庫的負載。

圖1 數據的時間價值分級示意圖

4.2 精準索引設計

有效地使用索引是數據庫應用系統取得高性能的基礎。同時，索引的建立需要占用額外的存儲空間，并且在增、刪、改操作中也會增加一定的工作量。因此，增加適當的索引并刪除不適當的索引，將有助于優化數據庫性能。合理的索引設計是建立在對各種查詢的分析和預測的基礎上，只有精準索引設計，使索引與程序有效地結合起來，才能產生最佳的索引優化方案。

索引能大大加快數據庫的查詢速度，快速定位數據的物理地址。但是，對于大型表建索引卻不一定能取得預期的優化效果，有時反而會降低數據庫的整體性能。由于大型表存儲數據量較大，對其建立索引，其索引數據會優化使用系統的數據塊緩存，導致系統不得不頻繁地訪問磁盤來獲取請求數據，從而導致數據庫整體性能下降。在這種情況下，可以考慮根據應用數據特點進行分區及建立分區索引。所以，對大型表有時不建索引反而更好，即使創建索引也應盡量保證索引盡可能地符合應用訪問的需求以及數據的特點，在建立索引時不能簡單地認為創建索引就可以提高查詢性能。索引必須指定一個適合所需的訪問路徑，這就要求在進行索引設計時應避免簡單設計，一定要結合應用和數據的特點進行精準設計。

4.3 混合分區設計

分區技術提供了一種在物理上將大數據庫對象分解為多個小的、易管理的實體的機制，其使得那些令人畏縮、難以實施的海量數據操作變得簡單、易于管理和控制。分區將大的數據表或者索引分割為獨立管理和并行處理的小對象，使得大型數據庫的整體性能得以優化。

分區在物理上將數據分開存儲，對一個表建立分區，當查詢這個分區表時，系統根據查詢條件只需要在對應的表分區中進行掃描，避開全表掃描，從而大大縮短掃描的時間。同時，分區分散在不同的磁盤上，當多個分區并行工作時也就大大減少了I/O的負載，此時分區將多個數據傳輸請求對磁盤I/O訪問分散開來，如圖2所示。實際應用中，數據訪問經常會涉及到多個維度的組合，此時可以根據實際業務查詢場景來設計混合分區模式，對于維度多、查詢條件復雜、查詢場景多的業務表的訪問性能會有顯著的性能提升。網優平臺中對于像無線上網記錄這樣的大型表，可以考慮根據頻繁訪問的時間和網元維度建立混合分區，這樣可以根據應用將數據分散到不同的磁盤I/O，快速定位查詢數據，減少大量數據訪問的時間。

圖2 分區表的多任務并行執行模式圖

4.4 并行處理機制

數據庫并行處理機制的目標是高性能和高可用性，通過多個處理節點并行執行數據庫任務，可以提高整個數據庫系統的性能和可用性。

數據庫并行處理機制高性能可以從2個方面理解：速度提升、范圍提升。速度提升是指通過并行處理，可以用更少的時間完成成倍的任務；范圍提升是指通過并行處理，在相同時間內可以完成更多任務。CPU的快速發展使得利用多CPU的并行技術來提升性能成為可能，對于多CPU系統盡量采用并行查詢方式進行數據庫操作，此時系統可以將查詢請求分配給多個CPU間并行處理，每個獨立的進程同時進行請求的處理，大大提高了應用訪問的速度。對于大型的數據倉庫系統，一般都會定期進行大量的數據加載工作，此時采用并行加載機制加載數據，也可以大大提高數據裝載的速度，減少數據裝載對數據庫影響的時間。

4.5 高效SQL設計

由于應用程序SQL語句早于數據量的增長，所以對于很多SQL可能并沒有考慮大數據量情況下對系統資源和消耗，SQL優化對無線網絡優化平臺來說是提升性能的一個有效途徑。SQL語句優化時必須要考慮：一是根據數據庫系統的技術特點進行優化的技巧；二是根據應用需求進行的針對性設計。特別是對于大數據量的數據庫系統，在設計SQL時一定要關注查詢的數據量大小，避免需求理解偏差以及返回的大記錄集等情況，從而避免功能設計引起對大數據量訪問的性能下降。在很多情況下，用戶真的不需要大量數據的返回，通過功能設計完全可以避免或緩解。SQL優化和設計技巧有很多，針對類似無線網絡優化平臺的大數據量查詢問題提出幾個關鍵設計技巧如下：

（1）限制動態SQL的使用。動態SQL也會重新進行語法分析，重新占用資源，不考慮SQL共享池中是否有一個完全相同的查詢值。

（2）避免不帶任何條件的SQL語句。不帶任何條件的SQL語句通常需要進行全表掃描，對于大型表將耗費相當多的資源和相當長的時間。

（3）盡量設計相同的或類似的SQL語句，以充分利用SQL共享池資源，查詢數據在SGA中命中的幾率也會大大提升。

（4）如果查詢確實需要返回大量數據時，可以考慮先返回少量結果，等待用戶發出新的指令，再查詢返回全部結果集。

5 結束語

數據庫面臨的性能瓶頸大多數是因為新業務的增加導致資源耗盡，因此要解決數據庫的性能瓶頸，就需要對數據庫系統業務進行深入了解，明確業務需求和數據增長趨勢，再采取針對性的應對措施。數據庫性能問題沒有一個統一標準的解決方案，通?？梢詮募夹g架構重組和優化設計這2個思路出發，結合具體的業務需求和技術實現來統籌考慮，從而制定解決方案。本文主要從優化設計的角度探討了無線網絡優化平臺數據庫面臨數據增長帶來的性能問題，分析了數據增長帶來性能下降和性能瓶頸及其影響，并從技術層面提出了應對性能瓶頸的優化設計思路，這些優化設計思路在上海電信無線網絡優化平臺現網實測效果明顯，較好地解決了當前數據增長帶來的性能下降問題。

[1] 張永,張紅蕊,路婧威. 海量數據離散化算法的并行設計與實現[J]. 計算機應用與軟件, 2014,31(6): 21-23.

[2] 范慶彬,王為. 云計算在電信運營商中的應用[J]. 信息通信, 2011(3): 167-170.

[3] 陳宏偉,陳喜龍. 數據庫的查詢優化技術[J]. 科技資訊, 2008,15(5): 1-5.

[4] 王凱. MapReduce集群多用戶作業調度方法的研究與實現[D]. 長沙: 國防科技大學, 2010.

[5] 郭忠南,孟凡榮. 關系數據庫性能優化研究[J]. 計算機工程與設計, 2006,27(23): 84-90.

[6] 張義德,王國慶,湯幼寧. 更改的判定條件覆蓋測試技術研究[J]. 計算機工程與設計, 2003,24(5): 19-22.

[7] 陳鑫,楊平. 應用MC/DC準則時需考慮的問題及其改進方法[J]. 計算機工程與設計, 2004,25(3): 406-409.

[8] 蔣承延,吳思遠. 大型ORACLE數據庫優化設計方案[J]. 電腦知識與技術（學術交流）, 2007(12): 1518-1519.

[9] 黃錫滋. 軟件可靠性、安全性與質量保證[M]. 北京: 電子工業出版社, 2002.★