Oracle數(shù)據(jù)庫(kù)深度巡檢工具的設(shè)計(jì)與實(shí)現(xiàn)

張利益, 李可, 王甲甲

(國(guó)網(wǎng)信通產(chǎn)業(yè)集團(tuán)公司 安徽繼遠(yuǎn)軟件有限公司， 合肥 230088)

0 引言

當(dāng)前，電力系統(tǒng)信息化持續(xù)深化，數(shù)據(jù)庫(kù)種類(lèi)和數(shù)量不斷增加，其中Oracle數(shù)據(jù)庫(kù)是電力信息系統(tǒng)中主流數(shù)據(jù)庫(kù)。IT架構(gòu)復(fù)雜性增長(zhǎng)始終快于人員增長(zhǎng)，熟悉業(yè)務(wù)的數(shù)據(jù)庫(kù)運(yùn)維人員積累緩慢，資源不足問(wèn)題一直存在,運(yùn)維人員疲于應(yīng)付巡檢和故障檢修，因此對(duì)于數(shù)據(jù)庫(kù)運(yùn)維管理來(lái)說(shuō)是一個(gè)巨大挑戰(zhàn)，亟需提升數(shù)據(jù)庫(kù)的自動(dòng)化巡檢能力與實(shí)時(shí)監(jiān)控水平，提升Oracle數(shù)據(jù)庫(kù)運(yùn)維能力。

本文通過(guò)對(duì)運(yùn)維現(xiàn)狀進(jìn)行深入分析，結(jié)合豐富的現(xiàn)場(chǎng)運(yùn)維經(jīng)驗(yàn)，設(shè)計(jì)研發(fā)了一套實(shí)用的數(shù)據(jù)庫(kù)深度巡檢工具。通過(guò)靈活定義監(jiān)控指標(biāo)，全天實(shí)時(shí)采集數(shù)據(jù)，發(fā)現(xiàn)數(shù)據(jù)庫(kù)存在或潛在的問(wèn)題，從而快速精準(zhǔn)的解決問(wèn)題，確保數(shù)據(jù)庫(kù)能為應(yīng)用提供穩(wěn)定高效的數(shù)據(jù)存取服務(wù)，最終能夠提高數(shù)據(jù)庫(kù)運(yùn)維效率，提升運(yùn)維管理水平。

1 工具目標(biāo)

Oracle數(shù)據(jù)庫(kù)深度巡檢工具基于運(yùn)維人員對(duì)于Oracle運(yùn)維的深度理解，結(jié)合日常運(yùn)維經(jīng)驗(yàn)，從配置，性能，運(yùn)行，狀態(tài)四大類(lèi)指標(biāo)構(gòu)建了ORACLE數(shù)據(jù)庫(kù)的指標(biāo)模型。配合上高頻的巡檢，及時(shí)的告警，快速的檢索，從而使ORACLE運(yùn)維的規(guī)范化與智能化。

其中規(guī)范化指的是在日常運(yùn)維工作中，通過(guò)此運(yùn)維工具，統(tǒng)一管理數(shù)據(jù)庫(kù)信息，自動(dòng)化巡檢數(shù)據(jù)庫(kù)各項(xiàng)指標(biāo)，規(guī)范化數(shù)據(jù)庫(kù)的日常管理工作，防止出現(xiàn)誤操作影響數(shù)據(jù)庫(kù)穩(wěn)定性。

智能化指的是，在資源管理、告警判斷、日志查詢(xún)中進(jìn)行關(guān)聯(lián)分析、根因分析，在出現(xiàn)故障時(shí)能夠有效的為運(yùn)維人員提供可靠有效的數(shù)據(jù)，能夠快速并準(zhǔn)確的定位問(wèn)題。

2 總體架構(gòu)

2.1 總體架構(gòu)

本工具采用B/S架構(gòu)，基于國(guó)家電網(wǎng)統(tǒng)一應(yīng)用開(kāi)發(fā)(SG-UAP)平臺(tái)研發(fā)，研發(fā)語(yǔ)言是JAVA，項(xiàng)目的后臺(tái)框架是SSH框架構(gòu)成的三層架構(gòu)，前端使用Easyui等技術(shù)進(jìn)行搭建，數(shù)據(jù)庫(kù)采用Oracle數(shù)據(jù)庫(kù)與ElasticSearch數(shù)據(jù)庫(kù)，消息隊(duì)列使用Kafka組件，緩存使用Redis組件，本工具所有操作均在瀏覽器中完成。

2.2 系統(tǒng)架構(gòu)

如圖1所示。

圖1 系統(tǒng)架構(gòu)圖

如上圖所示。系統(tǒng)的主要功能有資源管理、自動(dòng)化巡檢、智能告警、性能監(jiān)測(cè)、日志分析五大模塊。主要被采集的對(duì)象為Oracle數(shù)據(jù)庫(kù)。本地?cái)?shù)據(jù)庫(kù)存儲(chǔ)由兩部分組成，分別是結(jié)構(gòu)化存儲(chǔ)Oracle數(shù)據(jù)庫(kù)與非結(jié)構(gòu)化存儲(chǔ)ElasticSearch數(shù)據(jù)庫(kù)。其中ElasticSearch是一個(gè)能夠提供高并發(fā)、易擴(kuò)展、高可用的分布式搜索引擎,能夠?yàn)橄到y(tǒng)提供一個(gè)易于查詢(xún)和共享的接口,成為了企業(yè)級(jí)大數(shù)據(jù)解決方案的關(guān)鍵工具[1]。在此工具中主要用于存儲(chǔ)數(shù)據(jù)庫(kù)時(shí)序數(shù)列指標(biāo)數(shù)據(jù)與數(shù)據(jù)庫(kù)告警日志，極大的提高了查詢(xún)效率與存儲(chǔ)上限。

由巡檢工具客戶端發(fā)起采集請(qǐng)求，采集服務(wù)端響應(yīng)客戶端的請(qǐng)求，從數(shù)據(jù)庫(kù)中遠(yuǎn)程的多線程獲取采集信息。

系統(tǒng)主要功能為資源管理、自動(dòng)化巡檢、智能告警、性能監(jiān)測(cè)、日志分析五大模塊。

3 功能設(shè)計(jì)

3.1 數(shù)據(jù)采集

數(shù)據(jù)采集主要由指標(biāo)數(shù)據(jù)采集與日志數(shù)據(jù)庫(kù)采集兩大類(lèi)采集構(gòu)成。Oracle數(shù)據(jù)庫(kù)深度巡檢工具將數(shù)據(jù)采集部分獨(dú)立部署，通過(guò)遠(yuǎn)程調(diào)用發(fā)送指定參數(shù)則可以進(jìn)行數(shù)據(jù)的采集。所有的數(shù)據(jù)采集均是通過(guò)協(xié)議來(lái)完成端到端的遠(yuǎn)程采集，其中的使用的主要協(xié)議是java數(shù)據(jù)庫(kù)連接協(xié)議(Java DataBase Connectivity，JDBC)、安全外殼協(xié)議(Secure Shell，SSH)以及簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議(Simple Network Management Protocol，SNMP)。通過(guò)多線程技術(shù)提升采集效率，將采集配置信息發(fā)送至采集服務(wù)消息隊(duì)列上，通過(guò)消息隊(duì)列可在一定程度上使數(shù)據(jù)實(shí)時(shí)計(jì)算效率明顯提高。由多個(gè)線程去處理消息隊(duì)列中的數(shù)據(jù)[2]，去指定的數(shù)據(jù)庫(kù)上進(jìn)行數(shù)據(jù)采集，將返回的結(jié)果放入消息隊(duì)列中再返回至客戶端，客戶端經(jīng)過(guò)數(shù)據(jù)格式化處理后進(jìn)行告警判斷，并存入相應(yīng)的數(shù)據(jù)庫(kù)中。

3.2 資源管理

資源管理功能模塊作為此工具的基礎(chǔ)，統(tǒng)一管理了數(shù)據(jù)庫(kù)資源信息。主要依托于現(xiàn)有配置管理數(shù)據(jù)庫(kù)(Configuration Management Databse，CMDB)所構(gòu)造，是真實(shí)環(huán)境中服務(wù)資產(chǎn)在軟件系統(tǒng)中的邏輯體現(xiàn)，其目的是有效管理資產(chǎn)，并實(shí)現(xiàn)對(duì)其他服務(wù)管理流程的支持[3]。

其中主要涉及到數(shù)據(jù)庫(kù)集群管理、數(shù)據(jù)庫(kù)節(jié)點(diǎn)管理、主機(jī)管理、業(yè)務(wù)應(yīng)用管理、連接配置信息管理、運(yùn)維人員管理等模塊構(gòu)成。其中以節(jié)點(diǎn)管理為核心，節(jié)點(diǎn)部署于主機(jī)上，完善連接配置信息與運(yùn)維人員信息，比如Oracle數(shù)據(jù)庫(kù)連接配置需要從而能夠?yàn)閿?shù)據(jù)采集與巡檢提供支撐。多節(jié)點(diǎn)隸屬于數(shù)據(jù)集群，業(yè)務(wù)應(yīng)用與數(shù)據(jù)庫(kù)集群關(guān)聯(lián)。

3.3 自動(dòng)化巡檢

本系統(tǒng)通過(guò)quartz組件按照設(shè)定的巡檢頻率對(duì)數(shù)據(jù)庫(kù)進(jìn)行定時(shí)巡檢，定時(shí)巡檢是基于準(zhǔn)確時(shí)間點(diǎn)的自動(dòng)化調(diào)度,同時(shí)也可以根據(jù)用戶自己設(shè)定的時(shí)間間隔或設(shè)定的調(diào)度次數(shù)自動(dòng)執(zhí)行任務(wù)[4]。對(duì)巡檢結(jié)果進(jìn)行查詢(xún)分析，能按指標(biāo)輸出每次的巡檢報(bào)告。將監(jiān)控指標(biāo)固定于工具中，為運(yùn)維人員巡檢提供依據(jù)。運(yùn)維人員可根據(jù)實(shí)際需求，自行設(shè)定的巡檢指標(biāo)和頻率，實(shí)現(xiàn)巡檢指標(biāo)可配置，巡檢報(bào)告可定制。

自動(dòng)化巡檢中主要巡檢Oracle數(shù)據(jù)庫(kù)以下指標(biāo)：表空間、文件系統(tǒng)、集群狀態(tài)、監(jiān)聽(tīng)狀態(tài)、等待事件、索引狀態(tài)、運(yùn)行時(shí)長(zhǎng)、監(jiān)聽(tīng)日志大小、歸檔日志占用率、連接數(shù)等指標(biāo)。

3.4 智能告警

在實(shí)際運(yùn)維中，運(yùn)維人員通過(guò)人工方式不能第一時(shí)間發(fā)現(xiàn)數(shù)據(jù)庫(kù)故障和隱患，對(duì)故障不能快速定位和及時(shí)處置，影響了數(shù)據(jù)庫(kù)的正常使用。而智能告警通過(guò)智能預(yù)警功能第一時(shí)間能發(fā)現(xiàn)故障和隱患，將運(yùn)維管理關(guān)口前移，做到主動(dòng)運(yùn)維，提高用戶滿意度。

通過(guò)預(yù)先指定告警規(guī)則，規(guī)則創(chuàng)建基于各維護(hù)專(zhuān)家經(jīng)驗(yàn)，根據(jù)告警的發(fā)生規(guī)律實(shí)現(xiàn)關(guān)聯(lián)規(guī)則的自動(dòng)調(diào)整[5]。告警主要分為兩大類(lèi)，閾值告警可動(dòng)態(tài)調(diào)整的為閾值調(diào)整。比如針對(duì)表空間使用率告警，隨著一段時(shí)間的穩(wěn)定運(yùn)行，閾值也會(huì)隨之降低或上升，從而更準(zhǔn)確的進(jìn)行告警。事件告警則是屬于嚴(yán)重的告警，如數(shù)據(jù)庫(kù)監(jiān)聽(tīng)或集群狀態(tài)異常，則表明數(shù)據(jù)庫(kù)出現(xiàn)故障，需要立即進(jìn)行處理。

3.5 性能監(jiān)測(cè)

運(yùn)維人員通過(guò)性能監(jiān)測(cè)列表觀察數(shù)據(jù)庫(kù)的性能和負(fù)載情況,本工具采用時(shí)間模型建立Oracle數(shù)據(jù)庫(kù)性能模型，以性能負(fù)載為主線，快速定位性能瓶頸，實(shí)現(xiàn)端到端性能監(jiān)控。通過(guò)此模型可以精準(zhǔn)追溯到性能瓶頸。其中涉及的性能指標(biāo)主要為用戶響應(yīng)時(shí)長(zhǎng)、等待事件、連接數(shù)情況、緩存命中率、DB TIME等指標(biāo)。根據(jù)指標(biāo)和日期建立基線。數(shù)據(jù)庫(kù)運(yùn)維人員根據(jù)選擇的關(guān)鍵指標(biāo)和日期建立基線。便于日后性能的比對(duì)分析。

除了數(shù)據(jù)庫(kù)指標(biāo)，數(shù)據(jù)庫(kù)對(duì)象也同時(shí)體現(xiàn)出數(shù)據(jù)庫(kù)性能情況。由于數(shù)據(jù)庫(kù)中對(duì)象眾多，我們對(duì)系統(tǒng)影響比較大的對(duì)象重點(diǎn)關(guān)注，一旦重點(diǎn)關(guān)注的對(duì)象發(fā)生突變我們能夠及時(shí)掌握，防患于未然。這里我們選取了表空間、表、索引、SQL和長(zhǎng)事務(wù)五類(lèi)數(shù)據(jù)庫(kù)對(duì)象作為性能分析的依據(jù)。對(duì)表和索引的訪問(wèn)頻率的記錄便于為后續(xù)制定歷史數(shù)據(jù)歸檔策略提供依據(jù)；對(duì)未使用的索引也能及時(shí)清理，改善性能；對(duì)于執(zhí)行次數(shù)較多或?qū)ο到y(tǒng)性能影響較大的SQL加入重點(diǎn)關(guān)注，監(jiān)測(cè)執(zhí)行計(jì)劃，并建立sql基線，發(fā)生變更及時(shí)預(yù)警；對(duì)長(zhǎng)事務(wù)的監(jiān)控能夠及時(shí)掌握可能對(duì)數(shù)據(jù)庫(kù)的影響。

3.6 日志分析

對(duì)Oracle告警日志、CRS日志、監(jiān)聽(tīng)日志和ASM日志，通過(guò)采集服務(wù)進(jìn)行對(duì)日志文件進(jìn)行長(zhǎng)連接，實(shí)時(shí)的讀取內(nèi)容并進(jìn)行存儲(chǔ)。由于數(shù)據(jù)庫(kù)的日志都是非結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)需要大量空間，另外全文檢索效率也不高，對(duì)于這些大量日志需要構(gòu)建非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一存儲(chǔ)管理并建立搜索引擎，對(duì)日志中錯(cuò)誤信息進(jìn)行分類(lèi)分級(jí)管理。這里我們使用了ElasticSearch作為日志存儲(chǔ)的數(shù)據(jù)庫(kù)。

能根據(jù)錯(cuò)誤關(guān)鍵字分析診斷，一旦發(fā)現(xiàn)錯(cuò)誤及時(shí)觸發(fā)預(yù)警。能夠根據(jù)開(kāi)始結(jié)束時(shí)間實(shí)時(shí)的查詢(xún)不同類(lèi)型的數(shù)據(jù)庫(kù)日志，并且提供豐富的圖表直觀的查詢(xún)。

4 總結(jié)

本文結(jié)合當(dāng)前流行框架技術(shù)，深入挖掘Oracle數(shù)據(jù)庫(kù)運(yùn)維經(jīng)驗(yàn)，通過(guò)Oracle數(shù)據(jù)庫(kù)深度巡檢工具的設(shè)計(jì)與實(shí)現(xiàn)，實(shí)現(xiàn)了數(shù)據(jù)庫(kù)資源統(tǒng)一管理、數(shù)據(jù)自動(dòng)采集、全天候自動(dòng)化巡檢、數(shù)據(jù)庫(kù)性能監(jiān)測(cè)分析、閾值觸發(fā)告警、日志智能分析等功能，從而幫助數(shù)據(jù)庫(kù)運(yùn)維人員進(jìn)行高效的日常運(yùn)維管理，運(yùn)行狀態(tài)監(jiān)控診斷，優(yōu)化數(shù)據(jù)庫(kù)運(yùn)行性能。極大地提高了Oracle數(shù)據(jù)庫(kù)運(yùn)維管理能力，故障處理能力，達(dá)到了預(yù)期目標(biāo)。