業(yè)務(wù)支撐應(yīng)急切換管理系統(tǒng)的構(gòu)建

邵桂偉 王敏秋 李 磊

（1.合肥學(xué)院 數(shù)學(xué)與物理系，安徽 合肥 230601；2.一汽轎車股份有限公司 質(zhì)量保證部市場(chǎng)質(zhì)量分析與促進(jìn)室，吉林 長(zhǎng)春 130012）

0 引言

業(yè)務(wù)支撐系統(tǒng)對(duì)健壯性、穩(wěn)定性和持續(xù)性運(yùn)行的要求非常高，大部分業(yè)務(wù)支撐系統(tǒng)或其子系統(tǒng)都配備了應(yīng)急系統(tǒng)[1-4]，以備在生產(chǎn)系統(tǒng)發(fā)生故障的情況下來臨時(shí)替代工作。從生產(chǎn)系統(tǒng)切換到應(yīng)急系統(tǒng)需要滿足一定的條件，并需要一個(gè)切換過程。及時(shí)地發(fā)現(xiàn)系統(tǒng)故障并由系統(tǒng)自動(dòng)快速切換到應(yīng)急系統(tǒng)，可以將故障的影響面減少到最小。但是如果不能及時(shí)發(fā)現(xiàn)故障并實(shí)現(xiàn)應(yīng)急系統(tǒng)快速切換，即使配備的應(yīng)急系統(tǒng)再?gòu)?qiáng)大也無濟(jì)于事。

目前，應(yīng)急管理系統(tǒng)在不同行業(yè)中有所應(yīng)用。很多行業(yè)的生產(chǎn)系統(tǒng)中設(shè)置了應(yīng)急模塊[5-10]，通過實(shí)際應(yīng)用及反饋發(fā)現(xiàn)這些模塊的響應(yīng)速度比較慢，不能在很短的時(shí)間內(nèi)對(duì)突發(fā)情況進(jìn)行響應(yīng)并處理；有的應(yīng)急模塊僅僅能起到警報(bào)作用，不能對(duì)突發(fā)情況進(jìn)行處理，同時(shí)警報(bào)后，原有的生產(chǎn)系統(tǒng)處于暫停狀態(tài)，直到警報(bào)處理完成或者人為操作才能恢復(fù)至正常工作狀態(tài)。這些問題在一定程度上影響了工作效率和服務(wù)質(zhì)量。因此，如何由系統(tǒng)自動(dòng)判定是否滿足應(yīng)急系統(tǒng)切換條件，如何實(shí)現(xiàn)快速切換，甚至是無縫切換，這是亟待解決的問題。

1 應(yīng)急管理系統(tǒng)的必要性

通過對(duì)歷史故障案例[11-12]分析表明，不難發(fā)現(xiàn)絕大部分重大故障都是由于中間件、數(shù)據(jù)庫的不可用或性能下降導(dǎo)致，當(dāng)然，導(dǎo)致不可用或性能下降的原因可能是網(wǎng)絡(luò)問題、主機(jī)硬件問題、存儲(chǔ)問題或應(yīng)用程序性能等，但表象大都是中間件或數(shù)據(jù)庫的不可用問題，要么是拒絕訪問，要么是訪問速度特別慢。出現(xiàn)這些問題時(shí)，可能需要將正式的生產(chǎn)系統(tǒng)切換至應(yīng)急系統(tǒng)，以保證生產(chǎn)業(yè)務(wù)不間斷，不影響用戶感知。

本研究開發(fā)的應(yīng)急切換管理系統(tǒng)[13]擬解決業(yè)務(wù)支撐系統(tǒng)中應(yīng)急系統(tǒng)的快速切換，在最短的時(shí)間內(nèi)將系統(tǒng)切換至應(yīng)急系統(tǒng)，將故障的影響面降至最低；同時(shí)，收集中間件和數(shù)據(jù)庫的可用性和性能數(shù)據(jù)，對(duì)系統(tǒng)的性能趨勢(shì)進(jìn)行分析預(yù)警，防患于未然。

2 實(shí)現(xiàn)方案及關(guān)鍵技術(shù)

2.1 系統(tǒng)功能架構(gòu)

業(yè)務(wù)支撐應(yīng)急切換管理系統(tǒng)由五大模塊組成，分別為任務(wù)管理模塊、監(jiān)控對(duì)象管理模塊、切換條件管理模塊、應(yīng)急系統(tǒng)開關(guān)管理模塊、系統(tǒng)主動(dòng)探測(cè)模塊，系統(tǒng)功能模塊圖如圖1所示。其中各模塊功能如下：

圖1 系統(tǒng)功能模塊圖

切換條件管理模塊：配置每個(gè)應(yīng)急系統(tǒng)的切換條件，一般是被監(jiān)控對(duì)象組、可用性、響應(yīng)時(shí)間的組合。例如應(yīng)急系統(tǒng)A滿足以下任意一個(gè)條件則需進(jìn)行應(yīng)急系統(tǒng)切換：（1）中間件B不可用；（2）中間件B連續(xù)三次響應(yīng)時(shí)間超過10秒；（3）數(shù)據(jù)庫C不可用；（4）數(shù)據(jù)庫C連續(xù)三次查詢響應(yīng)時(shí)間小于10秒。

應(yīng)急系統(tǒng)開關(guān)管理模塊：保存各個(gè)應(yīng)急系統(tǒng)開關(guān)，通過開關(guān)打開或關(guān)閉實(shí)現(xiàn)向應(yīng)急系統(tǒng)發(fā)送切換指令，實(shí)現(xiàn)應(yīng)急系統(tǒng)的切換過程。

系統(tǒng)主動(dòng)探測(cè)模塊：實(shí)現(xiàn)對(duì)監(jiān)控對(duì)象的主動(dòng)探測(cè)功能。例如通過調(diào)用指定的服務(wù)實(shí)現(xiàn)對(duì)中間件的探測(cè)，通過查詢指定表的數(shù)據(jù)實(shí)現(xiàn)對(duì)數(shù)據(jù)庫的探測(cè)等。

2.2 系統(tǒng)實(shí)現(xiàn)方案

2.2.1 系統(tǒng)建設(shè)

業(yè)務(wù)支撐應(yīng)急切換管理系統(tǒng)規(guī)模小，運(yùn)行時(shí)需要的系統(tǒng)資源較少，可以部署在生產(chǎn)環(huán)境網(wǎng)絡(luò)的任意一臺(tái)主機(jī)上而不影響原有主機(jī)上的應(yīng)用，只要管理系統(tǒng)管理的開關(guān)信息可以被各個(gè)生產(chǎn)系統(tǒng)和應(yīng)急系統(tǒng)訪問即可，例如開關(guān)信息可以存放到指定的數(shù)據(jù)庫上，或者通過SOCKET通信或FTP文件方式推送到各生產(chǎn)系統(tǒng)或應(yīng)急系統(tǒng)；各生產(chǎn)系統(tǒng)或應(yīng)急系統(tǒng)通過輪詢應(yīng)急開關(guān)實(shí)現(xiàn)應(yīng)急系統(tǒng)切換。

業(yè)務(wù)支撐應(yīng)急切換管理系統(tǒng)的核心模塊是系統(tǒng)主動(dòng)探測(cè)模塊，如何設(shè)計(jì)對(duì)象探測(cè)邏輯和探測(cè)過程是本系統(tǒng)成敗的關(guān)鍵。假設(shè)對(duì)某數(shù)據(jù)庫進(jìn)行主動(dòng)探測(cè)，當(dāng)連續(xù)N輪探測(cè)不可用時(shí)，需要切換到應(yīng)急系統(tǒng)；連續(xù)M輪探測(cè)可用時(shí)，需要將應(yīng)急系統(tǒng)切換至生產(chǎn)系統(tǒng)。

系統(tǒng)的處理步驟如下：

（1）初始化成功計(jì)數(shù)器為M+1，失敗計(jì)數(shù)器為0；

（2）檢測(cè)數(shù)據(jù)庫判斷是否可用，若可用，成功計(jì)數(shù)器值增1，失敗計(jì)數(shù)器值清0；否則失敗計(jì)數(shù)器值增1；

（3）判斷成功計(jì)數(shù)器的值，若為M，則轉(zhuǎn)步驟5；

（4）判斷失敗計(jì)數(shù)器的值，若值為N，則轉(zhuǎn)步驟6；

（5）關(guān)閉應(yīng)急開關(guān)，切回生產(chǎn)系統(tǒng)，跳轉(zhuǎn)至步驟2；

（6）打開應(yīng)急開關(guān)，切換到應(yīng)急系統(tǒng)，成功計(jì)數(shù)器清0，跳轉(zhuǎn)至步驟2。

數(shù)據(jù)庫主動(dòng)探測(cè)[11]可采用TNSPING命令和連接數(shù)據(jù)庫進(jìn)行SQL語句查詢兩種方法相結(jié)合使用，探測(cè)的效率和準(zhǔn)確率都比較高；中間件主動(dòng)探測(cè)則可采用調(diào)用服務(wù)的方式進(jìn)行探測(cè)。將各類探測(cè)對(duì)象的結(jié)果數(shù)據(jù)匯總，按照一定的邏輯判定，即可實(shí)現(xiàn)由系統(tǒng)自動(dòng)完成應(yīng)急系統(tǒng)的切換過程。系統(tǒng)探測(cè)處理流程圖如圖2所示。

2.2.2 技術(shù)實(shí)現(xiàn)

本系統(tǒng)采用C語言結(jié)合shell腳本實(shí)現(xiàn)。利用C語言強(qiáng)大的系統(tǒng)調(diào)用和對(duì)信號(hào)量處理的方便性，以及C語言較高的程序執(zhí)行效率，來實(shí)現(xiàn)應(yīng)急切換管理系統(tǒng)的主動(dòng)探測(cè)模塊；利用shell腳本移植的方便性和開發(fā)的簡(jiǎn)單性來實(shí)現(xiàn)對(duì)主動(dòng)探測(cè)邏輯的封裝。

（1）主動(dòng)探測(cè)模塊實(shí)現(xiàn)的中間件、數(shù)據(jù)庫的可用性探測(cè)，由C語言實(shí)現(xiàn)。使用C語言的時(shí)鐘設(shè)置功能和信號(hào)量傳送機(jī)制，規(guī)避在對(duì)中間件、數(shù)據(jù)庫的探測(cè)過程中的無限等待或等待超時(shí)、等待返回時(shí)間過長(zhǎng)問題，實(shí)現(xiàn)在任意指定的時(shí)間內(nèi)如果被探測(cè)對(duì)象無任何返回，則主動(dòng)探測(cè)程序自身中斷探測(cè)并拋出超時(shí)信息。

（2）Shell腳本具有移植方便性，在各類UNIX系統(tǒng)間移植基本無需改動(dòng)。對(duì)數(shù)據(jù)庫主動(dòng)探測(cè)邏輯封裝示例如圖3所示：

3 系統(tǒng)實(shí)施及實(shí)驗(yàn)結(jié)果分析

3.1 系統(tǒng)實(shí)施

XX通信公司在集團(tuán)公司的指導(dǎo)下，自2017年6月份開始啟動(dòng)了應(yīng)急切換系統(tǒng)，實(shí)施主動(dòng)業(yè)務(wù)探測(cè)，并于2017年9月份完成系統(tǒng)部署，目前已實(shí)現(xiàn)了PUK碼查詢、實(shí)時(shí)話費(fèi)查詢、客戶信息查詢、客戶資料變更、強(qiáng)制停開機(jī)、換卡、換卡回滾、用戶信息查詢、用戶資料變更、積分查詢、繳費(fèi)、繳費(fèi)回滾、詳單查詢、賬單查詢、帳戶信息查詢、帳戶資料變更共計(jì)16類重點(diǎn)業(yè)務(wù)的主動(dòng)業(yè)務(wù)探測(cè)監(jiān)控。手機(jī)支付應(yīng)急接口系統(tǒng)和應(yīng)急切換管理系統(tǒng)組網(wǎng)結(jié)構(gòu)如圖4所示。

省一級(jí)接口系統(tǒng)通過應(yīng)急開關(guān)的狀態(tài)來決定走正常繳費(fèi)流程還是應(yīng)急繳費(fèi)流程。應(yīng)急開關(guān)關(guān)閉，則走正常的繳費(fèi)流程，調(diào)用手機(jī)支付繳費(fèi)接口系統(tǒng)；應(yīng)急開關(guān)打開，走手機(jī)支付繳費(fèi)應(yīng)急接口系統(tǒng)。應(yīng)急切換管理系統(tǒng)對(duì)三個(gè)方面進(jìn)行主動(dòng)探測(cè)：手機(jī)支付繳費(fèi)接口應(yīng)用系統(tǒng)的可用性和性能、中間件服務(wù)器的可用性和性能、數(shù)據(jù)庫服務(wù)器的可用性和性能。對(duì)于這探測(cè)的三個(gè)方面，在開關(guān)關(guān)閉情況下，任何一方面連續(xù)三次不可用或響應(yīng)時(shí)間超過10秒則將應(yīng)急開關(guān)打開，實(shí)現(xiàn)自動(dòng)切換到應(yīng)急系統(tǒng)；在開關(guān)打開情況下，三方面探測(cè)全部連續(xù)10次可用且響應(yīng)時(shí)間均小于10秒，則將應(yīng)急開關(guān)關(guān)閉，實(shí)現(xiàn)自動(dòng)切回正常生產(chǎn)系統(tǒng)。主動(dòng)探測(cè)流程從任務(wù)定制開始，到探測(cè)結(jié)束大致經(jīng)歷7個(gè)步驟，如圖5所示。

圖2 應(yīng)急切換管理系統(tǒng)主動(dòng)探測(cè)邏輯示意圖

圖3 數(shù)據(jù)庫主動(dòng)探測(cè)示例

圖4 手機(jī)支付應(yīng)急接口應(yīng)用系統(tǒng)和應(yīng)急切換管理系統(tǒng)組網(wǎng)結(jié)構(gòu)

（1）首先定制探測(cè)任務(wù)，如一個(gè)查詢?nèi)蝿?wù)等。任務(wù)定制完成后，需要配置任務(wù)的調(diào)度起始時(shí)間和每次調(diào)度的間隔時(shí)間；

（2）作業(yè)調(diào)度模塊掃描到有待執(zhí)行的任務(wù)后，將任務(wù)進(jìn)行加載執(zhí)行；

（3）任務(wù)執(zhí)行過程中，調(diào)用業(yè)務(wù)探測(cè)接口模擬終端向被探測(cè)系統(tǒng)發(fā)起業(yè)務(wù)請(qǐng)求，與被探測(cè)系統(tǒng)進(jìn)行交互完成業(yè)務(wù)辦理過程；

（4）日志記錄模塊和探測(cè)數(shù)據(jù)記錄模塊在業(yè)務(wù)探測(cè)接口與被探測(cè)系統(tǒng)交互過程，對(duì)相關(guān)的日志和數(shù)據(jù)進(jìn)行記錄；

（5）當(dāng)一個(gè)任務(wù)調(diào)用業(yè)務(wù)探測(cè)接口與被探測(cè)系統(tǒng)交互完畢后，日志記錄模塊和探測(cè)數(shù)據(jù)記錄模塊會(huì)將相關(guān)數(shù)據(jù)送給數(shù)據(jù)處理模塊，進(jìn)行數(shù)據(jù)格式化和篩選過濾，并將處理后的數(shù)據(jù)送給數(shù)據(jù)展示模塊和告警模塊；

（6）數(shù)據(jù)展示模塊將功能可用性指標(biāo)和性能指標(biāo)以報(bào)表形式進(jìn)行展示；

（7）告警模塊根據(jù)探測(cè)結(jié)果數(shù)據(jù)決定是否進(jìn)行告警，如果有業(yè)務(wù)探測(cè)失敗，或者有業(yè)務(wù)耗時(shí)過長(zhǎng)，則進(jìn)行告警。

3.2 實(shí)驗(yàn)結(jié)果及分析

圖5 主動(dòng)探測(cè)過程圖示

一輪主動(dòng)探測(cè)任務(wù)結(jié)束后，會(huì)得到一組數(shù)據(jù)，該組數(shù)據(jù)包含了任務(wù)執(zhí)行過程中是否出錯(cuò)的信息和任務(wù)執(zhí)行的各個(gè)環(huán)節(jié)所消耗的時(shí)間信息；數(shù)據(jù)處理即是完成對(duì)此數(shù)據(jù)的分析和展示的過程。通過探測(cè)結(jié)果數(shù)據(jù)處理，可以得到兩個(gè)指標(biāo)，一個(gè)是此業(yè)務(wù)的功能指標(biāo)，如圖6所示，即功能是否正常；另一個(gè)是此業(yè)務(wù)的性能指標(biāo)，如圖7所示。

圖6 主動(dòng)業(yè)務(wù)探測(cè)功能指標(biāo)

圖7 主動(dòng)業(yè)務(wù)探測(cè)性能指標(biāo)

在性能指標(biāo)（圖7）中，系統(tǒng)記錄每半個(gè)小時(shí)各個(gè)業(yè)務(wù)環(huán)節(jié)所消耗的時(shí)間，即此業(yè)務(wù)辦理所消耗的時(shí)間。灰色區(qū)域數(shù)字代表探測(cè)的時(shí)間點(diǎn)，如0030，0點(diǎn)30分。黃色區(qū)域?yàn)榫唧w的業(yè)務(wù)辦理時(shí)間（單位：秒）。當(dāng)系統(tǒng)探測(cè)到某些業(yè)務(wù)功能不可用時(shí)，或某些業(yè)務(wù)辦理性能與上次相比下降明顯，或與配置的閾值相差較大，則會(huì)觸發(fā)警告。相關(guān)人員接收到警告，則進(jìn)行對(duì)應(yīng)維護(hù)處理。

自本系統(tǒng)上線至今，已累計(jì)進(jìn)行故障預(yù)警12次，其中6次預(yù)警經(jīng)排查后確認(rèn)系統(tǒng)存在重大故障隱患，使得故障隱患得到及時(shí)排除，確保了系統(tǒng)的安全穩(wěn)定運(yùn)行，提升了業(yè)務(wù)支撐系統(tǒng)的服務(wù)質(zhì)量。各類主動(dòng)探測(cè)數(shù)據(jù)如表1所示。

表1 主動(dòng)探測(cè)告警情況表

4 系統(tǒng)評(píng)價(jià)

研究開發(fā)的應(yīng)急切換管理系統(tǒng)在系統(tǒng)功能方面具有獨(dú)特優(yōu)勢(shì)：

（1）實(shí)現(xiàn)了應(yīng)急系統(tǒng)的被動(dòng)切換向主動(dòng)切換的轉(zhuǎn)變。管理系統(tǒng)實(shí)時(shí)主動(dòng)探測(cè)被監(jiān)控對(duì)象，記錄主動(dòng)探測(cè)過程中各種可用性和性能數(shù)據(jù)，并自動(dòng)對(duì)記錄的功能和性能數(shù)據(jù)進(jìn)行分析，一旦發(fā)現(xiàn)異常即產(chǎn)生告警信息，并可自動(dòng)切換至應(yīng)急系統(tǒng)。

（2）實(shí)現(xiàn)了應(yīng)急系統(tǒng)由人工慢速切換向系統(tǒng)自動(dòng)快速切換方式的轉(zhuǎn)變。業(yè)務(wù)支持應(yīng)急切換管理系統(tǒng)利用主動(dòng)探測(cè)功能，可在第一時(shí)間獲取系統(tǒng)的各類數(shù)據(jù)，可在故障產(chǎn)生的第一時(shí)間內(nèi)將生產(chǎn)系統(tǒng)切換到應(yīng)急系統(tǒng)，甚至實(shí)現(xiàn)無縫切換。

（3）對(duì)現(xiàn)有系統(tǒng)零改造、零影響。業(yè)務(wù)支持應(yīng)急切換管理系統(tǒng)對(duì)現(xiàn)有系統(tǒng)完全解耦，是相對(duì)獨(dú)立的系統(tǒng)，無需對(duì)業(yè)務(wù)支撐系統(tǒng)進(jìn)行任何改造；另一方面，管理系統(tǒng)對(duì)對(duì)象的探測(cè)不是壓力測(cè)試，作為單用戶操作不增加系統(tǒng)壓力，對(duì)現(xiàn)有系統(tǒng)不產(chǎn)生任何影響，全流程自動(dòng)化，無需人工干預(yù)。

對(duì)比于原有業(yè)務(wù)支撐系統(tǒng)的應(yīng)急功能，本文開發(fā)的應(yīng)急切換管理系統(tǒng)能夠?qū)崿F(xiàn)系統(tǒng)或設(shè)備故障的自動(dòng)發(fā)現(xiàn)及告警；在出現(xiàn)問題時(shí)，可以自動(dòng)切換到應(yīng)急系統(tǒng)；能夠預(yù)測(cè)預(yù)警系統(tǒng)或設(shè)備的性能或故障趨勢(shì)，同時(shí)將故障帶來的影響將至最低。該業(yè)務(wù)支撐應(yīng)急切換管理系統(tǒng)規(guī)模小，運(yùn)行時(shí)需要的系統(tǒng)資源較少，可以部署在生產(chǎn)環(huán)境網(wǎng)絡(luò)的任意一臺(tái)主機(jī)上而不影響原有主機(jī)上的應(yīng)用。但同時(shí)要求管理系統(tǒng)管理的開關(guān)信息可以被各個(gè)生產(chǎn)系統(tǒng)和應(yīng)急系統(tǒng)訪問。

5 結(jié)語

論文在分析了傳統(tǒng)的應(yīng)急系統(tǒng)的弊端后，創(chuàng)新性的開發(fā)了一個(gè)實(shí)用的應(yīng)急切換管理系統(tǒng)。該系統(tǒng)能夠解決傳統(tǒng)的應(yīng)急系統(tǒng)滯后性問題，實(shí)現(xiàn)了系統(tǒng)或設(shè)備故障的自動(dòng)發(fā)現(xiàn)及告警、應(yīng)急系統(tǒng)的自動(dòng)切換和倒回、系統(tǒng)或設(shè)備的性能或故障趨勢(shì)預(yù)測(cè)預(yù)警，同時(shí)該系統(tǒng)實(shí)現(xiàn)成本低，可以有效縮短應(yīng)急系統(tǒng)的切換時(shí)間，減少或消除因系統(tǒng)故障帶來的負(fù)面影響并將此影響度將至最低。