基于監控日志的航班查詢系統可靠性評估方法

丁建立 明 卉 王 靜

(中國民航大學計算機科學與技術學院 天津 300300)

基于監控日志的航班查詢系統可靠性評估方法

丁建立 明 卉*王 靜

(中國民航大學計算機科學與技術學院 天津 300300)

針對運行階段的系統軟件可靠性評估理論和評估方法的研究缺失，提出一種基于系統監控日志的軟件可靠性評估方法。以中國航信的航班查詢系統為可靠性評估研究對象，首先解析該系統的監控日志，提出基于監控日志的失效數據提取方法。其次，基于航班查詢系統的特點和可靠性數據的分析結果，構建了航班查詢系統可靠性模型。最后，實驗驗證了該可靠性模型是可行的，并利用此模型評估了航班查詢系統的可靠性，形成了系統軟件可靠性評估過程方法。

可靠性評估 可靠性模型 監控日志 失效數據

0 引 言

隨著信息技術的飛速發展，系統軟件已融入到國防、交通、通信等各個領域，且在這些領域中起著核心作用，其一旦出現故障，就會帶來不同程度的損失。因此，這就對系統軟件的可靠性提出了高要求，評估其可靠性就變得愈發重要。航班查詢系統是中國航信自主研發的系統，航班查詢主要面向航空公司銷售人員、機票代理人和終端旅客，主要業務范疇包括航班計劃及座位查詢、動態聯程計算、特殊服務查詢、附加服務查詢、非航空產品查詢等。該系統具有數據處理量大、實時性強、信息準確性要求高、后臺交互量大、前臺并發操作量大等特征，這些給該系統埋下了難以預計的可靠性隱患。

軟件可靠性是指在特定條件下和在規定時間內，軟件不引起系統故障能實現所要求功能的能力[1]。近年來，國內在可靠性方面的研究多集中在基于公共失效數據集對經典可靠性模型的改進方面[2-5]，而對失效數據提取方法和可靠性評估理論應用方面的研究有所缺失。系統失效數據是評估系統軟件可靠性的關鍵，是構建可靠性模型、分析可靠性指標和探究可靠性提升方法的重要數據。文獻[6]提出了FMEDA失效數據獲取方法及幾種失效率計算方法。文獻[7]利用軟件測試后得到的缺陷數據算出了每個缺陷的失效率。文獻[8]提出從手機故障日志中提取某應用軟件的失效數據以實現評估該軟件可靠性的方法等。但是，這些研究中關于運行階段的系統軟件可靠性評估的研究，及關于基于失效數據構建可靠性模型的研究較少。因此，研究如何利用系統監控日志收集得到失效數據，及如何結合系統軟件特點及失效數據分析結果構建可靠性模型，就顯得非常有意義。

本文以中國航信的航班查詢系統為研究對象，首先在解析了監控日志數據之后，建立了失效數據提取方案，實現了對失效數據的提取。其次，基于航班查詢系統的特點和可靠性數據的分析結果，構建了航班查詢系統可靠性模型。最后，利用該可靠性模型評估了航班查詢系統的可靠性。

1 基于監控日志的失效數據提取方法

1.1 系統監控日志

監控系統是大型分布式系統中的關鍵子系統之一。它會從后臺實時抓取系統運行過程中產生的動態數據，其中就包括系統軟件的失效數據，以文本文件的方式存儲到相應數據庫中，這些文本文件就是系統的監控日志。系統每天會產生數量龐大的監控日志，其中包含大量的系統正常運行時捕獲的動態數據，也包含系統異常或故障時的動態數據，通過解析可以從中獲取很多有價值的信息[9]。

航班查詢系統異常時會產生告警，監控日志中詳盡地記錄著每一次的告警事件信息，圖1是一條完整的告警事件信息。解析監控日志后，發現每一條告警事件信息都以“finalAlarm”開頭，后面緊跟事件信息，包括eplId(應用程序接口ID)、appName(事件應用名)、eventTimestamp(事件時間戳)、eventIp(服務器IP地址)、eventContext(事件的具體內容)等。隨后是告警事件的具體信息，包括alarmId(告警ID)、appName(告警應用名)、alarmLevel(嚴重等級)、alarmInfo(告警事件內容)、alarmTimestamp(告警時間戳)等。系統發生告警的原因多種多樣，包括日志空間不足、響應超時、查詢請求失敗、查詢服務重啟頻繁、日志寫入頻繁、編碼缺陷等。

圖1 一條完整的航班查詢系統告警事件數據

1.2 失效數據提取

提取航班查詢系統的失效數據實際上就是提取監控日志中的告警關鍵數據，包括告警事件內容和告警時間戳。本文選擇在Eclipse 3.7開發環境下借助Java開發工具，根據制定的告警關鍵數據提取算法通過編寫程序代碼，實現從數據信息繁雜的監控日志中提取失效數據的目的。圖2是告警關鍵數據提取算法的流程。

圖2 航班查詢系統告警關鍵數據提取算法

表1是程序運行結束后得到的部分告警關鍵數據。告警關鍵數據通過簡單轉化可得到研究所需的可靠性數據，包括單位時間內失效個數和累計失效個數。以天為數據統計單位，共得到240天的航班查詢系統可靠性數據。表2為部分單位時間內失效個數和累計失效個數數據，其中計數序列號為以天為計數單位統計數據的序號。

表1 提取得到的告警關鍵數據

表2 部分單位時間內失效個數和累計失效個數數據

2 航班查詢系統可靠性模型構建

2.1 可靠性數據分析

可靠性數據分析通常包含可靠性增長特性分析和數據趨勢分析，其目的是為了判斷系統的可靠性為增長、下降、穩定或先下降后增長[10]。得到這一重要結論對基于該系統進行可靠性建模或可靠性模型選擇尤為重要。

(1) 可靠性增長特性分析

軟件可靠性增長表現為：隨著時間的推移，單位時間內失效發生的數量逐漸減少，失效時間間隔逐漸增加，且累計失效數曲線為凹型曲線。通過單位時間內的失效數、累計失效數或失效時間間隔數這三類統計數據，可初步判斷系統的可靠性為增長、減小或穩定。

圖3為航班查詢系統單位時間內失效數的變化曲線。因數據較多，為能清晰呈現出失效數據的特點，選取了40到120間的數據作為觀測數據。因系統失效的發生是隨機的，所以單位時間內失效數的變化也呈現出一定的隨機性。單位時間內的失效數多集中在0、1和2間變化，期間會隨機出現較大的波動。累計失效數隨時間的變化曲線如圖4所示，其整體呈現出可靠性增長特性，但局部數據體現出的可靠性增長特性并不明顯。

圖3 單位時間內失效數的變化

圖4 累計失效數的變化曲線

(2) 可靠性數據趨勢分析

軟件可靠性增長與否是可以通過趨勢分析判定的，計算Laplace因子的方法是最優的可靠性數據趨勢分析法，已被廣泛應用于可靠性研究。實驗數據種類不同，Laplace因子的計算方法就不同。本文選擇航班查詢系統的累計失效數作為趨勢分析的實驗數據。設N(k)為第k個觀測時間區間前檢測到的累計失效數，k∈[1,n]，其中n為總觀測次數，則Laplace 因子的計算公式[10]為：

(1)

Laplace因子隨時間序列的變化曲線如圖5所示，顯然Laplace因子值都小于0，這再次驗證了航班查詢系統的可靠性是增長的。

圖5 Laplace因子的變化

2.2 可靠性模型構建

通過分析，關于運行階段航班查詢系統的可靠性可以得出以下結論：

(1) 航班查詢系統的可靠性是增長的；

(2) 系統中的故障會隨機地在任意時刻造成系統軟件的失效；

(3) 系統運行相對穩定，系統內部殘留著極難被移除的軟件故障；

(4) 每當發生失效時，導致失效的錯誤會被移除，但同時會引入新的錯誤；

(5) 系統可靠度隨著系統中錯誤的減少而增長，但增長較為緩慢；

(6) 失效率會在錯誤被排除之后隨時間有所下降，但下降得較為緩慢；

(7) 失效之間的時間間隔是相互獨立的，且有一定的隨機性；

(8) 外場環境因素對系統的影響是隨機的。

根據以上結論可對航班查詢系統的可靠性模型進行研究。經過分析提出了如下可靠性模型假設條件：

(1) 系統故障移除過程是一個非齊次泊松過程[11-12]；

(2) 在小時間間隔(t,t+Δt)內，被檢測到的故障數與時間間隔Δt和t時刻時系統內殘留的故障數成正比；

(3) 故障被檢測到，且被成功移除的概率為P；

(4) 無論故障是否被成功完全移除，在排除檢測到的故障時都會引入新的故障，故障引入率為β(t),β(t)?P；

(5) 在檢測前，被檢測到的故障數為0；當檢測時間無限長時，可以被檢測到的故障數為一個常數a。

由假設1)、2)和3)，得：

(2)

其中，m(t)為失效均值函數；b(t)為t時刻時的故障檢測率，即單位時間內檢測到的故障數；a(t)為t時刻系統中的故障總數，包括已檢測到的故障、系統中殘留的故障、排錯過程中新引入的故障等。

(3)

式(3)可理解為：系統內總故障數會因為新故障的引入而有所增加。為了便于由式(2)和式(3)求解出m(t)，設殘留故障數為X(t)：

X(t)=a(t)-Pm(t)

(4)

故：

(5)

即：

(6)

因此，

(7)

(8)

由式(2)和式(3)，得：

(9)

為了簡化計算，設在排除故障過程中引入新故障的概率相同，即β(t)=β；故障檢測率為常數，即b(t)=b。因此：

X(t)=aexp[b(β-P)t]

(10)

(11)

(12)

其中，a>0,b>0,0<β<1,0

失效強度函數為：

λ(t)=abexp[b(β-P)t]

(13)

可靠度函數為：

(14)

通過極大似然估計法即可求得參數a、b、β和P的值，結果分別為：a=964，b=0.002 8，β=6.489e-05，P=0.257 2。

3 航班查詢系統可靠性評估

圖6是基于可靠性模型對提取的失效數據的擬合曲線，通過擬合可確定可靠性模型的合理性。

圖6 可靠性模型擬合曲線

另外，失效強度和可靠度是可靠性評估指標中最重要的兩個指標，下面從這兩個指標出發分析航班查詢系統的可靠性。

(1) 失效強度

失效強度的數學意義是軟件失效數均值隨時間的變化率，其物理意義是單位時間內發生的失效數。失效強度越大說明該系統的可靠性越低。圖7是失效強度在4 000～8 000天間的變化情況，可清楚地發現失效強度以指數形式遞減。在理想情況下，失效強度會隨時間逐漸減小，且遞減速率到系統運行后期會越來越小，近似接近于零。

圖7 失效強度變化曲線

(2) 可靠度

R(t)表示系統軟件不發生故障正常運行到t時刻時的概率，則在時間間隔(t,t+Δt)內系統的可靠度為：R(Δt|t)=e-(m(t+Δt)-m(t))。以當前時刻為基準，改變觀測時間間隔，可靠度隨時間間隔的增大會減小，如圖8所示。在理想情況下，當前時刻系統在一個小時內的可靠度約為0.993 36，系統在一天內的可靠度約為0.993 29。隨著時間間隔的增加，系統的可靠度會越來越小，也就是說在較長時間段內，系統出現故障的概率會更大。

圖8 可靠度變化曲線

4 結 語

本文從航班查詢系統的監控日志出發，研究了基于監控日志的失效數據提取方法。通過對提取的失效數據的分析，構建了適用于航班查詢系統的可靠性模型，實現了對航班查詢系統的可靠性評估。本文的研究可為航班查詢系統的可靠性評估提供理論支持，從而更加全面地、系統地、準確地分析航班查詢系統的可靠性，以確保該系統的高可靠性。

[1] GOEL A L. Software reliability models: Assumptions, limitations, and applicability[J]. IEEE Transactions on software engineering, 1985(12):1411-1423.

[2] 謝景燕, 安金霞, 朱紀洪. 考慮不完美排錯情況的NHPP 類軟件可靠性增長模型[J]. 軟件學報, 2010, 21(5):942-949.

[3] 樓俊鋼, 申情, 沈張果. 軟件可靠性預測的核函數方法[J]. 計算機科學, 2012, 39(4):145-148.

[4] 張策, 崔剛, 孟凡超. 不完美排錯SRGM研究[J]. 智能計算機與應用, 2014, 4(2):16-20.

[5] 郝燕玲, 陳嵩博, 高峰. 考慮故障排除率和引入率的軟件可靠性建模[J]. 計算機仿真, 2014, 31(10):313-316.

[6] 方來華, 吳宗之, 康榮學, 等. 安全設備失效數據獲取與計算[J]. 中國安全生產科學技術, 2010, 6(3):121-125.

[7] 余正偉, 吳玉美. 基于失效分析的軟件可靠性評估方法研究[J]. 測控技術: 2011, 30(9):73-77.

[8] Meskini S, Nassif A B, Capretz L F. Reliability models applied to mobile applications[C]//Software Security and Reliability-Companion (SERE-C), 2013 IEEE 7th International Conference on. IEEE, 2013:155-162.

[9] 丁建立, 張超, 王靜. 民航旅客服務信息系統報警規則提取[J]. 計算機仿真, 2015, 32(2):83-86.

[10] Kanoun K, Laprie J C. Software reliability trend analyses from theoretical to practical considerations[J].IEEE Transactions on Software Engineering, 1994, 20(9):740-747.

[11] Yamada S, Osaki S. Software reliability growth modeling: Models and applications[J]. IEEE Transactions on Software Engineering, 1985, 11(12):1431.

[12] Zhang Xuemei, Hoang P. Comparisons of nonhomogeneous Poisson process software reliability models and its applications[J]. International Journal of Systems Science, 2000,31(09):1115-1123.

RELIABILITYEVALUATIONMETHODOFFLIGHTINQUIRYSYSTEMBASEDONMONITORINGLOGS

Ding Jianli Ming Hui*Wang Jing

(CollegeofComputerScienceandTechnology,CivilAviationUniversityofChina,Tianjin300300,China)

In view of the lack of research on system software reliability evaluation theory and evaluation method during operation phase, we propose a software reliability evaluation method based on system monitoring log. We used flight inquiry system as the reliability evaluation research object. First, monitoring logs of the system were firstly analyzed, and the failure data extraction method based on monitoring logs was proposed. Second, based on the characteristics of the system and the analysis results of the reliability data, the reliability evaluation model of the flight inquiry system was constructed. Finally, the experiment proves the feasibility of the reliability model. We use this model to evaluate the reliability of the flight inquiry system. The system software reliability evaluation process method is formed.

Reliability evaluation Reliability models Monitoring logs Failure data

TP301

A

10.3969/j.issn.1000-386x.2017.10.018

2017-01-14。民航局科技創新引導資金重大專項(MHRD20140106, MHRD20150107)；中國民航大學中央高校基金項目(3122014P004, 3122016A001)。丁建立，教授，主研領域：民航智能信息處理和航空物聯網。明卉，碩士,王靜，博士。