基于二叉樹算法的水利信息化系統故障快速定位方法研究和實踐

劉天山，胡露騫，夏 天，李萌萌，彭 取，談 震

（1.甘肅省引洮工程建設管理局，蘭州 730046；2.杭州市千島湖原水股份有限公司，杭州 310009；3.南瑞集團（國網電力科學研究院）有限公司，南京 211000）

0 引 言

近幾年，水利信息化建設已進入高速發展階段，充分利用現代信息技術，實現各類水利信息及其處理的數字化、網絡化、集成化、智能化，為防汛、抗旱、搶險、救災、工程建設與管理、水資源管理、水環境保護、水利電子政務及其他水利工作提供服務，全面提升了水利為國民經濟和社會發展服務的能力和水平［1］。

水利信息化系統包括為實現水利信息化而建設的通信系統、計算機網絡系統及各種應用系統，具體包括采集設備、計算機機房設備、網絡設施、各類服務器、工作站等硬件平臺，數據庫、業務系統、中間件等軟件系統［2］。對于大型長距離引供水工程，建設的水利信息化系統大多具有硬件設備數量龐大，種類繁多，型號各異，軟件系統復雜等特點，一旦發生故障，難以快速有效地找到故障點，給運維工作帶來了較大困難，具體體現在以下方面：

（1）數據鏈路長：對于長距離引供水工程，線路長、面廣、設備設施多，信息化系統常采用集中部署、分級應用的部署模式。數據傳輸從現地測站到調度中心鏈路長，且各種傳感設備和通訊設備是安裝在現地和工程沿線，距離遠，交通不便，如果信息化系統發生故障，運維人員往往需要耗費大量時間從數據鏈路上的各個節點逐個排錯查找故障，準確率低、耗時長。

（2）對運維人員能力要求高：水利信息化系統在專業上涵蓋自動化和信息化，對運維人員專業能力要求比較高，能力高低直接影響到現場的故障定位與故障處理工作的準確性和效率［3］。

（3）缺少科學的故障定位方法：當出現故障時，運維人員往往是依靠經驗逐個排查，缺少技術手段支撐，不能科學故障定位，效率低下，耗時長。

（4）設備型號多樣：水利信息化系統設備包括各種傳感器與數據采集設備、通訊網絡設備、信息安全防護設備、視頻監視設備、服務器與存儲設備等，不僅種類多，而且同一類型設備的型號各異，廠商眾多，通信協議與規約不統一，難以形成標準的故障監測指標模型，給設備故障定位帶來了技術難度。

針對以上問題，需要找到有效方法，這里引入二叉決策樹方法作為故障定位的核心算法，通過二叉樹算法，找出水利信息化系統數據鏈路中最容易出現故障的節點，按照故障出現概率指導生成故障定位決策樹模型，并通過推理機代碼實現分析決策過程，實現故障快速定位。基于二叉決策樹方法實現故障定位，在某些行業已有一定的研究成果和應用案例［4］，水利行業尚未被研究和應用。

因此，以長距離引供水工程信息化系統閘閥監控應用為例，以如何高效準確排查信息化系統故障為目標，通過梳理該系統上各個節點對象與可用性關鍵維度屬性，建立數據傳輸鏈路和決策樹分析模型，通過機器學習中的二叉決策樹算法來分析連接節點發送故障的幾率，按照故障幾率設計開發推理機，最終實現故障快速排查和診斷方法智能推薦，為工程安全穩定運行提供決策性指導方法和技術保障。

1 研究技術路線

水利信息化系統故障快速定位功能要求當系統監測數據或業務數據發生異常后，能自動基于數據傳輸鏈路進行快速分析，在短時間內完成故障定位并診斷原因，并給出提示性的診斷結論和解決建議。長距離引供水工程信息化系統閘閥監控應用是在現地站安裝各類傳感器裝置，裝置采集數據后通過各類通信設備和網絡傳輸設備傳輸到調度中心的采集軟件，同時數據可存儲至調度中心的數據庫，并應用至各類業務系統中。在調度中心的業務系統是可以實時監測數據，一旦數據狀態異常，將會產生告警，但無法快速診斷原因。

基于以上環境，對故障快速定位的方法研究技術路線如下：一是分析與閘閥監控數據有關系的所有傳輸鏈路和流向關系；二是建立鏈路映射關系，創建監控項，梳理告警關系；三是根據歷史樣本、故障處理案例和專家意見進行分析，建立訓練集，構建樣本庫，確定出樣本的一組屬性和一個類別，從而創建出二叉決策樹分析模型，計算鏈路節點的故障幾率［5］；四是通過代碼實現二叉決策樹的實例化，以此為基礎形成推理機，將每個決策步驟與傳統監控結果進行比對分析，最終實現故障的快速定位。開發完成后通過多次試驗和案例不斷測試驗證其有效性，依據這個二叉決策樹自動實現正確的分類［6-9］，從而不斷豐富和完善樣本庫，逐步提高其準確率。基于二叉決策樹的水利信息化系統智能故障定位方法見圖1。

圖1 基于二叉決策樹的水利信息化系統智能故障定位方法Fig.1 Intelligent fault location method of water conservancy information system based on binary decision tree

2 數據傳輸鏈路和流向關系分析

以長距離引供水工程信息化系統閘閥監控應用為例，數據傳輸鏈路和流向關系見圖2。

如圖2 所示，信息化系統整體結構劃分為縱向和橫向。縱向上，數據從現地站點傳輸至調度中心，鏈路歷經的節點包括傳感器、采集設備、交換機、路由器、服務器、數據庫、數據同步應用、控制區業務應用。橫向上，數據從控制區傳輸至管理區，歷經的節點包括正向隔離裝置、數據同步應用、管理區業務應用。閘閥監控業務在控制區和管理區都有涉及。

圖2 閘閥監控系統的數據流向關系Fig.2 Data flow relationship of gate valve monitoring system

把數據流經的每一個（一組）軟硬件設備作為一個節點，根據以上數據流向圖，對各個節點進行分析，可以看出，水利信息化系統的數據鏈路長，節點眾多，包含的設備類型復雜，數據鏈路比較脆弱，任一節點不可用，會造成數據無法傳輸，調度中心系統數據異常，對生產經營帶來重大影響。

3 建立鏈路映射關系，創建監控項，梳理告警關系

3.1 建立鏈路映射關系

根據數據流向關系，建立業務數據與數據鏈路的映射關系表，記錄數據鏈路上的設備名稱、設備類型、部署方式、鏈路方式、上下鏈路關系，并序列化處理，存入數據庫中，作為故障定位推理機的基礎輸入信息之一。業務數據與數據鏈路的映射關系見表1。

表1 業務數據與數據鏈路的映射關系表Tab.1 Mapping table of business data and data link

3.2 創建監控項

根據數據的鏈路關系，針對每個節點類型以及可用性判斷條件，建立監控項，監控項如下：

傳感器：故障開關量信號；

采集設備：整機在線狀態、模塊開關量信息；

核心/接入交換機：整機在線狀態、網口運行狀態、網口管理狀態；

服務器：服務器在線狀態；

數據庫：實例節點狀態、表空間使用率、監聽狀態、文件目錄使用率、歸檔日志滿等；

數據同步應用：在線狀態、端口狀態、與隔離裝置的IP映射是否正常；

業務應用：在線狀態、端口狀態；

隔離裝置：隔離裝置的IP映射是否正常。

對每類設備建立告警模型，對所有采集監控項返回值在系統微服務中進行歸并化處理，返回0 或1，以便于決策樹進行條件判斷處理，簡化決策樹處理邏輯。

3.3 告警關系聯動過濾

根據水利信息化系統的層級特點，決定了其告警信息具備以下特點。

告警信息分層次：

第一層是設備在網絡中結構層級，如網絡核心層、網絡匯聚層、網絡接入層，及各層對應的設備等；

第二層是設備級別，及設備主體的在線狀態等；

第三層是板卡或應用級別，包括在主機上運行的關鍵服務進程，在交換機上的交換板卡等；

第四層是端口狀態，包括軟件進程的數據端口，交換機上的物理網口等。

為了解決原生告警與衍生告警相互混肴的問題，對告警項設置了關聯告警配置，實現告警關聯關系過濾。即A 告警事件—關聯—B告警事件的觸發，消除或減少衍生告警事件，確保真正的告警事件不會被衍生告警埋沒，避免告警風暴的產生。

4 建立二叉決策樹分析模型

在水利信息化系統中，系統的部署架構直接決定了數據鏈路節點故障發生的幾率，為了快速智能分析判斷出現故障的幾率，我們將數據流經節點可用性作為決策樹進行故障定位的訓練集類別，特征屬性為部署方式、節點狀態、鏈路方式和鏈路狀態。

各特征屬性的取值分別為：

部署方式：單節點、雙節點（考慮到水利信息化系統的實際部署現狀，不考慮多節點情況）；

節點狀態：單節點可用、單節點不可用、雙節點可用、雙節點不可用；

鏈路方式：單鏈路、雙鏈路；

鏈路狀態：單鏈路可用、單鏈路不可用、任一鏈路可用、雙鏈路可用、雙鏈路不可用。

最終形成的特征訓練集如表2所示。

表2 特征訓練集Tab.2 Feature training set

這里需要通過計算屬性信息增益，構建二叉決策樹，步驟如下［10］。

（1）計算出對給定樣本分類所需的期望信息。

（2）計算各屬性的熵。按照不同的特征屬性計算增益熵值，具體結果見表3。

表3 增益熵值表Tab.3 Gain entropy table

可見，特征屬性“節點狀態”有最高增益熵值，即用“節點狀態”作為二叉決策樹的根節點，用“節點狀態”標記，并以“節點狀態”的每一個屬性值引出一個分支，再次劃分樣本，見圖3。

圖3 節點狀態屬性Fig.3 Node status attributes

對每個分支進行遞歸計算，最終得到數據鏈路節點的可用性。二叉決策樹模型見圖4。

圖4 數據鏈路節點的可用性二叉決策樹模型Fig.4 Binary decision tree model of availability of data link nodes

（3）將水利信息系統實際節點引入到決策樹模型中。在可用性二叉決策樹模型的基礎上，參考圖3，將水利信息系統實際鏈路節點類型引入，在節點可用性樣本的基礎上，增加設備類型屬性，其他屬性按照設備實際的部署架構屬性重構新分析樣本，使用二叉決策樹算法對節點類型的概率熵值進行計算，分析實際鏈路的出現故障的幾率（即信息增益值），并以節點類型的信息增益值作為后續推理機中的全鏈路推理索引。新分析樣本見表4。

表4 新分析樣本Tab.4 New Feature training set

計算過程不再贅述，計算結果見表5。

表5 二叉決策樹算法下節點類型的熵值以及增益值Tab.5 Entropy value and gain value of node type under the binary decision tree algorithm

根據計算結果，各節點類型出現故障概率的高低順序為：傳感器＞采集設備（LCU）=數據同步軟件＞數據采集服務＞通信服務器=閘閥監控應用＞通信服務器＞現地交換機＞數據庫＞核心交換機。

5 推理機設計

水利信息化系統數據鏈路可用性故障定位推理機實現過程如下［11］：

自主收集數據特征→推理→故障定位→關聯知識庫→故障轉工單。

（1）自主收集數據特征。推理機通過定時任務自主收集若干條關鍵數據的采集值，如采集值達到閾值或故障定義條件，調用推理模型進行故障定位分析。

（2）推理過程。推理機根據數據與數據鏈路的映射關系，序列化組裝該數據的數據鏈路。

推理機調用樣本訓練庫，計算節點類型不可用概率增益值，根據增益值對數據鏈路對象進行重組排序，明確故障定位分析的節點先后順序。

推理機對排序后的節點，按照先后順序，使用決策樹模型與對應判斷條件的監控值進行遞歸分析判斷，完成所有節點的故障定位分析，得出初步故障定位結果［12，13］。

根據故障定位的結果，在告警知識庫中使用Elasticsearch進行關聯查詢，找出同類型事件的解決方案。同時，將推理機與工單系統進行聯動，調用工單創建接口自動生成故障工單，附上建議解決方案，執行工單處理流程。

在進行推理機設計時，采用微服務的思想，將按照數據鏈路上每類設備的告警監控項的不同，結合決策樹模型，編寫對應的微服務來實現該類設備的告警監控項的歸并與可用性推理過程。將微服務組件化，實現微服務的編排組合與復用，如在數據鏈路中出現多個數據同步節點，可用數據同步服務進程與數據同步服務器的故障定位微服務，實現數據同步故障定位能力的復用與故障定位過程的編排，提升推理機的執行效率［14-16］。

按照上述推理機設計與決策樹模型，開發了相應的功能代碼，實現這些數據鏈路關系的建立，數據的清洗、算法邏輯、診斷流程、微服務調用、頁面呈現，并把每次故障定位添加到訓練樣本庫，實現樣本的積累，經驗的固化，用于更好地輔助水利信息化系統的日常運維工作。

6 應用實例

本項目研究的故障定位方法已在某長距離引供水工程中應用。經過驗證，在故障排查耗時上由以前的1～2 h 減少到30 s，有效的提升了故障事件的處理效率與處理能力。

6.1 故障現象

在調度中心監控大屏中某站點的閥門開度信息為空值，經過多個數據采集周期后仍無數據，疑是數據傳輸鏈路上某個節點出現故障，導致數據無法正常傳輸。

6.2 推理機分析定位

推理機通過定時任務在數據庫中查詢到某站點閥門開度信息為空值時，開始執行故障定位推理過程。

故障定位過程如下：

（1）推理機首先根據業務系統類型以及數據鏈路映射關系從數據庫中抽取計算樣本，使用二叉樹算法計算決策樹分析模型，再計算節點類型不可用概率增益值，明確故障定位決策分析的先后順序為傳感器＞采集設備（LCU）=數據同步軟件＞數據采集服務＞通信服務器=閘閥監控應用＞通信服務器＞現地交換機＞數據庫＞核心交換機［17，18］。

（2）調取數據鏈路監控項數據，按照已經計算出的決策分析順序進行分析判斷。

（3）傳感器（開度儀）可用性：故障開關量為1，正常；傳感器節點可用。

（4）采集設備（LCU）可用性：設備ICMPING 值為1，節點通信鏈路正常；各模件故障開關量為1，節點正常；采集設備節點可用。

（5）控制區數據同步軟件可用性：軟件進程數量為1，進程存在，節點正常；服務端口3454 連接數為2，鏈路正常；控制區數據同步軟件節點可用。

（6）管理區數據同步軟件可用性：軟件進程數量為0，進程中斷，節點異常；服務端口6787 無連接建立，鏈路異常；管理區數據同步軟件節點不可用。

（7）數據采集服務可用性：雙服務進程存在，正常；服務端口連接數為2，鏈路正常；數據采集服務可用。

（8）通信服務器可用性：服務器雙節點可用，雙鏈路網口運行狀態為2，鏈路正常；通信服務器節點可用。

（9）閘閥監控應用可用性：雙服務進程存在，正常；服務端口連接數為2，鏈路正常；閘閥監控應用可用。

（10）通信服務器可用性：服務器雙節點可用，雙鏈路網口運行狀態為2，鏈路正常；通信服務器節點可用。

（11）現地交換機可用性：現地交換機雙節點可用，雙鏈路網口運行狀態為2，鏈路正常；現地交換機節點可用。

（12）后續分析過程略過。

通過推理機使用二叉決策樹模型，精確定位到故障原因為數據同步服務進程意外終止，導致控制區采集的數據無法同步到管理區，整個分析過程耗時30 s，自動定位出出現故障的節點位置、節點類型與故障現象，并在故障定位分析圖中進行展示通知，圖5為現場截圖。

圖5 現場定位故障分析圖Fig.5 Analysis diagram of fault location on site

6.3 故障定位準確性分析

通過現場大量的模擬測試與實際應用，針對水利信息化系統數據全鏈路的各個節點可用性故障定位準確性為90%以上。

7 結 語

提出了基于二叉樹算法的水利信息化系統故障快速定位方法，可精準快速地診斷出水利信息化系統出現的故障，并通過可視化展示與工單派發等方式通知相關運維人員，提升系統故障的處理效率，提升現場運維人員的自動化、智能化運維水平，保障水利工程安全穩定運行，也符合水利部“強化新一代信息技術與水利業務的深度融合，解決水利業務中的難點和痛點”的工作思路。但同時也存在一定的不足之處，目前數據取樣有限，針對模型和算法的準確性校驗無法全面覆蓋到所有的業務場景和問題，同時部分診斷條件的閾值取值不完全合理，因此故障診斷定位精確度有待提高。下階段的工作重點是豐富訓練樣本數據，進一步校驗和完善目前的模型和算法，建立動態的閾值判斷機制，通過大量的測試與實際使用進行驗證，進一步提升準確性和完善程度。