一種面向主動安全的動態采集策略設計與實現

翟友鈞，趙旦譜，臺憲青

(1. 江蘇物聯網研究發展中心，江蘇 無錫 214135；2. 中國科學院大學，北京 100049;3. 中國科學院電子學研究所，北京 100190; 4.中國科學院電子學研究所 蘇州研究院，江蘇 蘇州 215121)

0 引言

在大數據分析場景中，豐富、全面、優質的數據源是決策支持的重要前提。數據越多越全面，得出的分析結果越準確。但冗余的數據會加大分析難度，提高計算分析工作量，降低決策支持準確性。目前，固定頻率采集策略被廣泛應用，但不是高頻就是低頻，無法兼顧降低采集數據量冗余與保證采集信息精度。

針對分布式集群中的計算機資源狀態信息，本文設計了一種面向主動安全的動態采集策略，通過與固定頻率采集策略的對比，通過反復驗證證明，該策略可以有效降低信息冗余并保證采集精度，同時還保證了對系統資源的低占用。

1 動態采集策略設計與實現方案

1.1 動態采集變頻依據及原理

當前對于動態采集頻率的研究中，以采集目標是否平滑作為動態采集變頻依據[2]。集群中的計算機資源狀態信息具有連續變化的特點[3]，其平滑程度與系統是否正常并無確定關系[4]。因此需要根據其特點，制定動態采集變頻依據，在系統正常運行時降低采集頻率，異常時提高采集頻率。

集群中可通過10種狀態信息共計164項，對計算資源、存儲資源、操作系統、網絡狀態進行刻畫。從這個角度出發，可以將這些狀態信息分為4種，如表1所示。

表1 計算系統全量狀態信息分類

其中，只有閾值與系統是否正常具有緊相關性的狀態信息才可以作為動態采集的變頻依據。經過篩選，在164項可采集狀態信息中，能刻畫系統狀態是否正常的有49項。這49項狀態信息又可以分為以下3類。

1.1.1系統資源使用情況統計信息

這類信息統計刻畫了集群中的資源使用情況，在系統正常運行時，其數值應處于一個正常閾值內；當超出這個閾值，則表明系統可能存在問題。屬于該類別的狀態信息共計6項，如表2所示。

1.1.2系統中某狀態資源統計信息

這類狀態信息記錄的對象主體本身是系統正常組成的一部分，在系統正常運行時因處于較低水平(為0或幾乎為0)；如果這類狀態信息記錄到了較高水平的數值，則表明系統可能處于異常狀態。屬于該類別的狀態信息共計8項，如表3所示。

表2 系統資源使用情況統計信息

表3 系統中某狀態資源統計信息

1.1.3網絡狀態異常引起的報文失效統計信息

這類狀態信息記錄的對象主體是各類網絡協議中傳輸失效的報文數，當網絡狀態正常時，其數值應當處于一個較低水平(為0或幾乎為0)；如果記錄到了較高

水平的數值，則表明系統網絡可能處于異常狀態。屬于該類別的狀態信息共計35項，如表4所示。

本文將上述49項狀態信息作為動態采集的變頻依據。

表4 網絡狀態異常引起的報文失效統計信息

1.2 動態采集變頻策略設計

在現有動態采集策略中，不同采集對象的采集頻率進行同步調整。其優勢是實現方便，適用于采集對象種類少、采集對象之間關系簡單的系統。在計算機系統中，信息采集種類多、采集對象之間具有相關性，可以依此在不同種類的異常發生時，對不同的采集對象進行分組變頻。與現有動態采集策略相比，這種策略可以在保證采集精度的同時，進一步降低數據冗余。

變頻策略設計如圖1所示。當屬于變頻依據的某類狀態信息記錄到異常數值，改變其所屬整類狀態信息的采集頻率；同時依據狀態信息之間的關聯關系，改變具有相關性的其他類狀態信息的采集頻率；對不具有相關性的其他類狀態信息不改變采集頻率。

1.3 動態采集策略實現

本文所設計的動態采集策略，需要在大數據分布式環境中進行部署與實現。在高并發時，避免系統異常與提高采集頻率形成相互影響是本課題必須要解決的問題。

1.3.1并發模型——協程

在Linux分布式環境中，通常使用多進程并發模型。這種并發模型的缺點是服務器的性能會隨著連接數的增多而變差。本文在進行動態采集策略的部署與實現時，從底層采用了一種新的并發模型——協程(Coroutine)，如圖2所示。協程十分輕量，可以在一個進程中執行數以十萬計的協程依舊保持高性能；一個進程有數千個線程，其CPU會忙于上下文切換，性能急劇下降。執行協程只需要極少的棧內存(大概是4～5 KB)，線程棧的默認大小為1 MB。創建它們的初始內存成本很低廉(傳統POSIX線程需要1～8 MB內存)，并可以根據需要動態增長和縮減占用的資源。這使得goroutine會從4 096 B的初始棧內存占用開始按需增長或縮減內存占用，而無需擔心資源的耗盡。

圖1 動態采集變頻策略

圖2 協程并發模型

圖5 動態采集策略實現

1.3.2采集方法——procfs與psutil

本文通過利用procfs(process file system)實現計算資源狀態信息的采集。采集方法如圖3所示。在Linux系統啟動時，會動態生成一個偽文件系統，用于通過內核訪問進程信息。內核中的所有信息及可調整參數都被以文件實體的形式映射到一個目錄樹中，本文使用gopsutil對procfs下文件進行調用，實現計算資源狀態信息的采集。

本方法好處在于：procfs不是一個真的的文件系統，只占用有限的內存，不占用存儲空間；計算資源狀態信息由操作系統內核動態映射到文件中，無需占用額外的系統資源。

圖3 采集方法

1.3.3動態采集策略實現

Telegraf由golang實現，其底層架構采用協程并發模型，通過gopsutil讀取procfs實現對系統狀態資源的采集，滿足系統資源低占用的要求。但其采集頻率由配置文件設置，改變采集頻率需要重啟生效，沒有使用動態采集策略。其系統架構如圖4所示：采集器啟動時，從配置文件Config中讀取采集間隔及其他配置參數并使其生效；Input插件從采集目標源中獲取采集對象數據；Processor插件和Aggregator插件對Input插件得到的數據進行處理和聚合；Output插件將采集數據傳輸到數據存儲目標(數據庫)中。

圖4 Telegraf架構

本文通過對其進行源碼改編，實現了所提出的動態采集策略。如圖5所示：當Input插件從采集目標源獲取采集數據后，根據上文提出的變頻依據判別集群運行狀態是否正常、是否需要改變采集頻率，如果不需要，則不進行后續操作；如果需要，則根據上文提出的計算資源狀態信息相關關系確定需要改變采集頻率的狀態信息；然后將要改變的采集頻率目標值通過Internal接口傳輸到Input插件中，實現采集頻率改變的即時生效。

同時還設計了一個狀態接口：當其他外部組件(如：集群健康度監控、主機異常檢測模塊等)判別系統處于異常狀態需要改變采集頻率時，也可通過該狀態接口使用本文所提出的動態采集策略。

2 實驗驗證

2.1 實驗環境

本實驗的實驗環境是由6臺服務器搭建的分布式集群，配置如表5所示。

表5 實驗環境服務器參數

2.2 實驗方法

為了真實地模擬分布式集群計算資源狀態信息的動態變化情況，在實驗分布式集群上運行OpenTSDB標準測試程序，該測試程序可以模擬不同的應用類型的工作負載，包括CPU、內存、I/O等。

對于監控系統來說，應當盡量做到全量監控，這樣看到的問題才足夠接近真實。監控盡量做到實時，延遲1 min都意味著故障處理總時間的延長。根據全量采集的標準，心跳數據是1 min一次；如果是服務器或者硬件監控，一般幾秒一次；如果是特別重要的，可以1 s一次。對于全量采集，心跳頻率是采集頻率的最低底線。

本文提出的動態采集策略希望在進行分布式集群計算資源狀態信息數據采集時，兼顧降低采集數據量冗余和保證采集信息精度。理想情況下，二者越高代表動態采集策略效果越好。然而，通常情況下，兩者之間相互影響，希望正常狀態信息數據量冗余降低度越高，需要將最大采集間隔設置越大，導致對異常狀態信息的反應靈敏度越低，異常狀態信息采集精度隨之下降。因此，兼顧降低采集數據量冗余和保證采集信息精度需要合理的最大采集間隔時間。

(1)

(2)

異常狀態信息采集靈敏度定義(Abnormal sensitivity)如下：

(3)

在其他參數不變的情況下，正常狀態信息數據量冗余降低度Re隨最大采集間隔T的變化規律如圖6所示，異常狀態信息采集靈敏度As隨最大采集間隔T的變化規律如圖7所示。可以看出，正常狀態信息數據冗余降低度Re隨最大采集間隔T的增大而對數提高，異常狀態信息采集靈敏度As隨最大采集間隔T的增大而線性減小。在最大采集間隔較小時，正常狀態信息冗余降低效率較高且異常狀態信息采集靈敏度降低代價較小；而隨著最大采集間隔取值的增大，不僅異常狀態信息采集靈敏度降低代價增加，且正常狀態信息冗余降低效率較低。

圖6 冗余降低度變化規律

圖7 異常靈敏度變化規律率

為了取得較好的正常狀態信息冗余降低效率和較小的異常狀態信息采集靈敏度降低代價，需要綜合考慮二者的關系，選取合適的最大采集間隔T。定義正常狀態信息數據量冗余降低度Re與異常狀態信息采集靈敏度As的綜合評估指標F-measure如下：

(4)

圖8展示了其他參數不變的情況下，FReAs隨最大采集間隔T的變化規律。可以看出，存在一個最大采集間隔最佳取值，能夠以最小的異常狀態信息靈敏度降低代價取得最大的正常狀態信息冗余降低效率。

圖8 FReAs變化規律

在本實驗方案中，設置高頻采集頻率為5 s/次，低頻采集頻率為25 s/次。通過故障注入方法模擬計算機系統中出現的異常狀態。本文提出的動態采集策略可在8類故障產生時觸發動態采集，在實驗中主要向被檢測虛擬機中注入了如下3類故障，測試覆蓋率37.5%。

(1)內存故障注入：主要是通過在注入對象服務器中運行一個內存密集型程序來實現，例如不斷地調用malloc函數申請內存，此時被注入對象服務器會出現內存泄露，內存占有率會提高。

(2)CPU故障注入：主要是通過在被注入對象服務器中運行一個計算密集型程序來實現，例如死循環、復雜數學計算等，此時被注入對象服務器的CPU使用率會發生變化。

(3)I/O故障注入：該類故障是通過在被注入對象服務器中運行一個數據傳輸密集型應用程序，被注入對象服務器的磁盤I/O吞吐率會發生變化。

為了驗證本文提出的動態采集策略的有效性，在2個完全相同的分布式集群計算環境中，同時分別應用動態采集策略與固定頻率采集策略進行重復的對比實驗，并得到相應的實驗結果。

2.3 實驗結果評價指標

本實驗主要通過準確率、召回率、F-measure來評價動態采集策略的性能[5]。

實驗結果評價指標如表所示。

表6 實驗結果評價指標

根據表6， 定義NTP、NFP、NFN、NTN代表四種情況下采集樣本數量。在此基礎上，準確率與召回率這兩個指標定義如下：

準確率(Precision)：

(5)

召回率(Recall Rate)：

(6)

準確率和召回率之間相互影響，準確率高時一般召回率就低。因此，為了進行更全面的評價，本文引入綜合評價指標(F-measure)，其定義如下：

(7)

2.4 結果分析

實驗中通過3種故障注入方法，模擬系統運行狀態空閑、正常、異常、最后回歸正常4個階段下的狀態信息。圖9～14分別展示了3種故障注入實驗結果，實驗時間分段如表7所示。

表7 故障注入實驗時間分段 (min)

圖9 任務節點CPU使用率

圖10 監控節點網絡流量

圖11 任務節點內存占用

圖12 監控節點網絡流量

圖13 任務節點磁盤IO

圖14 監控節點網絡流量

表8展示了3種異常模擬實驗的采集結果。由表可知，在不同的故障注入方法中，本文提出的動態采集策略在面對不同的異常狀態時，采集結果穩定性高，能保持較高的準確率。

表8 故障注入實驗結果

在進行3種異常模擬實驗的同時，采集監控節點的網絡通信流量結果。測試結果如圖10、圖12、圖14所示。對于監控節點，網絡通信主要是采集數據的傳輸，因此可以通過它來觀察兩種策略在采集數據量上的差異[6]。可以看出，對于系統正常運行狀態，動態采集策略所采集的數據量大約只有非動態采集策略的1/6；對于系統異常運行狀態，動態采集策略所采集的數據量與非動態采集策略基本相同。由此可以得出結論：本文提出的動態采集策略在面對不同的異常狀態時，均能在保證采集精度的同時，有效降低采集數據冗余。

3 結論

本文主要針對計算資源狀態信息，提出了一種動態采集策略。根據計算資源狀態信息自身特性，設計了變頻依據和變頻策略。實驗結果表明，該策略穩定、準確、有效。

參考文獻

[1] 張斌,朱建濤,徐曌.基于動態頻率算法的遠程監控系統數據采集優化策略[J].微電子學與計算機,2016,33(8):86-91.

[2] 曾文序,庫少平,鄭浩.基于旋轉門算法的自適應變頻數據采集策略[J].計算機應用研究,2018(03):769-772.

[3] PADHY P, DASH R K, MARTINEZ K, et al. A utility-based sensing and communication model for a glacial sensor networt[C]//Proceedings of the 5th International Conference on Autonomous Agents and Multi-Aent Systems, 2006:1353-1360.

[4] SOLIMAN S S, AWONIYI O O. System and method for assisted network acquisition and search updates[P].US:US20120069800A1, 2012-063-22.

[5] 許福. 虛擬計算環境下節點異常檢測方法研究[D].南京:南京理工大學,2017.

[6] 孫鵬. 云計算環境下的仿生自主監控系統和多指標均衡調度機制的研究[D].成都：電子科技大學,2017.