自適應軟件系統模型偏差檢測方法的適用性評估

童燕翔 秦 逸 馬曉星

(計算機軟件新技術國家重點實驗室(南京大學) 南京 210023)

(tongyanxiang@gmail.com)

自適應軟件系統是一類通過動態調整自己的行為,以適應系統自身和運行環境的非確定性,從而持續滿足系統目標的軟件系統[1].基于這一理念,一個自適應軟件系統主要由實現系統應用邏輯的被管理系統(managed system)模塊和實現自適應邏輯的管理系統(managing system)模塊2部分組成[2].

近年來,控制論在自適應軟件系統的開發中得到了廣泛應用[3-4].這類控制型自適應軟件系統通常是基于一個辨識而得的、用于描述被管理系統行為的標稱模型,依據控制論自動合成所需的管理系統.這類系統利用反饋機制支撐被管理系統的自適應,并由控制論從數學上保證所設計、實現的自適應軟件系統的優化性和可靠性[5-8].然而,軟件系統運行環境的非確定性,使得標稱模型的實際參數值在運行時常偏離其辨識值，這種現象被稱為自適應軟件系統的模型偏差(model deviation).模型偏差會使控制論提供的優化性和可靠性失效,威脅控制型自適應軟件系統的安全運行.因此,各種模型偏差檢測方法被提出用以解決這一問題.

自適應軟件系統的運行環境具有動態、開放的特點[9-10],同時系統與環境的交互也受到非確定性的影響[11-12].因此,在其運行過程中,被管理系統標稱模型的實際參數值可能以多種開發人員無法預先描述的方式偏離其辨識值,使得模型偏差表現出多種不同的形態.本文使用場景來區分模型偏差的不同形態，而模型偏差的形態差異導致模型偏差檢測方法在不同偏差場景下的檢測有效性不同.

因此,除了在技術層面上改進模型偏差檢測方法,對不同模型偏差檢測方法適用的模型偏差場景進行研究,也有助于提高自適應軟件系統的整體可靠性.通常從檢測時延和檢測準確度2方面描述模型偏差檢測方法的有效性,即檢測時延越低且檢測準確度越高,則檢測方法的有效性越好.

在傳統控制論中,通常依據被管理系統的物理特性,選取有效的模型偏差檢測方法[13-14].然而,自適應軟件系統通常不存在可使用數學模型精確描述的物理特性.因此,為自適應軟件系統選取有效的模型偏差檢測方法的挑戰在于如何建立一套特性體系,用于描述不同的模型偏差場景.

針對這一挑戰,本文提出了模型偏差檢測的理論框架,刻畫了模型偏差檢測方法的重點要素.基于該框架,本文進一步分析、歸納了3個影響模型偏差檢測有效性的主要因素,包括控制信號(被管理系統從管理系統獲得的調節命令)、環境輸入(被管理系統受外部環境的影響),以及非確定性(被管理系統中存在的觀測誤差和系統噪聲).一旦某檢測方法沒有考慮偏差場景下影響檢測有效性的主要因素,則此檢測方法將不能夠有效檢測該場景的模型偏差.根據這3個主要因素,本文提出了3個模型偏差場景特性指標,用于建立描述偏差場景特性的評價體系.通過使用不同實驗對象和不同配置的實證實驗,探索了現有主流模型偏差檢測方法對于不同模型偏差場景的適用性.

本文的主要貢獻有3個方面：

1) 構建了一個控制型自適應軟件系統的模型偏差檢測框架,為模型偏差檢測方法的適用性研究提供理論依據.

2) 提出了一套基于模型偏差檢測框架的特性指標,用于描述不同的模型偏差場景,并評估模型偏差檢測方法的適用性.

3) 進行了基于大量實驗的模型偏差檢測方法適用性研究.依據劃分的6種特性場景,總結各檢測方法適用的特性范圍,用于指導如何在不同的場景特性下選取有效的模型偏差檢測方法.

1 相關背景

本節首先介紹自適應軟件系統的背景知識,然后以安全水處理(secure water treatment, SWaT)系統為例介紹控制型自適應軟件系統的設計和運行過程.

1.1 自適應軟件系統

現代軟件系統面臨著非確定性的挑戰,包括動態、開放的運行環境以及不斷變化的系統需求.為了應對這一挑戰,自適應軟件系統應運而生[15-17].自適應軟件系統通過自我監測和重新配置自身,以持續適應不斷變化的環境和系統需求.一個自適應軟件系統可分為2個不同的部分：1)被管理系統,與軟件用戶交互,負責系統業務邏輯的實現;2)管理系統,與軟件運行環境交互,負責監測被管理系統的行為,并在必要的時候對其進行重新配置.例如,對于一個自適應Web服務系統而言,其被管理系統就是實現用戶訪問的軟件模塊,包括Web前端、負載均衡器、服務器及其訪問接口等.其管理系統需要定時獲取用戶訪問的平均響應時間,并根據用戶的響應需求進行服務和負載的伸縮.

Fig. 1 MAPE-K loop圖1 MAPE-K環

實現自適應軟件系統的關鍵在于管理系統中自適應邏輯的設計.傳統自適應軟件理論使用監視、分析、規劃和執行4個模塊外加1個共享知識庫共同實現的循環，即MAPE-K環(monitor-analyze-plan-execute loop with knowledge, MAPE-K loop)來指導自適應軟件系統的開發[18],如圖1所示.軟件的自適應表現為循環順序運行這4個模塊.4個模塊的迭代執行構成了自適應軟件系統的自適應環,通常使用自適應環的迭代序號k代指在該次迭代中自適應軟件系統的狀態和執行過程.在基于MAPE-K環實現的自適應Web服務系統中,監視模塊實現定時觀測用戶訪問的平均響應時間,分析模塊對比觀測的平均響應時間是否大于或者遠小于目標響應時間,規劃模塊根據實際觀測的平均響應時間與目標響應時間,計算適合的服務器數量,執行模塊調用接口添加或刪減對應數量的服務器,共享知識庫提供了用戶負載、服務器數量和平均響應時間的排隊論模型以及目標響應時間.MAPE-K環為自適應軟件系統提供了基本的實現框架,但各模塊的實現無具體方法指導,且需要設計額外的機制去保證所實現的自適應軟件系統的可靠運行.

1.2 控制型自適應軟件系統

近年來,基于控制論的控制型自適應軟件系統因其開發過程的自動化支撐和整體系統的理論保障，成為自適應軟件領域的研究熱點[1,19].

圖2所示為控制型自適應軟件系統的基本架構.其中,管理系統被實現為控制器,系統輸出是被管理系統行為的觀測變量,控制信號是改變被管理系統行為的可調參數.在該反饋控制環中,面對環境輸入的擾動,被管理系統的系統輸出在控制器的作用下能夠追蹤系統目標.基于反饋控制環,Filieri等人[9]首先提出了一個框架PBM(push-button method)來支持控制型自適應軟件系統的開發.該實現框架基于數據收集和模型擬合(即系統辨識[20])得到的標稱模型,提供控制論指導的控制器設計(即控制器合成[21])和整個自適應軟件系統優化且可靠運行的理論保證.

Fig. 2 Control-based self-adaptive software systems圖2 控制型自適應軟件系統

系統辨識將被管理系統建模為一個定量的標稱模型.系統辨識可以構建多種類型的標稱模型來支持不同場景下的自適應,包括線性時不變系統[11,22-23]、線性時變系統[24]和非線性時不變系統[25].根據系統化采樣的各運行環境下的控制信號及其系統輸出,擬合選定類型標稱模型的參數值,得到辨識標稱模型.

基于辨識標稱模型,控制器合成利用各種控制論技術來設計不同自適應場景下的控制器.其中,最流行的2種技術是比例-積分-微分(proportional-integral-derivative, PID)控制[5,26-28]和模型預測控制(model predictive control, MPC)[23,29-32].在控制論的支持下,自動合成的控制器使整個自適應軟件系統的行為理論上遵循所需的控制屬性[33],如穩定性、準確性、趨穩性和低超調性.這些理論保證的控制屬性使得實現的自適應軟件系統在運行中能夠優化且可靠地滿足系統目標.

下面基于SWaT系統[34]進一步說明控制型自適應軟件系統的運行架構和開發過程.如圖3所示,SWaT是一個縮小版的水處理系統,可生產雙重過濾的飲用水.該系統主要通過管理控制5個相連的水箱及其各自的進水閥/出水閥以完成系統需求.自適應SWaT的目標是在不同的環境條件下(如5個水箱的不同初始水位),保障水過濾過程的可靠性(如無水箱溢出和空箱),并盡可能提升水處理過程的優化性(如飲用水產量最大化).

Fig. 3 Secure water treatment testbed (SWaT)[34]圖3 安全水處理系統[34]

實現控制型自適應SWaT,首先可使用線性時不變系統來描述SWaT：

(1)

基于辨識的標稱模型,開發人員可以利用On-Off控制[35]一套控制器,使SWaT能夠適應不同的運行環境.控制論保證了所設計的自適應SWaT遵循趨穩性(即所有水箱的水位應快速達到所需水位,實現飲用水產量最大化)和低超調性(即所有水箱水位不會高/低于上/下警戒線過多,避免水箱溢出或空箱),保障水處理過程優化且可靠地運行.

2 模型偏差檢測

2.1 模型偏差及其檢測

自適應軟件系統常運行于動態、開放環境，這使管理系統需要面對可能超出其設計能力范圍的環境狀況，這對控制型自適應軟件系統而言,將導致標稱模型的實際參數值偏離其辨識值.這一偏差會導致自動設計的控制器與被管理系統的實際行為不匹配,從而使控制器不再嚴格遵守控制屬性,嚴重時會導致軟件系統的異常行為,威脅整個自適應軟件系統的安全.例如,自適應SWaT在面臨閥門磨損場景[36]時,其對應閥門的水流量減小,會使控制器的趨穩性失效,降低飲用水產量.該系統在傳感器數據篡改場景[25]時,控制器會生成錯誤的控制信號,使其反饋控制環的趨穩性和低超調性失效,直接導致水箱溢出或空箱.

實際運行環境中,根據不同的模型偏差產生原因,模型偏差場景會體現出不同的特性.在上文的例子中,閥門磨損會導致被管理系統標稱模型可控屬性對應參數值緩慢、定向變化,外在表現為水位實測值的緩慢變化；而篡改傳感器數據會導致被管理系統標稱模型可控屬性對應參數值的快速、非定向變化,外在表現為水位實測值的快速變化.

現有模型偏差檢測方法在面對不同特性的模型偏差場景時會展現出不同的性能.Tong等人[10]基于自適應SWaT的實驗表明,同一種檢測方法在不同場景下性能的差異程度會相當顯著.例如,基于滑窗的系統輸出檢測方法(即檢測水箱水位變化是否超出給定范圍)在閥門磨損場景下,其性能顯著差于其他2種比較方法;而在傳感器數據篡改場景下,該檢測方法的性能以微弱優勢領先Tong等人[10]提出的最新方法,并大幅領先另一比較方法.

基于這一觀察,本文認為除了在技術層面上改進模型偏差檢測方法,對不同模型偏差檢測方法適用的模型偏差場景進行研究,也有助于提高自適應軟件系統的整體可靠性.因此本文的研究問題是如何為控制型自適應軟件系統選取有效的模型偏差檢測方法.

具體而言,使用檢測時延和檢測準確度2個方面評價模型偏差檢測方法的有效性.其中,檢測時延是指從自適應軟件系統發生模型偏差到檢測方法發現該模型偏差的時間間隔.檢測準確度包括2個維度,即漏報率和誤報率.漏報率是指在模型偏差場景下,檢測方法沒有發現模型偏差的概率;而誤報率是指在正常運行場景下,檢測方法錯誤報告模型偏差的概率.基于這3個指標,有效的模型偏差檢測方法即指檢測的時延低、漏報率低和誤報率低.

2.2 檢測框架

為了探索各檢測方法的適用性,需構建模型偏差檢測框架,分析影響模型偏差檢測有效性的因素.基于對現有模型偏差檢測過程的觀察,控制型自適應軟件系統的模型偏差檢測方法主要由系統建模、檢測變量估計、模型偏差表示以及模型偏差判斷4個部分組成.由此,本文提出可以使用式(2)～(5)組成的框架統一描述分析模型偏差檢測方法.

系統建模：

(2)

檢測變量估計：

PΣ(T)=Φ(Σ(P)|D(T)).

(3)

模型偏差表示：

ΘMD=Ψ(Σ(P)).

(4)

模型偏差判斷：

Alarm(T)=I(PΣ(T)|ΘMD).

(5)

x(k)表示5個水箱當前進、出水狀態,y(k)表示5個水箱水位實測值.模型輸入矩陣為

x(k-1)表示5個水箱歷史進、出水狀態,u(k-1)表示所有閥門當前的控制信號.模型參數矩陣為

A代表系統的延遲屬性,B代表系統的可控屬性,C代表系統的可觀測屬性.則其辨識模型參數矩陣為

式(3)描述了模型偏差檢測方法選取檢測變量及對檢測變量進行的估測.具體而言,首先確定檢測的模型參數(即檢測變量PΣ),再根據觀測變量序列D(T)(即包含模型輸入、輸出矩陣變量的序列)估計檢測變量值.其中Σ表示模型參數的選擇運算.對于自適應SWaT,基于式(3),Tong等人[10]提出的MoD2檢測方法的檢測周期取值為1次自適應環迭代(即檢測周期等同于自適應周期),并選擇可控屬性對應的模型參數(即B)作為檢測變量.MoD2檢測方法依據的觀測變量序列包括水箱水位值序列和閥門控制信號序列.

式(4)所示確定自適應軟件系統的模型偏差表示.其中Ψ表示使用數據驅動、人工經驗或理論推導等方法獲取檢測變量值的安全區域.檢測變量值在這個安全區域內,控制型自適應軟件系統的可靠和優化運行存在理論保證,而檢測變量值一旦超出這個安全區域,理論保證將會失效,可能導致系統行為異常.因此,模型偏差表示ΘMD可描述為檢測變量值安全區域的補集.對于自適應SWaT,基于式(4),Tong等人[10]提出的MoD2檢測方法通過頻域分析決定其安全區域Ψ.具體而言,Ψ描述了可使自適應SWaT的控制器正常運作的控制參數B的取值范圍.

式(5)所示每個檢測周期判斷檢測變量估計值是否符合模型偏差表示.如果符合,則發出警報，即Alarm(T)=1,可觸發模型偏差補救機制.對于自適應SWaT,基于式(5),Tong等人[10]提出的MoD2檢測方法通過計算當前估測的控制參數值處于安全區間內的置信度,決定該系統是否出現模型偏差現象.

2.3 主流檢測方法

基于前述的模型偏差檢測理論框架，介紹4種主流模型偏差檢測方法(基于式(2)～(5)的詳細描述請見技術文檔[37]).

基于滑窗的系統輸出檢測方法SWDetector通過實時監測系統輸出變化是否符合給定數值范圍來檢測模型偏差,并使用滑動窗口平滑非確定性的影響[38].Filieri等人[9]在引入控制論實現自適應時,也一并引入該檢測方法以應對模型偏差問題.

在系統模型方面,SWDetector使用自回歸模型描述控制型自適應軟件系統.在檢測變量估計方面,SWDetector使用系統輸出的變化量(即前后2次自適應迭代中系統輸出的差值)作為其檢測變量,并通過滑動窗口平滑觀測誤差對該變化量的影響.在模型偏差表示方面,SWDetector基于觀測數據決定系統輸出變化值的安全區域.首先使用系統化采樣的方法收集被管理系統正常運行時的運行數據，再根據系統模型計算出正常運行下被管理系統系統輸出變化的取值范圍作為安全區域.在模型偏差判斷方面,SWDetector通過比較當前估計的系統輸出變化值是否處于其安全區域內,決定該系統是否出現模型偏差現象.

基于滑窗的系統輸出檢測方法ARMA通過監測系統輸出模型預測值和當前實際測量值之間的差值是否超出正常誤差范圍來判斷是否發生模型偏差[39-45].He等人[22]引入該方法檢測由于軟件缺陷導致的模型偏差.

在系統模型方面,ARMA同樣使用自回歸模型描述控制型自適應軟件系統[46].在檢測變量估計方面,ARMA使用系統輸出的預測誤差(即基于系統模型的系統輸出預測值和基于實際觀測的系統輸出實測值的差)作為檢測變量.ARMA同樣通過滑動窗口平滑觀測誤差對該檢測變量的影響.在模型偏差表示方面,ARMA亦基于觀測數據決定檢測變量的安全區域.與SWDetector不同的是,ARMA使用檢測變量的概率分布,而非取值范圍,作為其安全區域的基礎.在模型偏差判斷方面,ARMA通過計算當前估計的辨識誤差值處于概率分布3 sigma或6 sigma范圍內的置信度[22],決定該系統是否出現模型偏差現象.

基于矩陣計算的參數檢測方法Direct通過監測矩陣計算得出的實際參數值是否超出安全區域來判斷是否發生模型偏差[24,47-48],并使用滑動窗口平滑非確定性的影響.

在系統模型方面,Direct使用線性時不變系統為描述自適應軟件系統的基礎模型,并引入環境輸入補償項對系統模型進行精化.在檢測變量估計方面,Direct關注于系統模型的內部參數(即模型參數矩陣P的某一分量),基于當前(本自適應環中的)觀測值直接推導該參數的當前值.Direct同樣通過滑動窗口平滑觀測誤差對該檢測變量的影響在模型偏差表示方面,Direct通過頻域分析推導可使控制型自適應軟件系統的控制器正常運作的內部參數的取值范圍.在模型偏差判斷方面,Direct通過比較當前估計的控制參數值是否處于其正常取值范圍,決定該系統是否出現模型偏差現象.

基于貝葉斯的參數估計檢測方法MoD2通過監測估計的模型參數后驗分布是否處于安全區域來判斷是否發生模型偏差[49-50].Tong等人[10]考慮模型參數值的內部抖動和各種觀測誤差提出了基于貝葉斯的模型導向偏差檢測方法.

在系統模型方面,MoD2同樣使用線性時不變系統為描述自適應軟件系統的基礎模型,并引入非確定性補償項對系統模型進行精化.在檢測變量估計方面,MoD2關注于系統模型的內部參數(即模型參數矩陣P的某一分量).MoD2額外考慮該參數隨時間變化的系統噪聲,將其建模為線性時變隨機變量,通過貝葉斯過程實時估算該參數的概率分布.在模型偏差表示方面,MoD2通過頻域分析推導可使控制型自適應軟件系統的控制器正常運作的內部參數的取值范圍,并將該范圍作為安全區域.在模型偏差判斷方面,MoD2通過計算當前估測的控制參數值處于安全區域內的置信度,決定該系統是否出現模型偏差現象.

2.4 影響檢測有效性的因素

模型偏差檢測的理論框架刻畫了現有模型偏差檢測方法的主要流程.結合圖2所示的控制型自適應軟件系統的基本架構,本文認為,影響檢測有效性的主要因素包括控制信號、環境輸入以及非確定性這3方面.下面分別對其進行討論.

控制信號是控制型自適應軟件系統中連接控制器和被管理系統的變量,直接決定了控制型自適應軟件系統應對運行環境變化的適應能力.在模型偏差發生的過程中,控制器依照原有系統模型(式(2))所產生的控制信號不再能夠高效、可靠地調節被管理系統的行為,這是導致系統異常狀態的直接原因.因此檢測方法能否有效刻畫控制信號在控制型自適應軟件系統中的作用,決定了其能否準確描述因模型偏差導致的系統行為,也就決定了其能否有效地檢測模型偏差現象.

控制信號除了是系統模型(式(2))中的重要變量外,也對檢測變量估計(式(3))和模型偏差表示(式(4))產生了一定的影響.在檢測變量估計中,控制信號決定了觀測變量序列D(T)到檢測變量PΣ的映射關系.當控制信號能有效調節被管理系統行為時,該映射關系應符合系統模型的描述,即表示檢測方法能夠獲取較準確的檢測變量值；反之,檢測方法對于檢測變量的估算會存在較大的誤差.在模型偏差表示中,控制信號主要影響安全區域所依賴的檢測變量的個數,即需要從多少個自適應環中估算其對應的檢測變量.如果控制信號在被管理系統的行為上存在放大效應(即控制信號的微小改變會引起被管理系統行為的較大波動),則安全區域所依賴的檢測變量的個數應當盡可能小,以防止模型偏差導致正常系統行為在較短時間內快速發展為異常系統行為.反之,若控制信號在被管理系統的行為上存在縮小效應,則安全區域所依賴的檢測變量的個數可以適量增加,犧牲及時性以換取模型偏差檢測的準確性.

環境輸入描述了控制型自適應軟件系統獲取到的外部環境信息.控制型自適應軟件系統需要根據環境輸入判斷外部環境狀況并調整自身行為.為了增強自適應系統應對不同環境的能力,在設計開發此類系統時,通常會盡可能多地采樣被控制系統在不同環境下的運行,并以此確定控制型自適應軟件系統的適用范圍.當系統運行于某一未采樣的環境中時,若該環境的特性不同于已采樣的環境,則系統在該環境中運行時有較大可能發生模型偏差現象.

從檢測模型偏差的角度出發,環境輸入的多樣性反映了模型偏差表示(式(4))中的安全范圍.設計階段采樣的環境輸入多樣性越高,則對應劃定的安全范圍越大.運行階段實際的環境輸入多樣性越高,則當前環境特性超出已劃定的安全范圍的可能性就越高.因此模型偏差檢測方法能否有效反映不同環境輸入下對應的模型偏差安全范圍,決定了其能否準確判斷當前系統行為是否超出了安全范圍,也就決定了其能否有效地檢測模型偏差現象.

除此之外,環境輸入也影響著模型偏差檢測的系統模型(式(2))和檢測變量估計(式(3)).對前者而言,在建模中補償環境輸入對系統輸出的影響有利于模型對被管理系統行為的精確描述；對后者而言,環境輸入決定了觀測變量序列D(T)的特征(如系統輸出序列的高、低抖動),影響對檢測變量的估計.

非確定性描述了存在于控制型自適應軟件系統觀測變量(如控制信號、系統輸出和環境輸入)的誤差.在模型誤差檢測的過程中,非確定性會使檢測變量估計(式(3))中所依據的觀測變量序列D(T)的值偏離其實際值.而這種數值上的偏離又具有累加效應.如對于線性時變系統這類保留歷史狀態信息的系統模型而言,觀測變量的誤差會導致對系統內部參數的估計誤差,而估計誤差會隨著自適應環數量的增加而累計,最終造成對檢測變量的估計產生較大的誤導.因此,檢測方法能否有效處理非確定性對檢測變量估計的不良影響,決定了其能否準確地獲取檢測變量的估計值,也就決定了其對模型偏差檢測的準確性.

非確定性除了對檢測變量估計(式(3))具有重要影響外,還對系統建模(式(2))和模型偏差表示(式(4))具有一定的影響.對前者而言,刻畫非確定性有助于更加精確地描述被管理系統的行為；對后者而言,收集的運行記錄中各變量的不確定性也會為檢測變量的估計引入誤差,影響檢測的準確度.

3 場景特性

基于模型偏差檢測的理論框架,根據2.4節歸納得到的影響檢測有效性的3個主要因素，即控制信號、環境輸入和非確定性,提出了3個特性指標,即控制信號強度、環境輸入強度和非確定性強度，用于建立偏差場景特性的評價體系，并定義了這3個指標的量化公式.具體而言,各特性指標的量化公式為一個比值，其分子部分定量描述了各因素變化范圍的峰值，分母部分對該峰值基于系統輸出變化范圍進行歸一化處理.以自適應SWaT為例,各量化公式的分子部分分別表示因控制強度、環境輸入和非確定性變化導致的水箱水位的變化峰值,而分母部分統一為水箱水位的變化范圍值.

3.1 控制信號強度

控制信號強度IC描述了自適應軟件系統中控制信號變化對模型偏差檢測有效性影響的強度,其量化公式為

(6)

在式(6)中,分子表示控制信號對應的系統輸出變化預測值.某一場景下,控制信號強度IC值越高,說明該場景下的系統輸出越接近正常情況下的系統輸出;控制信號強度IC值越低,則說明該場景下的系統輸出與正常情況系統輸出的區分度越高.

3.2 環境輸入強度

環境輸入強度IE描述了自適應軟件系統中環境輸入變化對模型偏差檢測有效性影響的強度,其量化公式為

(7)

其中,γ表示環境輸入對系統內部狀態線性影響的系數,可在自適應軟件系統設計階段辨識獲得;a(i,j)表示第i個運行記錄在第j個自適應環的實測環境輸入;其他符號表示同式(6).

在式(7)中,分子表示環境輸入變化導致系統輸出最大變化的預測值.某一場景下,環境輸入強度IE值越高,說明該場景下因環境輸入變化引起的系統輸出抖動越大;環境輸入強度IE值越低說明該場景下因環境輸入變化引起的系統輸出抖動越小.

在自適應SWaT中,式(7)分子部分對應表示物理環境輸入變化導致各水箱水位最大變化的預測值.在某一模型偏差場景中,環境輸入強度IE值越高,說明因環境輸入變化導致的水箱水位抖動越大;環境輸入強度IE值越低,說明因環境輸入變化導致的水箱水位抖動越小.

3.3 非確定性強度

非確定性強度IU描述了自適應軟件系統中非確定性對模型偏差檢測有效性影響的強度.這里的非確定性主要是基于自適應軟件系統模型的各類觀測誤差,包括對控制信號、環境輸入和系統輸出的觀測誤差等.由于大多數觀測誤差均可以使用均值為0、方差為σ的正態分布進行描述,因此本文使用一個均值為0、方差為R的正態分布統一描述觀測誤差：

(8)

其中Q,W,V分別為控制信號觀測誤差的方差、環境輸入觀測誤差的方差和系統輸出觀測誤差的方差.

基于R,非確定性強度的量化公式為

(9)

其中m表示系統輸出變化最大誤差值相對于綜合觀測誤差標準差的倍數.例如，根據正態分布的3 sigma準則,m=6.其他符號表示同式(6).

在式(9)中,分子表示系統輸出變化測量最大誤差值.某一場景下,非確定性強度IU值越高說明該場景下的系統輸出實測值的誤差越大;非確定性強度IU值越低說明該場景下的系統輸出實測值的誤差越小.

在自適應SWaT中,式(9)分子部分對應表示各水箱水位變化測量最大誤差值.在某一模型偏差場景中,非確定性強度IU值越高說明水箱水位的誤差值越大;非確定性強度IU值越低說明水箱水位的誤差值越小.

4 實 驗

基于3個控制型自適應軟件系統,本文設計了不同的運行場景(包括被管理系統發生模型偏差的偏差場景和未發生模型偏差的正常場景),并在這些運行場景下比較2.3節所述的4種模型偏差檢測方法的有效性.實驗目標在于回答2個研究問題：

問題1. 4種模型偏差檢測方法,即SWDetector,ARMA,Direct,MoD2,在不同運行場景中對模型偏差現象的檢測效果如何.

問題2. 4種模型偏差檢測方法各自適用的運行場景，分別可以用哪些特性指標區間加以刻畫.

所有實驗運行于1臺配有8個CPU、16 GB內存的阿里云ECS服務器上.

4.1 實驗配置

4.1.1 實驗對象

一個實驗對象是由一個被管理系統及其對應的控制器共同組成的一個控制型自適應軟件系統.從自適應軟件系統相關研究中選取3個常用軟件系統作為被管理系統,同時基于已有工作為每個被管理系統提供相應的控制器.具體的3個實驗對象的被管理系統和控制器為：

1) SWaT.如1.2節所述,SWaT的被管理系統是一個生產雙重過濾飲用水的水處理系統.其控制器是由SWaT的開發人員基于控制論和領域知識精心設計的可編程邏輯控制器[25],保障水箱無溢出和空箱且凈水產量最大化.

2) RUBiS.RUBiS的被管理系統是一個網絡拍賣系統，常作為控制型自適應研究的實驗對象[12,26,51].其控制器是一個依據PBM框架[9]設計的PID控制器,通過對服務器數量、工作狀態的伸縮來適應用戶負載,保障網站運營的快速響應和高資源利用率.

3) Encoder.Encoder的被管理系統是一個在線視頻壓縮系統，也常作為控制型自適應研究的實驗對象[30，32，52].同樣地,其控制器是一個依據PBM框架[9]設計的PID控制器,通過調整壓縮算法的參數以平衡視頻吞吐量和視頻質量,保障流暢和清晰的視頻流傳輸.

4.1.2 場景設計

運行場景的設計是基于一個五元組(envini,envdev,paraini,paradev,t).其中，envini和envdev分別表示正常情況和模型偏差下的環境輸入,paraini和paradev分別表示正常情況和模型偏差下的模型參數,t表示模型偏差發生的時間點.實驗對象首先依據envini和paraini進行初始化,當發生模型偏差時,環境輸入變為envdev,模型參數變為paradev.

基于五元組的表示方法,根據已有工作將3個實驗對象的運行劃分為9個不同的運行場景,包括4個正常運行場景和5個模型偏差場景.每個運行場景對應于1個場景配置集合,具體如表1所示：

Table 1 Scenario Configurations表1 場景配置

在正常運行場景中,整個自適應軟件系統的envini=envdev且paraini=paradev,該場景配置下的運行記錄稱為陰性運行記錄.在模型偏差場景中,當發生模型偏差時,envini或paraini改變為不同的envdev或paradev,該場景配置下的運行記錄稱為陽性運行記錄.

正常運行場景對應的場景配置集合(即SWaT1,RUBiS1,RUBiS2)覆蓋了現有工作對實驗對象的原始設置[12].由于原始數據不可獲取,Encoder1不能覆蓋文獻[9]的原始設置,可根據文獻的描述生成場景配置.SWaT模型偏差場景對應的場景配置集合(即SWaT2,SWaT3,SWaT4)覆蓋了SWaT中報告的模型偏差[25],包括物理摩擦磨損閥門導致的模型偏差(即SWaT2)、網絡攻擊篡改水位傳感器數值導致的模型偏差(即SWaT3)和網絡攻擊閥門控制信號導致的模型偏差(即SWaT4).RUBiS模型偏差場景對應的場景配置集合(即RUBiS3)覆蓋了RUBiS系統已知的模型偏差設置[55],即系統配置和運行環境不匹配.Encoder模型偏差場景對應的場景配置集合(即Encoder2)根據經驗設計生成.SWaT3,SWaT4,RUBiS1,RUBiS3分別含有125,75,98,102個場景配置,而其他場景配置集合皆含有200個場景配置.

4.1.3 場景劃分

對于一個運行場景,基于第3節提出的3個特性指標的量化值,進一步分類為6種特性場景之一.根據控制論中被廣泛使用的穩態下外部波動導致的系統輸出變化幅度不超過實際系統輸出變化范圍的5%這一假設[22],本文使用0.05作為劃分各特性指標量化值的閾值，因為特性指標量化值本身已經在系統輸出變化范圍上進行了歸一化.

具體而言,根據控制信號強度值將運行場景劃分為高控制影響場景IC↑(即控制信號強度矩陣IC中存在元素值大于0.05)和低控制影響場景IC↓(即控制信號強度矩陣IC的所有元素值都小于0.05).同理可劃分高、低環境影響場景IE↑和IE↓與高、低非確定性影響場景IU↑和IU↓.

根據所提出的3個特性指標計算9個運行場景的特性指標,并歸類到劃分的6種特性場景中,具體如表2所示：

Table 2 Scenario Characteristics表2 場景特性

在SWaT中,傳感器數據篡改場景(即SWaT3)下,系統輸出變化顯著,使其控制信號強度指標矩陣和非確定性強度指標矩陣元素值均為0.00,即SWaT3屬于低控制影響場景和低非確定性影響場景,而其他3個運行場景(即SWaT1,SWaT2,SWaT4)下的系統輸出變化較小,使其控制信號強度指標矩陣和非確定性強度指標矩陣元素值均大于0.05,即SWaT1,SWaT2,SWaT4屬于高控制影響場景.閥門磨損場景(即SWaT2)下,閥門進、出水的流速因物理環境輸入(即物理摩擦)顯著變化,使其環境輸入強度指標矩陣元素值大于0.05,即SWaT2屬于高環境影響場景,而其他3個運行場景(即SWaT1,SWaT3,SWaT4)的環境輸入對系統輸出沒有影響,即SWaT1,SWaT3,SWaT4屬于低環境影響場景.

在RUBiS中,低、高負載抖動運行場景(即RUBiS1和RUBiS2)下的系統輸出變化較小,使其3個特性指標矩陣元素值均大于0.05,即RUBiS1和RUBiS2都屬于高控制影響場景、高環境影響場景和高非確定性影響場景.服務器狀態切換場景(即RUBiS3)下系統輸出變化較大,使其3個特性指標矩陣元素值均小于0.05,即RUBiS3屬于低控制影響場景、低環境影響場景和低非確定性影響場景.

在Encoder中,正常運行場景(即Encoder1)下的系統輸出變化較小,使其3個特性指標矩陣元素值均大于0.05,即Encoder1屬于高控制影響場景、高環境影響場景和高非確定性影響場景.視頻快速切換場景(即Encoder2)的系統輸出變化顯著,使其3個特性指標矩陣元素值均小于0.05,即Encoder2屬于低控制影響場景、低環境影響場景和低非確定性影響場景.

4.1.4 評價標準

通過3個指標評價模型偏差檢測方法在不同運行場景下檢測的有效性.

1) 平均時間延遲(mean time delay,MTD).陽性運行記錄從模型偏差時間點到檢測報警時間點的平均時間間隔.

2) 漏報率(false negative,FN).陽性運行記錄集合中被錯誤檢測為陰性運行記錄的百分比.

3) 誤報率(false positive,FP).陰性運行記錄集合中被錯誤檢測為陽性運行記錄的百分比,或者陽性運行記錄集合中陰性部分被錯誤檢測為陽性的百分比.

4.2 實驗結果

實驗針對問題1，統計9個運行場景下4種主流模型偏差檢測方法的有效性,歸一化對比分析每個運行場景的有效檢測方法；針對問題2，統計6種特性場景下各檢測方法的有效性指標均值,分析各檢測方法適用的特性場景范圍.

1) 針對問題1的方法有效性.表3顯示了9個運行場景下4種主流模型偏差檢測方法的有效性.其中,對于正常運行場景SWaT1,RUBiS1,RUBiS1和Encoder1,指標MTD和FN的值為空.

Table 3 Effectiveness of Different Scenarios with Each Detection Approach表3 不同場景下各檢測方法的有效性

在SWaT正常運行場景SWaT1下,SWDetector和MoD2沒有誤報,Direct的FP值達到13.5%,而ARMA不適用于該運行場景(即FP值為100%).在SWaT閥門磨損場景SWaT2下,MoD2的3個指標值皆顯著低于其他檢測方法(即MTD值為40.11 s,FN值和FP值皆為0.0%)；Direct的FN值和FP值皆顯著低于SWDetector和ARMA,但MTD值最高(即262.41 s)；ARMA的3個指標值皆低于SWDetector；SWDetector不僅MTD值高(僅低于Direct),而且FN值和FP值皆最高(即94.5%和96.8%).傳感器數據篡改場景SWaT3下,SWDetector和MoD2的MTD值分別為0.05 s和1.69 s,且沒有漏報和誤報；Direct的3個指標值皆顯著高于SWDetector和MoD2；而ARMA的3個指標值皆最高(即MTD值為33.21 s,FN值和FP值皆為66.4%).在控制信號篡改場景SWaT4下,MoD2的MTD值顯著低于SWDetector和Direct,且沒有漏報和誤報；Direct的MTD值僅低于SWDetector,FP值僅低于ARMA；SWDetector雖然FP值顯著低于ARMA和Direct,但MTD值最高(即361.00 s)且FN值高于Direct和MoD2；ARMA雖然MTD值最低(即10.00 s),但是FN值和FP值相同且皆最高(即73.3%).

在RUBiS的低負載抖動運行場景RUBiS1下,SWDetector沒有誤報,Direct和MoD2的FP值皆為1.0%,而ARMA的FP值為8.2%;在RUBiS的高負載抖動運行場景RUBiS2下,ARMA的FP值為1.0%,而其他3個檢測方法沒有誤報;在RUBiS的服務器狀態切換場景RUBiS3下,Direct和MoD2指標值相同(即MTD值為0.30 s,FN值和FP值皆為0.0%),SWDetector的MTD值最低(即0.00 s),但FN值和FP值皆高于Direct和MoD2,ARMA的MTD值、FN值和FP值皆最高(即5.78 s,6.5%,6.5%).

在Encoder正常運行場景Encoder1下,SWDetector和Direct皆沒有誤報,MoD2的FP值為2.5%,而ARMA的FP值高達98.5%.在Encoder的視頻快速切換場景Encoder2下,MoD2的MTD值為0.00 s,FN值和FP值皆為0.5%；Direct和SWDetector的MTD值分別為0.03 s和0.13 s,且沒有漏報和誤報；ARMA的MTD值為0.00 s,但是FN值和FP值高達64.0%.

由于評價標準的3個指標描述了檢測時延和檢測準確度2個不同維度的有效性,需要對這3個指標做歸一化和加權處理，從而獲得一個歸一化加權指標值來對比各檢測方法的有效性.對于某一檢測方法,其評價指標的歸一化值為其評價指標值與各對比檢測方法評價指標最小值之差和各對比檢測方法評價指標值范圍的比值.

由于檢測時延的評價只使用MTD值這一個指標,而檢測準確度的評價卻使用FN值和FP值這2個不同角度的指標,考慮到檢測時延和檢測準確度2個維度的平衡,需為3個評價指標的歸一化值添加相應的權重,即MTD值的歸一化值權重為2,FN值和FP值的歸一化值權重皆為1.則各檢測方法有效性的歸一化加權指標值為3個評價指標歸一化值與權重乘積之和,其值越小表示有效性越好.具體如表4所示:

Table 4 Total Weight and Effectiveness Ranking of Different Scenarios with Each Detection Approach表4 不同場景下各檢測方法的總權重和有效性排序

對于不同的運行場景,4種模型偏差檢測方法的有效性排序存在差異.SWDetector在不同運行場景下的有效性差異最大,如該檢測方法在SWaT的傳感器數據篡改場景SWaT3下的有效性最好,卻在SWaT的閥門磨損場景SWaT2下的有效性最差.ARMA在閥門磨損場景SWaT2下的有效性優于SWDetector和Direct，在控制信號篡改場景SWaT4下的有效性優于SWDetector，而其他運行場景皆差.Direct的有效性差異較大,如該檢測方法在RUBiS的服務器狀態切換場景RUBiS3下的有效性最好,而在SWaT3下的檢測有效性劣于SWDetector和MoD2.MoD2在SWaT傳感器數據篡改場景SWaT3下和RUBiS正常運行場景RUBiS1下的有效性劣于SWDetetor,在Encoder正常運行場景Encoder1下的有效性劣于SWDetector和Direct，而在其他運行場景下有效性皆優.

Table 5 Effectiveness of Each Detection Approach under Different Characteristic Scenarios表5 各檢測方法在不同特性場景下的有效性

綜上,4種主流模型偏差檢測方法適用的特性場景如表6所示：

Table 6 Applicability of Each Detection Approach表6 各檢測方法適用性

SWDetector通過自適應軟件系統的系統輸出變化檢測模型偏差.如果自適應軟件系統模型偏差場景下的系統輸出變化與正常情況的區分度越大,則該檢測方法的有效性越好,反之則沒有考慮控制信號因素.因此,SWDetector適用于低控制影響場景IC↓.SWDetector通過滑動窗口綜合考慮連續多次的系統輸出值,從而平滑觀測誤差,但該補償操作對于高非確定性因素的補償效果有限.因此,SWDetector適用于低非確定性影響場景IU↓.由于SWDetector在建模自適應軟件系統時未考慮環境輸入,使環境輸入導致的系統輸出顯著變化會降低檢測的有效性,因此SWDetector適用于低環境影響場景IE↓.

ARMA使用自回歸模型描述模型偏差對于系統輸出的影響.自適應軟件系統模型偏差場景下的系統輸出變化與正常情況的區分度越大,則該方法的有效性越好,反之則難以檢測.因此,ARMA適用于低控制影響場景IC↓.ARMA方法通常將環境輸入和非確定性因素視為影響自適應軟件系統整體行為的一個外部擾動,并通過控制系統的穩定性加以處理,并沒有引入單獨的機制進行應對.因此,ARMA適用于低環境影響場景IE↓和低非確定性影響場景IU↓.

Direct基于標稱模型,引入環境輸入建模自適應軟件系統.因此,Direct適用于任何環境影響場景IE↑和IE↓.自適應軟件系統模型偏差場景下的系統輸出變化與正常情況的區分度越大,則模型參數估計值越容易超出安全區域,反之越容易被其他特性影響留在安全區域內.因此,Direct適用于低控制影響場景IC↓.由于控制信號的變化,Direct的補償操作(即滑動窗口方法)不能有效平滑高非確定性因素.因此,Direct適用于低非確定性影響場景IU↓.

MoD2基于標稱模型,建模了模型參數，添加了環境輸入和各種非確定性補償項,因此適用于所分類的6種特性場景.

由上述分析可知，MoD2在檢測模型偏差時可以有效地覆蓋不同的偏差場景.但相比于其他方法，MoD2需要開發人員在設計系統時額外計算更多的信息(如模型參數值的先驗分布和非確定性補償項的參數值)，且在檢測變量估計的過程中使用了計算量更大的貝葉斯方法,在性能上帶來了額外的開銷.這些額外的開銷使得MoD2能夠應對各種高影響場景(即IC↑,IE↑,IU↑)，但卻不能在低影響場景中相比其他部分方法提升其檢測有效性.因此我們認為,在應對各種低影響場景時,可以綜合使用滑窗這類的低成本檢測方法,以平衡檢測方法的有效性和性能開銷.

4.3 有效性威脅

實證結論有效性的威脅包括實驗對象、實現的模型偏差檢測方法以及場景特性3個指標的內在聯系.

本文只使用了3個自適應軟件系統作為實驗對象,這可能會影響實驗結論的普遍性.為了進行實驗,需要對被管理系統及其控制論設計的控制器有充分的了解.這一要求限制了對可能的實驗對象的選擇.盡管如此,所選擇的實驗對象代表了不同平臺(包括網絡系統和信息物理融合系統)和架構(包括單控制器和多控制器)的自適應軟件系統.此外,所選自適應軟件系統都被其他自適應研究人員廣泛用作實驗對象或研究案例.

本文實現了4個模型偏差檢測方法.這4個檢測方法的實現可能無法完全代表4種主流模型偏差檢測方法的真實有效性.但是,這4個檢測方法都是依據已有的文獻描述實現,其有效性已經在相關文獻中得到了證明.因此,所實現的檢測方法可以比較好地反映所代表的模型偏差檢測方法的有效性.

與控制論使用精確的數學模型去描述運行場景不同,基于模型偏差檢測框架,對影響模型偏差檢測方法的有效性的因素進行分析(即控制信號、環境輸入和非確定性3個主要因素對模型偏差檢測方法有效性的影響),由此定義了3個量化指標去描述運行場景在檢測有效性影響層面上的特性.因此,3個指標代表自適應軟件系統3個不同維度的檢測有效性影響因素的特性.

5 相關工作

軟件控制論是軟件工程的一個重要分支,其核心在于使用控制論的方法來解決軟件工程中的問題.現有工作中,軟件控制論已廣泛運用于軟件的需求、實現、測試等各個方面[56].在軟件需求方面,控制論將反饋控制環用于需求提升.Xu等人[57]使用控制論來定義一個需求工程過程控制系統.Liu等人[58]將數據驅動的需求激發過程表示為一個反饋控制系統,需求激發變成了對用戶行為模型的不斷優化.在軟件設計實現方面,控制論關注將控制論系統地引入以提高軟件的可靠性.Patikirikorala等人[3]系統總結了設計自適應軟件系統的控制工程方法.Shevtsov等人[4]從系統建模、控制技術和控制屬性3個方面系統分析了現有控制型自適應研究.在軟件測試方面,控制論方法可以定量地預測測試過程的趨勢,并幫助管理者分配測試資源.Cangussu等人[59]使用反饋控制來調整測試過程的參數.Zhang等人[60]遵循軟件控制論,提出了基于歷史的動態隨機軟件測試,改進了傳統的隨機測試和隨機劃分測試策略.

控制型自適應軟件系統的開發首先需要建立被管理系統的標稱模型.在早期,標稱模型可從已知的復雜系統架構模型中推導獲得.Checiu等人[61]從Web服務系統的服務器請求模型中推導出對應的常微分方程.Filieri等人[62-63]從應用程序的離散時間馬爾可夫鏈模型中推導出對應的數學方程.推導出的標稱模型雖然能夠較好地描述軟件系統的行為,但要求開發人員同時具備軟件工程和控制論2方面的專業知識.為了降低開發人員的負擔,同時更好地理解和推理實現的自適應軟件系統的行為,Filieri等人[9]提出了PBM框架,該框架給出了自適應軟件系統的自動化設計過程,理論保證實現的自適應軟件系統具有所需的控制屬性.基于PBM框架,不同類型的標稱模型和各種控制技術被引入用來應對不同的軟件自適應場景[5].然而,基于數據驅動的標稱模型更加凸顯模型偏差問題,使得各種模型偏差檢測方法應運而生.面對各種檢測方法,需要一個指導向的工作幫助選擇有效的模型偏差檢測方法,實現可靠運行的自適應軟件系統.本文從模型偏差場景角度,分析了各模型偏差檢測方法適用的特性場景,輔助檢測方法的有效選擇.

模型偏差問題自控制型自適應軟件系統被提出以來一直備受關注.現有工作對模型偏差問題的處理方式大致分為3類：第1類是設計魯棒控制器去容忍模型偏差.Baresi等人[51]使用灰盒離散時間反饋控制器實現魯棒的自適應軟件系統.第2類是采用學習、濾波等技術實現標稱模型的在線更新.Filieri等人[28]使用學習機制保持標稱模型參數辨識值在系統運行時不斷更新.Maggio等人[30]使用卡爾曼濾波,通過更新標稱模型的狀態變量值達到修改標稱模型參數辨識值的目的.這2類處理方式基本解決了標稱模型參數辨識值的輕微偏差.第3類是模型偏差檢測.該類處理方式關注會使自適應軟件系統的理論保證失效,可能導致被管理系統行為異常的模型偏差.在線檢測這類模型偏差對自適應軟件系統的可靠運行至關重要.PBM框架也考慮了模型偏差問題,并提供了基于滑窗的系統輸出檢測方法實時檢測由于模型偏差導致的系統異常行為.He等人[22]針對控制型CPS,提出了基于自回歸的系統輸出檢測方法,用于檢測由于軟件bug導致的模型偏差.Tong等人[10]針對現有檢測方法沒有平衡檢測及時性和準確性的問題,提出了基于貝葉斯參數估計的檢測方法.對于模型偏差檢測,現有工作專注于針對不同的被管理系統和模型偏差場景提出既快又準的檢測方法.據我們所知,現有工作缺乏對不同偏差場景下各檢測方法適用性的系統化研究.本文通過大量實驗分析和描述了4種主流模型偏差檢測方法的適用性,為實現可靠自適應軟件系統時如何選擇有效的檢測方法提供了實證研究支持.

傳統控制論同樣關注模型偏差檢測問題,并提出了各種檢測方法.Webber等人[64]利用系統輸出抖動與模型預測誤差的相似度來檢測模型偏差.Badwe等人[65]提出了一個基于分析控制信號和模型殘差之間的偏相關性的檢測方法.Ji等人[66]通過對比估計過程的頻率響應與基于模型的頻率響應,檢測多變量模型預測控制的模型偏差.Wang等人[67]提出一種基于子空間法的模型偏差檢測方法.Yin等人[68]提出了一種數據驅動方法來檢測模型偏差，該方法結合子空間法和滑動窗口來估計標稱模型的參數值.Tsai等人[69]使用2個系統辨識步驟來檢測和定位模型偏差.控制領域關于偏差檢測方法的實證研究關注在相同實例下對比各檢測方法的優劣.Iqbal等人[70]對比了基于帶輸入自回歸(autoregressive with exogenous inputs, ARX)模型和有限沖激響應(finite impulse response, FIR)模型的2種檢測方法,表明在實例下基于ARX模型的檢測方法要優于基于FIR模型的檢測方法.Uddin等人[14]基于實例對比了ARX模型和帶輸入自回歸滑動平均(autoregressive-moving-average with exogenous inputs, ARMAX)模型的2種偏差檢測方法,表明使用ARMAX建模受控物理系統能以更少的模型階數達到更好的檢測效果.而本文的實證研究關注每個檢測方法適用的實例有哪些特性.

6 總 結

本文通過實驗對控制型自適應軟件系統的模型偏差方法在不同模型偏差場景下的適用性進行研究.基于提出的模型偏差檢測框架中對模型偏差檢測有效性產生影響的3個維度(即控制信號、環境輸入和非確定性),提出一套特性指標,即控制信號強度、環境輸入強度和非確定性強度,來描述模型偏差場景,并根據系統輸出穩定性假設,為3個特性指標劃分6種不同特性場景.基于3個自適應軟件系統生成的9個運行場景,實驗分析4種主流模型偏差檢測方法適用的特性場景范圍.

作者貢獻聲明：童燕翔與秦逸完成研究構思、實驗設計、數據分析和論文寫作；馬曉星指導研究選題、方法設計以及論文修改等.全體作者都閱讀并同意最終的文本.