一種面向第三方測試的裝備軟件可信性評估方法

郭興林, 周昱瑤, 漆蓮芝, 孫振曉, 張 誼, 顏運強

(中國工程物理研究院計算機應用研究所,綿陽 621900)

隨著信息科學與技術的迅猛發展,軟件在裝備整體效能中發揮的作用越來越大,裝備中很多關鍵、復雜功能逐步由軟件實現。由于軟件規模與復雜度的增長,加之軟件開發和運行環境的開放性、動態性和多變性,軟件缺陷密度隨之呈幾何級數增長,軟件缺陷引起的軟件失效也可能導致嚴重后果。例如,2003年,俄羅斯“聯盟號”載人飛船因導航計算機軟件錯誤在返回途中偏離預定降落地點約460 km；2009年,法航空客A330-200 型飛機由于測速儀結冰,飛控軟件給出了錯誤的攀升指示,最終導致飛機在大西洋上墜毀[1]。裝備軟件可信問題日益突出,軟件可信性評估受到了行業的廣泛關注。

軟件可信性指軟件的行為和結果符合用戶預期,并在受到干擾時仍能提供連續服務的能力[2]。中外學者在可信性評估方面開展了廣泛研究,并取得了一定的研究成果。1978年,Boehm等[3]建立了軟件質量層次模型,將軟件質量分為多個質量屬性。Voas[4]提出了軟件可信度量綜合模型,將軟件可信描述為可用性、可靠性、可維護性、性能、安全性、容錯性、機密性和可測試性8種屬性。Yang等[5]建立了軟件可信過程管理框架,從量化和提高軟件開發過程可信的角度來保障軟件可信性。郎波等[6]依據典型軟件質量模型(如ISO/IEC 2501n,McCall模型),提出了一種軟件可信分級規范。Park等[7]提出了基于風險管理的可信軟件過程評估模型,并對軟件開發過程、軟件中間產品與可信軟件三者之間的關系進行了定義。Perkusich等[8]運用貝葉斯網絡來改善軟件開發過程的質量缺陷,從而提高軟件開發的成功率與可信性。王德鑫等[9]提出基于軟件過程評估模型的可信評估方法,采集過程實體、行為以及制品3個方面的可信證據進行可信性評估。Kanpariyasoontorn等[10]采用云控制矩陣對云服務的可信性進行了評估。

目前,中外軟件可信性評估方法主要從軟件產品和過程兩個維度建立軟件可信性評估模型[11],采集證據進行可信性評估,但在裝備軟件應用中仍存在一些不足。

(1)強調方法通用性,忽略軟件的領域行業特點。根據目前裝備軟件研制體系,軟件任務總體、需求分析、設計、編碼、測評等過程單位既相互聯系又一定程度上獨立,軟件研制過程中任一相關單位都難以獲取其他研制過程的完整軟件數據,難以做到從全生命周期收集可信證據對軟件可信性進行評估,也無法直接依賴某一階段數據對軟件可信性進行準確評估,難以滿足軟件利益相關方的評估需求。

(2)關注評估模型的完備性,忽略模型構建的科學性和規范性。現有可信評估模型在構建時追求對軟件產品質量和過程活動的全覆蓋,未考慮可信特征間復雜關系,存在重復度量的情況。另外,在可信融合過程中,未考慮可信證據多維性、多源性、不確定性特點,證據分析度量缺乏統一約束,評估模型輸入的一致性和規范性無法保證,模型的科學性和規范性存在不足。

(3)傳統可信評估方法提供的可信信息匱乏,效費比低。通過傳統可信評估得到軟件可信性,未結合評估過程和結果信息對軟件可信性進行深層次分析,提供的可信信息匱乏,不利于利益相關者全面深入了解軟件可信性情況以及制定軟件可信性增強策略和規范,難以有效支撐研制改進和管理決策。

由于第三方測試仍為目前裝備軟件質量保障的重要手段,并且能夠方便獲得軟件多類型缺陷數據,因此,面向第三方測試,提出了一種裝備軟件可信性評估方法,能夠為軟件研制改進、管理決策提供有效支撐。

1 面向第三方測試的裝備軟件可信性評估框架

軟件可信性評估本質上是軟件多維質量屬性科學融合的過程,涉及可信評估模型構建、可信證據分析度量、可信性融合、可信性分析等多個環節,其中構建科學、完備的軟件可信性評估模型是可信評估的核心,統一的可信證據分析度量方法是保證評估模型輸入一致性和規范性的前提,而科學、合理的多維可信融合算法是確保評估結果準確性的關鍵。依賴可信評估過程和結果信息深入開展軟件可信性分析,挖掘軟件深層次可信信息,生成軟件可信性增強策略和規范,實現可信評估效益的最大化。面向第三方測試的裝備軟件可信性評估框架如圖1所示。

圖1 裝備軟件可信性評估框架Fig.1 Framework for evaluating the trustworthiness of equipment software

1.1 基于多維屬性的軟件可信性評估模型

軟件可信性是軟件多種質量屬性的綜合體現,ISO/IEC 9126、25010、GJB 5236等標準均對軟件質量模型進行了定義[12],依據軟件質量模型、裝備軟件特性以及測試相關標準規范,建立基于多維屬性的軟件可信性評估模型,評估模型采用層次結構進行組織,自上而下分別屬性、子屬性、度量元、度量指標,模型中所有節點統稱為可信特征。裝備軟件可信屬性一般包括功能性、可靠性、安全性、實時性、可生存性、可維護性6種屬性,子屬性是對屬性內涵的進一步細化。每個子屬性下度量元設置方式一致,均采用測試完整、測試有效、測試符合3層遞進模式。度量指標從正常、異常、邊界測試等方面對度量元進行表征,度量指標可以直接采集證據進行度量。基于多維屬性的裝備軟件可信性評估模型如圖2所示。

圖2 裝備軟件可信性評估模型Fig.2 Model for evaluating the trustworthiness of equipment software

評估時可根據軟件類型對模型中可信特征進行靈活調整,采用層次分析法[13](analytic hierarchy process, AHP)確定可信特征權重。

1.2 軟件可信性融合算法

軟件可信性融合算法將可信特征可信值按照模型層次結構自下而上融合成軟件可信性,其科學性、合理性直接影響評估結果的準確性。采用基于公理證明[14]的可信融合算法進行可信數據融合,如式(1)所示。

(1)

式(1)中:T為軟件可信性；z1、z2分別為關鍵屬性和非關鍵屬性的可信性；α為關鍵屬性權重；β為非關鍵屬性的權重；ρ為關鍵屬性和非關鍵屬性間的替代系數；yi為屬性i的屬性值,m、s分別為關鍵屬性和非關鍵屬性的個數；ymin、ymax分別為屬性值最小和最大的關鍵屬性；αi為m個關鍵屬性間的相互權重；ε為調控參數,調控最小關鍵屬性對可信性的影響；βi為s個非關鍵屬性間的相互權重；ρ1為非關鍵屬性間的替代系數。

在裝備軟件中,所有屬性均為關鍵屬性,即α=1,β=0,ρ→+∞,屬性對可信性貢獻由其可信性和權重共同決定,ε=0,式(1)可簡化為

(2)

式(2)為非線性積性算法,m為屬性個數,其滿足非負性、空值性、單調性、凝聚性等公理性質,符合人類邏輯推理,算法準確性較高。另外,該算法對可信性差的可信特征更為敏感,有利于找出軟件可信性薄弱環節,快速提升軟件可信性。子屬性、度量元融合均采用上述算法。

2 可信證據分析度量方法

第三方測試數據類型多、數據量大、追溯關系復雜,難以有效提取可信證據。另外,源于可信評估模型的多維性,可信證據具有多維性、多源性和不確定性,可信證據分析、度量困難,難以保證評估模型輸入的一致性和規范性。為保證評估結果的準確性,應對評估模型進行統一約束,建立統一的可信證據分析度量準則。

準則1:可信需求獲取。可信需求是指軟件利益相關者需要可信軟件具備的可信狀態或條件[15],是判斷軟件是否滿足可信目標的唯一基準。可信需求獲取的完備性、規范性和一致性直接影響評估結果的準確性。對可信需求的約束包括特征類別、粒度、依據、優先級等。可信需求獲取準則如表1所示。

表1 可信需求獲取準則

準則2:可信證據追溯。為保證評估的充分性、準確性和一致性,應在可信證據(研制需求、測試數據、可信需求)間建立完整追溯關系。當前軟件工程能力和裝備軟件研制體系下,軟件研制需求、測試需求、可信需求分別構成集合A、B、C,三者之間的關系為A?B?C,評估過程能夠且必須實現對研制需求、測試數據的全覆蓋。

準則3:可信證據的采集。軟件可信屬性與測試類型間并非一一對應關系,根據測試類型定義以及可信評估工程實踐,確定了可信屬性與測試類型的對應關系,以此為準則進行可信證據采集。對應關系如圖3所示。

圖3 軟件可信屬性與測試類型對應關系Fig.3 Corresponding relationship between software trustworthiness attributes and test types

準則4:測試有效判定準則。窮盡測試是不可能的,當前軟件工程能力以及時間資源約束條件下,按照標準測試設計方法設計正常、異常、邊界情況測試用例作為充分性集合,然后根據可信需求優先級以及測試用例設計情況判定測試是否有效。

設對可信需求進行充分覆蓋所需用例數為Φ,測試時已設計用例數為Ψ,用例覆蓋率：

(3)

優先級為高、中、低的可信需求對應的用例覆蓋率閾值分別為η1、η2、η3,且η1>η2>η3,低于閾值,該可信需求測試無效,高于閾值測試有效。

準則5:可信需求滿足判定準則。軟件問題是判定可信需求是否滿足最重要的證據。軟件問題具有兩個基本的特征指標,一個是軟件問題數,另一個是問題的嚴重等級。當前軟件工程能力以及時間資源約束條件下,簡單以是否存在軟件問題作為可信需求滿足與否的判定依據,得到的結果是片面的、不客觀的,不具有工程應用價值,更合理的是充分考慮可信需求優先級、軟件問題數、軟件問題嚴重等級間的綜合作用。

(4)

準則6:可信指標度量準則。為保證評估結果的準確性,參與可信融合的可信特征其指標度量方向應是一致的。根據度量方向指標一般分為成本型指標和收益型指標。

成本型指標：

(5)

式(5)中:x為未滿足的可信需求數目；y為全部可信需求數目。x越小,指標可信性越好。

收益型指標：

(6)

式(6)中:x為滿足的可信需求數目；y為全部可信需求數目。x越大,指標可信性越好。在可信融合之前,應首先對指標的度量方向進行一致性轉換。

3 軟件可信性分析

獲得可信性評估結果并不是可信評估的最終目的,更重要的是通過可信性評估和分析過程,深入挖掘軟件的可信信息,為軟件研制、管理決策提供豐富的信息支撐。軟件可信性分析響應不同軟件利益相關者的重大關切,從多個視角、多個維度展開分析。

維度1:軟件可信性水平。軟件可信性水平是對軟件整體可信性的宏觀反映,包括軟件可信性T和可信評估等級H[16]。

維度2:可信特征對軟件可信性的貢獻。可信特征對軟件可信性的貢獻是從具體的軟件可信特征出發,分析每個可信特征對軟件整體可信性的貢獻情況以及可信特征間可信性差異情況,便于更細致地了解軟件可信性構成情況。

設軟件可信性為T,屬性、子屬性、度量元可信性分別為xi、yi,j、zi,j,k,對應的權重分別為αi、βi,j、γi,j,k,則屬性、子屬性、度量元對軟件可信性的貢獻因子：

(7)

維度3:影響軟件可信性的關鍵可信特征。軟件可信性增強是可信性分析的一個重要目的,在制定可信性增強策略時,不能僅僅以可信特征對軟件可信性的貢獻情況為依據,實際情況往往是貢獻最小的可信特征反而不是增強的重點,如可維護性,應重點考慮可信特征對軟件可信性實際貢獻與理想貢獻的偏差,偏差越大的增強優先級越高。將貢獻偏差最大的可信特征稱為關鍵可信特征。

(8)

維度4:軟件可信性增強策略。軟件可信性增強策略包含兩個層面的內容,待增強可信特征的選擇以及相應的增強目標。待增強可信特征的選擇參考維度3分析結果。增強目標包括頂層目標和底層目標,對應自頂向下和自底向上的增強策略。

(1)自頂向下可信增強策略。直接將軟件可信性作為增強目標,選擇N個度量元作為待增強可信特征,軟件可信性增強ΔT,則底層度量元增強目標滿足式(9)約束優化求解。

(9)

式(9)中:S為可信性增強成本函數；φi,j,k為度量元單位可信性提升所需的成本,通過約束求解使可信增強成本最低的Δzi,j,k,即得到可信增強底層目標。

(2)自底向上可信增強策略。選擇N個度量元作為待增強可信特征,分別將其可信性提升Δzi,j,k,軟件可信性增強到

(10)

維度5:軟件可信性增強規范。制定軟件可信性增強策略后,依據可信特征與可信證據間的追溯關系,識別未滿足的可信需求。結合歷史經驗失效模式庫,開展軟件失效模式分析,對于危險等級高的軟件失效,參考行業標準、方法指南,形成針對當前可信需求的可信性增強規范,生成流程如圖4所示。

圖4 軟件可信性增強規范生成流程Fig.4 Process for generating software trustworthiness enhancement specification

4 應用驗證

將該方法在某嵌入式軟件中進行了應用驗證,建立了基于多維屬性的軟件可信性評估模型。評估模型包含6個屬性,9個子屬性,26個度量元,30個度量指標,從第三方測試數據中采集可信證據實現了對軟件可信性的定量評估。評估結果及可信性分析如下。

4.1 軟件可信性水平

第三方測試后軟件的可信性為7.85,對應的軟件可信級別為Ⅱ級。

4.2 可信特征對軟件可信性的貢獻

屬性、子屬性、度量元對軟件可信性貢獻情況如圖5～圖7所示。

圖5 屬性對軟件可信性貢獻Fig.5 Contribution of attributes to software trustworthiness

圖6 子屬性對軟件可信性貢獻Fig.6 Contribution of sub-attributes to software trustworthiness

圖7 度量元對軟件可信性貢獻Fig.7 Contribution of metrics to software trustworthiness

由圖5～圖7可知,對軟件可信性貢獻最大和最小的屬性分別為功能性、可維護性,貢獻最大和最小的子屬性分別為功能適合性、可維護性易分析性,貢獻最大和最小的度量元分別為防危性符合、強度符合性測試完整。

4.3 影響軟件可信性的關鍵可信特征

屬性、子屬性、度量元對軟件可信性實際貢獻與理想貢獻占比情況如圖8～圖10所示。

圖8 屬性對可信性實際貢獻與理想貢獻占比Fig.8 Proportion of actual and ideal contributions of attributes to trustworthiness

圖9 子屬性對可信性實際貢獻與理想貢獻占比Fig.9 Proportion of actual and ideal contributions of sub-attributes to trustworthiness

圖10 度量元對可信性實際貢獻與理想貢獻占比Fig.10 Proportion of actual and ideal contributions of metrics to trustworthiness

由圖8～圖10可知,實際貢獻與理想貢獻占比最小的屬性、子屬性、度量元分別為實時性、實時性處理及時性、處理及時性符合。實時性、實時性處理及時性、處理及時性符合為影響軟件可信性的關鍵可信特征,可信增強的優先級最高。

4.4 軟件可信性增強策略

制定自底向上可信增強策略,根據度量元實際貢獻與理想貢獻偏差,選擇計算準確性符合、防危性符合、強度符合性要求符合、錯誤處理規則符合、處理及時性符合5個度量元作為底層可信性增強目標,將度量元可信值分別提升1,單個度量元可信性增強帶來的軟件可信性提升情況如圖11所示。

由圖11可知,將單個度量元可信性同等增強,防危性符合增強帶來的軟件可信性提升最大,增強效果最明顯,計算準確性符合增強效果最差。將5個度量元可信性同時增強,軟件可信性增強到8.32,可信等級為Ⅲ級。

圖11 度量元可信性增強帶來的軟件可信性提升Fig.11 Software trustworthiness improvement caused by enhanced trustworthiness of metrics

4.5 軟件可信性增強規范

通過對軟件進行深入可信性分析,并依據可信特征與可信證據的追溯關系,發現軟件在可信需求方面存在明顯不足,針對性生成可信性增強規范如表2所示。

以上評估分析結果準確性較高,符合軟件研制實際情況,該軟件仍處于試樣階段,軟件需求和代碼版本變更頻繁,技術狀態不穩定,不具備出廠放行、驗收交付條件。經過可信評估分析,有效促進了下一階段軟件可信性的增強。

表2 軟件可信性增強規范

5 結論

針對傳統軟件可信性評估方法的不足,提出了一種面向第三方測試的裝備軟件可信性評估方法,建立了基于多維屬性的軟件可信性評估模型,采用統一的可信證據分析度量方法保證模型輸入的一致性和規范性,對評估過程和結果信息開展深入可信性分析,形成可信增強策略和規范,評估準確性較高,工程實用性強,能夠為研制改進、管理決策提供有效支撐。對于可信評估過程中存在的復雜可信需求驗證、可信證據沖突情況下的證據融合等問題將在后續研究中解決。