復雜仿真模型可信度評估：挑戰與方法

徐忠富, 楊小軍*, 唐見兵, 周食耒

(1.中國洛陽電子裝備試驗中心，洛陽 471003；2.國防科技大學系統工程學院，長沙 410073)

當直接對真實系統進行試驗過于困難或代價過高時，或者待研究的系統和現象尚不存在的情況下，建模與仿真為觀測和研究這類系統提供了一種有效手段。建模與仿真通過對現實問題的充分抽象和簡化，在建立的等效模型上進行研究、分析與實驗，以一種經濟、高效、安全、可重復、無破壞的方式探索、認識和改造現實世界。近年來，隨著計算機、建模與仿真技術的快速發展，仿真模型在軍事、工業、經濟、環境和社會等領域得到了廣泛應用。仿真實驗與推演分析在方案評估、策略制定、問題求解、軍事訓練和關鍵決策中發揮越來越重要的作用。

隨著應用范圍和需求的不斷擴大，建模與仿真變得越來越精細和復雜，仿真模型的功能和性能得到大大增強。與此同時，仿真模型在不同領域深入廣泛地應用，促使人們越來越關注可信度問題，對仿真模型的可信度要求越來越高。缺乏足夠可信度的仿真模型產生的仿真結果可能會對決策者產生誤導，甚至釀成無法挽回的軍事、政治、經濟上的損失。因此，仿真模型的可信度評估對于明確和提高仿真模型的可信程度和適用范圍、增強人們在重要的評估與決策問題中充分應用仿真模型和結果的信心，具有至關重要的作用，已經成為建模與仿真領域的關鍵問題。

早在1959年，Conway等[1]就開始注意仿真模型的可信度問題。隨后，Biggs和Cawthorne[2]對“警犬”導彈仿真模型進行了全面的可信度評估。1967年，Naylor等[3]建議采用χ2檢驗、均值(方差)分析、因子分析、回歸分析、K-S檢驗、非參數檢驗、Theil不等式系數、頻譜分析等對仿真模型進行驗證。Mckenny[4]進一步指出，仿真模型驗證目的是判斷仿真模型輸出的誤差是否淹沒其有用性。Schrank等[5]認為，仿真模型驗證的關鍵是判斷模型的有效性。Fishman等[6]將仿真模型的可信度分析過程分為校核和驗證兩個部分，從此，仿真模型V&V這一觀點被國際仿真界普遍接受。Van Horn[7]認為模型驗證的核心是在特定的應用目的下判斷仿真模型與被仿真對象的行為特性的一致性程度。Shannon[8]在1975 年進一步明確提出，模型驗證的根本途徑是仿真模型與真實系統在相同的輸入下比較仿真輸出和真實輸出。Kheir和Holmes[9]指出，應按照系統特點分解為多個子系統分別進行可信度評估。1997年，Balci[10]歸納總結了用于傳統仿真模型校核與驗證的77種方法和用于面向對象仿真模型的校核與驗證的38種方法。2010年，Balci[11]總結了仿真模型校核、驗證、測試與驗收的20條黃金法則。

近20多年來，中國許多學者對仿真模型驗證和可信度評估進行了綜述[12-24]。最近，李偉等[25]分析了復雜仿真模型的特點，提出了可信度評估面臨的一些挑戰，并給出了若干解決措施。

然而，復雜仿真模型可信度評估面臨諸多挑戰，包含對大量的定性指標和定量指標的測量與評估，通常還要依賴領域專家的經驗知識，并且需要綜合不同的方法和度量結果[26]。仿真模型依據特定的應用目的開發，因此應根據其預期應用目的進行可信度評估[27]。如果仿真模型意圖回答一系列問題，那么應針對每項問題都進行可信度評估[28]。對復雜仿真模型的不同特征進行驗證與評估，導致可信度評估成為一項復雜的多指標決策難題，需要綜合多種定性和定量方法，以獲得更加魯棒和可靠的綜合評估結果[29]。Liao等[30]同樣指出，為了獲得可靠的可信度評估結果，僅對仿真模型的某一項特性進行驗證與評估往往是不夠的，應該聚合多項特性的評估結果，從而獲得系統、客觀的綜合評估結果。Olsen等[31]通過聚合仿真模型的結構、行為和數據的驗證結果，進而計算得到總體可信度。

首先歸納總結復雜仿真模型可信度評估面臨的主要挑戰，然后制定可信度評估的基本框架和策略，并歸納總結主要技術和方法。本文的研究有利于從總體上把握可信度評估的基本步驟和方法，明確重點研究內容和方向，從而推動復雜仿真模型可信度評估的理論探索和實踐研究。

1 面臨的主要挑戰

近年來，隨著計算機的普及和推廣，特別是計算機運算速度和網絡帶寬及存儲能力得到了迅猛提升，使得人們能夠利用計算機仿真來精細模擬復雜系統和過程。正由于此，計算科學突破了實驗和理論科學的局限性，成為人們認識和改造世界的重要手段。人們利用計算機模擬構建了大量的軍事仿真系統、經濟仿真系統、社會仿真系統和工業仿真系統，建模與仿真的范圍越來越廣泛、仿真模型越來越復雜。這些計算機仿真模型能夠快速、低成本、可重復地模擬復雜現象和過程，同時產生了大量的功能特性和仿真數據。因此，基于現代計算機的建模與仿真進入了大數據與智能時代，與此同時，復雜仿真模型的驗證和可信度評估面臨著許多新的挑戰[32]。

系統地歸納總結了復雜仿真模型可信度評估面臨的8項挑戰，如表1所示。

針對復雜仿真模型驗證和可信度評估面臨的新的挑戰，需要從總體上制定可信度評估的基本框架和策略，歸納總結主要技術和方法。

2 基本原理、基本框架及主要方法

2.1 基本原理

復雜仿真模型的可信度評估通常基于仿真模型與被仿真對象之間的功能結構相似性原理或者輸出結果差異性原理。

2.1.1 功能結構相似性原理

相似理論認為，建模與仿真的本質就是依據相似原理建立某種形式的相似模型代替被仿真對象進行實驗。相似理論的基本原理包括同序結構原理、信息原理和支配原理等[33]。同序結構原理認為，系統的序結構決定了系統的整體特性。因此，仿真模型應反映被仿真對象的空間序結構(空間排列、組合和聯系方式)、時間序結構(系統要素隨時間變化的規律)和功能序結構(系統要素在相互作用過程中所表現出的各種功能)。信息原理認為，系統序結構的形成和演化與系統的信息作用相關。

表1 復雜仿真模型可信度評估面臨的8項挑戰Table 1 The summarized 8 challenges of credibility assessment of complex simulation models

因此，仿真模型應反映被仿真對象的信息流規律，包括信息作用的內容、形式和信息場強度及其分布規律。支配原理認為，相似程度的大小取決于支配系統的自然規律的接近程度。

基于功能結構相似性原理的仿真模型可信度評估通常適用于被仿真對象的基本結構、基本原理、基本功能、基本規律已經被領域專家所認識并清晰描述，同時仿真模型可信度評估人員對建模與仿真過程和仿真模型的原理及功能結構有非常清晰的認識，且仿真模型與被仿真對象有比較相似的功能劃分和結構關系，以便于將仿真模型與被仿真對象的功能結構及遵循規律進行對比分析。它的最大的局限在于相似元的定義及相似程度的計算不好確定，通常需要領域專家根據仿真目的主觀地判斷處于什么相似程度可以達到可信度要求。對于規律掌握還不是特別清晰的復雜的社會、經濟、軍事系統的仿真，建模過程中看似微小的簡化，可能會帶來輸出特性的巨大差異。比如，將原子結構簡化為太陽系結構時(原子的行星模型)，電子云的量子特性可能就永遠發現不了。

2.1.2 輸出結果差異性原理

輸出結果差異性原理的基本思想是：在仿真模型建立后，仿真模型和被仿真對象(或經過驗證的被仿真對象的參考模型)在相同的輸入條件下，將仿真模型的輸出結果與被仿真對象的真實輸出進行比較，分析差異程度，從而驗證仿真模型與被仿真對象的一致性和一致性程度，也就可以得到用仿真模型代替被仿真對象進行實驗的可信度。

基于輸出結果差異性原理的仿真模型可信度評估對于系統內部復雜性不好掌握的被仿真對象來說是一個很好的途徑，它使得評估人員可以繞過被仿真對象和仿真模型不可預見的復雜性來得到最終想要的結果。只要仿真模型和被仿真對象的對比數據足夠豐富，就可以充分檢驗仿真模型的可信度。用輸出結果的差異性來判定仿真模型的可信度是最為客觀、有效的方法。但是，這種方法往往要求可以獲得被仿真對象或其參考模型的足夠豐富的輸出數據，或者有大量的歷史參考數據。

圖1 復雜仿真模型可信度評估基本框架Fig.1 The overall framework for credibility assessment of complex simulation models

現有的仿真模型驗證與可信度評估的相關研究大多都是基于輸出結果差異性原理。中外許多研究者提出了基于統計檢驗[3]、Theil不等式系數[9]、誤差分析[34]、相關系數[35]、相似系數[36]、灰色關聯分析[37-38]、時間序列分析[39-42]、頻譜分析[39,43]、小波分析[44-45]等對仿真模型輸出與參考數據的一致性進行定量分析的驗證方法。近年來，針對多元動態輸出的復雜仿真模型驗證及可信度評估，許多研究者提出了基于主成分分析[46-47]、馬氏距離[48]、貝葉斯網[49-50]、Shannon熵[51]、小波偏差分析[52-53]、著色Petri網[54]的可信度分析方法。

2.2 基本框架

基于功能結構相似性原理的仿真模型可信度評估通常需要依賴領域專家進行深入分析和主觀判斷，基于輸出結果差異性原理的仿真模型可信度評估通常需要相關領域從業人員進行大量的對比實驗和數據分析。一般來說，仿真模型開發過程中的分析與建模階段適合采用功能結構相似性原理，如概念模型驗證、體系結構與設計評審等；仿真模型結果驗證與可信度評估(特別是第三方評估)適合采用輸出結果差異性原理，如運行驗證、仿真結果分析等。

對于復雜仿真模型的可信度評估，通常需要結合使用功能結構相似性原理和輸出結果差異性原理，得到功能結構相似度和運行結果一致度，從而綜合評估復雜仿真模型的可信度，如圖1所示。

由此可見，復雜仿真模型可信度評估的關鍵是，在建模與仿真的全生命周期進行充分而有效的驗證和可信度分析評估，并綜合使用各種定性和定量方法，從而獲得系統、全面、科學的評估結果。

2.3 主要技術和方法

2.3.1 數據獲取與預處理

數據是分析和評估的基礎，對于基于輸出結果差異性原理的復雜仿真模型可信度評估，關鍵在于獲取足夠的參考數據和仿真數據，然后進行對比分析。仿真數據通過對子模型和模型進行仿真實驗獲取，參考數據的獲取方法如表2所示。

在獲取參考數據和仿真數據時，為了提高試驗/實驗效率、減少試驗/實驗次數，可以進行科學的試驗/實驗設計，常用方法有正交設計、均勻設計、超拉丁方設計、正交超拉丁方設計等[55]。

參考數據和仿真數據可能存在一些異常或缺陷，需要進行預處理，常用方法如表3所示。

表2 參考數據獲取方法Table 2 Methods for obtaining reference data

表3 數據預處理方法Table 3 Methods for data preprocess

2.3.2 數據差異分析與轉換

不同類型的數據適合采用不同的數據差異分析方法，確定性數據適合采用誤差分析，隨機數據適合采用假設檢驗，非周期性時間序列適合采用距離或相似度量[56]，周期性時間序列適合采用頻域分析。常用的數據差異分析方法如圖2所示。

圖2 常用數據差異分析方法Fig.2 Typical methods for discrepancy analysis

通常情況下，數據差異分析結果并不直接等同于可信度。從差異分析結果到可信度的映射過程通常需要依靠領域專家或決策者的主觀判斷。Balci等[26]將這一過程稱為“解釋(interpretation)”。但是，完全依賴專家的主觀判斷進行轉換，將導致極大的主觀性,不可靠且不可重復。基于可適應不同情形、可靈活調節參數的映射函數模型，將差異分析結果自動地轉換為可信度[57]，能夠減輕專家的負擔，并最大限度地減少主觀性。

2.3.3 主觀評估量化表示

定量分析方法忽視了領域專家的寶貴經驗，而且只適用于仿真數據和參考數據均存在的情況，這一條件對于可信度評估定性指標來說很難滿足。特別是基于功能結構相似性原理的可信度評估，極大依賴領域專家的主觀判斷。

在主觀評估方法方面，Ahn等[58]提出了基于Delphi方法和群決策技術的仿真模型可信度評估方法。Jebeile等[59]在肯定評估人員經驗的重要作用的同時，強調了主觀方法的局限性。

主觀評估方法直接由用戶或決策者根據其主觀感受確定可信度的大小。主觀評估方法簡單、方便，但需要克服主觀偏見，并對定性觀點進行量化表示。由于人類認識和主觀感知的模糊性和不確定性，主觀定性觀點的表達通常適合采用等級程度或語言進行描述。如“好”“一般”“一般至很好之間”“至多是一般”“至少是好”“很差、差或一般”等。

模糊數學之父L. A. Zadeh在1975年提出了語言變量(linguistic variable)的概念，并在1996年提出了詞計算的構想[60]。隨后的研究中，先后出現了采用I型模糊集(type-1 fuzzy sets)、2元模糊語言模型(2-tuple fuzzy linguistic model)、區間II型模糊集、II型模糊集(type-2 fuzzy sets)、云模型、猶豫模糊語言術語集[61](hesitant fuzzy linguistic term sets)等對語言變量進行建模和運算的方法。

然而，基于模糊數學的詞計算框架，通常存在計算量較大、模糊數參數的物理涵義不夠明確、運算過程容易產生主客觀信息的丟失和扭曲等不足。基于猶豫云語言術語集[62]和云Delphi方法[63]是適用于主觀評估和群決策的更加靈活的方法。

2.3.4 指標體系描述與賦權

根據還原論的功能層次分解原理，指標體系一般采用樹型結構描述。通常由仿真模型的用戶和相關領域專家共同商討，選取可信度評估指標。評估指標的選取一般要遵循以下原則：科學性、系統性、簡潔性、客觀性、時效性、可測性、獨立性、一致性、完備性等。指標選取方法主要有專家調查法、條件廣義方差極小法、極大不相關法、最小均方差法等。

雖然在選擇可信度評估指標的過程中，盡可能保證指標的獨立性、簡潔性，減小指標之間的關聯關系。但是，實際建立的指標體系很難實現指標之間完全無耦合。目前對于指標間的部分冗余、弱相關等復雜關系的描述方法研究較少。可以借鑒“串并聯”思想[64]，描述復雜仿真模型可信度評估指標體系。

綜合各單項指標可信度評估結果時，為了反映各項指標在整個指標體系中的不同作用和重要程度，需要科學合理地確定指標權重。指標賦權方法可分為主觀判斷法和客觀分析法，如表4所示。

主觀判斷法依據領域專家對各項指標的重視程度進行賦權，客觀分析法依據指標本身所包含的客觀信息進行賦權。主觀賦權方法能夠反映決策者對各項指標的偏好，可正確表示不同指標的不同地位和重要程度；但是，需要克服專家觀點的主觀性、模糊性、不確定性。客觀賦權方法不依賴于專家的主觀判斷；但是，在評估信息缺乏的情況下難以進行，通常與決策者的主觀偏好相悖，結果解釋性較差。

表4 賦權方法Table 4 Methods for determining weights

圖3 基于云模型的異構數據表示與聚合方法Fig.3 The representation and integration of heterogeneous results based on the cloud model

目前應用最廣泛的賦權方法有Delphi法和層次分析(analytic hierarchy process，AHP)法以及兩者的結合。應用Delphi法和AHP法確定權重的關鍵是要克服主觀判斷的模糊性和不確定性，具體可以參考云Delphi層次分析法[65]。此外，可以將主、客觀權重線性加權，進行組合賦權[66]。

2.3.5 異構數據表示與聚合

不同指標或者不同專家的可信度評估結果可能具有不同的表示形式，例如精確值、區間數、統計數據或者語言術語等。利用云模型可以對這些異構數據進行統一表示[67]，并且經過各種運算也能始終保留評估過程中的模糊性和隨機性等不確定信息。

評估結果的聚合包括單指標評估結果聚合和多指標評估結果聚合。單指標評估結果的聚合可以采用加權求和、證據推理、貝葉斯推理等方法。多指標評估結果聚合目的是從總體上全面反映復雜仿真模型的可信度，用于進行橫向和縱向的比較、排序、優選、預測和決策，也便于后續的評估結果分析。常見的聚合方法有加權算術平均、加權幾何平均、有序加權平均、有序加權幾何平均、組合加權算術平均、Sugeno模糊積分、Choquet模糊積分等。

基于云模型的異構數據表示與聚合方法如圖3所示。

2.3.6 評估結果展示與分析

采用自底向上、多指標逐層聚合的方式，可以計算得到最終的復雜仿真模型可信度綜合評估結果，然后利用正向高斯云發生器算法進行圖形化展示和分析。綜合評估結果不僅包含大小和量級信息，也保留了模糊性、隨機性等不確定信息。

此外，還可以對各項指標評估結果的均衡性進行展示與分析，如圖4所示。圖中扇形的圓心角大小表示各項子指標的權重大小，扇形的面積表示各項子指標對父指標的評估結果的貢獻，所有扇形面積之和即為父指標的綜合評估結果。均衡性展示主要用于分析整體與部分的關系，反映了綜合評估結果中各項子指標的貢獻程度。

圖4 評估結果均衡性展示Fig.4 The display of balance for different indicators

為了分析查找制約復雜仿真模型可信度的瓶頸，指導仿真模型的改進，還可以對評估結果進行靈敏度分析。靈敏度分析方法包括局部靈敏度分析和全局靈敏度分析。局部靈敏度分析只檢驗單個參數的變化對模型結果的影響程度，其他參數只取其中心值。全局靈敏度分析檢驗多個參數的變化對結果產生的總的影響，并分析每一個參數及參數之間的相互作用對結果的影響。常用的全局靈敏度分析方法主要有基本效應法、導數法、方差靈敏度分析法(Sobol法)、矩獨立靈敏度分析法、基于失效概率的靈敏度分析[68]。

如果需要同時考慮多個輸出響應，就要采用多輸出全局靈敏度分析方法。多輸出全局靈敏度分析不僅能夠處理多個輸出響應，還能處理輸出響應隨時間變化的情形。然而對時變輸出響應離散化，會帶來維數災難。

3 結論

隨著仿真模型的應用范圍和需求的不斷擴大，建模與仿真變得越來越精細和復雜，仿真模型的功能和性能得到了大大增強。與此同時，復雜仿真模型的驗證和可信度評估面臨著許多新的挑戰。系統地歸納總結了復雜仿真模型可信度評估面臨的8項挑戰。在此基礎上，分析了基于功能結構相似性原理和輸出結果差異性原理的可信度評估的基本原理、方法和適用范圍，從而制定了復雜仿真模型可信度評估的基本框架和策略。最后，總結并提出了應對數據獲取與預處理、數據差異分析與轉換、主觀評估量化表示、指標體系描述與賦權、異構數據表示與聚合、評估結果展示與分析等關鍵挑戰的主要技術和方法。本文的研究有利于從總體上把握復雜仿真模型可信度評估的主要挑戰、基本框架和主要方法，明確重點研究內容和方向，從而推動可信度評估的理論探索和實踐研究。