從“可解釋”到“可接受”:一種作戰決策背景下的人機智能融合新視角

吳冠霖 包衛東 牛蒞原 曹 江 王 吉

1.軍事科學院戰爭研究院 北京 100091 2.國防科技大學系統工程學院 湖南 長沙 410003 3.軍事科學院研究生院 北京 100091

智能作戰決策是一種基于人工智能方法展開作戰決策作業的新型作戰決策樣式. 其目的在于通過引入強化學習等人工智能方法,在作戰決策領域實現更為快速、穩定、有效的決策響應. 通過發展智能作戰決策構建對敵優勢,已成為軍事斗爭的重要發展趨勢.

但作戰決策問題有其特殊性和復雜性,當前基于人工智能的決策支持系統,往往并不能很好地滿足其實際需要. 例如針對作戰決策中常見的兵力規模計算、敵我態勢對比等問題,智能系統通常只給出其結論性判斷,但從指揮員視角出發,更重要的是如何說明其推理過程以作為參考. 再如,作戰決策結論充滿了不確定性,人工智能即使能夠預測出判斷敵主攻方向（領域）或確定我主攻方向（領域）,預測戰爭持續時間,但這只是一種基于有限條件的預判. 指揮員該如何認識并信任這個結果,如何對其發生的概率進行理解和決策,人工智能的判斷又該如何與指揮員的矛盾判斷進行融合？這些在人類分工協作中也會遇到的具體問題[1-5],已經成為智能技術應用于作戰決策的巨大障礙.

深入分析這些現象的本質,沒有正確處理好作戰決策中人與機器智能間的關系,正是問題的根本原因之一. 如果不能對人與機器智能之間的關系給出一個可行的指導原則,我們就很難展開: 所作出的決定是否明智？決策輸出是否合理？什么時候需要調整智能方法？是否符合戰爭法規和立法[1]？等問題的具體討論.

以“可解釋性”作為指導原則,開發可解釋的機器學習方法,是當前針對這一問題的主要研究方向[6-7].該原則相信決策者可以通過深入了解結果的過程機制來對模型的正確性建立起信心[7-8]. 可解釋的機器學習方法為了幫助人們更好地理解模型過程和輸出,將特定方法納入傳統模型,例如: 原因研究[9-10]、相關性分析[11]、模型約簡[12-13]、必然性解釋[14-15]等,以試圖使決策者信賴.

然而,盡管該領域已經取得了一些進展,但說服決策者將這些智能方法部署到作戰決策系統中仍然是一個巨大的挑戰.“可解釋性”原則的本身是一個相對泛化的概念,清晰界定區分具有一定難度[16].同時,“可解釋性”盡管在學術研究中經常被提及,但對其定義仍不存在一個共識. 實際上,“可解釋性”并不是一個整體的概念,不同的研究對于“可解釋性”和可解釋方法通常有不同的初衷和技術描述. 基于“可解釋性”原則優化后的方法盡管相較原始方法更簡單、更清晰,但其復雜性仍然難以滿足一般性的認知要求,普遍存在指揮員依然很難理解的現象[17].智能方法本身的可解釋性與可信任的決策判斷沒有必然聯系,前者并不一定能夠帶來后者. 可解釋性僅要求智能方法的底層機制透明可見,然而達到作戰決策中的可信任水平,除底層理解外,更強調對方法的運用過程有較高的整體理解.

事實上,作戰決策包括方案構想、計劃制定等活動,本身是一個結構不良的復雜過程. 決策者既要根據各種事實,更要根據自己的經驗對局勢進行決策.在決策過程中,決策者既有對大概率選項作出選擇的理性思維,也有不清楚概率分布的情況下對選項作出選擇的感性思維,更有將傳統意義上的小概率選項經過概念類比、問題轉換、方案構造變成大概率選項的感性、理性混合思維,本質上是一種藝術和科學相結合的過程. 作戰決策背景下人機智能融合的有效實現,必須充分考慮這些基本特點.

因此,為了有效地解決上述問題,更好地將人工智能運用于作戰決策系統,本文的創新工作主要包括:

1）對可解釋性的基本概念發展、主要研究方向、關鍵基礎技術進行了綜述,對其在作戰決策中應用存在的問題進行了分析.

2）從智能作戰決策需求與人機智能融合基本概念的辨析出發,提出“可接受性”原則并對其基本內涵進行了具體定義.

3）對“可接受性”的關鍵能力要求進行分析,聚焦決策者需求、智能方法優化方向,具體討論了“如何營造智能輸出更易于被接受的決策環境”、以及“如何優化智能方法輸出更易于被接受的決策”等問題.

1 可解釋方法研究現狀與問題分析

1.1 可解釋性基本概念的發展

人工智能領域的“可解釋性”概念最早于1988年提出[18],但直到機器學習方法廣泛應用于真實、復雜的環境時,才引起了學者們更多的關注. FREITAS 從選定的預測模型優缺點角度出發,研究了可解釋性概念[19]. DOSHI 等將可解釋性定義為以人類可以理解的術語解釋或呈現程序輸出含義的能力[20].GUIDOTTI等認為,可解釋性是人類與決策程序之間的一種接口[21].它既是決策者的精確代理,也是人類的可理解物.HERMAN 提出,詮釋不僅用于告知,還可以用于說服人類[22]. LOU 等認為可解釋性類似于易理解性或可理解性[23],因此,應嘗試闡明模型的工作原理. KIM 和RIBEIRO 等提出可解釋性由信任的前提決定[24]. 一些學者[25]也認為,可解釋性與公正和符合道德的決策制定過程有關. 2018年5月,歐洲議會通過了《通用數據保護條例》的法律,其中,強調了“獲得對相關邏輯有意義的解釋”的人民權利[21].

在該領域的研究中,有兩個意思相似的詞: 可解釋性和可解釋能力,這兩個詞在一般情況下都可一起使用,但仍有區別. 因為可解釋能力在默認情況下一定是具有可解釋性的,但反過來則并不總是如此.可解釋性主要是指為人類提供可理解能力的能力,它強調原始模型能夠被更多地理解. 可解釋性作為人類與智能模型之間的接口,基于模型動因等使其更好的被人類理解.

事實上,對可解釋性與可解釋性能力的定義是多種多樣的. LOU 等認為可解釋性類似于易懂性或可理解性,應該嘗試闡明模型是如何工作的[29].HERMAN提出解釋也可以用來說服,而不僅僅是告知[30].DOSHIVELEZ 和KIM 將可解釋性定義為以人類可以理解的方式解釋或提供意義的能力[31].GUIDOTTI 等從預測模型優缺點的角度研究了可解釋性概念,對可解釋性的觀點傾向于因為對原始模型不理解,所以需要后續再構建一個模型對其進行解釋的方法[28,32]. ARRIETA等從用戶的角度對可解釋性進行了定義[33],針對特定的受眾,將其定義為一種技術,該技術提供了模型工作的細節和成因,使其便于清晰地被理解. GUNNING等對可解釋性的定義是指所有能夠幫助開發者或用戶理解AI 模型行為的技術[34]. 它包括兩種類型:可以解釋原始模型本身和模型需要通過后期工作進行解釋. KONG 等給出的可解釋性定義為能夠簡單明了地向具有不同背景知識的用戶解釋智能決策過程的依據和原因的方法[35].

1.2 可解釋性的主要研究方向

關于可解釋性的研究大致可以分為3 類[35]:基于可視化的可解釋性、基于擾動的可解釋性和基于因果的可解釋性.

1.2.1 基于可視化的可解釋性

基于可視化的可解釋,有一個樸素的思路: 如果想解釋一個黑盒系統,可以直接打開它并查看其內部的結構. 黑盒中的組件和結構決定了模型具有什么功能. 因此,KONG 等將這種直接觀察內部結構的方法定義為一種視覺解譯方法[35],類似于去醫院做CT.這種方法是最直接、最符合人類認知的. 因此,這也是首先被關注并開展的可解釋性研究方向,主要包括以下兩個方向.

一是基于整體模型的可解釋性. 通常將神經網絡的反向傳播作為基于整體模型可解釋性的核心,神經網絡的反向傳播可以理解為將模型產生的決策信號從模型的輸出層逐層反向傳播到輸入層,從而可以推斷樣本特征的顯著性. 如CHEN 等為了提高模型的可解釋性,采用對抗性樣本對模型進行分類,分析分類錯誤樣本所增加的擾動強度[36].

二是基于激活的可解釋性. JIANG 提取了一個關于重癥監護的醫學信息集（medical information mart for intensive care,MIMIC）[37]. 其將ICU 患者的生理數據存入醫學數據庫,將患者的文本數據轉化為圖片數據,通過遷移學習并利用基于梯度的類激活圖VGG16-GRAD-CAM 方法預測患者的生存和死亡.YAN 提出的基于“準激活映射”概念的光譜特征可視化方法有助于闡明CNN 方法應用于光譜分析的工作機理[38]. JIN 提出了一種可解釋性檢測方法,用于解決Android 惡意應用檢測特征提取中存在的冗余性和抽象性問題[39]. 該方法能在高級語義上反映惡意應用的行為模式,并使用卷積層梯度權重類激活映射的可視化方法,挖掘理解惡意應用程序的行為.

1.2.2 基于擾動的可解釋性

基于擾動的可解釋性性通過擾動輸入層并觀察輸出層的變化來解釋輸入和輸出之間的關系. CHEN利用可解釋干擾生成對抗性樣本,然后根據對抗樣本對模型進行錯誤分類[36]. 對錯誤分類樣本增加的干擾強度進行的分析,可以提高模型的可解釋性.RIBEIRO 等提出的LIME 中,通過檢測輸入的擾動行為來解釋黑盒系統,然后利用數據構造一個局部線性模型,將該模型作為輸入附近完整模型的簡化代理[12]. 這種方法可以用來識別對各種模型和問題領域的決策影響最大的輸入區域.

1.2.3 基于因果的可解釋性

決策者在決策過程中同樣需要因果推理,DU 認為因果解釋的方法非常重要[40]. 例如,將網絡模型建模為結構化因果模型,并進行因果推理以估計每個組件對輸出的因果影響. 對法律條文預測中存在的問題,WANG 提出一種基于一種基于模型融合和閾值濾波的法律條文預測模型[41]. 然后,通過對相關法律中的事實描述和數字數據（包括貨幣、年齡等）的分析,提出了一種基于數據離散化和深度金字塔卷積神經網絡的法律預測模型,建立了司法判決推理的可解釋因果關系模型. LING 提出了一種新的因果特征選擇算法以平衡現有算法的效率和準確性[42]. 它將候選父子節點和配偶的搜索以及虛假父子節點和配偶的刪除集成到一個循環中,從而盡可能早地刪除假父子節點和配偶,使條件集的長度保持在最小,以平衡效率和準確性.

1.3 可解釋性的基礎技術

隨著可解釋性理論的發展,越來越多的可解釋性方法被用于優化模型以簡化解釋和提升預測程序的性能[21]. 主要類別包括: 可視化[43-44],因果推理[10,45],決策樹[46],示例[47],決策集和規則列表[46,48],基于聚類的方法[49],整數規劃[50],交互界面[51]和局部解釋或近似[52].另外,在更復雜的算法上使用改進的局部或近似模型已成為一種趨勢. 這些簡化的模型與用于決策的真實標準相近似[43,53].

一些研究還提出了“可解釋性”基礎技術的分類方法. GUIDOTTI 等將這些方法分類為: 黑盒模型解釋問題、黑盒結果解釋問題,黑盒檢查問題和透明盒設計問題[21]. GILPIN 等將這些方法分類為: 為產出的選擇提供辯護,解釋網絡內部數據的表達方式,以及能夠產出解釋的網絡[53]. 本部分根據CHEN 的研究,將可解釋性技術分為兩類: 可解釋性模型和事后解釋方法,分別對應于可解釋性和可解讀性[36]. 可解釋性模型追求模型本身的易于理解. 同時,事后解釋尋求一種解釋技術來幫助人們理解那些原本不可能被理解的模型.

1.3.1 可解釋模型方法:決策樹、貝葉斯模型和線性模型

POULIN 等認為,在樸素貝葉斯模型中,由于條件獨立性假設,通過概率計算可以求解輸入數據和參數,從整體上模擬決策過程[54].通過概率運算,可以很容易地將模型的決策轉化為單個特征對最終結果的貢獻度.

FENG 將模糊集與決策樹相結合,提出了一種基于模糊決策樹的分類器[55]. 同時利用該模糊集的模糊度,生成一種基于Minkowski 模糊度的模糊決策樹分類方法. 上述方法是通過將決策樹中的節點類比為各樣本分布頻率的模糊集,將使用Minkowski 模糊度來監測節點分裂前后模糊度的變化,選取其中最能減少Minkowski 模糊度的屬性作為節點的分裂屬性.

CHEN 為了代替人工神經網絡和支持向量機提出一種決策樹算法,同時也改進了決策樹分類算法在實際應用中數據容錯率低的問題[56]. 結合遙感圖像的分類特點和分類知識,構建了一種優化的決策樹圖像分類模型.

HAUFE 等將基于樣本線性組合的特征值來實現基于模型權重的線性模型決策過程,上述模型權重可以反映特征對最終決策結果的貢獻[57]. 如果此特征權重為正,則該特征與最終預測的類別呈正相關,反之為負相關.

然而,可解釋性模型也受到模型復雜性的影響.如果模型的維數過多,會由于模型的復雜性而降低其可解釋性. 相反,降低模型的可解釋性維度可能導致模型過于簡單,無法有效進行學習.

1.3.2 事后解釋方法

事后解釋方法是指在對模型進行訓練的過程結束后,再利用技術方法對模型進行解釋. 根據需要被解釋的目的和對象的不同,可分為全局解釋法和局部解釋法.

1）全局解釋

解釋方法: 規則提取,模型蒸餾.

顧名思義,全局解釋方法幫助人們從全局的角度分析模型的內部邏輯. 常用的全局解釋方法包括規則提取和模型蒸餾. 對神經網絡來說,主要有兩類規則提取方法: 分解法和教學法. 分解法適用的神經網絡為模型結構和參數已知的網絡,即白盒. 分解法提取的規則來自目標網絡中的每個神經元,這些規則在單個單元上集合后構建成了目標網絡的復合規則庫. 教學法適用的是參數未知的網絡,即黑盒. 因此,教學法是將模型的輸入和輸出在規則中的映射產生的樣本進行對比,以此來提取規則.

當模型過于復雜時,神經網絡內部的非線性結構過多,因此,很難理解目標神經網絡可解釋性的決策邏輯. 在這種情況下,降低目標神經網絡的復雜度是一種有效的嘗試. 模型蒸餾法正是這樣一種方法.其通過構建教師模型和學生模型,由教師模型傳遞知識到學生模型. 由于學生模型是由教師模型傳遞而來,學生模型整體上的近似模型就可視為教師模型,通過對學生模型進行解釋達到教師模型的近似解釋. 此外,FROST 和HINTON 使用決策樹來模擬復雜的神經網絡[58]. TAN 等利用廣義可加性模型的良好解釋性來描述輸入特征與復雜模型之間的關系,并給出了全局解釋[59].

2）局部解釋

解釋方法: 近似,梯度反向傳播,靈敏分析,特征反演.

局部解釋方法是一種使用于單體的方法,是對特定樣本進行解釋. 局部可解釋性方法是一種較為常見的方法,包括局部逼近、梯度反向傳播、靈敏度分析和反演特性等.

敏感性分析法是指從眾多不確定因素中尋找特定自變量的影響因素. 相關方法主要分為兩類: 一種是模型相關性,主要是通過梯度反向傳播的方法來求解關聯度,最后將關聯度以熱圖的形式轉化為各維度輸入對決策的影響. ROBNIKSIKONJA 等提出通過分解輸入特征來觀察輸入對決策的影響[60]. LI 等在修改或刪除特征子集之前,通過觀察模型決策結果的相應變化,推斷出相應輸入的決策特征[61].

局部近似解釋方法是利用一個簡單的可解釋模型將待解釋模型的決策結果擬合到輸入實例中,然后根據可解釋模型對決策結果進行解釋. 因為對于一個特定的輸入樣本,大多數模型都是近似線性的決策邊界,所以很難也不需要是全局近似的積分決策邊界,而是可以用一個給定的實例及其鄰域來解釋其局部近似模型的決策邊界,然后在解釋模型的基礎上處理解釋模型,為解釋提供依據.

盡管局部逼近、梯度反向傳播、敏感性分析等方法可以在一定程度上提供處理,如局部解釋的決策解釋模型,但往往忽略了中間層的解釋模型. 而中間層可以提供更精確的中間信息,以便得到更準確地解釋結果. 特征反演作為一種可視化和理解深度神經網絡中間特征表示的技術,可以充分利用模型中間層的信息來解釋模型的整體行為和模型的決策結果.

1.4 作戰決策背景下可解釋性的應用挑戰

1.4.1 可解釋性基礎概念方面存在的問題

通過對“可解釋性”定義的有關研究進行梳理,可以發現以下問題:

1）“可解釋性”仍然沒有公認、清晰的定義,不同的研究往往會根據自己的出發點、研究背景給出不同的解讀,這與可解釋性本身語義的模糊性有著直接的關系.

2）這些定義隱含著一個基礎假設,以易于表達和理解的術語構成一個解釋的概念是自證的,不需要進一步的解釋. 然而現實,特別是作戰決策的背景下,基于可解釋性原則優化后方法的復雜程度仍然較大,以致指揮員依然很難理解,盡管它已經比原始方法更簡單、更清晰了.

3）方法的可解釋性與信任決策結果之間沒有必然的因果關系,前者并不一定能夠帶來后者. 特別是考慮到作戰決策其自身特殊的正確性和規范性要求,盡管模型的可解釋意味著模型所作的決策結論可以基于可解釋性詳細地證明出來,但這并不等于其已經成為作戰決策人員可以能夠完全信任的模型. 作戰一線的指戰員通常更關注模型的作用及響應過程的規則性與確定性程度.

1.4.2 可解釋性研究方向與基礎技術方面的問題

通過對可解釋性主要研究方向和基礎技術的分析,不難發現當前的研究盡管取得了一些進展,但仍然有以下幾方面的局限:

1）所有這些工作都有一個共同的假設,即這些方法中所使用技術的關鍵特性是眾所周知的. 但這與實際的應用場景并不相符. 在作戰決策實際過程中,作為主體的指揮員,大多數情況下并不具有同專業技術人員相當的技術基礎,因此,即使在原理層面具有可證明、可追溯的可解釋性,但是其本質上對于一線操作人員來說仍然是不可知的、不可控的.

2）可解釋性不同的研究方向和基礎技術總是對應著不同的初衷和技術描述,而作戰決策又是一個復雜的系統工程,對于作戰決策者來說即使具備了有關技術的基礎儲備,仍然很難基于此在眾多的初衷和技術描述下選擇適應的可解釋方法,以輔助其作出正確的判斷.

3）可解釋角度出發的方法旨在從不同的角度理清模型的內部實現機理,但是對于作戰決策來說僅有這些是不夠的. 機理的可解釋無法代表目標、條件、效果、價值的直接可解釋與被理解,而這些正是決策過程中決策者所重點關注的決策特性.

4）與其他人類社會活動不同,作戰活動是一種偶發的、非常規性的社會活動,其中的作戰決策問題具有更顯著的動態性與不確定性. 特別是隨著各類傳感器、互聯網技術的發展,作戰決策所涉及的信息量更是呈現出指數級增長的趨勢. 作戰決策的復雜特性,使得其在很多問題上天然具有一定的不可解釋性. 如決策中的“靈機一動”、靈感的出現等,就是人類自己也很難解釋. 全部可解釋是簡單系統思維（比如解釋機器）的體現,作戰決策的特殊背景下需要提供與之適應的一種新的評價基準（參照系）.

2 人機智能融合與可接受性

正是由于概念設計本身存在上述的內生問題,從可解釋性出發面向作戰決策建立一個實用可行的人機智能融合系統遇到了諸多現實的挑戰. 為了促進人機智能融合,設計人機互信的智能決策系統,有必要對人機智能融合概念進行更深入的研究,并在此基礎上結合實際作戰決策應用需求進行概念創新,從而為智能技術在作戰決策中的實際應用提供理論指導. 因此,本章首先對人機智能融合的基本概念進行了討論,并在此基礎上提出“可接受性”理論作為一種新的指導原則.

2.1 人機智能融合的概念界定與分析

人的智慧與機器智能融合進行決策是作戰決策的發展趨勢,本文提出的人機智能融合的基本概念,是在人機智能融合決策的基礎上展開的. 人機智能融合決策就是通過將人的判斷和機器的定量分析融合逐步實現人機融合一體化的智能決策. 這是作戰決策的復雜性與藝術性所決定的,這也是越來越多的無人裝備、智能裝備被運用的必然要求.

人機智能融合,作為一種范式的描述,是人機智能融合決策的核心. 如圖1 所示,其指的是一種人的智慧能夠有效牽引、優化底層智能技術,機器智能能夠有效驅動式的匹配、增強人的智慧,從而促進二者之間實現良性循環的一種新的“融合生態”. 人機智能融合不是簡單的人腦加智能. 其最本質的一點就是強調人與機處理方向的不同,人負責判斷事情的價值,智能負責進行實施. 人機智能融合的本質導向是通過對智能間決策生成過程有效協同交叉的實現,建立一種良性循環促進的“融合生態”.

人機智能融合的實現,需要人機智能融合方法作為支撐和基礎. 如圖1 所示,人機智能融合方法是指能夠從人與機器智能雙視角出發,讓智能能夠引入人類的認知模型,與人實現必要的協同,共同進行推理的方法. 其涵蓋人機智能融合決策過程中,有效支撐人機智能融合狀態實現的各類基礎理論與技術方法,主要包括: 能夠指導人適配機器智能本質特征的指揮決策理論、支持系統的設計理論,能夠滿足與人融合需求的人工智能基礎方法技術及既有方法的改造方法.

圖1 人機智能融合概念示意圖Fig.1 Sketch map of human-machine intelligence fusion concept

人機智能融合方法更加強調如何有效實現與人必要的協同. 將融合的核心轉到人上,是人機智能融合方法重點關注的內容.

2.2 “可接受性”原則

2.2.1 基礎概念定義

人工智能在作戰決策中的有效應用,絕非是對既有智能方法的簡單套用就能達成的. 人的目標是“做正確的事”,而機器擅長的是“正確地做事”,基于何種理論來實現人的智能與機的智能有效融合,將人的意向性與機的形式化有機結合進而提升智能決策水平,是當前人工智能在作戰決策應用中首先要明確的問題.

事實針對“可解釋性”的不足,一些研究也正在進行新的探索. 英國國防安全聯合軍種研究所在重新思考未來軍事指揮的基礎上,在可解釋人工智能的基礎上,進一步明確提出了“可信人工智能”的概念作為理論指導,并結合信任、人工智能和人類機構的概念,提出了一個在人工智能支持的軍事決策中發展信任的五維框架[62]. 2022年6月美國防部正式簽署了負責任的人工智能戰略和實施途徑,提出了實施負責任、以人為本的人工智能的觀點,將“負責任的人工智能”作為一個突出的特征,以保持其競爭優勢[63]. 隨后來自美國海軍學院[64]、卡耐基梅隆大學[65]的研究人員對該概念進行了進一步的深化研究.“可接受性”正是在這些新的觀點核心特質的基礎上,從促進人機智能融合,支撐人機互信的智能決策系統實現視角出發,所提出一種新概念.

在本文中,“可接受性”被定義為決策者對智能決策程序的認可的程度或被允許在生產中使用的傾向程度. 更具體來講,“可接受性”是一種對于決策者主觀和客觀上認可、采納、服從,又或是無視、違反、逃避、反抗智能決策程序和其輸出結果的程度的衡量.

可接受性概念主要是針對一個特定的方法或模型是否擁有能夠被決策者接受的特性. 事實上,由于智能決策模型需要滿足決策者們提出的要求和評估標準,以獲得認可和權威認證,因此,具備“可接受性”的本身即代表了該智能方法滿足了其能夠應用于實際作戰決策業務的條件.

2.2.2 可接受性的目標

需要注意的是,從“可接受性”角度出發,體現了人機智能融合不是要求一個方法的方方面面都得到人類信任. 相對于讓一個方法完完全全受到信任,“可接受性”更關注一個方法或模型的關鍵流程,強調關鍵部分的可信度,排除其所有使人不能夠信任的地方.“可接受性”旨在反映的是一款智能程序在特定場景下的內在人機有效融合潛力.“可接受性”能力的提升,并不僅僅是未來人工智能發展的一個技術考量,更是一個重要的道德考量.

這就意味著其關鍵問題在于界定人工智能方法在什么場景下能夠表現得足夠出色滿足融合條件.換句話說,同一個智能程序其在不同場景下的“可接受性”通常是不一樣的. 舉例而言,在《星際爭霸》（一款實時策略游戲）當中,人工智能已經能夠生成足夠強大的策略來擊敗職業級對手,但目前還沒有方法去解釋清楚能夠通過智能訓練產生了何種復雜的響應策略做到了這一點. 但針對游戲表演、游戲bug 測試等需求而言,這款人工智能已經具備充分的“可接受性”,但對于職業玩家培訓、游戲設計升級等需求而言,其效能遠遠無法滿足可接受性要求.

事實上,“可接受性”理論的目標在于在人機混合環境下形成一個有效的決策同盟. 如圖1 所示,在這個有效的決策同盟當中,人類智能能夠有效促進和提升下層的智能技術,而機器智能則適應并提升人類智能. 通過在人類與人工智能之間形成一個生態閉環,本文致力于為作戰決策過程提供一個全新的“融合生態”.

2.2.3 與可解釋性的特征對比

“可接受性”并非單純從應用角度出發對傳統“可解釋性”有關理論進行簡單的再定義,它是在后者基礎上從作戰決策背景下的人機智能融合現實要求出發的一種新的探索. 強調一個方法的“可接受性”而非“可解釋性”,能夠更有效地說服決策者們將這些模型應用到實際作戰決策系統當中. 其二者在基礎概念定義上有著以下顯著差異:

1）可解釋性有關方法面向模型,旨在為說服決策者而提供對方法或模型的底層、技術層面的細節理解. 但是可接受的方法則直接強調關注決策者們的擔憂,從可接受性角度出發的有關方法面向“人”展開.

2）“可解釋性”概念追求對模型的完備邏輯解釋,但“可接受性”概念則重點關注影響作戰決策當中人機信任的局部關鍵問題的限制條件是否滿足. 可解釋性強調完備性、邏輯性,而可接受性強調局部性、條件性.

3）“可解釋性”的模型機理解釋主要發生在人與人工智能最終輸出環節上的決策結果交互. 而在人機智能融合過程中這只是其中一個重要的環節,“可接受性”則強調需要人與人工智能在更關鍵的初始環境設計、約束條件設置等其他內部信息處理步驟當中實現符合要求的互動.

4）“可接受性”強調模型符合要求的概率以及給出其在特定受限條件下所受到影響的風險評估,并不強調所有情況下全部正確. 其是從決策風險控制角度出發的一種應用部署思路.

最后也是很關鍵的一點,“可解釋性”的核心思想是讓機器智能在思維推理模式上更像人類,從而自然而然地實現人對智能的接納,在決策層面實現有效的人機智能融合. 而“可接受性”的核心思想則是盡可能讓機器智能仍然采用符合機器自身特性的模式進行計算處理,只要求其能與人類在決策者們關注的關鍵問題上進行符合特定場景要求的交互判定.

3 可接受性的能力要求

為進一步從可接受性視角出發,對作戰決策背景下的人機智能融合實踐提供更為細致的參考,本章將從“決策者需求”、“智能方法優化方向”出發,對可接受性的具體能力要求展開討論. 在訪談調研的基礎上對關鍵能力要求進行了系統整理與總結,訪談對象基本上涵蓋了作戰決策各個關鍵環節的工作人員,他們當中既有高級決策者、院校專家、決策流程制度設計人員,也有一線指戰員、業務參謀、指揮信息系統使用和開發人員等.

3.1 決策者需求出發的可接受性能力要求

以“可接受性”理論作為指導,營造讓決策者更易于接受人工智能決策的決策環境有著重要的現實意義. 針對當前實際應用場景的短板,本節提出了“定義認知與人工智能方法的邊界性質”,“為辯證識別和分析不確定性提供方向和指南”,以及“推動實際生產當中以模型為中心向以人為中心的轉變”的能力要求.

3.1.1 定義認知與人工智能方法的邊界性質

定義清晰人類認知與人工智能的邊界性質是為決策者提供對人工智能的信任的重要基石,其中具體的工作體現在定義人工智能方法、人類認知能力、場景需求三者的邊界性質上.

人工智能方法的邊界性質: 其強調對智能決策程序的適用范圍的界定. 事實上,機器智能并不是自然法則,而通常是基于簡單且有限的約束條件經過訓練而得到的,因而其本身能力也有如上的局限性.任何有可能導致違背這些約束條件的影響都應予以足夠的重視并予以聲明.

人類認知能力的邊界性質:“可接受性”概念強調人類的理解能力和分析能力是有限的. 盡管有些人工智能方法從方法原理的角度來看是可解釋的,但其方法的復雜度仍然太高,決策者們理解方法過程勢必顯著影響決策的效率. 這些問題應當在實際進行“可接受性”評估時予以足夠充分的關注.

場景需求的邊界性質: 不同任務、場景下人機智能融合需求對智能水平通常有著不同的要求. 不同場景下的決策者通常關注不同的問題,場景需求的邊界性質的界定,不僅僅能夠將一些龐雜的問題簡單化,也能夠引導方法更好地適應實際作戰決策人機智能融合需求.

3.1.2 為辯證識別和分析不確定性提供方向和指南

為人機智能融合設計過程提供辯證識別與分析不確定性的有效策略是另一個值得重點關注的問題,但現有可解釋有關研究當中在為實際決策環境提供支撐方法時普遍忽略了這一點. 訪談結果表明幾乎所有決策者都認為提供智能程序相關的不確定性識別、分析和評估的技術手冊是重要且必須的. 從計算機領域來看,不確定性是一個表明智能程序中“隨機變量”到底有多隨機的標量,而在軍事一線,決策者們更習慣于稱其為“風險”. 人機智能融合中機器智能給作戰決策帶來的不確定性主要表現為以下幾個方面:

1）認知不確定性: 與任意不確定性不同,可通過采集更多數據和優化結構來減少. 如谷歌大腦研發工程師Eric Jang 所說,它衡量訓練過程中對正確預測有著重要意義但實際未作過多處理的影響因素的忽視程度. 盡管這種不確定性可以被進一步優化,仍然太復雜以致難以完全優化. 因此,為這種不確定性提供確定的指導方針十分重要. 花費巨量的時間和精力并不符合作戰決策實際需求,必須在成本與效益間實現一個較好的平衡.

2）任意不確定性: 是模型生成的過程中因為采集方法和參數設置而產生的不確定性,因而這種不確定性并不能夠單純通過采集更多數據或考慮得更周全來排除. 這種不確定性會從輸入到輸出全程影響智能決策結果,因而需要針對性提供一些設定和分析方法對其進行評估.

3）分布外不確定性: 旨在引導判斷一個輸入是否是有效的,以及模型選用是否合適. 這是機器學習實際應用中一個很重要的問題. 從某種角度講,分布外不確定性與“模型誤差設定”和“異常檢測”是一樣的. 由于這種不確定性是由分布外問題導致的,因而提供指導方針和方法來幫助決策者們控制這種不確定性十分重要. 傳統的機器學習方法通常的假設是模型訓練和測試的數據是獨立同分布的（independent identical distribution,IID）,這里訓練和測試的數據都可以說是in distribution（ID）.

3.1.3 推動人機智能融合從以模型為中心向以人為中心的轉變

先前大多數針對“可解釋性”的研究可以被視作是一種以模型為中心的研究. 它們更多關注如何調整模型機制,使其更容易讓人們理解,而不是關注人們想要如何理解模型.“可接受性”旨在推動從以模型為中心向以人類為中心的變革,因此,其應當重點關注人類本身的知識傳遞、分級思考和選擇性思維的特性.

1）知識傳遞: 考慮到并不是每個人都具備必要的背景知識以及專門的研究人員輔助來理解該方法,因此,應使決策者更加關注模型輸出中包含的知識特性而不是模型輸出結果本身. 研究人員也應改變目前單純從模型機制重新設計的角度提供可解釋性的模式,更多的聚焦機器智能輸出結果向決策支持知識的轉變,使向決策者知識傳遞過程變得更為現實而有效.

2）分級思維特性: 人類的思維特性具有層次性.盡管不同行業的決策者對同一類型的模型具有不同的認知能力,但普遍認同可接受的機器智能對復雜問題的處理應當具備分層特性. 分層思維是一種將復雜問題分為幾個層次進行討論的方法. 這是決策者通常具有的一種思維方式.

3）選擇性思維特性: 信息的選擇性思維特性是另一個決策者普遍認為極其重要的思維特性. 在常規管理過程中,各個級別的決策者僅需要知道他們自己的命令空間,而無需知道下屬為滿足其命令而作出的特定選擇. 實際上,不同的管理者以不同的分辨率觀察環境是一種普遍的選擇性現象. 選擇性的一個顯著效果是管理人員僅需要以他們自己選擇的任務粒度了解系統的狀態.

3.2 面向智能方法優化的可接受性能力要求

要讓人工智能的輸出成為更易于接受的決策,需要人工智能滿足信息處理當中的關鍵步驟的能力要求. 然而,人工智能方面的大部分研究都關注于優化方法的性能. 在本節,提供理論分析以幫助從可接受性出發來重新設計或修改智能方法,這樣一個方法就可以不單有更好的性能,也能夠保證其高水平的關鍵輸出更容易被決策者接納.

3.2.1 將信息融合程度作為智能方法評估的重要依據

如何評估不同人工智能方法對不同任務場景的適用程度一直是人機智能融合領域研究以及人機智能融合方法構建的關鍵. 目前從可解釋角度出發,研究人員從流程演化、可解釋、因果推理、相關關系等角度對這一問題進行了分析,但仍然無法有效滿足人機智能融合實際操作過程中的基本需要. 通過對人的智慧,機器智能產生機理的思考,本文認為應當將信息融合程度作為智能方法可接受性評估的重要依據之一.

人機智能融合的基本原則要求實現以機器為中心向以人為中心的轉變. 因此,應當以人習慣的范式來審視如何進行人的智慧與機的智能的融合. 通過對人與人智慧融合的基本范式進行整理,如圖2 所示不難發現,在人的個體內,進行著從信號到符號到知識再到定勢的信息運動,在人和人之間則是通過信息傳播進行著智慧的交互和融合,所有的信息運動構成了一個信息世界. 一般地,人們會把物理世界稱為物理域,把精神世界稱為認知域,把群體世界稱為社會域,把信息世界稱為信息域. 人與人之間的智慧融合是通過在物理域,把人與人、人與物質世界通過豐富的信號網絡連接起來；在認知域,以它自己的符號系統,把人的知識轉錄出來進行加工處理；在社會域,通過信息處理流程和規則,固化形成一致的定勢來綜合實現的.

圖2 人與人智慧融合的基本范式Fig.2 Basic paradigm of wise fusion among humans

因此,考慮人既有的智慧融合習慣,通過信息的融合從而有效促進人的智慧與機的智能進行有效融合是合理的. 在面向作戰決策的人機智能融合方法的研究工作中,應當將人與機器智能決策過程中信息融合的實現程度作為智能方法可接受性評估的主要依據.

3.2.2 修改人工智能方法以適應人類認知模型

當前的智能方法研究更多強調性能本身而忽視了其信息輸出對人類決策支持的有效性. 如圖3 所示,可接受的人工智能應當滿足人類認知模式的需求,同時還應該有與人通過信號、符號、知識、模式等認知媒介進行集成的能力. 相較于此,更為基礎的則是其應該能夠輸出認知形態的信息,而非僅僅是結果. 參考人與人之間的信息交互,可接受的人工智能應當有能力輸出的認知形態信息包括以下幾個方向:

圖3 人機智能融合表征Fig.3 Representation of human-machine intelligence fusion

信號（低級認知信息）: 是人工智能輸出的動作、判定或其他行為,用于傳遞信息、指令、警告等. 其能夠表示某些對人類有價值的特性的存在或可能發生的人們所關注的事件、動作、事實等,是機器智能對能量的探測和識別產生信息的基礎物理形態.

符號與知識（中級認知信息）: 是人工智能通過學習與訓練獲得的信息、對問題的理解或者某項技能等. 可接受的人工智能不僅應該能夠對這些能力進行分類,還應該能夠將它們有效地傳遞給人類. 其中,符號是對信號賦予有意義的信號,從而產生的信息的一種交互形態,而對符號的構造和組織則產生了信息的抽象形態知識.

定勢（高級認知信息）: 人工智能能力得以呈現的本質框架,是對知識的框架性構造方法,也有學者稱其為模式. 定勢是一種人工智能知識的架構,是一種動態的信息結構,隨訓練的進行而不斷發生變化.智能產生的定勢是其利用知識自組織創建的信息形態. 以人為例,生活中的思維或行為并不是一條一條地調用知識,而是針對問題快速尋找解決問題的框架.

三類認知形態的輸出實際上并不難實現. 從機器智能的角度來看,當前機器智能的主流三大類方法: 有監督學習、無監督學習以及強化學習,從本質上看都沒有脫離對信息的采集、處理、加工、輸出的基本范疇. 當前人工智能領域科研的主要創新點普遍集中在對這些細節過程的優化和深化上. 而與此同時人是信息的主體,且人本身也是自身內在信息系統信息處理的主體,因此,從信息的信號、符號、知識、定勢等具體層面挖掘人與機器智能融合的方法是可接受性的重要能力要求之一.

3.2.3 提供人機信息交互機制作為輔助

必須意識到無論機器智能如何發展,其本質還是機器. 因而不能寄希望于其能夠與人以人類的方式進行溝通和交互. 所以,必須為人機混合環境下有效決策同盟的實現,開發一種能夠提供必要支撐的信息交互機制,以幫助解決人機智能融合難題,使得人與人工智能夠在推理、判斷記憶等諸多方面,基于共同的信息輸出（例如信號、符號、知識、模式等）實現必要的協作.

如圖4 所示,當前的人機智能融合是一種傳統的人與智能交互模式,是建立在人工智能能夠有效模擬人或者理解人這一假設的基礎上. 該模式只在信息的輸入和輸出這兩個硬件物理域環節進行必要的交互,通過尋求把機器智能的邏輯推演變得越來越像人,而實現二者之間的有效理解,進而實現在硬件物理域的結合. 例如神經網絡因為具有黑箱性,因此,目前流行用決策樹等與人思維更相近的方法擬合神經網絡所作的決策結果,但是這本身會導致性能較大的衰減. 同時該模式也不適配基于計算機的機器智能的本質. 人工智能的優勢在于高帶寬、大內存、大存儲,人在這些領域則是低帶寬、算速慢、容量小,這種遷就式的融合方法會限制人工智能性能的發揮.

圖4 傳統的人與智能交互模式與人機智能融合模式的對比Fig.4 Comparison of the traditional human and intelligence interaction mode with that of human-machine intelligence fusion

因此,需要新的方法,使得人與人工智能不僅能在信息的輸入、輸出等硬件物理域實現有效融合,還能在輸入接口、處理過程、輸出接口等軟件思維域關鍵環節中實現有效的交互融合,從信息的信號、符號、知識、定勢等具體層面挖掘人與機器智能融合方法的潛力,在充分挖掘機器智能的強大的演化計算能力的基礎上,更好地催化人的潛在意識,提升人決定性作用的廣度、寬度和深度,形與神俱合.

因此,在機制設計的過程中,一方面需要更加關注設計高效且有針對性的物理交互界面. 物理交互界面為人機互動提供了一個基礎通道,也是最直觀有效的通道,這是人機智能融合實現最為基礎的部分. 另一方面,人機智能信息融合接口在作戰決策過程中發揮作用,從邏輯上看主要體現在兩個環節: 過程支持和目標求解. 二者是決策者在不同的決策階段,所面臨的不同任務. 是人機智能融合信息機制交互設計中應重點關注的內容.

4 結論

本文在對“可解釋性”系統綜述、問題分析的基礎上,提出“可接受性”的概念及其關鍵能力要求作為一種新的指導方針來指導人工智能運用于作戰決策過程. 本文的工作為實現人智與機智在作戰決策的有效集成提供了理論支撐,能夠促進在以人為中心的作戰實體、業務中人機智能融合作戰決策能力的構建.