基于雙基點模糊推理的智能系統(tǒng)評估方法

汪霜玲，李宇飛，黃凱鵬，易 侃，朱先強(qiáng)

(1.信息系統(tǒng)工程重點實驗室，南京 210007；2.中國電子科技集團(tuán)有限公司第二十八研究所，南京 210007；3.西安電子科技大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，西安 710071；4.國防科技大學(xué) 信息系統(tǒng)工程重點實驗室，長沙 410073)

1 引言

隨著人工智能技術(shù)在各行各業(yè)加速滲透，人工智能技術(shù)在軍、民領(lǐng)域都有眾多應(yīng)用，為了衡量一套具有智能化功能的系統(tǒng)/設(shè)備的智能化水平，即其智能化程度處于什么階段，許多行業(yè)的研究人員都針對各自研究的領(lǐng)域特征，提出了相應(yīng)的智能化分級標(biāo)準(zhǔn)，用于判定該領(lǐng)域內(nèi)系統(tǒng)/設(shè)備的智能化發(fā)展水平。

在民用領(lǐng)域，澳大利亞的iOmniscient公司作為世界知名的智能監(jiān)控供應(yīng)商之一，率先在視頻監(jiān)控領(lǐng)域建立了一套視頻監(jiān)控系統(tǒng)的智能IQ評級系統(tǒng)，從智能視頻監(jiān)控系統(tǒng)檢測并獲取目標(biāo)的信息量、適用場景的復(fù)雜度等方面將系統(tǒng)分為7個等級，為衡量視頻監(jiān)控系統(tǒng)的智能化水平提供了一個等級評估的參考模型。針對智能音箱，中科院團(tuán)隊從語音識別能力、自然語言理解能力和內(nèi)容推薦算法性能3個角度來評估其智能化水平。

在軍事領(lǐng)域，美國國家標(biāo)準(zhǔn)研究院提出并建立針對地面無人平臺分類和評估的無人系統(tǒng)自主級別(ALFUS)框架，從感知、規(guī)劃、運(yùn)動控制、行為、學(xué)習(xí)五個方面將系統(tǒng)的自主性能力分為10個等級；美空軍在《自主地平線-通往未來的道路(2015)》報告中考慮到系統(tǒng)實現(xiàn)輔助執(zhí)行、態(tài)勢感知支持、輔助決策和監(jiān)管控制等任務(wù)的難易程度不同，提出將系統(tǒng)自主性根據(jù)系統(tǒng)功能的難易劃分為6個等級，介于全手工和全自主之間。

然而，上述研究本質(zhì)都是基于系統(tǒng)靜態(tài)特征構(gòu)建以定性分析為主的等級評估模型，這類模型根據(jù)系統(tǒng)具備的功能、適用的范圍、采用的機(jī)制等靜態(tài)特征，判定系統(tǒng)所處的等級，評估粒度較粗，且難以支撐結(jié)合系統(tǒng)在實際運(yùn)行中的效果，做出基于效能的評估。針對上述問題，我們提出基于深度雙基點模糊推理的系統(tǒng)智能化水平評估法，在智能化等級模型的基礎(chǔ)上，進(jìn)一步對系統(tǒng)智能化水平給出更加細(xì)粒度的評價和更加直觀的對比分析。

首先給出智能化水平評估的問題定義，其次，基于國內(nèi)外智能化評估研究，給出系統(tǒng)智能化評估指標(biāo)體系，進(jìn)一步，介紹基于深度雙基點模糊推理的系統(tǒng)智能化水平評估方法，最后，基于2個案例對該評估方法的適用性及泛用性進(jìn)行評估。

2 問題定義

為研究智能系統(tǒng)評估方法，對于待評價對象，構(gòu)建與其領(lǐng)域特點相適應(yīng)的智能化水平評估指標(biāo)體系，結(jié)合相關(guān)領(lǐng)域的專家知識，評估該對象的智能化水平。下面，首先介紹一些相關(guān)的概念及符號表示，隨后給出完整的問題定義。

待評價對象(S)：現(xiàn)有的許多的智能化產(chǎn)品，例如智能音箱、智能化音響、智能化信息系統(tǒng)[15-16]等。

智能化水平評估指標(biāo)體系(EIS)：給定S，存在諸多因素影響其智能化水平，這些因素又可按照維度或?qū)蛹壊煌M(jìn)行劃分，最終形成一個智能化水平評估指標(biāo)體系，如圖 1所示，其中每個指標(biāo)的取值范圍存在一定的限制。

圖1 智能化水平評估指標(biāo)體系抽象表示

專家知識(K)：給定S及EIS，相關(guān)領(lǐng)域?qū)＜铱筛鶕?jù)其經(jīng)驗給出一些深層見解，這有助于對智能化水平的評估。

智能化水平評估模型(F)：對給定S及EIS，結(jié)合K，給出智能化水平評估結(jié)果。

其完整的問題定義可表示為

F(S|EIS,K)→Ψ

其中，Ψ為S所有可能的智能化水平集合。

3 系統(tǒng)智能化評估指標(biāo)體系

根據(jù)智能化系統(tǒng)的特征，從功能維度和技術(shù)維度兩方面選取指標(biāo)，構(gòu)建系統(tǒng)智能化水平的評估指標(biāo)體系，如圖2所示。

圖2 系統(tǒng)智能化評估指標(biāo)體系

其中，自主性主要是從功能維度出發(fā)，評價系統(tǒng)在場景感知、自主決策、人機(jī)交互等方面的智能化水平。適應(yīng)性從人工智能技術(shù)特點出發(fā)，重點從魯棒性和可解釋性2個方面分析系統(tǒng)的適應(yīng)性水平。學(xué)習(xí)性同樣側(cè)重從技術(shù)特點出發(fā)，重點從預(yù)先學(xué)習(xí)、自主學(xué)習(xí)、遷移學(xué)習(xí)3個方面分析系統(tǒng)的學(xué)習(xí)性能力。

4 深度TOPSIS模糊推理評估方法

為在各維度評估結(jié)果的基礎(chǔ)上，綜合評估系統(tǒng)整體的智能化水平，我們采用綜合評估方法對信息系統(tǒng)智能化水平進(jìn)行綜合評估。現(xiàn)有的綜合評估方法[1-11]主要分為3類：基于結(jié)構(gòu)關(guān)系的評估方法[1-6]，廣泛應(yīng)用于雷達(dá)和船艦電子信息系統(tǒng)等復(fù)雜系統(tǒng)的評估[7]，主要關(guān)注系統(tǒng)結(jié)構(gòu)的內(nèi)聯(lián)關(guān)系，通過建立樹狀或網(wǎng)狀的對象模型，建立評估指標(biāo)與影響因素的映射關(guān)系，運(yùn)用權(quán)重、模糊、粗糙和遺傳等不同算法分析評估系統(tǒng)；基于機(jī)器學(xué)習(xí)的評估方法[8-9]，該類方法能較好地抽取評價指標(biāo)的特征表示；其他方法，為了避免上述兩類方法存在的問題，研究人員提出了一些評估方法，例如基于云模型的評估模型[9]、基于貝葉斯網(wǎng)絡(luò)模型的評估模型[10]、基于TOPSIS(technique for order preference by similarity an ideal solution)的評估模型[11]等。

現(xiàn)有的方法都存在一定的局限性，基于結(jié)構(gòu)的評估方法能夠較為貼近復(fù)雜系統(tǒng)結(jié)構(gòu)特征，通常實現(xiàn)較簡單，但存在影響影響因素權(quán)重確定困難、可解釋性不強(qiáng)等問題。基于機(jī)器學(xué)習(xí)的評估方法由于樣本量稀少，難以訓(xùn)練性能良好的模型，且缺乏可解釋性。基于TOPSIS的評估方法直接根據(jù)專家知識為評估指標(biāo)賦予權(quán)重，沒有對專家知識進(jìn)行進(jìn)一步的提取。

為了改善上述評估方法的不足之處，本節(jié)提出一種基于深度TOPSIS的模糊推理評估法，將TOPSIS模型擴(kuò)展為深度TOPSIS模型，并與自適應(yīng)模糊推理網(wǎng)絡(luò)(ANFIS)結(jié)合。其整體流程如算法1及圖3所示。

圖3 深度TOPSIS模糊推理評估算法流程圖

算法1基于深度TOPSIS的模糊推理評估法

輸入 評估指標(biāo)體系EIS，各維度最低級指標(biāo)得分表L={A,B,…}←Evaluate(S|EIS)，專家知識K

輸出 評估得分r

m←Deep(L)；/*最低級指標(biāo)層級*/

Lp={〈A[a1]…[am],B[b1]…[bm],…〉}/*所有維度笛卡爾乘積，形成m級指標(biāo)對集合*/

Topsis(A[a1]…[am],B[b1]…[bm],…)；

k=1；

Whilek≤m-1：/*逐層Topsis*/

|forrm-(k-1)in{1,2,len(R[r1]…[rm-k])})；k=k+1；

Endwhile

R←Transform(K)；/*轉(zhuǎn)換專家知識*/

4.1 深度TOPSIS

TOPSIS模型在1981年被提出，最早應(yīng)用于挑選滿足一定條件的最優(yōu)解，隨后被廣泛應(yīng)用于多標(biāo)準(zhǔn)決策輔助(multi-criteria decision aid，MCDA)以及多標(biāo)準(zhǔn)決策(mulit-criteria decision making，MCDM)領(lǐng)域，主要功能是對解進(jìn)行評估及排序，由于其出色的評估能力，至今仍是一個常用的評估方法。

如圖1所示，EIS通常具有一個或多個維度，每個維度又分為多個等級。要對S進(jìn)行全面客觀的評價，必須考慮所有的評價指標(biāo)，于是本研究提出使用深度TOPSIS模型對評價指標(biāo)體系進(jìn)行建模，具體步驟如下。

步驟1：搭建TOPSIS模型

為最低級指標(biāo)得分搭建TOPSIS模型，首先是將原始矩陣正向化，常見的四種評價指標(biāo)類型包括：極大型指標(biāo)、極小型指標(biāo)、中間型指標(biāo)以及區(qū)間型指標(biāo)。所述的將原始矩陣正向化，就是要將所有類型的指標(biāo)統(tǒng)一轉(zhuǎn)化極大型指標(biāo)，可根據(jù)指標(biāo)類型不同采取不同形式的轉(zhuǎn)換函數(shù)。若EIS中的指標(biāo)均為極大型指標(biāo)，可考慮跳過該步驟。

步驟2：正向化矩陣標(biāo)準(zhǔn)化

此步驟的目的是為了消去不同指標(biāo)量綱的影響，需要對正向化后的矩陣進(jìn)行標(biāo)準(zhǔn)化處理。假設(shè)有n個待評價的信息系統(tǒng)對象，EIS中包含m個最低級評價指標(biāo)，則正向化矩陣如下：

步驟3：計算歸一化得分

步驟4：搭建深度TOPSIS模型

按照EIS中的評價指標(biāo)等級劃分，逐級為評價指標(biāo)搭建TOPSIS模型，即重復(fù)步驟1～步驟3，最終完成深度TOPSIS模型。

4.2 自適應(yīng)模糊推理網(wǎng)絡(luò)

基于模糊集合理論、模糊規(guī)則和模糊推理的模糊推理系統(tǒng)是一種流行的計算框架，廣泛應(yīng)用于各個領(lǐng)域，如模式識別、信號處理等。由于模糊推理系統(tǒng)比較適合于表達(dá)模糊或定性的知識，其推理方式類似人的思維模式，容易把目標(biāo)系統(tǒng)的知識直接融于建模過程。

大多數(shù)現(xiàn)有的評估方法，如TOPSIS，直接利用專家知識賦予模型權(quán)重，存在很強(qiáng)的主觀性。且目前沒有通用的方法用于專家的知識和經(jīng)驗的轉(zhuǎn)換，所以，本研究提出使用自適應(yīng)模糊推理網(wǎng)絡(luò)(ANFIS)對專家知識進(jìn)行轉(zhuǎn)化，達(dá)到自適應(yīng)確定權(quán)重的效果，從而弱化專家知識在評估過程中的影響，降低人類的主觀性。其步驟如下。

步驟1：構(gòu)建ANFIS網(wǎng)絡(luò)

ANFIS是一種基于Takagi-Sugeno模型的多輸入單輸出(MISO)的模糊推理系統(tǒng)，既有模糊邏輯易于表達(dá)人類知識的優(yōu)點，又有神經(jīng)網(wǎng)絡(luò)的分布式存儲以及學(xué)習(xí)能力。以兩輸出、單輸出的ANFIS為例，其模型圖如圖4所示。

圖4 ANFIS網(wǎng)絡(luò)結(jié)構(gòu)

ANFIS包含5層網(wǎng)絡(luò)結(jié)構(gòu)，分別是模糊分割層、規(guī)則推理層、模糊化層、去模糊化層及輸出層，每一層的節(jié)點具有不同的參數(shù)及功能。

步驟2：專家知識規(guī)則化

對專家知識進(jìn)行分析，并抽象轉(zhuǎn)化為“if-then”形式的規(guī)則，使用A[i][j]表示維度A中第i個一級指標(biāo)的第j個二級指標(biāo)，若專家認(rèn)為指標(biāo)對〈[A[1][2],B[2][1]〉越接近其對應(yīng)的理想解〈A[1][2],B[2][1]〉+或(負(fù)理想解)，信息系統(tǒng)的智能化水平y(tǒng)越高(低)，可轉(zhuǎn)化為如下規(guī)則表示形式：

ifD(〈A[1][2],B[2][1]〉,〈A[1][2],B[2][1]〉+)→0,

theny→ymax

ifD(〈A[1][2],B[2][1]〉,〈A[1][2],B[2][1]〉-)→0,

theny→ymin

其中，“if-part”可通過“and”運(yùn)算進(jìn)行擴(kuò)展。該規(guī)則可以用于任意的層級指標(biāo)，并反映出專家認(rèn)為某些評價指標(biāo)更為重要，即對信息系統(tǒng)智能化水平的影響程度大。

步驟3：ANFIS參數(shù)確定

確定ANFIS自適應(yīng)模糊推理網(wǎng)絡(luò)的參數(shù)，包含架構(gòu)參數(shù)及算法參數(shù)。首先確定模糊化分區(qū)，通過高斯隸屬度函數(shù)將每個一級指標(biāo)劃分為2個分區(qū)，即1和0，可表示為

其中d=1or0用于區(qū)分所在分區(qū)，σ的取值不影響分區(qū)結(jié)果，此處可取常數(shù)1簡化后續(xù)計算，{σ,d}即為算法參數(shù)中前件參數(shù)的取值。

基于轉(zhuǎn)化后的規(guī)則集R={r1,…,rm}，首先將ri中的“if-part”所涉及的評價指標(biāo)對轉(zhuǎn)換為對應(yīng)層級的打分(其中涉及的指標(biāo)打分用正(負(fù))理想值代替，未涉及的指標(biāo)對打分用平均值或缺省值代替)，然后利用深度TOPSIS模型將其轉(zhuǎn)換對應(yīng)的一級指標(biāo)得分，最后通過隸屬度計算映射轉(zhuǎn)換為網(wǎng)絡(luò)架構(gòu)(即架構(gòu)參數(shù))，具體流程如圖5所示。

圖5 專家知識映射到網(wǎng)絡(luò)結(jié)構(gòu)流程圖

基于上述規(guī)則轉(zhuǎn)化的結(jié)果，并將ri中“then-part”轉(zhuǎn)換為對應(yīng)的理想(負(fù)理想)信息系統(tǒng)智能化評分，利用最小二乘估計進(jìn)行訓(xùn)練，獲得網(wǎng)絡(luò)的后件參數(shù)。

4.3 使用深度TOPSIS模糊推理模型進(jìn)行智能化水平評估

使用4.2中參數(shù)化后的ANFIS對4.1中得到的一級指標(biāo)評價結(jié)果進(jìn)行分析，推理輸出智能化水平結(jié)果，并輸出一級指標(biāo)的雷達(dá)圖。

5 案例分析

本節(jié)基于2個經(jīng)典案例，分析深度TOPSIS模糊推理模型的有效性及泛用性，在Intel?CoreTMi7-8700 CPU@3.20GHz 3.19GHz環(huán)境中進(jìn)行實驗，運(yùn)行軟件環(huán)境為Python 3.7。

5.1 案例1(有效性)

針對某品牌智能音箱，評估其智能化水平。根據(jù)測試結(jié)果判定各評價指標(biāo)測的等級，并使用TOPSIS方法計算出二級指標(biāo)的得分情況、根據(jù)二級指標(biāo)的得分計算出一級指標(biāo)的得分，最后結(jié)合ANFIS網(wǎng)絡(luò)及專家知識得到智能音箱最終的智能化得分。

1)實驗設(shè)置。基于專家對每個指標(biāo)的評估結(jié)果，驗證模型的有效性，以場景感知為例，假設(shè)場景感知等級為2，其下限為1，上限為4，則根據(jù)理想解運(yùn)算規(guī)則，計算結(jié)果為(2-1)/(4-1)=0.33。計算得到所有二級指標(biāo)的得分見表1。

表1 二級指標(biāo)得分?jǐn)?shù)據(jù)

與此同時，專家希望理想的系統(tǒng)具備盡可能高的自主決策能力，同時自主學(xué)習(xí)能力不能太低。對專家知識進(jìn)行分析，并抽象轉(zhuǎn)化為“if-then”形式的規(guī)則，給出如下規(guī)則表示：

ifD(A[1][2],A[1][2]+)→0

theny→ymax

ifD(A[3][2],A[3][2]-)→0

theny→ymin

2)實驗結(jié)果及分析。利用深度TOPSIS模型逐級將表1中的數(shù)據(jù)轉(zhuǎn)換對應(yīng)的一級指標(biāo)得分，如表2所示。

表2 一級指標(biāo)得分?jǐn)?shù)據(jù)

使用ANFIS神經(jīng)網(wǎng)絡(luò)，結(jié)合上述參數(shù)，分析一級指標(biāo)對評估結(jié)果，推理輸出智能化水平得分，利用表1中的數(shù)據(jù)，可以得到，基于樣例中的專家知識所得的智能化評分為60.46(百分制)。

最終，根據(jù)對應(yīng)的智能化水平等級模型，將智能化水平得分映射為最終的信息系統(tǒng)智能化水平評估結(jié)果，智能化等級示例如表3所示。

表3 智能化等級與得分對應(yīng)示例

并輸出一級指標(biāo)對雷達(dá)圖，如圖6所示。

圖6 智能化評估——一級指標(biāo)雷達(dá)圖

從雷達(dá)圖可以看出，該系統(tǒng)在自主性及適應(yīng)性方面的能力較為優(yōu)異，但學(xué)習(xí)性能力相對較弱，這樣分析有助于發(fā)現(xiàn)系統(tǒng)的智能化開發(fā)和改進(jìn)的方向。結(jié)果表明，本評估模型在傳統(tǒng)評估的基礎(chǔ)上，能夠融入專家知識，同時避免了主觀性偏差，有效性得以保證。

5.2 案例2(泛用性)

針對更復(fù)雜的系統(tǒng)，智能化評估需要結(jié)合多維度指標(biāo)體系進(jìn)行。針對某戰(zhàn)區(qū)級信息系統(tǒng)，根據(jù)應(yīng)用場景，將評估指標(biāo)體系的維度進(jìn)行擴(kuò)展，驗證模型的泛用性。

1)實驗設(shè)置。本實驗將使用高維度EIS，使用不同K進(jìn)行實驗，驗證模型的泛用性，打分結(jié)果及不同K如表4所示。

表4 二級指標(biāo)得分情況

K來源于相關(guān)領(lǐng)域的不同專家，隨機(jī)從K中選取兩條專家知識進(jìn)行分析，并抽象轉(zhuǎn)化為“if-then”形式的規(guī)則，給出如下規(guī)則表示：

專家規(guī)則-樣例1(包含2條)：

ifD(〈A[1][2],B[2][1]〉,〈A[1][2],B[2][1]〉+)→0

andD(〈A[3][1],B[2][2]〉 ,〈A[3][1],B[2][2]〉+)→0

andD(〈A[2][2],B[1][4]〉 ,〈A[2][2],B[1][4]〉+)→0

andD(〈A[1][3],B[3][1]〉 ,〈A[1][3],B[3][1]〉+)→0

theny→ymax,

if D(〈A[3][2],B[1][1]〉 ,〈A[3][2],B[1][1]〉-)→0

andD(〈A[2][3],B[2][2]〉 ,〈A[2][3],B[2][2]〉-)→0

theny→ymin

專家規(guī)則-樣例2(包含3條)：

ifD(〈A[1][2],B[2][1]〉 ,〈A[1][2],B[2][1]〉+)→0

theny→ymax,

ifD(〈A[2][2],B[1][4]〉 ,〈A[2][2],B[1][4]〉+)→0

theny→ymax,

ifD(〈A[3][2],B[1][1]〉 ,〈A[3][2],B[1][1]〉-)→0

theny→ymin

2)實驗結(jié)果及分析。利用深度TOPSIS模型逐級將其轉(zhuǎn)換對應(yīng)的一級指標(biāo)得分，如表5所示。

表5 一級指標(biāo)對評估情況

將轉(zhuǎn)換后的規(guī)則利用4.3的方法映射為模糊推理系統(tǒng)的架構(gòu)參數(shù)(即網(wǎng)絡(luò)結(jié)構(gòu))，具體映射結(jié)果如圖7所示。

圖7 規(guī)則-網(wǎng)絡(luò)架構(gòu)映射結(jié)果

最后，使用ANFIS神經(jīng)網(wǎng)絡(luò)，結(jié)合上述參數(shù)，分析一級指標(biāo)對評估結(jié)果，推理輸出智能化水平得分，利用表4的數(shù)據(jù)，可以得到，基于樣例1中的專家知識所得的智能化評分為20.66，基于樣例2中的專家知識所得的智能化評分為30.54。根據(jù)benchmark或?qū)?yīng)的智能化水平等級模型，將智能化水平得分映射為最終的信息系統(tǒng)智能化水平評估結(jié)果，并輸出一級指標(biāo)對雷達(dá)圖，如圖8所示。

圖8 一級指標(biāo)雷達(dá)圖

專家知識可以從專家規(guī)則中提煉，對比樣例2，樣例1中的專家知識更為嚴(yán)謹(jǐn)，對評估結(jié)果的約束較強(qiáng)，因此，基于樣例1的智能化評分更低，符合通常的認(rèn)知和評估需求。

由于實驗中隨機(jī)抽取了2條專家知識，具有較強(qiáng)的主觀性，但該方法有效地降低了主觀性，并得出相近的評估結(jié)果，說明該方法具有較強(qiáng)的抗干擾能力，能作出一致的評估，模型的泛用性得以確定。

6 結(jié)論

1)針對現(xiàn)有的系統(tǒng)智能化水平評估方法存在泛用性差、不可解釋等缺點，提出一種基于深度雙基點模糊推理的智能化水平評估方法，通過定性評估與定量評估相結(jié)合、專家知識和模糊推理相結(jié)合的方法，達(dá)到結(jié)果可解釋且泛用性強(qiáng)的評估效果。

2)提出一套通用的智能化水平評估指標(biāo)體系，并基于該體系搭建深度雙基點模型，該模型能根據(jù)多個維度指標(biāo)生成初步綜合評價，并根據(jù)模糊推理網(wǎng)絡(luò)進(jìn)行模糊計算，得到智能化水平。

3)針對不同的信息系統(tǒng)，基于智能化水平評估指標(biāo)體系、數(shù)據(jù)及相關(guān)領(lǐng)域的專家知識進(jìn)行實驗，實驗結(jié)果表明所提出方法能夠穩(wěn)定地進(jìn)行智能化水平評估，且具有良好的可解釋性和泛用性。