模糊認知圖學習算法及應用綜述

劉曉倩 張英俊 ,3 秦家虎 李卓凡 梁偉玲 李宗溪

模糊認知圖(Fuzzy cognitive map,FCM)作為一種強有力的軟計算方法,兼具神經網絡和模糊邏輯的優勢,是不確定性人工智能理論核心工具之一[1–4].由于FCM 在抽象性、靈活性、適應性、可解釋性和模糊推理等方面的優勢,目前已廣泛應用于眾多領域,如時間序列分析[5]、決策支持[6–8]、模式識別[9]、醫療診斷[10–12]等.

從拓撲結構上來看,FCM 是表示因果關系的模糊有向圖,圖中的節點可以表示真實世界中的概念(事件、動作、值、目標等),加權邊則表示概念節點之間的因果連接.從功能上來看,FCM 是模糊邏輯和神經網絡結合而來的產物,具有知識表示和模糊推理的優勢.FCM 通過強調結構化的因果關系,觀測概念節點隨時間的演化狀態,以一種接近人類認知的方式建模高度非線性系統中的不確定性.更準確地說,FCM 可以通過對原始觀測數據的學習與挖掘,抽象出更高級的數據表示和演化模式,模擬特定場景,支持決策過程和預測模擬系統的未來狀態,為復雜系統的靜態和動態分析提供必要的手段.FCM 通常具有如下特點:

1)對不確定和不完全信息的強大的語義表示和解釋能力;

2)概念間的動態的、可組合的、可調的和潛在的表示關系的捕獲能力[13];

3)面向復雜系統和時間序列分析等不確定性人工智能模型的建模能力[4].

FCM 在給定初始狀態向量和初始權重矩陣的情況下,能夠模擬復雜動態系統隨時間的演化過程或狀態,從而為因果“假設”問題提供直接的推理結果.然而,推理結果的穩健性和準確性高度依賴于給定FCM 的權重矩陣.因此,FCM 的權重矩陣學習問題是FCM 理論和應用研究的焦點之一.早期從學習范式的角度,權重矩陣學習方法主要分為赫布(Hebbian)學習算法、進化學習算法以及混合學習算法[14].在上述學習算法分類基礎上,Stach 等[15]梳理和總結2012 年之前的研究工作,將其分為基于專家的方法和計算方法.Felix 等[16]在2019 年總結和分析FCM 在學習算法方面的研究成果,其分類模式類似于早期基于學習范式的分類.2020 年,Shen 等[17]從專家和數據驅動的角度概述近期的一系列從不同角度提出的FCM 學習算法.

以上文獻從不同角度歸納和總結FCM 的相關研究工作,但目前缺乏對FCM 變體及其最新研究進展的學術文獻.為更全面地掌握FCM 的發展現狀及其面臨的挑戰,本文重點梳理、歸納和總結其近年來的研究成果,為開展相關理論和應用研究提供支持.從理論和應用角度而言,FCM 研究框架如圖1 所示.本文的主要貢獻概括如下:

1)系統總結FCM 的拓展模型,比較分析各類模型的特點及優缺點.

2)依據FCM 現有學習范式,將FCM 學習算法劃分為3 類: 專家知識驅動的學習算法、自動學習算法和半自動學習算法.歸納總結每類算法的時間復雜度及優缺點.此外,本文從圖節點規模的角度,討論不同規模下的學習算法.

3)從FCM 學習算法分類的角度,總結各類算法的應用場景.

4)系統地歸納和總結用于實施、測試和驗證FCM 建模性能的軟件工具.

5)討論當前FCM 學習算法及應用研究面臨的挑戰以及未來的發展方向.

本文的結構安排如下: 第1 節回顧FCM 的基本理論和概念;第2 節系統地闡述FCM 的學習算法,并對各類算法的原理、特點、優缺點及發展現狀進行了深入討論和分析;第3 節給出FCM 學習算法的相關應用場景,并對應用研究進行分類總結;第4 節總結目前現有的FCM 建模工具;第5 節給出FCM 學習算法的未來發展趨勢.

1 模糊認知圖

FCM 是一種融合模糊邏輯和神經網絡的概念推理圖,提供一種靈活、強有力的框架來表示人類知識和推理.與傳統的專家系統相比,FCM 能夠明確地描述“If-Then”規則,利用概念推理圖實現復雜系統的靜態和動態分析,具有兩類顯著特征[3]:

1)FCM 可表示節點間更為靈活的因果關系;

2)FCM 推理過程具有動態性和反饋性,導致其面臨時間復雜度高的挑戰.

下面從FCM 的拓撲結構、推理機制、轉換函數和結構拓展4 個方面展開詳細介紹.

1.1 拓撲結構

FCM 是一個4 元組 (C,W,A,f).C={C1,C2,···,CN} 表示圖的N個概念(節點).W:C×C→[-1,1],表示概念節點之間的因果權重矩陣.wij表示節點Ci對節點Cj的影響程度.狀態向量A:表示每個概念節點Ci在每個離散時間點t(t∈{1,2,···,T})的激活程度,.最后,轉換函數(傳遞函數)f:R→I將多個因果事件對目標概念的影響聚合起來,并將結果映射到預定義的取值區間.圖2 是一個6 節點模糊認知圖及其權重矩陣.

圖2 6 個概念節點的FCM 案例的FCM 案例Fig.2 An FCM example with 6 concept nodes

節點Ci和節點Cj的因果權重解釋如下:

1)如果wij>0,則表示概念節點Ci對Cj產生積極的影響,節點Cj的值會隨著Ci值增加(減少)而增加(減少);

2)如果wij<0,則表示概念節點Ci對Cj產生消極的影響,節點Cj的值隨著Ci值增加(減少)而減少(增加);

3)如果wij=0,則表示概念節點Ci和節點Cj之間不存在因果關系.

1.2 推理機制

推理機制是指從已知的事實和規則中推導出新結論的過程.在FCM 中,推理規則(激活規則)用一種簡單而直觀的方式來描述模糊概念之間的關系,并支持基于這些關系推理出新的知識,幫助人們解決各種模糊性和不確定性的問題.從本質上來看,FCM 的推理過程是一個“What-If”問題的回答過程[18].對于一個輸入到FCM 中的狀態向量,等價于生成這樣一個問答事件,即如果該事件(輸入這個狀態向量)發生,將會產生什么樣的影響.輸出則為這個狀態向量更新后的值即對該問題的回答,而做出這個回答的過程即為推理過程.如圖3 所示,FCM 的推理是用前向節點對后向節點的遞推作用實現推理.節點在t+1 時刻的狀態值由權重矩陣和t時刻迭代后所有概念節點的狀態向量決定.整個推理過程體現FCM 的動態特性,反映系統的演化過程,且隨著時間的推移FCM 能夠對系統的狀態進行實時建模和更新.在實際工程應用中,推理規則的選擇取決于問題本身,并且通常需要對所研究的模擬系統有深入的了解.下面將介紹一些典型的模糊認知圖推理規則.

圖3 模糊認知圖推理過程Fig.3 Reasoning process of fuzzy cognitive map

式 (1)描述FCM 的Koskos 激活規則[3],目前廣泛應用于基于FCM 的相關方法中.FCM 根據Koskos 激活規則不斷地迭代重復,在每個離散時間步上生成一個包含所有概念的狀態向量,直到滿足停止條件.該激活規則定義為

其中,A(0)表示概念節點的初始狀態(激活向量),wji為概念Cj和節點Ci之間因果關系的值,為概念Ci在第t+1 時刻的激活值.f為轉換函數,一般為sigmoid 函數,其作用是將概念的狀態值約束在范圍[0,1].

Stylios 等[19]對Koskos 激活規則做出修正,刪除Koskos 激活規則中i≠j的約束.當前概念節點除了考慮其對應的因果權重及來自其他概念節點的激活值外,還受其自身過去狀態值的影響.當更新不受其他概念影響的節點時,改進后的推理機制更能體現FCM 的特性.式 (2)給出該規則的數學描述,即

Papageorgiou[20]在式 (2)的基礎上,在轉換函數中引入適當的參數設置,解決在沒有概念節點的初始狀態信息的情況下如何進行后續狀態演化的問題.推理規則描述如下:

Nápoles 等[21]提出擬非線性推理規則(Quasi nonlinear reasoning rule,QNRR),利用類似標準化的傳遞函數防止神經元飽和.在每次迭代中更新神經元的激活值時,可以很容易地通過調節非線性程度來控制它.此外,基于該推理機制的FCM 模型能夠量化結構化數據集中的隱式偏差,即

FCM 根據推理機制不斷地迭代更新復雜系統中概念節點的狀態向量,直到其收斂于一個定點吸引子或達到最大迭代次數.前者意味著節點狀態達到一個平衡狀態.而后者則表明,FCM 是不穩定的且輸出處于有限循環或者完全混亂的狀態.以上狀態的數學描述如下:

1)定點.(?tα∈{1,2,···,T-1}:A(t+1)=A(t),?t ≥tα): 在tα次迭代后,FCM 生成相同的狀態向量,即Atα=Atα+1=Atα+2=···=At.

2)有限環.(?tα,P∈{1,2,···,T-1}:A(t+P)=A(t),?t ≥tα): 在tα次迭代后,FCM 定期產生相同的狀態向量.表明Atα=Atα+P=Atα+2P=···=Atα+jP,其中,tα+jP ≤T且j∈{1,2,···,T-1}.

3)混沌狀態.FCM 在后續迭代過程中繼續產生不同的狀態向量.表明此時系統并沒有處于一個穩定的狀態或者循環穩定的狀態.

FCM 最終的收斂狀態反映狀態演化趨勢和圖的推理性能.因此,對FCM 的動力學特性和穩定性問題的探討具有十分重要的研究意義.研究者提出廣義模糊認知圖(Generalised fuzzy cognitive maps,GFCM)[22]用于解決FCM 中原因和結果之間的時間差而產生的滯后問題.研究表明,包含時間滯后的GFCM 能夠提高FCM 對復雜系統動力學定量建模手段的可靠性.k值模糊認知圖 (k-valued fuzzy cognitive maps,k-valued FCM)[23]在廣義模糊認知圖的基礎上進行時間上的擴展,利用半張量乘積建立帶控制的數學表示,并提出控制依賴網絡過渡矩陣的廣義公式.2021 年,Harmati 等[24]證明FCM 達到全局漸進穩定性的新條件,即從每個初始向量迭代到相同點的條件.如果模型是全局漸進穩定的,則定點是唯一的,即FCM 的每個初始狀態都將收斂到這個點.然而,并不是對于所有的FCM 模型,全局穩定都是必要的.對于一些復雜的FCM 應用場景,收斂到多個定點可能是最佳選擇.因此,在這兩種情況下應該根據實際場景優先考慮或避免對應的參數集,以使FCM 達到最佳平衡狀態.此外,FCM 模型中傳遞函數的動態行為決定FCM 模型在可行激活空間的覆蓋和接近度,對其最終的收斂狀態同樣具有重要影響.因為,任何配備傳遞函數的FCM 模型的狀態空間都會無限縮小,且不能保證FCM 收斂到一個定點,而是收斂到其極限狀態空間[25].

綜上,選擇合適的概念節點和推理規則是FCM建模動態系統的一個關鍵因素.這些因素都會影響網絡產生有意義和準確結果的能力.因此,在FCM建模過程中根據系統的特性、擬解決問題的需求、模型的應用場景等,有反饋的進行特征提取,構建合理的推理規則具有重要研究意義.

1.3 轉換函數

轉換函數的選擇對FCM 建模的準確性至關重要.常見的轉換函數主要有二值函數、三值函數、雙曲正切函數和 s igmoid 函數.其表達形式如下所述.

1)二值函數.離散函數,僅產生兩種狀態的響應.被二值函數激活的FCM 將收斂到一個定點吸引子或進入有限環模式,即

2)三值函數.離散函數,能夠產生有限數目的狀態響應.與二值函數類似,三值函數同樣收斂于一個定點吸引子或者進入有限環模式.二值函數和三值函數的缺點均在于表示能力有限.

3)雙曲正切函數.連續函數,能產生無限個自由分布在 [0,1]N超立方體的狀態.可用于定性和定量場景建模.

4)s igmoid 函數.連續函數,能產生無限個不同的狀態,這些狀態在 [0,1]N超立方體中自由分布[16].在 s igmoid 函數中,λ>0,用來控制函數的斜率.λ值越高,坡度越陡峭,x的波動更加敏感.因此,隨著激活值的增大,導數也隨之增大.

Bueno 等[26]基于相同的決策模型對比分析了FCM 中的各類激活函數的推理性能,證明sigmoid 函數功能比其他函數具有更大的優勢.因此,與其他函數相比,s igmoid 函數的使用范圍更廣泛.

1.4 結構拓展

FCM 在將近40 年的發展歷程中,已經成功地應用于眾多領域.但隨著信息社會的蓬勃發展,經典FCM 仍面臨以下局限性[27]:

1)FCM 模型未考慮概念之間交互的時間滯后性;

2)FCM 不能表示多語義(灰色)環境,難以處理概念之間多對一的語義映射關系;

3)FCM 未能準確地表征不確定的信息;

4)FCM 未能有效地描述概念間復雜因果關系;

5)FCM 未考慮現實應用問題存在的長期時間依賴性;

6)FCM 未能有效地解決狀態的隨機動態性;

7)FCM 及其變體缺乏多圖有效集成方法.

以上局限性導致FCM 在某些特定領域中無法實現有效建模.FCM 的擴展旨在增強其在復雜系統建模時的靈活性以及對環境的適應性.已有的擴展認知圖在知識表示、不確定性建模、動態性等方面做出有效的改進.根據模型應用領域環境的不同,本文將拓展認知圖模型分為以下兩類:

第1 類是基于不同模糊理論提出的一系列拓展認知圖模型,代表性的模型歸納如下.

1)基于規則的模糊認知圖(Rule-based fuzzy cognitive maps,RBFCM)[28].RBFCM 基于模糊累積算子在定性挖掘模糊因果關系的同時保持FCM的多功能性和簡單性.該模型涵蓋多種概念關系(因果、推斷、選擇、概率、相反、連接等),以處理動態系統的復雜性.此外,RBFCM 利用隱含時間和時間延遲等重要概念,保證建模系統時的時間細節被模擬,以形成完整的認知表示關系.

2)模糊灰色認知圖(Fuzzy grey cognitive maps,FGCM)[29].FGCM 基于灰色系統理論處理多語義(灰色)環境下的復雜系統建模問題,利用不精確的概念表示因果關系,以及概念之間的灰色加權關系來表示非結構化知識.該模型中因果關系的強度由灰色數來衡量(灰色數指已知數值取值范圍但是準確值未知),以信息粒的形式表示關系權重,相比傳統的FCM 更能表達概念之間不明確的關系和不完整的信息,容忍專家對判斷的不確定性.

3)直覺模糊認知圖(Intuitionistic fuzzy cognitive maps,IFCM)[30].IFCM 考慮專家在描述概念之間關系時的猶豫程度,引入直覺模糊集加強直覺推理,提高FCM 的適應性.直覺模糊集作為模糊集的一種拓展形式,將隸屬度和非隸屬度推廣為隸屬度、非隸屬度和猶豫度,更準確地衡量節點間因果關系的不確定程度.

4)區間值模糊認知圖(Interval-valued fuzzy cognitive maps,IVFCM)[31].IVFCM 考慮非結構化環境相關的不確定性、語言的不確定性、專家之間的分歧或數據中的噪聲,在概念及其因果關系的設計中提供理想的額外自由度,最大限度地減少上述不確定性的影響,使決策者能夠對高度復雜的業務決策制定問題進行建模.

5)證據認知圖(Evidential cognitive maps,ECM)[32].ECM 通過結合認知圖和Dempster-Shafer 證據理論來表示因果推理.不僅保留表示不確定性的能力,而且有助于聚合來自不同來源(專家)的知識.

6)粗糙認知網絡(Rough cognitive networks,RCN)[33].RCN 以粗糙集為基礎構建因果關系的信息粒表示,解決不確定(由不一致引起)情況下的決策問題.該模型不像以往的方法根據可能的決策類對新實例進行分類,而是嘗試計算每個決策的偏好程度.在決策者必須評估額外的外部因素(如成本、可靠性、可用性等)的決策場景中更能凸顯出模型的優越性.

7)灰色粗糙認知網絡(Fuzzy-rough cognitive networks,FRCN)[34].FRCN 利用遞歸神經網絡將屬性空間轉化為模糊粗糙空間.可用信息首先被劃分為具有軟邊界的信息粒.然后,使用所得的模糊粗糙結構來構建神經網絡.與RCN 模型相似,輸入神經元表示正或負的模糊粗糙區域,而輸出神經元則包括針對當前問題的決策類.值得注意的是,在初步模擬過程中,將模糊粗糙邊界區域納入模型并不能顯著地提高分類器的辨別能力.因為在脆性粗糙的環境中,與來自模糊粗糙粒子的證據相比,猶豫的證據更具有決定性.

8)基于z切片的二型模糊認知圖(Fuzzy cognitive maps of type 2 fuzzy sets based onzslices,zT2FSs-FCM)[35].在不確定數據存在的情況下,傳統FCM 依賴于一型模糊集,建模和推理能力受到限制.zT2FSs-FCM 使用基于z切片的二型模糊集來建模連接FCM 概念的不確定權重,同時引入一種新的推理算法,擴展FCM 的能力,以捕捉模型化概念之間更大的不確定性.此外,算法在推理過程結束時實現FCM 取值的去模糊化,盡可能地保留值的不確定性.

第2 類是針對復雜系統動態性[36]提出的一系列拓展認知圖,歸納如下:

1)動態認知網絡(Dynamic cognitive network,DCN)[37].該模型通過量化概念和引入非線性動態函數來改進FCM,定義概念之間的動態因果關系,支持與時間相關的特性,能夠處理復雜的動態因果系統.每個DCN 中的概念都有自己的值集且取決于它在網絡中需要描述的精確程度.在結構上,DCN 比FCM 具有更強的可擴展性和靈活性.但是,由于DCN 依賴于拉普拉斯框架來描述因果關系.模糊知識與拉普拉斯函數之間的轉換給系統設計者帶來更多的建模工作.因此,后續研究在此基礎上通過簡化DCN,進一步擴展建模FCM 的功能[38].

2)動態隨機模糊認知圖(Dynamic random fuzzy cognitive maps,DRFCM)[39].DRFCM 通過量化概念激活的概率并在推理過程中加入非線性動態函數來改進FCM.DRFCM 的貢獻集中在學習動態因果關系上.在FCM 運行期間,根據因果模型中的反饋機制,邊的值被更新以適應新的條件.因此,DRFCM 可以像現實生活中以問題驅動的模型一樣在線適應程序.

3)模糊時間認知圖(Fuzzy time cognitive maps,FTCM)[40].FTCM 是在FCM 的基礎上考慮節點關系中的時間性.該模型建立一個突觸前節點對突觸后節點影響的延遲模型,每條邊都有兩種相對權重: 強度和時間滯后.FTCM 和FCM 模型動態結果分析說明FTCM 可以根據時間的推移來分析系統的行為.

4)進化模糊認知圖(Evolutionary fuzzy cognitive maps,E-FCM)[41].該模型采用檢查機制模擬動態復雜的因果相關的環境變量,將每個時間狀態建模為概念值的集合.概念狀態則取決于其內部狀態、外部分配以及實時演變的外部因果關系.此外,E-FCM 針對每個概念節點設置對應的更新時間表,概念節點以變異概率異步更新其內部狀態,以便它們能以動態和隨機的方式演變.E-FCM 使上下文概念的自我變異成為不斷發展的行為,反映不同概念之間的現實世界關系.

5)高階模糊認知圖(Higher-order fuzzy cognitive maps,HFCM)[42].FCM 的一階動態性限制其對復雜系統建模的能力,尤其是對于一些不能用模型準確描述的系統.因為在這些模型中,當前的狀態只根據先前的狀態來計算.HFCM 將FCM 拓展到多階動態,提高建模能力.

6)基于時間自動機的模糊認知圖(Time automara-based fuzzy cognitive maps,TAFCM)[43].TAFCM 引入定時自動機理論使FCM 能夠有效地應對雙層的時間粒度,通過擴展B-Time 的標準思想,提供檢查技術來評估設計框架的認知能力.一個FCM 只是代表一個認知系統的靜態視圖,TAFCM 利用一個能夠轉換認知結構的操作符集合構建認知/動態模型.通過遵循添加/刪除概念和因果關系的規則,以及放大/縮小因果關系的強度和系統概念的水平,來改變特定代理的FCM 的認知配置.

7)深度模糊認知圖(Deep fuzzy cognitive maps,DFCM)[44].DFCM 將深度神經網絡模型在高性能預測方面的優勢引入到可解釋性FCM 框架中,利用全連接神經網絡來建模系統概念之間的非線性和非單調影響,引入循環神經網絡(Recurrent neural network,RNN)來建模對系統動力學具有潛在影響的未知外生因素.DFCM 在時間序列預測方面比基本FCM 具有更大的功效.

8)自適應模糊認知圖(Adaptive fuzzy cognitive maps,AFCM)[45].在原始的基于FCM 的預測模型中,概念之間的因果關系在整個數據集的訓練過程中保持不變,但在現實中,這種因果關系可能會隨著概念的狀態而改變.AFCM 利用粒計算方法建立具有時變性的因果關系來預測不同狀態的概念,預測時間序列的總體趨勢、波動幅度和趨勢持續性,大幅降低累積誤差.

表1 歸納總結以上兩類拓展認知圖的特點和應用領域.可以看出,雖然現有的拓展認知圖利用灰色數、直覺模糊集、區間模糊集等信息粒建模節點間的因果關系,一定程度上捕獲信息的不確定性,但由于當前大數據時代背景下的數據往往呈現多源、多模態、非線性、非平穩性、噪聲等特征,如何改進圖結構,合理有效地表示這些信息中所包含的知識,仍然是目前FCM 研究面臨的主要挑戰.此外,由于FCM 的網絡結構和單層神經網絡類似,非線性映射能力有限,如何從理論層面擴展其網絡結構,克服其局限性,提升知識表示和推理能力同樣是值得探究的研究方向.

表1 拓展認知圖模型對比Table 1 Comparison of extension cognitive map models

表2 基于學習范式的模糊認知圖學習算法分類Table 2 Classification of fuzzy cognitive map learning algorithms based on the learning paradigm

2 學習算法分類

FCM 的學習目標是選擇一個能精確描述節點因果關聯關系的權重矩陣.學習算法可以像神經網絡的突觸一樣調整概念之間的連接強度(權重).根據學習范式(知識類型)的不同,本文將學習算法歸納為3 類: 專家知識驅動的學習算法、自動學習算法和半自動學習算法.此外,從圖規模的角度,提出一種學習算法分類方式.

2.1 專家知識驅動的學習算法

專家知識驅動的學習算法是一種無監督學習算法,基于Hebbian 規則[46]自適應地學習專家知識生成的FCM 權重矩陣,促使FCM 收斂到給定的決策狀態或特定目標問題的可接受區域.圖4 給出專家知識驅動的學習算法的基本流程.首先,由領域專家根據經驗和專業知識給出初始權重矩陣.其次,輸入初始狀態向量并根據式 (1)計算該狀態向量下一時刻的取值.然后,依據基于Hebbian 規則的專家知識驅動學習算法更新FCM 權重矩陣.最后,判斷當前狀態是否滿足預定義的終止條件來確定是否進行上述過程的迭代,最后得到目標權重矩陣.

圖4 專家知識驅動的學習算法的基本流程Fig.4 The basic process of expert knowledge-driven learning algorithms

微分Hebbian 學習算法(Differential Hebbian learning,DHL)[47]是由Dickerson 等最早提出的一種專家知識驅動的學習算法.DHL 算法假設,如果原因概念Ci和結果概念Cj同時改變激活值,則這兩個概念連接邊上的權重就會增加.否則,因果關系不會在該次迭代中被修改.式(9)是該算法的權重更新規則,表示概念Ci在第t次迭代時的激活值,參數ηt表示學習率,是一個非常小的非負學習因子,在每次迭代時利用實驗試錯法調整.

在DHL 學習過程中,權重值會迭代更新,直到找到符合條件的權重矩陣.然而該方法在每一次權重更新時只考慮當前兩個概念,忽略了其他概念對當前概念產生的影響.

平衡微分算法(Balanced differential algorithm,BDA)[48]是一種改進的DHL 學習算法,在權重更新的同時改變所有的概念值,消除DHL 方法的局限性.具體來說,該方法考慮在同一時間步長內產生的具有相同方向性的所有概念的變化.權重更新規則表示如下:

但是由于其更改后的結構限制,BDA 只適用于二進制編碼的模式識別問題,無法廣泛應用.

Papageorgiou 等[49]提出激活Hebbian 學習算法 (Active Hebbian learning,AHL),利用人工干預來修改每個迭代步驟的所有權值,并通過保持Hebbian 規則的主要原則來確定激活概念的序列.所需的概念、概念的初始結構和相互連接,以及激活概念的順序都是由專家確定的.與僅更新非零權重的算法不同,在AHL 方法中所有權重(與自連接相關的權重除外)都會被更新.式(11)是AHL 的權重更新規則,表示第j個概念的激活值,γ(t)是第t次迭代的衰減權重.隨著時間的推移,權重衰減和學習率都呈指數下降趨勢.

非線性Hebbian 學習算法(Non-linear Hebbian learning,NHL)[50]進一步對基本Hebbian 規則進行擴展.NHL 方法需要專家進行初步的干預,如輸入和輸出概念的確定,概念取值范圍的說明以及每條加權邊的符號表示.引入這3 個特征是為了在保留初始符號的同時,更新相應的連接權重.在NHL學習過程中,保留最初由專家設定的圖形結構,使得最終學習到的FCM 保持合理的物理解釋.NHL的權重更新規則如式(12)所示

當滿足以下兩個標準,權重停止更新: 1)已達到與預定義滿意解足夠接近的解決方案;2)收斂到穩定狀態(定點).NHL 方法不涉及計算量大的操作,因此其優勢在于速度快.但是對專家標準的依賴仍然是該算法的主要缺點.

Li 等[51]提出改進后的NHL 算法(Improved nonlinear Hebbian learning,INHL),在更新規則中添加一個稱為脈沖的術語,以避免陷入誤差表面平穩區域的局部最小值.式(13)是改進后的更新規則.

其中,α∈(0,1] 表示誤差下降表面時的加速度,且

數據驅動的非線性Hebbian 學習算法(Datadriven non-linear Hebbian learning,DDNHL)[52]與NHL 的學習原理相同,但其基于歷史觀測數據來提高學習質量.與NHL 方法相比,如果有歷史數據可用,DDNHL 方法能夠生成更好的FCM 模型.帶終端約束的NHL 算法[53]將系統反饋引入到權值迭代過程中,使權值的迭代有監督地向系統真實值不斷靠近,以此提高學習質量.Carvalho 等[54]基于模糊布爾網絡(Fuzzy Boolean nets,FBN)的學習和推理能力更新FCM 權重矩陣.由于模糊布爾網絡具有從原始定量數據中自動提取隸屬度函數的能力,因此將模糊布爾網絡用于模糊因果規則(Fuzzy causal rule,FCR)的優化.FBN 基于每個神經元隨機輸入樣本,其學習是一個概率過程.每個后端神經元的內部二進制記憶是根據輸入(每個前端)的神經元數量和后端神經元的激活狀態而修改的.因為突觸前和突觸后的活動是由激活率決定的,所以這種類型的FBN 學習也被認為是基于Hebbian 的學習方法.

除以上基學習器外,Papageorgiou 等[55]受集成思想的啟發,提出基于bagging 增強的非線性Hebbian 學習算法,使用NHL 算法作為基礎分類器訓練模型,最后將NHL 學習產生的FCM 集成,以提高分類精度.

總體來說,專家知識驅動的學習算法能夠在有限的迭代次數下對權重矩陣實現微調,與專家初始提供的經驗知識有很小的偏差.調整后的權重能夠盡可能保留其因果意義,符合人類認知和系統真實情況.此類方法的不足之處在于需要專家對概念和權重矩陣進行初步干預,在專家知識缺乏的情況學習比較困難.另外,該類算法的泛化能力較差,不適合包括兩個或更多類別的預測問題[16].

2.2 自動學習算法

針對專家知識驅動的學習算法的局限性,自動學習算法相繼被引入量化權重矩陣.自動學習方法利用歷史數據替代專家知識,根據系統輸入的狀態向量或模式序列的歷史數據來訓練FCM.圖5 給出自動學習算法的基本流程.針對不同的研究問題,自動學習算法采用相應的目標函數最小化輸入序列與響應序列之間的誤差,迭代優化FCM 權重矩陣.最后,利用學習到的FCM 最優權重矩陣指導復雜系統的動態分析,獲取特定概念所需的激活狀態值.本文將自動學習算法分為3 類: 基于進化的學習方法、基于傳統約束優化的學習方法和基于回歸的學習方法.

圖5 自動學習算法的基本流程Fig.5 The basic process of automatic learning algorithms

2.2.1 基于進化的學習方法

基于進化的學習算法將FCM 權重矩陣轉化為生物種群,并應用多種進化技術來優化FCM,使其收斂到穩定狀態.該類算法的具體流程如下: 首先,隨機初始化預定義數量個FCM 權重矩陣,并將這些二維權重矩陣通過行拼接的方式轉換為一維權重向量即進化過程中的個體.然后,利用進化算子如選擇、交叉、變異等,通過優化適應度函數來迭代優化這些個體.適應度函數在預測任務中為預測誤差,分類任務中則為分類準確率.最后,當滿足最大迭代次數時,輸出適應度最好的個體.將該個體轉換為二維矩陣即可得到學習到的FCM 權重矩陣.2005年二進制編碼的遺傳算法(Genetic algorithm,GA)[56]首次被用來生成和搜素最佳FCM 權重矩陣.該方法隨機選擇初始個體構成種群,采用二進制編碼的形式迭代更新個體,在參與的概念節點中搜索滿足兩個或多個激活水平的最優權重矩陣.隨后,Stach 等[57]在此基礎上提出實數編碼遺傳算法(Real code genetic algorithm,RCGA)來模擬給定的輸入歷史數據,搜索優化FCM 結構.RCGA 可以在連續迭代中使用一組或多組概念值,與一次性使用整個數據集的方法相比,具有更好的收斂性.繼遺傳算法之后,粒子群優化算法(Particle swarm optimization,PSO)[58]也應用于學習FCM.PSO的學習過程需要專家知識來指定適當的約束,限制搜索空間,以此來確保FCM 模型中的關系保留專家定義的物理意義[59].自組織遷移算法(Self-organizing migrating algorithm,SOMA)[60]在每一次循環中對FCM 的候選解決方案進行填充,基于目標函數來搜索和優化FCM 權重矩陣.類似的基于進化的FCM 學習算法還有蟻群優化(Ant colony optimization,ACO)算法[61]、人工蜂群(Artificial bee colony,ABC)算法[62]、帝國主義競爭算法(Imperialist competitive algorithm,ICA)[63]、差分進化算法(Differential evolution,DE)[64]、模擬退火算法(Simulated annealing,SA)[65-66]、大爆炸-大緊縮算法(Big bang-big crunch,BB-BC)[67]以及文化算法(Cultural algorithm,CA)[68]等.胡運杰等[69]提出利用蟻群優化算法建立FCM 模型,并引入變異算子對算法進行改進,以提高算法的全局和局部搜索能力.基于互信息的模因算法分兩個階段來學習FCM[70].在第1 階段,算法檢測系統的概念之間是否存在因果交互,將系統的密度保持在較低的水平.在第2 階段,利用模因算法優化邊的權重,得到最終的FCM 權重矩陣.Salmeron 等[71]提出無性繁殖優化(Modified asexual reproduction optimization,MARO)算法,根據規則對個體進行變異和選擇,并引入模擬退火的原理,擴大對個體更新的容忍度來解決局部收斂問題.

上述學習算法由于受到編碼形式、計算能力等限制,適用于解決節點數量較少的FCM 的學習.然而,隨著人工智能、大數據技術的發展,復雜網絡節點不斷擴增、數據呈指數型爆炸增長,FCM 的學習效率面臨嚴峻的挑戰.于是,分解和并行的思想被引入FCM 的學習過程來減緩模型的計算壓力.Chen等引入修正的誤差函數,使用分解的RCGA 執行優化過程,學習多達300 個概念的大規模網絡[72].Stach 等[73]基于并行計算來加速FCM 的學習即分治RCGA (Divided and conquer RCGA,D&C RCGA),通過8 個處理器并行優化FCM,緩解算法的可擴展性問題.當圖的大小和處理器數量增加時,由分治方法生成的FCM 權重矩陣的總體質量會下降.學習時間隨著網絡規模的增加而增加,而當使用更多處理器時則減少.因此,分治RCGA 算法雖然在原來的RCGA 上有一些改進,但仍存在一些問題需要克服[74].Liu 等[75]基于動態多智能體遺傳算法 (Dynamic multiagent genetic algorithm,dMAGA)從時間序列中學習FCM.Chi 等[76]結合模因算法(Memetic algorithm,MA)和神經網絡(Neural network,NN)來學習大規模FCM.MA 用于確定基因調控網絡(Gene regulatory networks,GRN)中的連接,NN 用于確定連接的因果強度.Liu 等[77]結合集成策略和多目標進化算法(Multiobjective evolutionary algorithm,MOEA)學習FCM 權重矩陣,從而重構GRN.該模型首先利用MOEA 分析歷史數據來學習一系列具有不同結構的網絡,獲得具有不同最優局部信息的目標網絡.然后,從Pareto 前沿選擇在訓練集上獲得最小模擬誤差的FCM,并提供有效的集成策略將選擇的子圖組合成最終的FCM.Liang 等[78]提出基于改進多因子粒子群優化算法(Improved multifactorial particle swarm optimization,IMFPSO)學習FCM,將一個完整的FCM 分解為多個節點的局部連接(子FCM).FCM 的學習問題被建模為多任務優化問題,通過同時優化這些子FCM 共享不同任務間有價值的信息.該算法不僅對傳統粒子群優化算法的參數設置和搜索過程進行改進,而且考慮到不同任務間可能會出現知識的負遷移,加入特殊的任務選擇機制來選擇合適的任務,從而減少負遷移的影響.

FCM 的結構同樣是研究者關注的重點.因為自動學習算法產生的FCM 在結構上與專家知識確定的FCM 有很大不同.Stach 等[15]證明從數據中學習的FCM 密度更高(密度超過 90%,而專家定義的FCM 密度約為40%).而圖結構的稀疏性與可解釋性息息相關: FCM 中的連接數越少,說明圖的透明度越高、復雜性越低.稀疏實數編碼遺傳算法利用密度參數來指導訓練過程,從而形成某個預定義密度的FCM[15].當密度估計未知時,稀疏實數編碼遺傳算法可以使用默認值以自動化方式生成性能超過或等于其他方法的模型.Poczeta 等[79]設計一種遺傳算法,可以在考慮系統密度的同時優化系統的性能,通過這種方式只保留節點之間最重要的邊,自動構建密度較小的FCM.Chi 等[80]將FCM 學習問題建模為多目標優化問題,從輸入的歷史數據中學習不同密度的FCM,為決策者提供具有不同屬性的候選解.該方法不僅可以在沒有專家知識的情況下高精度地重建FCM,而且可以創建由不同密度的FCM 組成的多樣化Pareto 最優前沿.多任務多目標模因算法(Multitasking multiobjective memetic algorithm,MMMA)在學習過程中考慮FCM 的測量誤差和稀疏性[17],基于模因算法和Lasso 初始化算子的進化多任務框架提高算法性能并加速收斂.MMMA 方法不僅可以學習種群中的單一FCM,還可以利用相似模式的基因轉移來提高相似任務的準確性.

綜上所述,在數據驅動下基于進化的學習算法利用元啟發式思想,不受專家知識的約束,是目前FCM 研究領域發展最深遠、應用最廣泛的學習方法.然而這類方法在克服專家知識驅動類學習算法的局限性的同時,仍存在容易陷入局部收斂、需要選擇合適的參數、執行速度慢等缺點,導致算法在準確率和速度上仍達不到理想的狀態.

2.2.2 基于傳統約束優化的學習算法

基于進化的學習算法已經在許多應用中表現出良好的性能.然而,隨著FCM 的節點數量的增加,權重矩陣學習面臨指數級復雜度的嚴峻挑戰.當學習具有數百個節點的大規模FCM 時,算法則需要在高維超立方體空間中搜索合適的權重值,這個過程極其耗時且具有很高的計算負荷.因此,基于傳統約束優化的學習算法將FCM 權重矩陣學習問題轉換成凸優化問題,以一種簡單直觀的方式從歷史數據中快速高效地學習權重矩陣,以此解決上述局限性.對于一個含有N個變量,M個初始狀態向量(其中每個序列包含k個狀態值)的系統,首先將這些初始狀態向量和對應的響應序列表示為矩陣的形式,得到M個大小為 (k+1)×N的響應矩陣.然后將每個節點的局部連接學習問題建模為一個線性方程,最終形成一個含有N個未知變量和M×k個線性方程組的約束線性方程組.權重通過迭代求解該約束凸優化問題確定.Wu 等[81]基于壓縮感知(Compressed sensing,CS)的框架,將大規模稀疏FCM 學習問題建模為凸優化問題.首先將FCM 學習任務分解為多個稀疏信號重構的子任務,然后利用CS 恢復稀疏信號的能力學習FCM.該方法能夠從少量數據中學習到具有良好性能的模型,可以有效地學習1 000 個甚至更多節點的稀疏FCM.Lu等[82]將FCM 的學習問題轉化為帶約束的凸優化問題,調用經典的內點法求解優化問題,快速有效地從帶噪聲的歷史數據學習和優化FCM 權重矩陣.Feng 等[83]同樣將FCM 的學習問題等價地轉化為經典約束凸優化問題,并在優化目標函數中引入最小二乘項和最大熵項,前者用以確保FCM 的魯棒性,后者則規范FCM 權重矩陣的分布.為解決FCM 學習過程中的結構化稀疏問題,基于迭代平滑算法的大規模FCM 魯棒學習方法引入彈性和全變分(Total variation,TV)懲罰項構建目標函數,捕捉FCM 的稀疏結構信息,提高網絡重構的魯棒性[84].針對基于FCM 的預測模型在長期、多步預測中的性能不足,Vanhoenshoven 等[85]提出一種基于Moore-Penrose 逆的FCM 學習算法,減少訓練FCM 所需的處理時間.

總體來說,基于傳統約束優化的學習算法的優勢在于能夠在訓練過程中快速收斂到固定點,但是不能保證得到的結果是全局最優.此外,需要強調的是這類算法能夠執行的前提是問題結構必須可導可微,否則無法求解.

2.2.3 基于回歸的學習算法

基于回歸的學習算法通過最小化輸入數據和輸出數據之間的擬合誤差,迭代更新FCM 權重矩陣.這類算法的核心是回歸算法,如基于 Lasso 回歸[86]、嶺回歸[87]的學習算法,增加 L1 正則化項或 L2 正則化項來構建目標函數,通過最小化擬合誤差來學習FCM 的權重矩陣.針對多變量非平穩時間序列的預測問題,基于彈性網絡回歸的學習算法被用來訓練HFCM[88].為進一步增強HFCM 對異常值的魯棒性,支持向量回歸的思想被引入訓練HFCM來模擬生成的所有子序列與原始時間序列之間的關系[89].基于貝葉斯嶺回歸的HFCM 學習算法,能夠從數據中估計常規參數,模型對超參數更加魯棒和不敏感且不需要人為手動設置[90].Wu 等將FCM學習擴展到實時在線復雜系統分析,基于跟隨正則化領導者(Follow the regularized leader,FTRL)的有效算法,解決FCM 的在線學習問題[91].

2.3 半自動學習算法

半自動學習方法結合上文提到的兩種FCM 學習機制: 專家知識驅動的學習方法和自動學習算法.在半自動學習方法中,學習目標是在專家初始知識和歷史數據的基礎上,分兩階段修改或者更新權重矩陣.圖6 展示半自動學習算法的基本流程.首先由領域專家定義FCM 的輸入節點和初始拓撲結構(權重矩陣).在第1 階段,采用專家知識驅動的學習算法學習當前FCM 權重矩陣,使其收斂到定點吸引子或者達到最大迭代次數.在第2 階段,自動學習算法根據輸入數據在每個時間步長更新初始權重矩陣.下一時刻狀態向量的取值由第1 階段生成的權重矩陣和第2 階段生成的權重矩陣共同決定.

圖6 半自動學習算法的基本流程Fig.6 The basic process of semi-automatic learning algorithms

半自動模糊認知圖學習方法研究工作相對較少,本文盡可能詳盡地歸納和總結相關研究成果.Papageorgiou 等[92]利用進化算法的全局搜索能力和NHL 的有效性提出基于差分進化算法和NHL算法的半自動學習方法.這種混合學習技術能夠有效地訓練FCM,從而使系統達到期望的狀態,并為每個具體問題確定合適的權重矩陣,已成功地應用于現實的決策問題.Zhu 等[93]利用隨機遺傳算法的群體學習能力和NHL 算法的學習效率優勢,將專家知識和數據特征相結合學習FCM,避免因人為因素而導致的訓練偏差[94].基于NHL 和擴展大洪水算法(Extended great deluge algorithm,EGDA)的FCM 學習方法[95]利用這兩種算法的優點來創建更精確的FCM 模型.EGDA 的優點在于能夠實現全局搜索,較少依賴于參數.而NHL 則工作效率更高,速度更快,可以處理連續范圍的概念值.Natarajan 等[96]結合DDNHL 和遺傳算法提出一種新的FCM 混合學習算法.提高了基于FCM 的分類器的分類精度和推理能力,準確建模影響甘蔗產量預測的各種土壤和氣候參數.不同于算法中提出的進化算法與Hebbian 學習機制的混合模式,Madeiro 等[97]將實數編碼遺傳算法和差分進化相結合,利用梯度信息自動構建FCM,建模太陽能發電問題.這種混合學習方法既結合梯度方法的開發能力又利用進化算法的探索能力.

綜上所述,在正確選擇一種合理的FCM 學習方法時,需要考慮可用數據的類型、領域知識和應用場景等.專家知識驅動的學習算法適用于特定類型的數據,并且在專家的知識可用時速度更快.然而該類算法由于受到專家經驗的限制,模型的泛化能力較差.當系統中存在大量概念時,該類算法無法在模糊認知圖學習中有效應用.自動學習算法在復雜系統動態行為相似的情況下能夠提供更高質量的學習模型.李慧等[98]指出FCM 的自動學習方式注重權重的自動調整和模型的自動構建,減少FCM 對于專家的依賴性.研究表明,自動學習方法,例如RCGA,在處理一些涉及FCM 靜態和動態特性的問題中比專家知識驅動的學習算法更具有可行性[73].因此,在以建模系統動態行為的質量為唯一評價標準或者在專家的知識和技能有限時,自動學習算法相比其他算法更具有優勢.然而,自動學習方法的關鍵缺陷在于,提供難以解釋的解決方案可能導致不正確的靜態分析,且由于進化算子、參數設計等因素無法保證解決方案的最優性.半自動學習算法既利用專家知識學習的有效性,又引入基于種群的算法的全局搜索能力,一定程度上平衡兩者的缺陷.但考慮到仍舊需要使用專家知識,這類算法的發展可能會受到知識工程師有限的知識和技能的顯著影響,因此在處理真實數據和大量變量時無法應用.表 2 中歸納和總結了上述3 類學習算法的主要文獻及對應算法的特點及優缺點.

2.4 基于圖規模的學習算法分類方式

在前文中基于學習范式的不同,學習算法劃分為專家知識驅動的學習算法、自動學習算法、半自動學習算法三大類.本文從圖規模的角度提出一種新的劃分方式,即小規模圖學習算法和大規模圖學習算法,供讀者們研究探討.需要注意的是這里的規模大小表示FCM 中節點數量的多少,與實際問題的數據量無關.當然,這兩種分類方式也存在交叉.專家知識驅動的學習算法、基于進化的學習方法、半自動學習算法大多適用于解決小規模FCM學習問題,基于傳統約束優化和基于回歸的學習方法則更適用于解決大規模FCM 學習問題.

大規模圖學習算法又可以分為基于暴力求解的方法、基于維度縮減的方法和基于分解策略的方法.基于暴力求解的方法利用高維優化方法直接求解大規模FCM 優化問題(Large-scale FCM learn-ing problems,LSFCMP),其局限性在于未考慮圖的任何特性.雖然該類方法也能從歷史數據中自動學習FCM,但由于搜索空間的高維度,使得其在LSFCMP 上的性能表現不佳.此外,由于搜索空間充足,這些方法僅用于學習不超過40 個節點的FCM[99].如對于具有400 個節點的FCM,則需要優化160 000個權重值.基于維度縮減的方法[70,100-101]可從概念縮減和邊縮減的角度繼續細分.概念縮減是指將相似的概念合并到集群中來減少概念的數量.邊縮減則是通過調整圖中連接邊的密度來實現.該類算法的優勢在于簡單易實現,但是由于維度縮減需要具備一定的先驗知識,因此圖的物理意義可能在縮減過程中被破壞.基于分解的學習方法[102-104]將高維復雜問題分解為多個低維子任務進行求解.最常用的分解方式是將FCM 分解為多個節點的局部連接,然后利用自動學習算法中的優化器分別優化求解,最后將局部連接拼接為完整的圖結構,從而得到最終的優化結果.這類方法可解釋性強但是時間復雜度高.表3 歸納和總結現有大規模FCM 學習算法的分類現狀.

表3 大規模模糊認知圖學習算法分類Table 3 Large-scale fuzzy cognitive map learning algorithm classification

3 學習算法的應用

3.1 專家知識驅動的學習算法的應用

專家知識驅動的學習算法在模式分類、疾病診斷(前列腺癌、乳腺癌、帕金森病等)、風險評估、結構損傷預測等場景中應用較多.例如,Douali 等[105]利用前列腺癌的臨床診斷數據構建FCM,并基于構建的模型預測病人的健康情況.Zhai 等[106]在AHL 算法的基礎上研究如何利用FCM 對上市公司信用風險評估問題進行建模和模擬.類似地,基于NHL 的決策系統訓練的FCM 用于解決自閉癥預測問題[107].NHL 的預測結果可作為確定預防和規劃特殊兒童適當治療的指南.Beena 等[108]開發一種基于FCM 的結構損傷檢測算法,使用連續介質力學方法將結構損壞建模為損壞位置的剛度損失.懸臂梁的有限元模型用于計算由于結構損壞導致的前6 個梁的頻率變化,其中FCM 的輸入概念是頻率偏差,輸出是沿梁的5 個可能損壞位置.Anninou 等[109]基于FCM 建立帕金森病的數學模型,并利用專家知識和NHL 算法訓練該模型,為帕金森病的預防和治療提供參考數據[110].Sivabalaselvamani 等[111]提出自適應NHL 算法訓練FCM 模型,開發新的基于知識的系統應用,提高FCM 建模和預測事故成因的效率.Senniappan 等[112]基于FCM構建裂縫嚴重程度分級模型來評估支撐柱中裂紋的嚴重程度.然后利用NHL 和DDNHL 學習方法提高模型在結構健康監測應用中的分類和預測能力.所提出的裂紋嚴重程度分級模型將支撐柱中的裂紋分為3 類,即細裂紋、中裂紋和重裂紋,可幫助非專業研究人員分析裂縫產生的可能原因并將其報告給結構工程師,以便在適當的階段使用各種裂縫控制技術進行維護.Subramanian 等[113]基于FCM 構建乳腺癌風險評估模型,將給定女性的初始篩查乳房X 光片的結果與其人口統計學風險因素相結合,以預測發生乳腺癌的風險.

3.2 自動學習算法的應用

自動學習算法在時間序列預測和分類中應用最為廣泛,同時也拓展應用在其他領域,如復雜網絡重構、病情趨勢預測、能耗預測、操作評估、情景意識評估[114]等.Orang 等[115]系統地綜述FCM 在時間序列預測領域的應用.根據特征維數的不同,時間序列可以分為多變量時間序列和單變量時間序列.同樣,不同類型時間序列的建模和預測方法也因結構差異而具有不同的針對性.利用FCM 進行時間序列預測的相關方法通常具有類似的思路: 首先,需要確定多個概念節點,用于構建基本的FCM預測框架.其次利用學習算法訓練FCM 權重矩陣.最后利用FCM 推理機制得到預測結果.對于多變量時間序列預測,變量通常可認為是FCM 中的概念節點.例如,Froelich 等[116]基于遺傳算法和FCM 構建預測模型,以提高多變量時間序列預測的效果.Luo 等[117]基于IFCM 構建時間序列預測模型并利用PSO 算法訓練模型.針對時間序列的多樣性,該算法直接從原始時序數據構建認知圖和權重矩陣的概念結構,通過減少人為參與有效擴大應用范圍.Wang 等[44]基于FCM 的拓展模型DFCM 來提高模型對多變量時間序列的預測能力.Liu 等[118]從時空融合的角度,提出一種基于FCM和證據推理理論的多源多變量臭氧預測模型.該方法將多變量臭氧預測問題建模為通過RCGA 學習的FCM,其中每個節點表示一類污染物.所構建的FCM 預測既能反映臭氧的復雜演化趨勢,又能反映交叉干擾現象.

基于FCM 的單變量時間序列預測方法類似于多變量時間序列預測[119],不同之處在于首先需要將一維時間序列映射到多維空間或將其分解為多頻子序列,然后建立基于FCM 的預測模型.目前,已有一些信號處理方法和函數映射方法應用于單變量時間序列的分解.例如,Yang 等[87]提出一種基于HFCM 和冗余小波變換的時間序列預測模型,應用冗余Haar 小波變換將原始非平穩時間序列分解為多元時間序列.Liu 等[90]應用經驗模態分解對原始序列進行特征提取,得到多個序列來表示HFCM 的節點.Homenda 等[120]提出一種時間序列建模技術,該技術通過移動窗口方法將基于FCM設計的概念連接在一起.將模糊化后的時間序列按照移動窗口方案傳遞到FCM 上.此外,提出基于核映射和HFCM 的框架用來預測單變量時間序列,其中核映射方法將原始一維時間序列映射為多維特征時間序列[121].類似地,Gao 等[89]提出基于FCM和經驗小波變換的單變量時間序列預測模型.利用經驗小波變換將原始時間序列分解成不同的層次,從而捕獲不同頻率的信息.然后,利用支持向量回歸算法訓練HFCM,對生成的所有子序列與原始時間序列之間的關系進行建模.以上方法雖然能夠捕捉時間序列的變化規律和趨勢,獲得比模糊時間序列更好的性能,但是沒有考慮時間序列的本質特征和潛在表征,導致預測精度不高.因此,Feng 等[122]提出一種將模糊C 均值聚類、時間序列分割和FCM相結合的單變量時間序列長期預測方法.引入動態時間規整來評估線段間的距離,將時間序列劃分為合適且內部同質的片段.然后,利用動態時間規整的改進模糊C 均值算法對這些片段進行模糊化,從而將片段轉化為模糊時間序列和語義向量.最后,基于凸優化的方法快速魯棒地學習FCM.Wu 等[123]基于稀疏自動編碼器和HFCM 學習原始時間序列的良好表示,更好地利用潛在特征的重要信息.Feng等[124]提出一種基于劃分策略的FCM 預測模型來描述時間序列的變化特征[125].該模型首先采用模糊C 均值聚類將時間序列劃分為若干子序列,隨后利用這些子序列分別構建FCM 模型并利用最小二乘法訓練.最后,通過模糊規則對FCM 模型進行融合.構建的模型不僅在數值預測上表現良好,而且具有可解釋性.此外,考慮到在傳統的基于FCM 的預測模型中,FCM 的概念之間的因果關系保持不變.然而,在現實生活中因果關系可能在時間上發生變化.Wang 等[126]提出一種基于知識引導學習機制和PSO 相結合的方法更新FCM,預測大規模單變量時間序列.當新數據不斷產生時,依據知識引導規則更新基于舊數據建立的預測模型,從而避免從頭開始重新訓練FCM 的額外計算開銷.Salmeron 等[127]提出FCM 結構的動態優化方法即在每次預測之前選擇FCM 模型中涉及的概念.整個FCM模型在訓練過程中需要不斷適應預測時間序列的當前局部特征.

除時間序列預測之外,基于FCM 的模型也可以被用于分類任務.因為FCM 分類器的拓撲結構(即概念和因果關系)必須包含被建模系統的連貫含義,所以構建基于FCM 的分類器時面臨的挑戰之一在于如何連接輸入和輸出概念[128].基于FCM 的時間序列分類器通過比較基于同一組概念的權重矩陣來區分屬于不同類別的時間序列映射并評估FCM 的相似性,時間序列的每個數據點都與每個概念相關.其中權重矩陣描述圖中概念之間的關系,隸屬度函數則評估關系的強度[5].Szwed 等[129]提出一種基于全連接圖結構的FCM 分類器.與期望在推理過程中達到穩定系統狀態的方法不同,該方法選擇在收集輸出標簽之前執行幾個FCM 迭代(步驟),然后使用對數損失或交叉熵作為代價函數通過梯度算法學習權重.Wu 等[130]開發由基于稀疏自動編碼器的特征提取塊、基于HFCM 的時空信息聚合塊以及一個基于多層感知機的預測層組成的FCM 系統來解決時間序列分類問題.特征提取塊旨在捕獲底層核心演化模式,時空信息聚合塊旨在對底層因果關系和上下文依賴性進行建模,多層感知機則將特征表示映射到時間序列的輸出標簽.Jastrzebska 等[131]使用移動窗口技術分階段捕獲訓練過程中的時間序列數據流,并基于反向誤差傳播算法來計算模型的超參數,最后將訓練好的FCM用于分類決策.Zhou 等[132]在基于相似度的粗糙集和FCM 的基礎上提出一種文本分類方法,用FCM權重矩陣表達的因果關系代替相關關系生成文本分類器.Kannappan 等[133]提出一種基于人工免疫系統(Artificial immune systems,AIS)的智能方法學習FCM 來解決自閉癥分類任務.

此外,自動學習算法在除時間序列預測和分類之外的其他領域也具有豐富的應用前景.Froelich等[134]使用自適應學習算法挖掘時態醫學數據.該算法考慮兩種類型的簡單概念,即醫療干預(如開藥)和由病人病情變化表達的健康狀況,挖掘醫學概念之間的時間依賴性.在之后的研究中,該作者又利用真實的臨床數據構建前列腺癌的FCM 模型,提出一種改進的RCGA 用于FCM 模型的學習,并將該模型應用于患者健康狀態的長期預測[135].Papageorgiou 等[136]基于結構優化遺傳算法自動構建應用于需水量預測的FCM.所提出的方法對歷史需水量相關的5 個變量,即平均氣溫、高溫、降水、風速和旅游活動進行多元分析與預測.Poczeta等[137]構建一個基于FCM 的嵌套結構來解決電器能耗預測的決策任務.通過結構優化遺傳算法學習這種嵌套結構,推導每個嵌套級別的圖概念之間的重要關系,并根據可用時間序列確定這些關系的權重,發現和描述圖中重要概念之間的隱藏關系.Trappey 等[138]使用FCM 和遺傳算法研究一種混合定性和定量方法,對支持射頻識別的逆向物流操作的性能進行建模和評估.

3.3 半自動學習算法的應用

半自動學習方法由于受到專家知識的限制,在解決現實問題中沒有自動學習算法應用廣泛.本文在前文中已經盡可能地列舉該類算法的應用,故在此只做簡單介紹.Georgopoulos 等[139]提出用于鑒別醫學診斷任務中的診斷支持的半自動學習算法,有助于醫護人員調整預期的決策.Natarajan 等[96]結合DDNHL 和遺傳算法提高基于FCM 的分類器的分類精度和推理能力,準確建模影響甘蔗產量預測的各種土壤和氣候參數之間的因果關系.表4 歸納總結各類學習算法的應用場景.

表4 模糊認知圖學習算法的應用文獻總結Table 4 Literature review on the application of fuzzy cognitive map learning algorithms

綜上所述,根據FCM 學習算法的特點以及其在各類實際場景中的應用效果,可以得出專家知識驅動的學習算法憑借其簡單、快速的優勢,適用于小規模復雜系統建模,特別是建模過程中專業性要求高,對結果的穩定性有需求的場景.自動學習算法以數據驅動,應用范圍廣、普適性高,在實際應用中限制較少,根據實際問題的需求可以有偏好(精度、速度、計算能力等)地選擇合適的學習算法應用于預測、決策、分類等任務.半自動學習算法適用于在領域知識工程師存在的前提下,利用FCM 研究系統控制或性能因素之間的因果關系,如工業過程控制問題、作業車間仿真控制問題等.因此,半自動學習算法類似于專家知識驅動的學習算法,其也適用于小規模的工程問題,應用場景有限.

4 模糊認知圖建模工具總結

目前FCM 研究領域缺乏一個完整且系統的建模工具的總結,存在軟件工具不健全、編程語言差異化以及多平臺交互困難等問題,使得大部分研究者花費太多精力于重復的建模工作,甚至有時所有工作需要推倒重建.這樣既浪費時間和資源,還導致眾多工作難以集成,無法相互比較.本文詳細總結用于創建和測試FCM 的軟件工具,完善各類建模工具的使用說明,以便于研究者使用,旨在縮小基于FCM 的系統發展與科學理論進步之間的差距.

FCM Modeler 是由Mohr[144]開發的用于設計基于FCM 的系統的通用性建模軟件.該軟件由一個簡單的界面組成,支持在定性靜態模型上實現群體決策.其主要功能包括直觀的用戶界面,基于FCM 的系統的設計和存儲,以及基于FCM 對觀測概念和連續狀態向量進行推斷.FCM Modeler 是FCM 研究領域的一個開創性成果,為后續建模工作提供思路.

FCMappers.net 是面向對FCM 及其網絡分析和系統建模感興趣的研究者而開發的網站[145].該網站基于Microsoft Excel 實現一個名為FCMapper 的復雜工具,可用于對FCM 的建模、模擬和分析.由于它完全基于Excel 和應用程序視覺基礎元素(Visual basic for applications,VBA),因此可以檢查、修改和增強其源代碼.該工具目前仍在積極開發中,并定期發布新版本.此外,作為一個非商業項目,其使用是免費的.

FCM Tool 是León 等[146]建模比利時公共交通真實決策問題時開發的.該軟件能夠通過交互式圖形可視化地設計基于FCM 的復雜模型,能夠通過選擇要使用的傳遞函數和停止標準的種類來自定義更新規則,還能分析場景及其對系統整體的影響.FCM Tool 提供一種基于進化的學習算法,用于從歷史數據中自動學習因果權重.其另一個相關功能是利用聚合算子將幾種基于FCM 的系統組合成一個具有單一知識表示的系統.

FCM Designer[147]在FCM Modeler 的基礎上拓展一些新的功能,包括交互式圖形可視化,設計FCM 模型的圖形支持,能夠使用可用因果知識模擬新場景.雖然相比于FCM Modeler 具有更好的圖像界面和功能,但是該軟件仍然很難與用戶友好交互且學習算法也無法添加預定義的參數.Aguilar等[148]在2016 年擴展FCM Designer 工具的功能,支持創建多層FCM,稱為FCM Designer Version 2.0.該軟件考慮到對于同一個問題可以有若干個FCM,每個FCM 都表達對所研究系統的不同層次但又相互關聯的知識.因此,可以先對具有特定信息的系統進行詳細的抽象,然后再進行更一般的建模.此外,開發者認為FCM 可以有不同的層次,其中一個層次的變量依賴于另一個層次的變量.也就是說,多層方法通過層與層之間的信息流來豐富所建模的系統,從其他層的概念中推導出當前層所涉及概念的信息.在多層方法中,不同層次的認知圖之間的關系可以通過多種方式進行,如模糊規則、權重連接以及數學方程.作為FCM Designer 工具的擴展,該軟件還開展不同領域的測試用例: 用于分析維基百科緊急屬性的FCM,用于醫學診斷分析的FCM,以及一個類似推薦系統的FCM.

Mental Modeler[149]是面向非IT 人員的一款軟件,能夠基于Web 建模并支持群體決策.該軟件將給定領域的利益相關者納入模型構建和分析過程中,設計一個簡單的認知圖(具有符號和加權關系)并模擬其在某些場景下的行為,使決策者能夠理解正在管理的環境系統中的重要概念組成部分.此外,它能夠在不同的競爭群體之間建立信任和共識,并通過挖掘可能不屬于環境系統的一部分信息來減少不確定性,從而允許專家協作驗證和測試他們對系統的假設.由于Mental Modeler 是基于Web 實現的方法,方便用戶訪問和實施,特別是被該領域的不熟練用戶使用.該工具的不足之處在于缺乏FCM學習算法以及可行實驗方案的選擇性.

Java 模糊認知圖(Java fuzzy cognitive maps,JFCM)[150]是一個用Java 編寫的用于FCM 建模的開源庫.該庫小而簡單,可用于創建各種基于FCM的模型.JFCM 對其他庫的依賴性很小,可直接從XML 文件中加載網絡,且無需更改便可以在許多操作系統上運行.JFCM 是從面向對象編程的角度構想的,如果標準組件集不足以滿足更復雜的項目或理論建議,則可以相應地擴展源代碼.但是由于需要直接解讀源代碼,對于沒有編程技能的研究者來說,軟件利用率有限.JFCM 在軟件發布時也強調,它的目標用戶是: 愿意學習FCM 的學生,可以試驗新的學習算法和FCM 變體的研究人員,需要簡單、經過測試和可擴展的庫的應用程序開發人員,以及開發基于FCM 技術的應用程序的公司.

基于認知圖的智能專家系統(Intelligent expert system based on cognitive maps,ISEMK)是一種基于FCM 和人工神經網絡的決策支持系統建模軟件[151].ISEMK 由4 個基本塊組成,即: 知識處理、FCM 運算分析、神經網絡工具和圖形用戶界面[152].它具有以下功能: 初始化FCM 模型歷史數據,可視化FCM 模型,基于多步梯度法和歷史數據學習FCM 模型,使用基于進化的學習算法(RCGA,SOGA)和歷史數據學習FCM 模型,根據歷史數據測試FCM 學習的準確性,將學習和測試結果導出到.csv文件,以圖表形式可視化學習和測試結果.此外,神經網絡模塊還能夠實現用于時間序列預測的多層神經網絡以及兩種學習算法: Levenberg-Marquardt方法[153]和帶動量的反向傳播方法.

FCM Expert[154]是一個Java 軟件工具,拓展FCM Tool 的功能,為基于FCM 的系統建模提供一個通用且更完整的軟件平臺.FCM Expert 繼承FCM Tool 中最強的特性(決策),并增加幾種用于調整權重矩陣的無監督和有監督學習算法.該軟件工具包括用于優化網絡拓撲[155]和改進系統融合[156]而不丟失相關信息的技術.此外,用戶可以配置模型參數(例如傳遞函數、推理規則或停止標準)并具有友好的圖形界面設計[157].

FCMpy 是一個用于構建和分析FCM 的開源Python 模塊[158].該模塊能夠從定性數據或模擬系統行為中得出模糊因果權重,為涉及FCM 的端到端項目提供工具.它嵌入NHL、ANL、遺傳算法等方法來調整FCM 的因果權重矩陣并解決分類問題.用戶可以通過模擬假設干預(即分析假設場景)輕松實現場景分析.該模塊的目的是使來自不同領域(如心理學、認知科學或工程學)的研究人員能夠在不深入了解編程知識的情況下,輕松高效地開發和測試所提出的FCM 模型.

表5 總結現有FCM 建模軟件,并從受眾定位、適用場景、應用形式、是否包含圖形頁面等多個維度進行系統的分析.由表5 及以上分析可以得出,FCM Designer、Mental Modeler 和 FCM Tool 在分析場景和試驗新情況時為專家提供合適的圖形支持,而JFCM 適合開發可在更復雜的解決方案中重復使用的FCM 模塊.然而,這些軟件仍然缺乏實驗選項或不允許處理機器學習問題.這大大阻礙它們在面對現實情況時的可用性.相比之下,FCM Expert 和FCMpy 是開發基于FCM 的系統最便捷的軟件工具.FCM Expert 優化基于FCM 的稠密系統中的網絡拓撲結構并在不丟失相關信息的情況下提高學習算法的收斂性,應用于模擬和模式分類場景.FCMpy 提供開發FCM 所需的開源功能模塊,研究者只需要調用相關程序包便可以實現相關FCM 學習算法,具有強大的可移植性和可用性.

表5 模糊認知圖建模工具對比Table 5 Comparison of fuzzy cognitive map modeling tools

綜上所述,現有的面向FCM 開發的軟件工具,存在學習能力不足、FCM 結構單一、功能模塊耦合性低等局限性,難以彌補FCM 領域的理論進展與良好的實際應用之間的差距.因此,開發一款功能豐富、圖形界面友好、可操作性強的FCM 建模工具有利于改善FCM 相關領域研究者的用戶體驗,進一步推動模糊認知圖技術的應用和發展,為各個領域提供更加準確和可靠的決策支持和智能化解決方案.一款科學有效的FCM 軟件建模工具需支持以下功能:

1)支持調用多種學習算法優化FCM 結構并保證算法效率和精度.目前的FCM 軟件開發工具最多只嵌入6 種學習算法,學習能力不足,難以滿足復雜系統建模、多模態數據挖掘的處理需求.同時,可引入并行計算和分布式計算等技術,提高模糊認知圖軟件開發工具的算法效率和精度,以滿足各種實際應用需求.

2)支持多種數據格式.FCM 建模工具需支持多種數據格式,例如時序數據、文本、圖像等,以將FCM 更加靈活地應用于多個領域,滿足用戶的多樣化需求.

3)具有可視化展示和用戶交互功能.建模工具需提供圖形用戶界面和可視化編輯器等功能,以方便用戶構建和調整FCM 模型.

5 結束語

FCM 學習算法是不確定性人工智能領域一個具有重要研究意義的研究分支,致力于分析FCM及其特性,旨在從先驗知識或數據中學習FCM,從而為復雜系統建模和動態分析提供參考依據.本文系統地梳理、歸納和分析FCM 理論和學習算法的發展現狀.1)介紹FCM 的拓撲結構和推理機制的發展,分析FCM 的轉換函數和動態特性,并總結和分析近年來FCM 結構的拓展模型.2)提出FCM學習方法可以根據學習范式的不同分為3 類: 專家知識驅動學習算法、自動學習算法和半自動學習算法.并詳細闡述這3 類算法的研究現狀,探討每類算法優缺點.此外,從圖規模的角度為讀者提供一個FCM 學習算法分類的新方式.3)歸納近年來每類學習算法的應用領域.4)總結用于FCM 構建和學習的軟件工具.

通過對已有FCM 學習算法及應用進行全面調研與綜述,學習算法的發展對FCM 在知識表示和推理、復雜系統的建模和決策、時間序列預測和分類等方面的性能提升均已取得一定的成效.本文從FCM 與其他研究領域交叉融合發展的角度出發,總結FCM 學習算法在理論框架和應用領域方面的探索方向和發展趨勢:

1)學習算法

a)專家知識驅動的學習算法受限于專家經驗和先驗知識,利用集成學習、強化學習等策略降低人類決策過程中的不確定性是一個具有潛力的研究思路.

b)基于進化的學習算法是目前FCM 研究領域最廣泛使用的自動學習方法,但仍存在參數優化耗時、計算代價高、局部收斂等共性問題且在處理高維稀疏問題時具有局限性.利用啟發式算法、分布式計算方法以及偏好優化、約束多目標優化、進化多任務等技術,探索科學高效的進化學習方法是當前FCM 研究的焦點之一.

c)半自動學習算法能夠平衡專家知識驅動的學習算法和自動學習算法之間的局限性,既考慮圖結構的物理特性又保證學習結果的最優性.然而其依然受專家知識的限制,難以在現實領域中廣泛應用.因此,如何自動獲取專家知識是專家知識驅動的學習算法和半自動學習算法需要解決的核心問題.自然語言處理技術、遷移學習和深度強化學習等技術為這一核心問題提供可能的解決思路.如自然語言處理技術能夠通過對文本數據的理解和分析,構建模型所需專家知識.遷移學習技術可將源域的知識遷移至目標域以解決專家知識有限的問題.深度強化學習則可通過算法與專家交互,逐步獲得專家知識.

d)現有的FCM 學習算法大多聚焦于單一視圖的學習,比如獨立的復雜系統建模或從單個角度(時間維度或者空間維度)的時間序列分析,然而在現實生活中復雜系統常常是由多個具有相互作用的子系統組成.因此,從多視圖的角度學習FCM 將成為未來FCM 研究領域的發展趨勢之一.

e)有向無環圖(Directed acyclic graph,DAG)、回聲狀態網絡(Echo state network,ESN)和FCM的網絡結構類似,DAG 和ESN 的網絡更新方式能夠為FCM 的學習提供一種新穎的研究思路.例如,引入反向傳播算法、動態調整機制和深度學習方法等技術,來優化模糊系統的輸出,提高其適應性和泛化能力.

2)應用領域

a)目前FCM 已成功應用于健康醫療、工業過程與控制、環境、農業和交通運輸等領域,然而作為一種智能工具其應用仍存在發展空間.與其他技術的有機融合,能夠使FCM 在分布式智能、數據挖掘、智能決策與控制等領域實現更深入和更廣泛的應用.

b)由于當前基于FCM 的模型訓練過程大部分采用離線數據驅動模式,難以滿足流數據的實時更新需求,限制了FCM 的多樣化發展和應用.因此,如何引入代理模型,建立合理的數據轉換方式,將FCM 的學習拓展為在線模式,增強FCM 的數據處理能力,對拓展FCM 應用至更多領域至關重要.