面向噪聲數據的強化模糊規則模型及實現

賈海寧，王士同

1.江南大學 數字媒體學院，江蘇 無錫 214122

2.江南大學 江蘇省媒體設計與軟件技術重點實驗室，江蘇 無錫 214122

1 引言

基于規則的系統（也稱為生產系統或專家系統）是人工智能和模糊模型中經常使用的結構。Zadeh[1]提出了模糊規則系統，它是基于模糊邏輯集合和模糊集合的系統。在眾多基于不同類型規則的系統中，模糊規則系統是被廣泛運用到眾多領域的規則系統[2-4]。目前,主要有兩類模糊規則系統：Mamdani[5]和Takagi-Sugeno（T-S）[6]。兩種模糊規則不同的是規則的后件部分，T-S規則后件是實值函數，而Mamdani后件部分是一個模糊集合。Wang-Mendel[7]提出了WM方法，該方法直接從數據中提取模糊規則但與先驗知識無關，此方法應用廣泛成為業內基準方法[8]，但是當數據特征向量維數較大時方法效率較低。對此提出了使用聚類方法產生模糊規則的方法（FCM-based fuzzy model，FbFM）[9-10]，先劃分輸入空間生成模糊規則，再采用其他方法不斷調整規則[11]，但是當數據規模較大時模糊規則的提取效果較差。針對這個問題，Kim等人提出了增強模糊規則（reinforced rulebased fuzzy models，RRbF）模型[10]。該模型使用模糊均值聚類算法（fuzzy C-means clustering，FCM）產生的隸屬度矩陣形成初始模糊規則，之后從初始模糊規則中優先選出誤差最高的模糊規則，將選出的規則再細分為若干子規則。當數據樣本量大時，二次聚類產生新的模糊規則就可有效提升模型性能和提高模型逼近性。在實際運用中，對于噪聲數據RRbF模型的逼近性能下降明顯，對噪聲處理能力較差。中智模糊聚類則有效地解決了含有噪聲和邊界點較多圖像的分割問題，降噪性能顯著，抗干擾能力強。該方法在圖像處理應用廣泛，常被用于遙感、醫學等的圖像分割處理。

針對RRbF模型抗噪能力弱的問題，本文首次將具有較強抗噪性能的中智模糊聚類方法（neutrosophic C-means clustering，NCM）[12-13]引入強化模糊規則模型中，使得面向噪聲數據的基于中智模糊聚類的強化模糊規則（reinforced rule-based fuzzy models based on neutrosophic C-means clustering for noisy data,NCM-RRbF）模型應用范圍更廣，能夠有效處理數據中含有的噪聲，從而整體提升模型的逼近性。對數據集降噪之后，通過實現每一個模糊規則的誤差最小化來減小所有模糊規則的誤差，從而將所觀察到的輸出和最終模型輸出之間的誤差總和減少到最低限度。NCM-RRbF模型的基本特征可以簡潔地概括如下：

（1）將NCM方法用于模糊規則模型的前件部分中，有效地處理了噪聲數據，顯著提升了本文模型的抗干擾能力。

（2）在后件部分，線性函數用于形成局部的輸入輸出關系。通常在模糊規則模型中使用最小二乘方法（least square estimation,LS）同時估計所有線性函數對應的所有系數，但是LS方法在加、減模糊規則的過程中，很難估計生成的新模糊規則的系數。相反，加權最小二乘（weighted least square estimation，WLS）可以分別估計每個線性函數的系數。因此，本文模型引入WLS方法[14-15]有效地計算任何新生成的模糊規則對應線性函數的系數，該方法保證了相應局部模型的獨立性。

（3）在推理部分，首先計算每一個初始規則的誤差，然后選擇最高誤差的模糊規則，對選擇出的規則進行改進。

（4）在生成新的規則時，選擇誤差最高的規則進行拆分，以產生對模型更詳細的（精細）描述。在這個過程中，前件部分使用一種新的聚類方法，基于上下文的模糊聚類（context fuzzy C-means clustering，CFCM）產生新的模糊規則[16]。該方法具有對聚類效果不好的一類進行再分類并且保持之前產生的初始聚類不變的特點，有利于優化本文模型的逼近性能。

本文提供了一系列的實驗比較研究，以量化該模型的優點和局限性。本文結構如下：第2章介紹了模型的體系結構；第3章討論了模型的學習機制；第4章對合成數據集和自然數據集的實驗研究報告；第5章為結束語。

2 NCM-RRbF模型的結構

本章描述了NCM-RRbF模型的運行過程，其中模型有四個主要的組成部分，分別為前件部分、后件部分、推理部分、新規則生成部分。相應的模型結構圖見圖1。模型每個部分的詳細描述如下。

在圖1的前件部分中，利用NCM算法獲取相應模糊集的隸屬度函數。模糊規則表示如下：

其中，ui表示隸屬度函數，vi表示聚類中心。

雖然在前件部分中使用傳統模糊均值聚類模型效果好，但NCM算法特別有利于含奇異或噪聲數據的有效聚類，因此在前件部分使用該方法聚類輸出誤差更小，效果比傳統模糊均值聚類模型的更好。同時在產生新的模糊規則時，CFCM算法的效率更高更加可靠。該模型的關鍵是先使用中智聚類算法對有噪聲的數據進行有效的聚類，因此具有很好的降噪效果，之后對由NCM算法產生的初始模糊規則再增加新的模糊規則，新增加的模糊規則將之前產生誤差最高的模糊規則替代并且再次聚類產生新的模糊規則。考慮到新的模糊規則和之前產生的模糊規則之間的關系，使用有約束條件的分塊矩陣來定義式（2）和式（3）即NCM和CFCM算法產生的隸屬度函數。雖然模糊規則（聚類個數）增加，但是依舊滿足所有隸屬度值之和為1，也就是說當再次聚類產生新的規則時依舊滿足之前的約束條件。

式（2）、式（3）中，聚類uik表示NCM算法產生的隸屬度值，c表示聚類個數，Ik表示邊界集合隸屬度，Fk表示噪聲或奇異集合隸屬度。tqk表示CFCM算法產生的隸屬度值，p表示再次聚類時的聚類個數。NCM算法中的第j類使用CFCM算法細分為p個子類。

在圖1的后件部分中，線性函數Lfi(x)表示為：

式（4）中，i=1,2,…,c表示分類個數的序數（即模糊規則序數），p=1,2,…,n表示樣本的個數。WLS方法用來估計線性函數的系數。WLS方法能夠有效地計算出任何新生成的模糊規則相對應線性函數的系數。

在圖1的推理部分中，每個模糊規則的輸出是由線性函數與隸屬度值的組合形式來實現的，即：

式（5）中，i=1,2,…,c表示模糊系統所對應模糊規則的序數，k=1,2,…,N。第i類模糊規則的輸出與目標輸出之間的誤差表示為：

yk表示目標輸出。

在圖1的生成新模糊規則部分中，模糊系統增加新的模糊規則時，是將之前誤差最高的規則移除并用新產生的規則替代被移除的模糊規則。假設前件部分第i類誤差最高，則這一類所對應的規則將被再分為兩至三類（即形成新的模糊規則）。因此，形成的新模糊規則表示為：

Fig.1 NCM-RRbF model structure diagram圖1 NCM-RRbF模型結構圖

式（7）中，q表示由CFCM算法產生的聚類個數；tq表示隸屬度函數；wq表示q類的聚類中心；fq(x)表示對應的線性函數。

式（8）中，初始模糊規則數（initial fuzzy rules,I）是NCM算法的聚類個數；新增加模糊規則數（growing fuzzy rules,G）是CFCM算法的聚類個數。在本文中生成的新模糊規則部分中生成的規則個數為2或3。因此NCM-RRbF模型的整體輸出表示為：

其中，q=1,2,…,p且i=1,2,…,c。

3 NCM-RRbF模型的學習機制

3.1 前件部分生成初始模糊規則的NCM方法

在前件部分，使用NCM算法生成初始的模糊規則。傳統的聚類算法使用歐氏距離來度量聚類中心與樣本點的差異性，因此傳統的算法對噪聲和奇異數據缺乏一定的魯棒性。為此Guo和Sengur提出了NCM方法[12-13]。該方法能夠有效地處理噪聲數據的干擾。在聚類分析中，傳統方法僅描述每個群體的程度。事實上，對于某些樣本特別是不同組之間邊界區域的樣本，很難確定它們屬于哪個組，其分區是不確定的，同時對于噪聲樣本的處理也是不理想。因此使用將中智模糊集引入模糊均值聚類的NCM算法，不僅考慮到屬于確定類的程度，而且考慮到屬于不確定類的程度。令j=1,2,…,c，其中cj是一個不確定的類，T被定義為決定類集合的隸屬度，I是邊界集合的隸屬度，F是屬于噪聲集合的隸屬度。其中隸屬度T可以被認為是類的隸屬度，并且可以使用另外兩個隸屬關系I和F來分別確定兩種不確定類：每個數據點的邊界集合和噪聲集合。邊界集合是在集群邊界附近放置的數據點，噪聲集合是距離每個集群的中心非常遠的各個數據點。邊界和噪聲聚類都是在聚類迭代中引入的，這些值在迭代聚類問題中被學習，這樣數據點的邊界和噪聲類的隸屬度就明確了。因此，隸屬度函數更能抵御噪音，目標函數也使得參數估計更能抵抗噪聲和異常值。NCM方法的目標函數表示如下：

對NCM方法的目標函數采用拉格朗日乘子法迭代求得：

其中：

通過對目標函數的迭代優化來進行分割聚類，并且通過以上等式來更新聚類中心及各個隸屬度值。當時迭代停止。ε是終止標準，在0到1之間，k是迭代次數。

本質上NCM方法定義了一種新的目標函數，并將其最小化，把聚類問題轉化為約束極小化問題。Guo[12-13]所做的實驗充分證明了新的目標函數特別有利于噪聲樣本點或邊界樣本點的有效分類且聚類結果較好。在傳統的模糊規則系統中生成初始模糊規則常使用FCM方法，但是面對噪聲數據該方法具有一定的局限性。因此，本文選擇NCM方法來生成更為準確的初始模糊規則。

3.2 后件部分的加權最小二乘法

NCM-RRbF模型使用WLS方法估計模糊規則對應的線性函數的參數值。WLS方法和LS方法之間主要區別是加權方法，WLS方法將其重點放在相應的模糊規則上。由于全局學習（由LS方法實現）旨在最小化目標值和模糊模型的（全局）輸出之間的整體平方誤差，因此使用LS方法形成的模糊規則有可能不能正確地表示局部輸入—輸入空間的每個子空間的輸出特性。因此，通過使用LS方法獲得的每個規則的獨立性（可解釋性）往往受到限制。

在WLS方法中，通過最小化以下目標函數來估計局部函數的系數：

以上性能指標也可以使用以下矩陣表示：

其中，ai是線性函數的系數向量；Y是輸出數據的向量；Ui是由每個輸入樣本所生成每一類的隸屬度值組成的對角矩陣；Mi是由輸入數據形成的矩陣。在此線性函數中；Mi和ai可以表示如下：

目標函數定義為平方誤差的線性組合，即數據與每個模糊規則的相應輸出之間的差異，表示為矩陣Ui，則第i個模糊規則的多項式的最優系數定義如下：

3.3 新規則生成部分基于上下文的模糊均值聚類方法

二次聚類產生新的模糊規則有效提升NCWRRbF模型的整體逼近性，在該模塊基于上下文的聚類方法更加有利于提升本文模型的性能。基于上下文的聚類具有只對指定的某一類再分類而其他類均保持不變的特點，更有利于提升本文模型的性能。該算法是在輸入數據的空間中完成，而數據樣本的聚類由輸出空間中一些預先定義的模糊集（所謂上下文）來決定。這意味著首先決定一些輸出變量的聚類數，然后再產生實際的聚類數，這些實際的聚類數實際上是由形成輸出變量的連續的模糊集所決定的。然后考慮上下文，通過預定義上下文的模糊集來決定輸入空間的聚類。這有助于揭示輸入空間區域與輸出空間之間的關系。在本文中，上下文以借助NCM算法構建的特定隸屬度矩陣的形式進行了規定。

用CFCM算法將輸入數據X={x1,x2,…,xN}分為p類。子隸屬度矩陣是由NCM算法第j類的隸屬度矩陣所產生并定義為T(uj)。p是根據輸入數據產生的聚類個數，ujk表示在第j類(j=1,2,…,c)隸屬度矩陣的前提下第k個數據的隸屬度值，第j類隸屬度矩陣是之前NCM算法聚類背景下所產生的誤差最高的那一類的隸屬度矩陣。所述CFCM算法聚類的目標函數定義如下：

其中，m>1和wi分別是模糊系數和聚類中心，J是在式（23）的約束條件下取得的最小值，從而最終分為p類并分別產生p個隸屬度矩陣。

目標函數由CFCM算法不斷更新隸屬度矩陣和聚類中心實現最小化，其中聚類中心表示為：

隸屬度的迭代公式如下：

從式（26）中可以看出FCM算法和CFCM算法之間存在著顯著的差異。

在FCM算法中隸屬度值之和等于1，而CFCM算法隸屬度值之和來自于上一個背景模糊集，這個模糊集是基于之前的輸出信息（通常定義為上下文）。在本文中，NCM算法的隸屬度矩陣來代替先前輸出，作為CFCM算法的背景（上下文）。其中ujk表示由NCM算法產生的劃分矩陣的隸屬度值。

3.4 NCM-RRbF模型整體設計步驟

綜上所述，得出本文模型步驟。

步驟1選取訓練數據和測試數據。

輸入輸出數據被劃分為訓練數據和測試數據，使用十折交叉驗證隨機取樣生成。訓練數據被用于構建該模型，同時通過利用測試數據來評估模型的質量和泛化能力，使用均方根誤差（root mean square error，RMSE）估計構造的模型的逼近能力。

步驟2用NCM算法求出隸屬度矩陣。

在前件部分，由聚類個數來決定隸屬度矩陣個數。隸屬度值被用于每一個模糊規則的“IF”部分。

步驟3選擇模糊規則誤差最高的那個規則。

在后件部分中，用WLS方法計算每個規則相對應的多項式函數系數。用式（6）評估每個模糊規則的誤差，其中最高誤差的模糊規則需要重新聚類產生新的模糊規則。

步驟4通過背景模糊聚類算法CFCM算法產生新的模糊規則。

將之前選擇誤差最高的模糊規則對應的隸屬度矩陣用CFCM算法分為2～3類，這些新產生的類將形成新的模糊規則。新模糊規則對應的多項式函數系數用WLS方法求得。

步驟5評估NCM-RRbF的性能。

4 實驗結果與分析

在本章中，對于本文構建的模型，用訓練數據和測試數據來近似評估模型的性能和泛化能力。

在分析NCM-RRbF模型有效性的基礎上，通過一系列詳細的實驗說明NCM-RRbF模型的性能。在實驗中，將每個數據集的所有樣本隨機選取80%添加不同噪聲強度的高斯白噪聲，實驗中ε=100，加權因子設置如下ω1=0.9,ω2=0.05,ω3=0.05,σ=250 。為了達到統計學上的良好效果，采用一個定量的評價指標——均方根誤差（RMSE），表示如下：

其中，yk是觀察到的輸出，k是模型輸出，k(k=1,2,…,N)是樣本個數。為了驗證本文模型的有效性，文中對不同的數據集分別采用RRbF模型和NCMRRbF模型進行測試計算RMSE。比較添加不同噪聲強度的數據集，模型的訓練效果和誤差大小。為了表明實驗的準確性，計算100次RMSE值取均值作為最終的評價指標。同時為了描述本文模型的良好性能，對相關數據集在同一噪聲強度下做如下實驗。

Case1：在后件部分使用加權最小二乘法（WLS）估計線性函數系數，使用NCM方法產生初始規則后不再進行再次聚類的模糊系統方法（NCM-based fuzzy model，NbFM）。

Case2：初始規則形成后計算誤差最高的一個模糊規則，并在規則增長部分生成新的模糊規則，生成兩個（NCM-RRbF，growing two rules；NCM-RRbF，GR2）或三個（NCM-RRbF，growing three rules；NCMRRbF，GR3）新規則。

本文NCM-RRbF模型分別與RRbF模型和FbFM（FCM-based fuzzy model）模型作比較。

4.1 人工數據集

使用如下單變量非線性函數生成人工數據集：

y=0.6sin(x)+0.3sin(3x)+0.1sin(5x) （28）其中，輸入變量x在[-0.5,0.5]中隨機產生，由式（28）產生200組輸入輸出樣本。隨機選取80%的樣本添加高斯白噪聲（SNR=5 dB、8 dB、12 dB、18 dB），再將所有200個樣本隨機分成訓練樣本（占總樣本的60%）和測試樣本（占總樣本的40%）計算RMSE值。實驗結果如表1～表8所示。

Table 1 Comparison of Case1(SNR=5 dB)experimental results表1 Case1(SNR=5 dB)實驗結果對比

Table 2 Comparison of Case1(SNR=8 dB)experimental results表2 Case1(SNR=8 dB)實驗結果對比

Table 3 Comparison of Case1(SNR=12 dB)experimental results表3 Case1(SNR=12 dB)實驗結果對比

Table 4 Comparison of Case1(SNR=18 dB)experimental results表4 Case1(SNR=18 dB)實驗結果對比

Table 5 Comparison of Case2:GR2(SNR=5 dB)experimental results表5 Case2:GR2(SNR=5 dB)實驗結果對比

Table 6 Comparison of Case2:GR2(SNR=8 dB)experimental results表6 Case2:GR2(SNR=8 dB)實驗結果對比

Table 7 Comparison of Case2:GR2(SNR=12 dB)experimental results表7 Case2:GR2(SNR=12 dB)實驗結果對比

Table 8 Comparison of Case2:GR2(SNR=18 dB)experimental results表8 Case2:GR2(SNR=18 dB)實驗結果對比

對于人工數據集，首先對上述表格進行橫向比較，NCM-RRbF模型比RRbF模型，NbFM模型比FbFM模型的均方誤差基本都減小0.01，由于合成數據集中輸入與輸出的取值很小，相對來說誤差縮小得比較明顯，NCM-RRbF模型比RRbF模型輸出更接近真實輸出，說明本文的算法對于含噪聲的數據處理效果更好，相對于對比算法更適合處理含噪聲的數據集。其次對上述表格進行縱向比較，NCMRRbF模型比NbFM模型輸出與真實輸出更為接近；本文對噪聲強度越大的數據集處理性能越好。

4.2 Boston Housing數據集

Boston Housing數據集最初由Harrison和Rubinfeld出版[17],主要描述Boston Housing的相關信息，由506個樣本、13個獨立變量和一個輸出變量組成。同樣隨機選取80%的樣本添加高斯白噪聲（SNR=3 dB、5 dB、8 dB、12 dB）。為了便于比較，將NCM-RRbF模型與RRbF模型，NbFM模型與FbFM模型實驗結果做差，結果如表9～表20所示。

上述表格數據描述的是本文模型與對比模型均方誤差的差值，對表格橫向分析，NCM-RRbF模型比RRbF模型，NbFM模型比FbFM模型的均方誤差基本都減小0.1左右，與真實輸出更接近，說明本文的算法對于含噪聲的自然數據集處理效果更好，比對比算法更適合處理含噪聲數據集。對于真實數據集處理性能良好可以運用到實際生活中解決實際的問題。其次對上述表格進行縱向比較，NCM-RRbF模型比NbFM模型的輸出與真實輸出更為接近；隨著噪聲強度的不斷減弱模型輸出更接近真實輸出。

4.3 Wine Quality數據集

Wine Quality數據集最初是由Cortez出版的[18]，該數據集主要描述紅酒品質的相關信息，由1 599個樣本、12個獨立變量和一個輸出變量組成。隨機選取60%的樣本添加高斯白噪聲(SNR=5 dB、10 dB、15 dB、20 dB)。由于篇幅所限，本數據集只做Case2中的兩個實驗。實驗結果如表21～表28所示。

Table 9 Subtraction of NbFM and FbFM(SNR=3 dB)experimental results表9 NbFM與FbFM(SNR=3 dB）做差實驗結果

Table 10 Subtraction of NbFM and FbFM(SNR=5 dB)experimental results表10 NbFM與FbFM(SNR=5 dB）做差實驗結果

Table 11 Subtraction of NbFM and FbFM(SNR=8 dB)experimental results表11 NbFM與FbFM(SNR=8 dB)做差實驗結果

Table 12 Subtraction of NbFM and FbFM(SNR=12 dB)experimental results表12 NbFM與FbFM(SNR=12 dB)做差實驗結果

Table 15 Subtraction of NCM-RRbF：GR2 and RRbF:GR2(SNR=8 dB)experimental results表15 NCM-RRbF:GR2與RRbF:GR2(SNR=8 dB）做差實驗結果

Table 16 Subtraction of NCM-RRbF：GR2 and RRbF:GR2(SNR=12 dB)experimental results表16 NCM-RRbF:GR2與RRbF:GR2(SNR=12 dB）做差實驗結果

Table 17 Subtraction of NCM-RRbF：GR3 and RRbF:GR3(SNR=3 dB)experimental results表17 NCM-RRbF：GR3與RRbF:GR3(SNR=3 dB）做差實驗結果

Table 18 Subtraction of NCM-RRbF：GR3 and RRbF：GR3(SNR=5 dB)experimental results表18 NCM-RRbF:GR3與RRbF:GR3(SNR=5 dB）做差實驗結果

Table 19 Subtraction of NCM-RRbF：GR3 and RRbF:GR3(SNR=8 dB)experimental results表19 NCM-RRbF:GR3與RRbF:GR3(SNR=8 dB）做差實驗結果

Table 20 Subtraction of NCM-RRbF：GR3 and RRbF:GR3(SNR=12 dB)experimental results表20 NCM-RRbF:GR3與RRbF:GR3(SNR=12 dB）做差實驗結果

Table 21 Comparison of Case2:GR2(SNR=5 dB)experimental results表21 Case2:GR2(SNR=5 dB)實驗結果對比

Table 22 Comparison of Case2:GR2(SNR=10 dB)experimental results表22 Case2:GR2(SNR=10 dB)實驗結果對比

Table 23 Comparison of Case2:GR2(SNR=15 dB)experimental results表23 Case2:GR2(SNR=15 dB)實驗結果對比

Table 24 Comparison of Case2:GR2(SNR=20 dB)experimental results表24 Case2:GR2(SNR=20 dB)實驗結果對比

Table 25 Comparison of Case2:GR3(SNR=5 dB)experimental results表25 Case2:GR3(SNR=5 dB)實驗結果對比

Table 26 Comparison of Case2:GR3(SNR=10 dB)experimental results表26 Case2:GR3(SNR=10 dB)實驗結果對比

Table 27 Comparison of Case2:GR3(SNR=15 dB)experimental results表27 Case2:GR3(SNR=15 dB)實驗結果對比

Table 28 Comparison of Case2:GR3(SNR=20 dB)experimental results表28 Case2:GR3(SNR=20 dB)實驗結果對比

本文模型不僅對小樣本量數據集效果明顯，同樣對大樣本量的效果也很顯著。對紅酒質量數據集的實驗結果進行橫向分析可知，NCM-RRbF模型比RRbF模型的均方誤差明顯減小；縱向分析得出噪聲強度與均方誤差值成正比。由以上實驗數據可知本文模型對大樣本量的數據集同樣適用，可以更加廣泛地解決實際生活問題。

5 結束語

本文提出了一種新的基于模糊聚類方法的模糊規則模型。利用中智模糊聚類得到的隸屬度矩陣生成初始模糊規則，之后選擇誤差最高的一類再聚類從而得到一個準確率更高的模糊規則模型。相比較RRbF模型，由于中智模糊聚類對噪聲的處理更加優越，因此本文的NCM-RRbF模型抗噪能力較強，而且模型的逼近性能良好。實驗證明了結論。在今后的工作中，可以將核函數加入到NCM-RRbF模型中，有效降低線性不可分數據集中的噪聲，從而大幅度提升模型的逼近性能。