模糊指數熵組合方法的信息系統不確定性度量

(廣東技術師范大學天河學院 計算機科學與工程學院，廣東 廣州 510540)

粗糙集理論是學者Pawlak[1]提出的一種有效處理不確定性數據的數學工具，它通過不可區分關系來對數據對象進行分類，并引入上近似和下近似來刻畫數據的不確定性程度，由于該理論不需要數據集之外的任何先驗信息，目前已廣泛運用于機器學習[2]、決策分析[3]和數據挖掘[4]等領域。

粗糙集理論是度量信息系統不確定性程度的一個有力工具，而不確定性程度是信息系統分類能力的一個重要體現。Pawlak[1]采用近似精度和粗糙度來作為信息系統的不確性度量，Liang等人通過信息熵[5]和近似質量[6]來度量不確定性度，此外，還有其他很多的度量方法被提出[7-8]。

然而在目前的信息系統不確定性度量中，大多數度量方法都是比較單一的，不同的度量方法都有著一定程度的缺陷，而將多種度量方法進行各取所長地融合，將會得到更好的度量效果，Chen[9]等人通過將粗糙度與鄰域熵結合提出鄰域信息系統的不確性度量方式，Jiang[10]等人提出一種相對決策熵的度量方法，何松華[11]等人通過鄰域近似精度和鄰域粒度結合提出一種新的度量方法，并用于屬性約簡中。

本文在此基礎上，針對各種不確定性度量的優劣，將代數角度的粗糙度度量[1]和信息論角度的模糊指數熵[12-13]結合起來，并加入依賴度[1]，提出一種新的信息系統不確性度量方法——模糊指數熵組合度量，并分析了相關的性質。實驗結果表明，所提出的模糊指數熵組合度量方法在各個UCI數據集上均表現出了更好的不確定性度量效果。因此所提出的度量方法更具優越性。

1 基本理論

1.1 粗糙集

定義1[1]在智能信息處理領域中，信息系統被描述成一個四元組的形式，即IS=(U,A,V),其中的U是一個非空的有限集合{x1,x2,…,xn}，被稱為論域，A稱為全體屬性集{a1,a2,…,an}，V為全體屬性集的值域,滿足V=∪Va,其中Va為屬性a∈A的值域，對象x∈U在屬性a下的取值可表示為a(x)。此外，當屬性集A滿足A=C∪D，其中C、D分別被稱為信息系統的條件屬性和決策屬性，此信息系統又被稱為決策信息系統(DIS)。

定義3[9]對于信息系統IS=(U,A,V)，?B?A，則X?U基于B的粗糙度ρB(X)定義為

根據定義3顯然有0≤ρB(X)≤1，粗糙度ρB(X)反映了近似對象集X在B下的粗糙程度。

定義4[9]設決策信息系統DIS=(U,C∪D,V,f)，對于?B?C，則決策屬性集D基于B的依賴度γB(D)定義為

1.2 模糊集

在文獻[14]中，Zadeh提出模糊集的概念，把考察的對象x及反映它的模糊概念X作為一定的模糊集合，建立隸屬函數μX(x)，這樣更加適合反映事物之間的模糊關系。模糊集X表示為

式中，μX(x)稱為X的隸屬度函數。

另外，為確保調查研究的真實、有效、客觀、全面，本課題組成員奔赴體校，并對部分運動員、教育管理人員等就文化教育的現狀、管理等問題進行了實地調研和訪談。

Pal[12]在傳統信息熵的基礎上提出指數熵，并將指數熵引入模糊集中，其定義如下所述。

定義5[12]設模糊集X，x關于X的隸屬度函數為μX(x)，那么基于X的模糊指數熵定義為

(1-μX(xi))·exp(μX(xi))-1]

在文獻[13]中，Wei指出運用模糊指數熵可以作為信息系統的不確定性度量。

2 基于信息系統的模糊指數熵組合度量方法

在粗糙集理論中，粗糙度通過邊界域的大小展示了近似對象在信息系統中的不確定性度[1,7-10]，因此，一直被廣泛運用于信息系統的不確定性度量。但是粗糙度只是通過邊界域的視角來分析問題，然而在粗糙集理論中，正區域包含著許多重要的信息，也間接體現了信息系統的不確定性[8,10]，因此通過粗糙度結合依賴度來作為信息系統的不確定度量是很有必要的。

文獻[13]指出，模糊指數熵作為信息熵的一種推廣，在信息系統的不確定性度量中具有很好的效果，因此本文通過將模糊指數熵與粗糙度和依賴度結合，提出一種新的度量方法——組合模糊指數熵，通過這種新的方法來作為信息系統的不確定性度量。

ComFEP(D)=ComFEQ(D)

證明：由性質3可以直接得到。

3 實驗分析

為了驗證所提出的信息系統不確定度量方法更具優越性，本實驗從UCI機器學習數據庫中獲取了5個數據集進行實驗分析，數據集的詳細信息如表1所示。其中數據集1～數據集4均為符號型屬性，數據集5為數值型屬性。由于所提出的組合模糊指數熵的度量方法只適用于符號型屬性，這里將數據集5中的數據通過等距離散化方法進行離散化。

表1 UCI數據集

為了做對比，又分別使用了目前已有的兩種度量方法進行實驗，分別是粗糙度度量[1]和模糊指數熵度量[13],3種不確定性度量方法在5個數據集上的實驗結果如圖1～圖5所示。

通過圖1～圖5可以看出，隨著選擇的屬性增多，3種度量方法對于數據集的不確定性度量值均逐漸減小，這意味著隨著屬性的增加，信息系統的不確定性度在減小，因此這3種方法對于信息系統的不確定性度量都是有效的。但是仔細觀察可以發現，在圖1中，數據集balance的屬性從1增加到2的時候，其粗糙度度量值保持不變，這種情形體現了粗糙度度量未能有效區分系統在屬性數目不同時系統分類能力的不同，類似地，其他數據集也出現相同情形。同時對于指數熵度量，在各個數據集中也出現了類似的問題。而在組合模糊指數熵度量方法中，則較少出現這樣的情形，因而組合模糊指數熵能更精準地評估不確定性，從而更精確地刻畫系統屬性數目不同時系統分類能力的不同。因此實驗結果表明，組合模糊指數熵對于信息系統的不確定性度量具有更好的評估效果，相比于其他方法更具優越性。

圖1 3種方法在數據集balance實驗結果

圖2 3種方法在數據集car實驗結果

圖4 3種方法在數據集tic實驗結果

圖5 3種方法在數據集wine實驗結果

4 結束語

為了展現多種不確定性度量方法的優越性，通過融合粗糙度和模糊指數熵這兩種方法，并加入依賴度提出了一種新的信息系統不確性度量方法，這種方法通過多個視角對信息系統的不確定性進行評估，發揮了各自在度量方面的優點，因而具有更好的評估效果。另外，所提出的不確性度量方法可以作為信息系統屬性重要度的評估方式，因此接下來可以構建相應的特征選擇方法。