一種基于單形空間缺失數(shù)據(jù)的補(bǔ)全方法

劉 冰，李瑋琦

（達(dá)州職業(yè)技術(shù)學(xué)院人工智能學(xué)院，達(dá)州 635001）

0 引言

成分?jǐn)?shù)據(jù)是一種具有比例結(jié)構(gòu)的多維數(shù)據(jù)，其數(shù)學(xué)形式定義為

則稱向量X為D維成分?jǐn)?shù)據(jù)［1］，向量空間SD為單形空間，其中X中的每一個(gè)元素xi表示其在整體中所占的比重。相較于普通數(shù)據(jù)而言，成分?jǐn)?shù)據(jù)除了用于分析整體中各部分?jǐn)?shù)據(jù)間的相對(duì)關(guān)系外，還有利于揭示普通數(shù)據(jù)所隱藏的相對(duì)信息，在諸如社會(huì)學(xué)、經(jīng)濟(jì)學(xué)、氣象學(xué)、地質(zhì)學(xué)、醫(yī)學(xué)等領(lǐng)域都有十分廣泛的應(yīng)用［2-4］。

由公式（1）可以看出，單形空間中的數(shù)據(jù)受到兩個(gè)條件的限制，一個(gè)是有界約束，另一個(gè)是定和約束，而現(xiàn)有一般的統(tǒng)計(jì)分析方法對(duì)被分析數(shù)據(jù)是沒有約束要求的。顯然，這就導(dǎo)致現(xiàn)有一般的統(tǒng)計(jì)分析方法在單形空間中無效，一個(gè)最主要的原因在于單形空間中數(shù)據(jù)的協(xié)方差矩陣通常是奇異矩陣，其含義與普通的數(shù)據(jù)不同［5］；另一個(gè)原因在于單形空間中的數(shù)據(jù)總體一般不滿足多元正態(tài)分布的假設(shè)，這就會(huì)導(dǎo)致建立模型十分困難。為了能運(yùn)用現(xiàn)有一般的統(tǒng)計(jì)分析方法去分析單形空間中的數(shù)據(jù)，通常的做法是先進(jìn)行預(yù)處理，即經(jīng)過一定的變換使之成為無約束數(shù)據(jù)。文獻(xiàn)［1］首次提出通過對(duì)成分?jǐn)?shù)據(jù)的對(duì)數(shù)比變換建立成分?jǐn)?shù)據(jù)的邏輯正態(tài)分布模型，有效地解決了現(xiàn)有一般的統(tǒng)計(jì)分析方法對(duì)單形空間中數(shù)據(jù)有界定和約束的限制，但建立的模型對(duì)數(shù)據(jù)的解釋性較差；文獻(xiàn)［6］提出了一種新變換，即對(duì)稱對(duì)數(shù)比變換，該方法能很好地解釋數(shù)據(jù)，但在某些情況下容易造成變換后的數(shù)據(jù)間存在較高的冗余性，從而損失部分?jǐn)?shù)據(jù)信息；文獻(xiàn)［7-8］在此基礎(chǔ)上又進(jìn)行了改進(jìn)，即對(duì)稱等距對(duì)數(shù)比變換（isometric logratio transformations，ILR），但該方法對(duì)數(shù)據(jù)的完整性要求較高，若存在數(shù)據(jù)缺失，當(dāng)補(bǔ)全為0時(shí)會(huì)造成變換后的數(shù)據(jù)為無窮的情況，顯然失去了實(shí)際的意義。對(duì)于成分?jǐn)?shù)據(jù)的缺失值補(bǔ)全，目前一般采用單形空間均值（SM）補(bǔ)全法、極大似然補(bǔ)全法、期望最大填補(bǔ)法、k近鄰補(bǔ)全法（KNN），等等。這些方法對(duì)于回答信息而言其實(shí)現(xiàn)較為容易，但穩(wěn)健性差，結(jié)果偏差較大，補(bǔ)全后的數(shù)據(jù)冗余度高，缺少解釋性。

消除變換后的數(shù)據(jù)冗余性的最有效方法是實(shí)現(xiàn)單形空間到歐氏空間的正交變換，為此，本文首先給出單形空間的代數(shù)運(yùn)算體系，在給出文獻(xiàn)［4，9-11］的相關(guān)變換過程的基礎(chǔ)上，著重研究對(duì)于成分?jǐn)?shù)據(jù)存在缺失值時(shí)通過對(duì)數(shù)比變換后存在的多重共線性數(shù)據(jù)的填補(bǔ)方法，并結(jié)合主成分分析法提出了一種較為有效的參考解決路徑。

1 單形空間的代數(shù)體系

為了實(shí)現(xiàn)單形空間到歐氏空間的正交變換，本文給出單形空間對(duì)于向量的加法、數(shù)乘、內(nèi)積以及距離的如下定義。

（1）向量的加法：對(duì)于任意X,Y∈SD，向量X,Y的加法運(yùn)算⊕定義為

式中，A[.]為封閉運(yùn)算，即

（2）向量的數(shù)乘：對(duì)于任意X∈SD，任意實(shí)數(shù)a∈R，a與向量X的數(shù)乘運(yùn)算?定義為

（3）向量的內(nèi)積：對(duì)于任意X,Y∈SD，向量X,Y的內(nèi)積定義為

（4）向量的距離：對(duì)于任意X,Y∈SD，向量X,Y的Aitchison距離［10］定義為

2 成分?jǐn)?shù)據(jù)的缺失

在實(shí)際工作中，待分析處理數(shù)據(jù)集中某些數(shù)據(jù)或?qū)傩灾等笔У脑蚴嵌喾矫娴模蛘呤钦{(diào)查者基于主觀的判斷認(rèn)為不重要而丟棄某些數(shù)據(jù)；或者是由于客觀的問卷設(shè)計(jì)存在瑕疵、錄入失誤、受訪者拒絕回答而沒能采集到某些數(shù)據(jù)；或者是在原始數(shù)據(jù)的存儲(chǔ)過程中，由于設(shè)備的故障造成存儲(chǔ)數(shù)據(jù)的不全或失敗而丟失某些數(shù)據(jù)等，使得沒能滿足設(shè)計(jì)預(yù)期獲得詳細(xì)而全面的資料數(shù)據(jù)，顯然，如果缺失數(shù)據(jù)占比較大，對(duì)于后續(xù)的數(shù)據(jù)分析處理會(huì)造成難以估計(jì)的影響。

從式（1）易知，若一個(gè)成分向量中只有一個(gè)元素值缺失，即可根據(jù)定和限制求出該缺失值，因此一般來說，成分?jǐn)?shù)據(jù)的缺失值是指某個(gè)樣本或?qū)傩灾抵兄辽儆袃蓚€(gè)或兩個(gè)以上的缺失值。其數(shù)學(xué)形式化定義如下：

若某個(gè)向量Xk（k= 1,2,…,n）中至少有兩個(gè)元素值存在缺失，則稱Z為缺失數(shù)據(jù)矩陣。

3 缺失數(shù)據(jù)的補(bǔ)全

由于主客觀等因素的影響，經(jīng)常會(huì)碰到待分析處理的數(shù)據(jù)集中某個(gè)數(shù)據(jù)或某些屬性值出現(xiàn)為零或缺失的情況。對(duì)于前者，通常的做法是將其處理為缺失值；而對(duì)于后者，一般先要考慮缺失數(shù)據(jù)的占比情況，若某行（列）缺失數(shù)據(jù)比超過90%，一般進(jìn)行剔除處理，或重新進(jìn)行該行（列）數(shù)據(jù)的采集。對(duì)于缺失數(shù)據(jù)比小于90%的情況，則對(duì)缺失數(shù)據(jù)進(jìn)行某種策略的填補(bǔ)。—種經(jīng)典的填補(bǔ)方法是基于k近鄰（KNN）方法［12］，即用通過某缺失值的k個(gè)最近鄰樣本信息來估算該缺失值；另一種是把缺失值當(dāng)作一類隨機(jī)變量或者隱變量，建立概率隱變量模型，然后通過EM、VI（Variational Inference）或者M(jìn)CI（Monte Carlo Inference）來估計(jì)缺失值的分布，具體做法是：

對(duì)于式（1），進(jìn)行如下的處理：

其中，xOi為非缺失值數(shù)據(jù)，xMj為缺失值數(shù)據(jù)，則缺失值xMj的分布估計(jì)為

然后計(jì)算該分布的期望值，并將其置為缺失值的估計(jì)值。

對(duì)于簡(jiǎn)單的模型，其解析解可用EM 算法求解；若模型復(fù)雜，則可借助MCI 去進(jìn)行逼近求解，但無法解決結(jié)構(gòu)帶來的不實(shí)用的問題。

此外，對(duì)于多元線性回歸模型，若變量之間線性無關(guān)，還可采用回歸估計(jì)法對(duì)缺失值進(jìn)行填補(bǔ)。但變量之間完全線性無關(guān)僅僅具有理論上可能，在實(shí)際情況下，變量之間往往存在多重共線性，若直接采用回歸估計(jì)法，其估計(jì)結(jié)果會(huì)與實(shí)際情況相去甚遠(yuǎn)。

對(duì)于多重補(bǔ)全法，文獻(xiàn)［9-11，13］給出的方法較有代表性，下面作簡(jiǎn)要介紹：

3.1 非對(duì)稱對(duì)數(shù)比變換

對(duì)于式（1），定義如下變換：

其逆變換式為xD=，進(jìn)而有：

從式（9）中可以看到，該變換是一個(gè)從單形空間SD到歐氏空間RD-1上的線性變換，而非正交變換，變換后的yi與變換前的xi不具有一一對(duì)應(yīng)的關(guān)系，即存在非對(duì)稱關(guān)系，這就會(huì)導(dǎo)致建立的模型不能合理準(zhǔn)確地解釋數(shù)據(jù)。

3.2 對(duì)稱對(duì)數(shù)比變換

針對(duì)非對(duì)稱對(duì)數(shù)比變換存在的缺陷，張堯庭［6］在《成分?jǐn)?shù)據(jù)統(tǒng)計(jì)分析引論》中提出了一種新變換，使得變換后的yi與變換前的xi具有了一一對(duì)應(yīng)的關(guān)系，即存在對(duì)稱關(guān)系，這就使得建立的模型具有了一定的可解釋性。其具體變換式如下：

對(duì)于式（1），定義如下變換：

其逆變換式為xD=，進(jìn)而有：

從式（10）看到，該變換是正交變換，但當(dāng)0＜xi＜1 時(shí)，?[α1,α2,…,αD]T∈SD,αiyi≠0，即變換得到的數(shù)據(jù)存在一定的相關(guān)性，導(dǎo)致了變量間協(xié)方差矩陣不滿秩，從而使得基于協(xié)方差結(jié)構(gòu)的統(tǒng)計(jì)方法無效，在實(shí)際應(yīng)用中，應(yīng)當(dāng)避免使用該變換對(duì)成分?jǐn)?shù)據(jù)進(jìn)行預(yù)處理。

3.3 對(duì)稱等距對(duì)數(shù)比變換

文獻(xiàn)［4，11，13］又在對(duì)稱對(duì)數(shù)比變換基礎(chǔ)上進(jìn)行了改進(jìn)，即對(duì)稱等距對(duì)數(shù)比變換（isometric log-ratio transformations，ILR），具體如下：

對(duì)于式（1），定義如下變換：

容易得出：式（11）的逆變換式為

進(jìn)而有：

從式（11）可以看出，該變換實(shí)現(xiàn)了從單形空間SD到歐氏空間RD-1的正交變換，確保了在變換后的空間中運(yùn)用傳統(tǒng)的統(tǒng)計(jì)分析方法進(jìn)行合理的模型建立。但在xi= 0時(shí)，對(duì)應(yīng)的yi的結(jié)果將為無窮，失去了實(shí)際的意義，對(duì)后續(xù)的進(jìn)一步分析處理造成了障礙。

4 成分?jǐn)?shù)據(jù)的補(bǔ)全

一般情況下，對(duì)于缺失數(shù)據(jù)不宜貿(mào)然進(jìn)行刪除處理，通常需要采用某種方法進(jìn)行補(bǔ)全操作。常用的方法有：均值補(bǔ)全法、極大似然估計(jì)法、多重補(bǔ)全法等，其中多重補(bǔ)全法是通過估計(jì)出待補(bǔ)全的值加上不同的噪聲來得到補(bǔ)全值。對(duì)于成分?jǐn)?shù)據(jù)缺失值的補(bǔ)全，Hron 等［12］提出的k 近鄰法較有代表性，該方法是通過用Aitchison 距離來尋找到含缺失值樣本的k 個(gè)近鄰，并用該k 個(gè)近鄰的中位數(shù)來進(jìn)行初始補(bǔ)全，然后用最小二乘法來進(jìn)行迭代補(bǔ)全。本文在前面定義的單形空間的加法運(yùn)算⊕以及數(shù)乘運(yùn)算?的基礎(chǔ)上結(jié)合文獻(xiàn)［12］的方法，提出一種基于單形空間缺失成分?jǐn)?shù)據(jù)的補(bǔ)全方法，同時(shí)運(yùn)用主成分分析法，處理將成分?jǐn)?shù)據(jù)變換為一般數(shù)據(jù)后可能存在的多重共線性的情況。

4.1 多重共線性

在進(jìn)行多元回歸分析時(shí)，若某些解釋變量之間存在嚴(yán)格或近似的線性關(guān)系，其樣本點(diǎn)或?qū)傩灾档囊粋€(gè)微小改變都會(huì)極大地?cái)_動(dòng)回歸系數(shù)的估計(jì)值，使得回歸系數(shù)極不穩(wěn)定［14］。因?yàn)槟承┙忉屪兞恐g存在的強(qiáng)相關(guān)關(guān)系將極大地降低ZTZ的可逆性，大多數(shù)情況變得不可逆，即使通過某種計(jì)算使其變得可逆，其逆矩陣的特征值也往往會(huì)較大，導(dǎo)致標(biāo)準(zhǔn)誤差值也較大，進(jìn)而降低了參數(shù)估計(jì)值的精度，無法得出穩(wěn)定的回歸模型，回歸系數(shù)及符號(hào)也與實(shí)際情況相去甚遠(yuǎn)。

檢測(cè)多重共線性的方法主要有：

（1）通過計(jì)算自變量間的相關(guān)系數(shù)與顯著性來進(jìn)行判斷，即若某些變量間的相關(guān)系數(shù)顯著，則認(rèn)為它們之間可能存在多重共線性問題。

（2）使用回歸分析中的方差膨脹系數(shù)（Variance inflation factor，VIF）值來進(jìn)行判斷，VIF的計(jì)算公式為VIF=1/ (1 -)。其中，Ri為負(fù)相關(guān)系數(shù)。自變量之間共線性程度與VIF 值存在較強(qiáng)的正相關(guān)關(guān)系。根據(jù)Hair（1995）標(biāo)準(zhǔn)，當(dāng)VIF≤10 時(shí)，模型的多重共線性較弱；當(dāng)10 ＜VIF≤100 時(shí)，模型的多重共線性較為嚴(yán)重；當(dāng)VIF＞100時(shí)，模型的多重共線性很嚴(yán)重。

（3）容忍值（Tolerance）法，也是較為常用的方法。其計(jì)算公式為Tol＝1/VIF。顯然，其與方差膨脹系數(shù)法的判定標(biāo)準(zhǔn)相反，自變量之間共線性程度與Tol值存在較強(qiáng)的負(fù)相關(guān)關(guān)系。在實(shí)際中，通常為Tol指定一個(gè)閾值，確保小于閾值的變量間的相關(guān)系數(shù)矩陣可逆，使回歸系數(shù)的估計(jì)值具有較強(qiáng)的穩(wěn)定性。該方法的缺陷在于Tol閾值的確定存在隨意性，沒有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)。

（4）主成分回歸法，對(duì)于矩陣（6），設(shè)ZTZ的特征值為λ1≥λ1≥… ≥λn＞0，稱h=λ1/λn為ZTZ的條件數(shù)，一般地，若h＜100，則認(rèn)為模型的多重共線性程度較小；若100 ＜λ1＜1000則認(rèn)為模型的多重共線性程度較強(qiáng)；若h＞1000，則認(rèn)為模型的多重共線性程度嚴(yán)重。

需要說明的是，在現(xiàn)實(shí)工作中，獲得的數(shù)據(jù)集一般都存在多重共線性，只是程度不同而已，對(duì)于共線性程度較小或一般的問題可以不必采取措施。另外，如果學(xué)得模型的擬合度好，也可不需處理多重共線性問題。

4.2 單形空間上的均值補(bǔ)全

根據(jù)公式（5）易知，若兩個(gè)樣本各自成分?jǐn)?shù)據(jù)子集相似，則它們之間的Aitchison 距離可以用其對(duì)應(yīng)子集的Aitchison 距離大約表示。即dA(xi,xj)≈dA(XMi,XMj)≈dA(XOi,XOj)，其中 ：XMi,XMj和XOi,XOj分別是樣本xi,xj各自所對(duì)應(yīng)的缺失值和確定值成分?jǐn)?shù)據(jù)子集。

下面根據(jù)第2節(jié)的相關(guān)定義及文獻(xiàn)［12］的方法給出xi的某一缺失成分xmi∈XMi，m∈M的補(bǔ)全步驟：

（1）根據(jù)Aitchison 距離找到含缺失值xi相應(yīng)子成分XMi的k（k＜n）個(gè)最近鄰， 并記為其對(duì)應(yīng)的k個(gè)全樣本依次為。

（2）根據(jù)定義1 和定義2，計(jì)算出k個(gè)全樣本的均值：

（3）求出xmi的補(bǔ)全值：

其中：Ij=(0,…,1,…,0)T∈Rn的第j個(gè)元素為1,j= 1,2,…,n。

4.3 基于主成分的補(bǔ)全

在大多數(shù)情況下，在單形空間上由子成分的Aitchison 距離對(duì)缺失值進(jìn)行均值補(bǔ)全后的成分?jǐn)?shù)據(jù)存在多重共線性，基于4.1 節(jié)所述，下面采用主成分回歸分析法對(duì)上節(jié)初始補(bǔ)全后的成分?jǐn)?shù)據(jù)再次進(jìn)行修正補(bǔ)全，主要步驟如下：

（1）將含有缺失成分的樣本xi和其k個(gè)最近鄰樣本xi[1],xi[2],…,xi[k]組成一個(gè)單形空間矩陣，并將缺失值xmi初始補(bǔ)全后的變換到第1 行第1列，記為：A(k+1)×D。

（2）根據(jù)公式（11），將單形空間矩陣轉(zhuǎn)換為歐式空間矩陣，如下所示：

其中，α= irl(x?mi)，A為一k×(D- 1)階矩陣，令：

（3）對(duì)矩陣A做主成分分析，其協(xié)方差矩陣記為Λ=，其中，zu,zv為A的行向量，為A的行向量均值。

（4）計(jì)算Λ的前p個(gè)主成分，依次為λ1≥λ1≥…≥λp≥0，則響應(yīng)變量Y與間的關(guān)系為

其中：m= 1,2,…,k,ε為誤差項(xiàng)。

（5）通過上式得到βj的估計(jì)值，計(jì)算到缺失值xmi的補(bǔ)全值為

（6）運(yùn)用公式（12）將數(shù)據(jù)xmi還原為成分?jǐn)?shù)據(jù)，并通過第（1）步將其調(diào)回到原始位置。

5 評(píng)價(jià)與比較

5.1 評(píng)價(jià)指標(biāo)

為了有效地評(píng)價(jià)上述方法對(duì)數(shù)據(jù)集中缺失值的補(bǔ)全效果，本文采用正規(guī)化方均根差（the normalized root mean squares error，NRMSE）作為判別準(zhǔn)則，即：

其中，vg為補(bǔ)全值，vr為真實(shí)值，μ(.)為均值，σ(.)為方差。NRMSE值的大小反映了真實(shí)值與補(bǔ)全值之間差距，若NRMSE值較大，則說明補(bǔ)全值與真實(shí)值存在較大差距；若NRMSE接近于0，則說明補(bǔ)全值非常接近真實(shí)值。

5.2 比較分析

為了驗(yàn)證前述方法的有效性，選用文獻(xiàn)［1］中Hongite 數(shù)據(jù)，該數(shù)據(jù)集包含25個(gè)樣本，每個(gè)樣本包含5 個(gè)特征：ablite，blandite，cornite，daubite，endite，根據(jù)4.1 節(jié)所述計(jì)算得到條件數(shù)h=2747.238＞＞1000，即認(rèn)為該數(shù)據(jù)集存在嚴(yán)重的多重共線性。下面假定該數(shù)據(jù)集的ablite 和cornite 特征數(shù)據(jù)缺失，分別運(yùn)用k近鄰補(bǔ)全法（KNN），單形空間均值（SM）和主成分補(bǔ)全法（PCA）對(duì)缺失值進(jìn)行補(bǔ)全，得到比較結(jié)果見表1。

表1 KNN，SM和PCA補(bǔ)全操作比較結(jié)果表

從表1可以看出，當(dāng)條件數(shù)h＞＞1000時(shí)，用PCA 方法進(jìn)行補(bǔ)全的結(jié)果最好，KNN 的補(bǔ)全結(jié)果最差。

根據(jù)文獻(xiàn)［10］的結(jié)論模擬100 個(gè)5 維的成分?jǐn)?shù)據(jù)x～N5φ(μ,∑)，其中μ=(0,0,0,0)T，∑是一個(gè)主對(duì)角線上全為1，其余全為p的4 階方陣。在假定p的取值分別為0.3、0.7、0.995，缺失率（MR）分別為10%、20%和30%情況下，分別運(yùn)用KNN、SM 和PCA 方法進(jìn)行缺失值補(bǔ)全，并用NRMSE進(jìn)行評(píng)價(jià)比較，結(jié)果如圖1所示。

圖1 MR與P分別取值時(shí)三種方法的補(bǔ)全比較結(jié)果

其中，在圖1 中的圖a1～a3 是在MR不同p一定時(shí)三種方法的補(bǔ)全比較結(jié)果，圖b1～b3 是在p不同MR一定時(shí)三種方法的補(bǔ)全比較結(jié)果。

圖1 MR與p分別取值時(shí)三種方法的補(bǔ)全比較結(jié)果（續(xù)）

從圖b1 與圖b2 中可以看出，PCA 比KNN，SM 的結(jié)果都要好。這三種補(bǔ)全法在MR一定時(shí)，p與NRMSE呈負(fù)相關(guān)關(guān)系，也就是說若數(shù)據(jù)間的多重共線性程度越大，無論哪種方法的補(bǔ)全效果都越好。而在p一定時(shí)，三種方法的MR與NRMSE呈正相關(guān)關(guān)系。作為初始的補(bǔ)全法，KNN 法明顯比SM 差，隨著MR的増大，結(jié)果會(huì)更差。但在MR變大時(shí)，PCA 法明顯比SM 效果好，隨著MR的増大，結(jié)果會(huì)更明顯。

6 結(jié)語(yǔ)

基于單行空間完備的代數(shù)體系提出的等距對(duì)數(shù)比變換是一個(gè)正交變換，該變換既克服了非對(duì)稱對(duì)數(shù)比變換改變內(nèi)積及距離等幾何概念的缺陷，同時(shí)，又避免了對(duì)數(shù)比變換導(dǎo)致的多重共線性給多元分析方法帶來的不利影響。對(duì)于含有缺失值的多元數(shù)據(jù)來說，無論是基于模型還是基于距離，多變量補(bǔ)全法比單變量補(bǔ)全法結(jié)果更為準(zhǔn)確：在單形空間上先進(jìn)行均值補(bǔ)全，然后運(yùn)用等距對(duì)數(shù)比對(duì)補(bǔ)全后的數(shù)據(jù)進(jìn)行變換，最后再對(duì)變換后的數(shù)據(jù)運(yùn)用主成分法進(jìn)行第二次補(bǔ)全，實(shí)例分析表明，再次運(yùn)用主成分法進(jìn)行二次補(bǔ)全要比其他方法的效果更好。