基于機器學習的成分數據補全研究

高雪云

一、引 言

給缺失數據填補一個合理的估計值，可以減小由數據缺失而導致的估計量偏差，結合一定的方法，為數據的缺失值尋找一個或多個盡可能相似的值進行填補，得到完整的數據，由于填補值畢竟是“假信息”，因此，利用不同的信息進行填補，所要追求的只是確定填補方法的有效性和合理性，使估計的填補值盡可能地接近原始的缺失數據值.

二、基于核空間非線性距離敏感重構的主動學習

在大數據時代，機器學習問題中可能涉及的數據量規模是非常龐大的，完全標注所有數據是不現實，也是不必要的.在這一部分，我們將提出一種有效的主動學習算法.該算法可以選擇出那些最重要的、最有信息含量的數據點進行標注，使得數據標注更加有效.然后，我們進一步推廣了胡堯等人的工作，提出了一種基于核空間非線性距離敏感重構的主動學習算法，能夠自動學習數據分布的非線性關系，通過非線性重構進一步擴大標注點的表達能力，從而減少所需要標注的數據點的規模[1].

（一）主成分分析（PCA）原理及其應用

在實際問題研究中，多變量問題是經常會遇到的.變量太多，無疑會增加分析問題的難度與復雜性，而且在許多實際問題中，多個變量之間是具有一定的相關關系的.

為了解決這些問題，最簡單和最直接的解決方案是削減變量的個數，但這必然又會導致信息丟失和信息不完整等問題的產生.為此，人們希望探索一種更為有效的解決方法，它既能大大減少參與數據建模的變量個數，同時也不會造成信息的大量丟失.主成分分析正式這樣一種能夠有效降低變量維數，并已得到廣泛應用的分析方法.

（二）奇異值分解（SVD）與主成分分析（PCA）的關系

PCA的全部工作簡單點說，就是對原始的空間中順序地找一組相互正交的坐標軸，第一個軸是使得方差最大的，第二個軸是在與第一個軸正交的平面中使得方差最大的，第三個軸是在與第1、2個軸正交的平面中方差最大的，這樣假設在N維空間中，我們可以找到N個這樣的坐標軸，我們取前r個去近似這個空間，這樣就從一個N維的空間壓縮到r維的空間了，但是我們選擇的r個坐標軸能夠使得空間的壓縮使得數據的損失最小.

還是假設我們矩陣每一行表示一個樣本，每一列表示一個feature，用矩陣的語言來表示，將一個m×n的矩陣A的進行坐標軸的變化，P就是一個變換的矩陣從一個N維的空間變換到另一個N維的空間，在空間中就會進行一些類似于旋轉、拉伸的變化.

Am×nPn×n=A～m×n.

而將一個m×n的矩陣A變換成一個m×r的矩陣[2]，這樣就會使得本來有n個feature的，變成了有r個feature了（r

Am×nPn×r=A～m×r.

但是這個怎么和SVD扯上關系呢？SVD得出的奇異向量是從奇異值由大到小排列的，按PCA的觀點來看，就是方差最大的坐標軸就是第一個奇異向量，方差次大的坐標軸就是第二個奇異向量，由下面的SVD式子：

Am×n≈Um×r∑r×rVTr×n.

在矩陣的兩邊同時乘上一個矩陣V，由于V是一個正交的矩陣，所以V轉置乘V得到單位陣I，所以可以化成后面的式子

Am×nVr×n≈Um×r∑r×rVTr×nVr×n，

Am×nVr×n≈Um×r∑r×r.

將后面的式子與A×P那個m×n的矩陣變換為m×r的矩陣的式子對照看看，在這里，其實V就是P，也就是一個變化的向量.這里是將一個m×n的矩陣壓縮到一個m×r的矩陣，也就是對列進行壓縮，如果我們想對行進行壓縮，同樣我們寫出一個通用的行壓縮例子：

Pr×mAm×n=A～r×n.

這樣就從一個m行的矩陣壓縮到一個r行的矩陣了，對SVD來說也是一樣的，我們對SVD分解的式子兩邊乘U的轉置

UTr×mAm×n≈∑r×rVTr×n.

這樣我們就得到了對行進行壓縮的式子.可以看出，其實PCA幾乎可以說是對SVD的一個包裝，如果我們實現了SVD，那也就實現了PCA了，而且更好的地方是，有了SVD，我們就可以得到兩個方向的PCA，如果我們對A′A進行特征值的分解，只能得到一個方向的PCA.

（三）利用奇異值分解（SVD）進行圖像處理

先對圖像進行灰度處理，轉化為二維圖像，然后利用SVD算法，對圖片進行壓縮處理，結果分析如下：

秩k越大，圖像重構越完善，圖像越清晰，但壓縮后圖片比較大;

秩k越小，圖像重構越粗糙，圖像越模糊，但壓縮后圖像比較小.

（四）結語與展望

1.結論

眾所周知，國內外學者已提出了很多方法來處理成分數據的缺失值.本文考慮到成分數據的特殊幾何結構和成分數據間存在多重共線性和異常值的情況，在K.Hrmn等人提出的k近鄰填補法和基于k近鄰的迭代回歸填補法的基礎上，對成分數據的缺失值填補提出了幾種新方法.

（1）針對成分數據存在多重共線性的問題，提出了主成分填補法（PCA）.通過實例分析和實驗模擬可看出無論數據間是否含有多重共線性，PCA填補法的填補效果都比其他幾種填補法好.

（2）針對成分數據中含有異常值的問題，提出了基于MCD的穩健主成分填補法（MPCA），用來解決含有異常值的問題，并驗證了該方法的穩健性和準確性.

2.展望

當然，仍有一些問題沒有得到有效解決，需要進行進一步的研究：

一般地，對含缺失值的多元成分數據來說，多變量填補法比單變量填補法結果更為準確.然而，這樣的方法是建立在對多元數據結構的一個合理假設上的，它們有的是基于模型的，有的是基于協方差結構的或是基于距離的.而在實際的應用中，這種假設一般是不合理的.