針對SVD算法理解和應用誤區的教學實驗設計

程欣宇++龍慧云++李智++王麗會

摘 要：針對人工智能和大數據處理學習中存在的誤區，提出一組有關SVD方法的圖像處理教學實驗，具體闡述實驗步驟并詳細說明如何引導學生自行設計該類實驗。

關鍵詞：機器學習；SVD算法；實驗設計；矩陣分解；去噪

0 引 言

隨著大數據和人工智能的興起，計算機教學及大學生科技創新活動越來越需要學生掌握好線性代數、微積分、概率論等數學工具。傳統線性代數一課高度抽象，教學過程中幾乎不聯系信息學科進行舉例和實驗。這導致計算機專業的學生即使理論課程考核分數高、程序設計動手能力強，也仍然容易誤用理論。在本文中，我們設計了幾例SVD用于圖像處理的實驗，既能夠幫助學生直觀地理解SVD的作用，又能夠避免對矩陣分解性質錯誤套用。

1 SVD算法在應用中的誤區

1.1 SVD算法簡介

SVD也叫奇異值分解，是將一個矩陣A分解為正交陣V、U和對角陣S，使得

A = Vn×n Sn×m Um×m* （1）

其中V和U的列向量分別是左右奇異向量，對角陣的對角元素是奇異值。SVD具有很多很好的性質，如可以對非方陣進行分解，大的奇異值和對應的奇異向量可以近似表達原矩陣。這些性質也給SVD帶來了數據壓縮、去噪、主成分分析等功能。

為了便于理解SVD在圖像處理中的物理意義，我們將式（1）展開，可以得到

A=Vn×n Sn×m Um×m*=v1s1u1*+ v2s2u2*+…+ vkskuk* （2）

其中vi是V中的第i列，ui*是U*中的第i行，si是第i個奇異值，k是原始圖像矩陣的秩。一個長度為n的列向量乘以一個長度為m的行向量，將會得到一個n×m矩陣，和原始圖像尺寸一樣。原圖A可以看成是k個圖像的疊加，隨著k的增加，sk逐漸變小，對A的影響也越來越小。

疊加的反向操作也就是分解，因此一副圖像可以分解為若干個圖像的疊加，也就是說，SVD圖像分解考查的是圖像的線性無關組，并且把線性無關組規范化為正交矩陣，然后用對角陣中的元素表示每幅子圖像占原始圖像量化數值的比重。這和DCT、FFT以及DWT做信號分解和重構處理，有一定的相似之處，不同之處在于DCT等用標準的正交基去分解圖像，SVD更看重圖像自身隱含的正交基，以解釋/表達/重構圖像。

1.2 誤區1：只看效果卻不深刻理解原理，任意用SVD“去噪”

噪聲的概念比較主觀，最早是指聲音中起干擾作用的部分，然后逐步泛化到信號、圖像乃至任意類型的信息中起干擾作用的成分。SVD將數據轉換成若干主要成分（大的奇異值對應的奇異向量）來線性組合進行表達；對于主要成分不能線性表達的微弱部分，在應用中經常忽略。圖1是文獻[1]舉例對圖像去噪的實驗截圖。

文獻[1]用k=3去噪，效果非常理想：噪點得到很好的平滑，邊緣得到很好的保留。這符合人類認識字符圖案的先驗知識，因為無論從行或者列來看，該圖的清晰圖像，僅存在3個線性無關向量，所以這樣去噪具有兩個前提條件：一個是該圖像行列的線性相關性，恰好是圖像內在的規律；另一個是該圖像行列的線性無關性，恰好集中了圖像的噪聲。這也是很多機器學習算法的教學中只展示算法神奇的一面，而對算法局限性未作分析的問題所在。

1.3 誤區2：SVD的“旋轉不變性”被誤解為圖像塊發生旋轉前后，進行SVD分解具有穩定的成分

在很多圖像處理算法和圖像特征提取算法如SIFT[2]、ORB[3]中，我們希望算法對圖像發生了旋轉后的處理效果是魯棒的。碰巧的是，很多圖像處理算法的資料如文獻[4]中，在圖像特征提取這節介紹了SVD具有旋轉不變性，并未指出兩種旋轉的本質區別，導致缺少實驗驗證的學生會將兩種旋轉不變性混淆為一個概念。我們將通過實驗和理論分析對此概念給予澄清。

2 演示實驗步驟

2.1 展示SVD的顯著效果

根據SVD能將圖像在行/列向量上的主成分提取出來抽象表達的特點，教師可設計一張行列重復度比較高同時加上隨機噪聲的圖像，如圖2（a），再使用SVD進行去噪實驗，可以得到圖2（b）和2（c）。實驗的matlab關鍵代碼如下：

[V S U] =svd（A）；%作SVD分解

k=1；v=V（：，1：k）；s=S（1：k，1：k）；u=U（：，1：k）；%提取主要成分

B=v*s*u'；%重構

圖2（a）中的白點可以看成對計算機視覺中標定棋盤角點的檢測結果，我們模擬了角點的缺失和外部的干擾有缺失。從中可以看到，簡單幾行代碼就能夠將原圖缺失的白點補上，多余的白點消除。這個實驗數據不是憑空構想的，而是在相機棋盤標定中實際可能碰到的數據處理問題。通過實驗，我們也看到k=2時效果并不那么好。這時候可以將問題留給學生分析，最多提示從線性相關的角度進行考慮，并且可以讓學生將上圖改成淺灰的底色，結果k=2才能夠效果完美，繼續讓學生分析原因。

學生可能從SVD分解得到的對角陣包含的奇異值大小中找到原因，也可能提出用一個固定閾值如95%篩選出前面比較重要的k個特征值，以給予算法更好的適用性。

2.2 分析背后存在的缺陷

將以上SVD接近完美去噪的用例稍作改變，如圖3所示，可用于驗證SVD對去噪和圖像旋轉的局限性。

對比圖像旋轉前后的奇異值，發現奇異值不像之前那樣集中，去噪參數也很難調節，最好的效果介于k=35和k=36之間；然后再啟發學生分析為什么圖像僅僅旋轉了2度，SVD的去噪效果就變得如此之差。

實驗之后的理論分析：對一個矩陣A進行“旋轉”，是對其所有行向量或者列向量施以相同的旋轉變換。以對矩陣A的列向量旋轉為例，就是對矩陣A左乘一個旋轉陣P。因為A=VSU*，所以PA= PVSU*，其中PV是兩個正交陣的乘積，仍然是一個正交陣，因而PV、S、U是PA的SVD，也就是說，A矩陣經過P旋轉，再分解后的S和U是不變的，這才是SVD的旋轉不變性。通過上述分析加深學生對矩陣變換的理解以后，還可以簡單地澄清：圖像旋轉是2維/3維空間的旋轉，矩陣旋轉是n維空間的旋轉，是兩個不同的概念。這也是本次輕微的圖像旋轉實驗中去噪效果驟降的原因。endprint

3 引導學生自行設計實驗

3.1 補充理論和讓學生提出假設

通過上述實驗對比，學生已經認識到無論用SVD做圖像去噪，還是用SVD做其他應用，都不能夠隨意地套用，需要注意其應用條件的限制。教師可讓學生重新思考這個問題：將圖像視為矩陣，進行矩陣分解，其本質是什么？效果是什么？通過啟發學生進行假設和實驗驗證，學生會慢慢認識到圖像矩陣的分解和重構，其運算的基本單位是行列向量。SVD去噪是利用行列向量之間存在的相關性，用奇異向量對應的行列線性組合后得到其他的行列，從線性相關的角度消除一定的數據冗余和噪聲。

3.2 引導學生做驗證實驗的兩種方向

為了進一步讓學生加深理解，教師可以讓學生自行設計實驗，引導學生朝兩個方向進行實驗：①數據可以看成矩陣，并且數據的行列之間本身有較高的線性相關性，如推薦算法中，行坐標是用戶，列坐標是商品，矩陣元素是用戶對商品的評價值，則相同模式的用戶對相同的商品評價和夠買欲望，可以呈線性相關關系；②數據可以看成矩陣，但是數據的模式（規律）并不集中在行列的線性相關性上。強行用SVD分解會導致去噪、預測產生明顯的錯誤。

4 結 語

學生從教師講授中獲取知識也好，從文獻資料中自學也罷，由于知識表達不精準，使得知識本身也有“噪聲”，特別是在抽象概念的教學上，這種誤差極易被放大表達。在計算科學的教學中，我們既應該重視表達的準確性，又應該讓學生注意到知識傳遞中可能存在的誤差，利用好計算機方便構造實驗進行驗證的特點，培養學生質疑的精神和驗證的能力。

參考文獻：

[1] AMS. We recommend a singular value decomposition[EB/OL]. [2017-04-25]. http：//www.ams.org/samplings/feature-column/fcarc-svd.

[2] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004（2）： 91-110.

[3] Rublee E， Rabaud V， Konolige K， et al. ORB： An efficient alternative to SIFT or SURF[C]//ICCV. Barcelona： IEEE， 2011： 2564-2571.

[4] 劉海波， 沈晶， 岳振勛， 等. Visual C++ 數字圖像處理[M]. 2版. 北京： 機械工業出版社， 2014： 392-423.

（編輯：宋文婷）endprint