摘 要：稀疏編碼的概念源于視神經網絡的研究，是對只有一小部分神經元同時處于活躍狀態的多維數據的神經網絡的表示方法。稀疏編碼理論在視神經細胞的響應特性和外部環境刺激的統計特性之間建立一種科學的數量聯系，逐漸成為了一種有效理解人類神經系統信息加工機制的理論工具，在盲源信號分離、語音信號處理、圖像特征提取、自然圖像去噪、以及模式識別等方面取得了許多成果，具有重要的實用價值。



關鍵詞：稀疏編碼；獨立分量分析;圖像處理；視覺神經網絡

中圖分類號：TN919.8文獻標識碼：B

文章編號：1004-373X(2008)07-157-04

Sparse Coding Theory and Its Application



ZHUANG Yongwen

(Xiamen University，Xiamen，361005，China)



Abstract：The concept of sparse coding comes from the study of visual neural network，it is a neural network method for finding a representation of multidimensional data in which each of the components of the representation is only rarely significantly active.Sparse code theory establishes a scientific quantitative link between the information processing mechanisms of visual neurons and the statistics of input visual stimuli，and provides an efficient tool to understand the neural information processing mechanisms.It has been applied in blind source separation，speech signal separation，image feature extraction，natural image denoising and pattern recognization，and it has achieved many results and has important practical value.



Keywords：sparse coding;independent component analysis;image processing;visual neural network

1 引 言

圖像處理一直是人類視覺研究中一個十分重要的領域，圖像處理離不開對生物視覺的了解，如在圖像壓縮中離散余弦變化系數的量化，就是考慮到人對低頻成份的敏感度比高頻的強，從而對高頻用大的量化步長，低頻用較小的量化步長，使人眼看到經過壓縮的圖像仍有較高的質量。但是，大多數傳統的圖像處理方法是建立在數字信息處理和概率統計的基礎上的，與人的視覺處理還有很大區別。

人類視覺感覺機制的研究表明，人眼視覺系統可看成是一種合理而高效的圖像處理系統。對圖像來說，相鄰像素間的灰度值具有較高的相關性，即一幅圖像中的某個像素的灰度值與周圍的相鄰灰度值通常相差不大，這一特性使得我們可以從部分圖像預測整體。

神經生理研究表明，在初級視覺皮層下細胞的感受野具有顯著的方向敏感性，單個神經元僅對處于其感受野中的刺激做出反應，即單個神經元僅對某一頻段的信息呈現較強的反應，如特定方向的邊緣、線段、條紋等圖像特征，其感受野被描述為具有局部性、方向性和帶通性的信號編碼濾波器。而每個神經元對這些刺激的表達則采用了稀疏編碼原則，將圖像在邊緣、端點、條紋等方面的特性以稀疏編碼的方式進行描述。從數學的角度來說，稀疏編碼是一種多維數據描述方法，數據經稀疏編碼后僅有少數分量處于明顯激活狀態，大致等價編碼后的呈現超高斯分布。

2 稀疏編碼的研究歷史

(1) 1959年，David hubel 和Toresten Wiesel^[1]通過對貓的視覺條紋皮層簡單細胞感受野的研究得出這樣一個結論：視覺皮層V1區神經元的感受野能夠對視覺感知信息產生一種“稀疏表示”。

(2) 1961年，H.B.Barlow^[2]基于David hubel 和Toresten Wiesel提出的結論，提出了“利用感知數據的冗余”進行編碼的理論。

(3) 1969年，D.J.Willshaw和O.P.Buneman^[3]提出了基于Hebbian學習的局部學習規則的稀疏表示模型。

(4) 1972年，Barlow^[4]推論出在稀疏性和自然環境的統計特性必然存在某種聯系。

(5) 1987年，Field^[5]提出了主視皮層V1區簡單細胞的感受野非常適于學習視網膜成像的圖像結構。

(6) 1988年，Michison^[6]明確提出了神經稀疏編碼的概念，然后由牛津大學的E.T.Roll等人正式引用。

(7) 1989年， D.J.Field^[7]提出了稀疏分布式編碼方法。這種編碼方法使響應于任一特殊輸入信息的神經細胞數目被減少，信號的稀疏編碼存在于細胞響應分布的四階矩即峭度中。

(8) 1996年，B.A.Olshausen和D.J.Field^[8]在Nature發表一篇題為Emergence of simple-cell receptive field properties by learning a sparse code for natural images 的重要論文，指出自然圖像經過稀疏編碼后得到的基函數類似于V1區簡單細胞的感受野的反應特性。

(9) 1997年，B.A.Olshausen和D.J.Field^[9]又提出了一種超完備基的稀疏編碼算法。

(10) 1997年，Bell和Sejnowski^[10]把ICA用于自然圖像分析，并且得出一個重要結論：ICA實際上就是一種特殊的稀疏編碼。

本世紀以來，國外研究人員又提出了許多新的稀疏編碼算法，如Joshua B.Tenenbaum 和William T.Freeman^[11]的雙線性稀疏編碼模型，Bruno A.Olshause^[12]等提出的用小波金字塔結構學習學生圖像編碼，Aapo Hyvrien和P.O.Hoyer^[13]提出的雙層稀疏編碼模型，Hoyer^[14]提出一種非負的稀疏編碼模型，Donoho^[15]等人提出的經過l∞ 范數最小化的通用字典的最佳稀疏表示法等。國內學者也在稀疏編碼算法和應用方面做出了一些工作，如楊謙^[16]利用二維Gabor小波函數，建議了一個基于超定完備基的簡單細胞群稀疏編碼的計算模型并實現了自然圖像的編碼。

3 稀疏編碼的概念模型及原理

3.1 稀疏編碼概念模型

從數學的角度，稀疏編碼目前被假設為是對多維數據進行線性分解的一種表示方法。數學描述如下：

假設輸入數據X=(x1，x2，…，xn)T為n維隨機向量，用S=(s1，s2，…，sm)T表示線性轉換后的m維向量，假設m≤n，那么線性轉換矩陣則為m×n維，記為[WTHX]M[WTBX]。則線性轉換表示式為：



S=[WTHX]M[WTBX]X

(1)



上式中，[WTHX]M[WTBX]又稱稀疏變換矩陣，其每一個行向量類似小波變化中的小波基，線性轉換后的稀疏分量S滿足稀疏分布要求，并且向量(s1，s2，…，sm)盡可能地相互獨立。

3.2 稀疏編碼原理

Olshausen and Field 1996提出了稀疏編碼模型^[8]，稀疏編碼模型是一個線性疊加模型，他通過定義稀疏性約束來優化學習得到類似于簡單細胞響應特性的基函數。下面從兩方面來解釋稀疏編碼原理:

(1) 對作用于同一刺激的神經元群來說，稀疏編碼指在作用于同一刺激的神經元群中，并不是所有的神經元都被激活，相反，只有極少數的神經元被激活。如圖1所示，大黑斑表示神經元群中被激活的神經元。生物學的研究成果表明，稀疏編碼是一種新陳代謝能量較少的信息處理策略。

圖1 神經元群稀疏編碼示意圖

(2) 對作用于輸入刺激集合的單個神經元來說，稀疏編碼指該神經元響應的分布具有稀疏特性。根據以上所述，一個神經元群中的神經元在大部分時間都是不激活的，很自然地，單個神經元響應的概率分布將在0附近有一個峰，而尾部很扁平，如圖2中的實線所示，正態分布的曲線與之相比要平滑得多。從信息論的角度看，在具有相同均值和方差的概率分布中，正態分布具有最大的熵，而稀疏分布的熵則少得多。

圖2 單個神經元稀疏編碼示意圖

圖2中實線表示神經元響應的概率分布，而虛線是具有相同均值和方差的正態分布。

4 獨立分量分析

ICA源于盲源分離問題(Blind Source Separation，BSS)的解決。ICA的起始點基于一個非常簡單的假設，即源信號S統計獨立，同時假定源變量為非高斯分布。其基本目標就是尋找一個線性變換，使得m維觀測變量X=(x1，x2，…，xm)T經過線性變換后，輸出信號Y=(y1，y2，…，yn)T之間盡可能保持獨立。則Y就是源信號S=(s1，s2，…，sn)T的近似解，X，Y和S之間的關系如下：



X=AS(2)

Y=WX(3)



當ICA用于處理自然圖像時，就是一種特殊的稀疏編碼方式。

5 稀疏編碼的研究現狀及存在問題

稀疏編碼模型能夠表示初級視覺皮層簡單細胞外界視覺刺激圖像的過程和特征，但由于哺乳動物的視覺生理過程很復雜，在用稀疏編碼模型模擬初級視覺系統神經元的感受野時，通常做如下假設：

(1) 輸入數據具有稀疏性結構

(2) 各稀疏系數Si之間是相互對立的

(3) 稀疏變換是一種線性變換

(4) 基函數A是非奇異的

(5) 有噪聲時，稀疏分量與噪聲信號是相互獨立的

目前所做的研究都是基于上述假設的稀疏編碼模型，研究內容主要有以下幾方面：

(1) Olshausen^[9]等人把超完備基引入稀疏編碼模型，利用概率密度估計模型建模V1區感受野，并應用于時變的自然圖像數據。

(2) Tenenbaum^[13]等人提出了雙線性稀疏編碼模型。

(3) Olshausen和Simocelli^[17]從小波變換的角度對自然數據進行神經表示和有效編碼。

(4) Hoyer^[14]提出一種非負的稀疏編碼模型。

(5) Donoho^[15]等人提出的經過l∞ 范數最小化的通用字典的最佳稀疏表示法。

(6) 楊謙^[16]建立了一個基于超定完備基的簡單細胞集群稀疏編碼的計算模型，并實現了自然圖像的稀疏編碼。

由于人們目前對主視皮層V1區如何對復雜的自然環境進行有效的編碼的過程仍然知之甚少，上述稀疏編碼模型都是一種啟發式的學習方法。稀疏編碼理論主要存在以下兩個問題：

(1) 理論依據不完善：研究主視皮層Vl區的稀疏編碼首先必須借助感知神經科學的研究成果。另外，必須結合計算技術、統計學理論、估計理論、人工神經網絡等基礎理論。

(2) 神經元估計模型不精確：稀疏編碼算法必須依靠一個好的神經元的計算模型，這個計算模型必須建立在神經生理科學研究的成果上。

6 稀疏編碼的應用研究

稀疏編碼方法在盲源信號分離^[18]、語音信號處理^[19]、自然圖像特征提取^[20]、自然圖像去噪^[21]、以及模式識別^[22]等方面取得了許多成果，具有重要的實用價值。

許多研究表明，自然圖像在統計上具有冗余特性，用稀疏編碼方法可以實現自然圖像的特征提取以及消除圖像中的高斯噪聲，此方法和ICA非常相似。標準稀疏編碼模型對于描述哺乳動物主視皮層V1 區的簡單細胞活動時仍存在不足之處，一種把多維數據分解成非負稀疏分量的非負稀疏編碼算法有效地解決了這個問題。

7 結 語

人的視覺系統是一個強大而復雜的信息處理系統，人們由客觀獲得圖像信息的主要來源約占視覺信息的80%，因此模擬視覺系統視皮層神經元輸出特性的稀疏編碼理論是一個十分重要的領域。目前人們對主視皮層V1區仍了解甚少，所以有關V1區神經元編碼的研究仍處于探索階段。稀疏編碼從最初的概念雛形到理論的形成已有快50年的歷史，在各個領域取得了重大成果。稀疏編碼理論必須結合計算技術、統計學理論、估計理論、人工神經網絡等基礎理論，又必須建立在神經生理科學研究的成果上，其中還有很多尚未解決或尚未充分解決的問題，這是一個十分值得研究的領域。

參 考 文 獻

［1］Hubel D H，Wiesel T N.Receptive Fields of Single Neurons in the Cat′s Striate Cortex[J].Journal of Physiology，1959，148:547-91.

［2］Barlow H B.The Coding of Sensory Messages.Current Problems in Animal Behaviors，Chapter XIII，Cambridge Universtity Press，1961:331-360.

［3］Willshow D J，Buneman O P，Longuet-Higgins H C.Nonholographic Associative Memory[J].Nature，1969，222(5):960-962.

［4］Barlow H B.Single Units and Sensation:A Neuron Doctrine for Perceptual Psychology[J].Perception，1972:371-379.

［5］Field D J.Relations between the Statistics of Natural Images and the Response Properties of Cortical Cells[J].Journal Optical Society，1987(4):2 379-2 394.

［6］Michison G.The Organization of Sequential Memory:Sparse Representations and the Targetiong Problem.Organiztion of Neural Networks，VCH Verlagsgesellschaft，Weinheim，1988:347-367.

［7］Field D J.What the Statistics of Natural Images Tell Us about Visual Coding[J].Proc.the International Society for Optical Engineering(SPIE)，1989，1077:269-276.

［8］Olshausen B A，Field D J.Emergence of Simple-cell Receptive Field Properties by Learning a Sparse Code for Natural Images[J].Nature，1996，381:607-609.

［9］Olshausen B A，Field D J.Sparse Coding with an Overcomplete Basis Set:A Strategy Employed by V1 Vision Research，1997，37:3 311-3 325.

［10］Bell A J，Sejnowski T J.The Independent Components of Natural Scenes are Edge Filters[J].Vision Research，1997，37:3 327-3 338.

［11］Joshua B Tenenbaum，William T Freeman.Separating Style and Content with Bilinear Models[J].Neural Computation，2000，12:1 247-1 283.

［12］Bruno A Olshausen，Phil Sallee，Michael S Lewichi.Learning Sparse Image Codes Using a Wavelet Pyramid Architecture[J].Advances in Neural Information Processing Systems，2001，13:887-893.

［13］Aapo Hyvrien，Hoyer P O.A Two-layer Sparse Coding Model Learns Simple and Complex cell Receptive Fields and Topography from Natural Images[J].Vision Research，2001，41(18):2 413-2 423.

［14］Hoyer P O.Modeling Receptive Fields with Non-negative Sparse Coding.Computational Neuroscience:Trends in Research，2003，Elsevier，Amsterdam，2003.

［15］Donoho D L，Michael Elad.Optimally Sparse Representation in General Dictionaries via l∞ Minimization[J].Proceedings of the National Academy of Sciences(PNAS)，2003，100(5):2 197-2 202.

［16］楊謙，齊翔林，汪云九.視皮層V1區簡單細胞的稀疏編碼策略[J].計算物理，2001，18(2):136-143.

［17］Simoncelli E P.Vision and the Statistics of the Visual Environment[J].Current Opinion in Neurobilogy，2003，13(2):144-149.

［18］李清勇，史忠植.視覺感知的稀疏編碼理論及其應用研究[D].北京:中國科學院研究生院，2006.

［19］Tuomas Virtanen.Sound Source Separation Using Sparse Coding with Temporal Continuity Objective.Proc.ICMC，2003.

［20］Oja E，Hyvrinen A，Hoyer P.Image Feature Extraction and Denoising by Sparse Coding[J].Pattern Analysis Applications，1999，2:104-110.

［21］Hyvrinen A.Sparse Coding Shringkage:Denoising of Nongaussian Data by Maxium Likelihood Estimation[J].Neural Computation，1999，11(7):1 739-1 768.

［22］Palmer S E.Vision Science-Photons to phenomenology[M].London，MIT Press，1999.

［23］尚麗，黃德雙.稀疏編碼算法及其應用研究[D].合肥:中國科學技術大學，2007.

［24］Li Y，Cichocki A，Amari S.Sparse Component Analysis for Blind Source Separation with Less Sensors than Sources.Fourth International Symposium on Independent Component Analysis and Blind Signal Separation (ICA2003)Japan，2003:89-94.



作者簡介 莊永文 男，碩士研究生。主要研究方向為智能信息處理。

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。