參數自適應調整的稀疏貝葉斯重構算法

夏建明 楊俊安 陳 功

?

參數自適應調整的稀疏貝葉斯重構算法

夏建明*楊俊安 陳 功

(電子工程學院 合肥 230037)(安徽省電子制約技術重點實驗室 合肥 230037)

稀疏表示模型中的正則化參數由未知的噪聲和稀疏度共同決定，該參數的設置直接影響稀疏重構性能的好壞。然而目前稀疏表示問題優化求解算法或依靠主觀、或依靠相關先驗信息、或經過實驗設置該參數，均無法自適應地設置調整該參數。針對這一問題，該文提出一種無需先驗信息的參數自動調整的稀疏貝葉斯學習算法。首先對模型中各參數進行概率建模，然后在貝葉斯學習的框架下將參數設置及稀疏求解問題轉化為一系列混合L1范數與加權L2范數之和的凸優化問題，最終通過迭代優化得到參數設置和問題求解。由理論推導和仿真實驗可知，已知理想參數時，該算法與其它非自動設置參數的迭代重加權算法性能相當，甚至更優；在理想參數未知時，該算法的重構性能要明顯優于其它算法。

壓縮感知；稀疏重構；迭代重加權；稀疏貝葉斯學習；參數自動調整

1 引言

在優化算法框架之外，對稀疏正則化參數數值選擇方法的研究也陸續展開，這些方法總的來說都是從Tikhonov正則化下[17]的參數選擇方法擴展而來，主要包括Discrepancy principle[18], SURE (Stein’s Unbiased Risk Estimator)[19], GCV (Generalized Cross Validation)[20], GSURE (Generalized SURE)[21]和L-curve[22]等。但這些方法本質上需要噪聲的先驗知識，或依靠反復實驗來根據運算結果選取最佳參數。如GCV方法只能應用于高斯白噪聲條件下；Discrepancy principle和SURE需要預知噪聲方差；GSURE需要噪聲分布參數；而廣泛使用的L-curve方法依賴于實驗，運算量巨大。

為了解決正則化參數自動設置、調整的問題，本文推導了一種無需先驗信息的參數自動調整的稀疏貝葉斯學習算法。通過迭代求解一些列混合L2范數與加權L1范數之和的凸優化問題來求解SBL問題。論文將在第2節針對上述問題構建貝葉斯稀疏重構模型；接著在第3節推導參數自動調整的迭代重加權求解算法，并在第4節對算法進行收斂性分析；第5節將用數值仿真實驗驗證分析算法的重構性能；最后在第6節進行討論和小結。

2 貝葉斯稀疏重構模型

2.1 稀疏信號的概率模型構建

結合上述分層貝葉斯模型可知數據、信號以及各參數的聯合概率密度函數可表示為

2.2 貝葉斯推理

聯合概率密度函數式(6)得出的信號后驗概率分布是不可解析表達的，需采用一些近似的辦法來進行貝葉斯推理。本文采用第2類最大似然法。第2類似然函數由聯合概率密度函數對信號的邊緣化積分得到：

2.3 等效優化目標函數

為計算方便，取式(7)的對數作為優化的目標函數，去掉無關的常數項得

3 迭代重加權算法推導

由于目標函數式(12)是非凸多模的函數，所以該問題是一個非凸優化問題。本文采用構造輔助函數進行優化的思想(MM思想)。對凹函數進行凹共軛表達，通過二次型的變分表示得到優化函數的一個上界函數，該上界函數即為優化的輔助函數，然后對此輔助函數進行交替的優化求解。

3.1 輔助函數

由此可知

局部算法：固定參數求解步驟..1 初始化步驟2對于給定的，對目標函數的上界 進行優化，求得最優的： (16)步驟3 對于給定的，對目標函數的上界 進行優化得到最緊的最優的： (17)循環運行步驟2，步驟3直至收斂。

3.2 參數的交替迭代更新

代入式(19)可得等效的優化問題為

表2參數自動調整迭代重加權算法

參數自動調整迭代重加權算法：求解稀疏貝葉斯重構問題步驟1 初始化 步驟2 對于給定的，求解加權L1范數最小化問題 (22)步驟3 根據式(20)對進行更新；步驟4 對于給定的參數，根據式(17)更新；循環運行步驟2~步驟4直至收斂。

4 算法收斂性分析

從而可得

亦有

由此可得收斂時噪聲方差估計的上下界：

即在高信噪比以及稀疏度估計準確時對噪聲功率的估計可接近理想估計：

5 實驗及分析

在稀疏求解算法中，Wipf等的迭代L1, L2算法由于采用迭代重加權的策略，其重構性能要較其它算法要好，但是該算法仍然需要預先獲知噪聲的方差[18]。本文選擇與Wipf等的迭代L1, L2算法進行比較。

5.1 .實驗1

表3實驗目的與參數設置說明

對比算法比較不同算法的重構性能與稀疏度的關系比較不同算法的重構性能與迭代步數的關系 實驗1.1實驗1.2實驗1.3實驗1.4 本文算法不預設參數不預設參數不預設參數不預設參數 Wipf等的迭代L1算法非理想參數設置理想參數設置非理想參數設置理想參數設置 Wipf等的迭代L2算法非理想參數設置理想參數設置非理想參數設置理想參數設置

實驗1.2 實驗條件同實驗1.1，不同的是Wipf迭代L1, L2算法均為理想參數設置。實驗結果如圖2所示。

實驗1.4 實驗條件同實驗1.3，不同的是Wipf迭代L1, L2算法均為理想參數設置。實驗結果如圖4所示。

由圖可知，在Wipf等迭代重加權L1, L2范數最小化選擇非理想參數時，本文算法的重構性能要明顯優于這兩種算法。如圖1所示，稀疏度小于25時，本文算法的重構誤差要優于Wipf的兩種算法近100倍，稀疏度增大時，其差距逐漸減小；而在重構誤差與迭代次數關系實驗中，如圖3所示，本文

算法在第2步迭代就達到了比非理想參數設置的Wipf方法更好的重構結果；Wipf等算法在選擇理想參數時，如圖2，圖4所示，本文算法與后兩種算法的性能相當，甚至更優。實驗結果顯示了參數自動調整算法的明顯優勢。

5.2 實驗2

如圖5(a), 5(b)所示，在迭代步數定為10步時，兩算法效果差距明顯。Wipf迭代L1算法結果中，不僅非零值的位置與原信號有所不同，取值也有了較大的偏差，而本文算法能夠很好地恢復出原信號。

圖1 重構誤差與稀疏度的關系比較(Wipf非理想參數設置)

圖2 重構誤差與稀疏度的關系比較 (Wipf理想參數設置)

圖3 重構誤差與迭代次數的關系比較(Wipf非理想參數設置)

圖4重構誤差與迭代次數的關系比較(Wipf理想參數設置)

表4處理時間對比(s)

數據集Wipf等的迭代L1算法Wipf等的迭代L2算法本文算法 仿真數據集25.461.0320.71

從表4看出，由于Wipf迭代L2算法在每一次迭代中都有解析解，綜合效率最高，而Wipf迭代L1算法在每次迭代的目標函數中都增加了L1范數正則項，運算開銷較大，而本文算法由于運用了貝葉斯學習的思想，運算時間也較長，但仍然較Wipf迭代L1算法效率要高。

6 結論

當缺乏系統噪聲分布等先驗信息時，現有的稀疏重構算法無法合理設置正則化參數，進而獲得良好的重構性能。為解決這個問題，本文提出一種參數自動調整的迭代重加權混合L2-L1范數最小化算法。由理論推導和仿真實驗可知，在理想參數已知時，該算法與Wipf迭代重加權L1及L2范數最小化算法的重構性能相當，甚至更優；而在選擇非理想參數時，本文算法的重構性能要明顯優于后兩者算法。此外，本文算法在運算效率上也與其算法相當。算法收斂性分析表明，在收斂點，對噪聲方差的估計位于對噪聲方差的oracal估計和矩估計之間，在高信噪比時將接近oracal估計，這在統計意義上說明了本文算法的有效性。

[1] Candès E J, Romberg J, and Tao T. Stable signal recovery from incomplete and inaccurate measurements[J]., 2006, 59(8): 1207-1233.

[2] Candès E J and Tao T. The Dantzig selector: statistical estimation whenis much larger than[J]., 2007, 35(6): 2358-2364.

[3] Tibshirani R. Regression shrinkage and selection via the lasso: a retrospective[J]., 2011, 73(3): 273-282.

[4] Tropp J A and Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit[J]., 2007, 53(12): 4655-4666.

[5] Donoho D L, Tsaig Y, Drori I,.. Sparse solution of underdetermined systems of linear equations by Stagewise Orthogonal Matching Pursuit[J]., 2012, 58(2): 1094-1121.

[6] Dai W and Milenkovic O. Subspace pursuit for compressive sensing signal reconstruction[J]., 2009, 55(5): 2230-2249.

[7] Wipf D P. Bayesian methods for finding sparse representations[D]. [Ph. D. dissertation], UC, San Diego, 2006.

[8] Zhang Z and Rao B D.Recovery of block sparse signals using the framework of block sparse Bayesian learning[C]. The 37th IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP),La Jolla, CA, USA, 2012: 3345-3348.

[9] Zhang Z and Rao B D. Extension of SBL algorithms for the recovery of block sparse signals with intra-block correlation[J]., 2013, 61(8): 2009-2015.

[10] Qiu K and Dogandzic A. Variance-component based sparse signal reconstruction and model selection[J]., 2010, 58(6): 2935-2951.

[11] Zhang Z and Rao B D. Iterative reweighted algorithms for sparse signal recovery with temporally correlated source vectors[C]. The 36th International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Brisbane, Australia, 2011: 3932-3935.

[12] Lin Qin, Guo Wei, Fu XueYang,..MR image reconstruction by path-based sparse represention[J]., 2013, 49(1): 107-112.

[13] Wipf D and Nagarajan S. Iterative reweighted1and2methods for finding sparse solutions[J]., 2010, 4(2): 317-329.

[14] Zhang Z, Wang S, Liu D,.. EP-GIG Priors and applications in Bayesian sparse learning[J]., 2012, 13(Jun): 2031-2061.

[15] Carlin M . Directions-of-arrival estimation through Bayesian compressive sensing strategies[J]., 2013, 61(7): 3828-3838.

[16] Arberet S, Vandergheynst P, Carrillo R,..Sparse Reverberant audio source separation via reweighted analysis [J].,,, 2013, 21(7): 1391-1402.

[17] Peng J, Zhu J, Han W,.. Regularized multivariate regression for identifying master predictors with application to integrative genomics study of breast cancer[J]., 2010, 4(1): 53-77.

[18] Zhao P, Rocha G, and Yu B. The composite abso-lute penalties family for grouped and hierarchical variable selection[J]. The, 2009, 37(6A): 3468-3497.

[19] Jacob L, Obozinski G, and Vert J. Group lasso with overlap and graph lasso[C]. The 26th International Conference on

Machine Learning,Montreal, Canada, 2009: 433-440.

[20] Jenatton R, Mairal J, Obozinski G,.. Proximal methods for sparse hierarchical dictionary learning[C]. The 27th International Conference on Machine Learning, Haifa, Israel, 2010: 487-494.

[21] Liu J and Ye J. Moreau-Yosida regularization for grouped tree structure learning[C].The 24th Annual Conference on Neural Information Processing Systems, Vancouver, British Columbia, Canada, 2010: 1459-1467.

[22] Hao D N, Chuong L H, and Lesnic D. Heuristic regularization methods for numerical differentiation[J].&, 2012, 63(4): 816-826.

[23] Seeger M and Nickisch H . Compressed sensing and Bayesian experimental design[C]. International Conference on Machine Learning, Omni Press, 2008: 912-919.

夏建明： 男，1982年生，博士，研究方向為模式識別、機器學習、壓縮感知.

楊俊安： 男，1965年生，教授，博士生導師，研究方向為信號處理、智能計算等.

陳 功： 男，1982年生，博士生，研究方向為壓縮感知、統計學習.

Bayesian Sparse Reconstruction with Adaptive Parameters Adjustment

Xia Jian-mingYang Jun-an Chen Gong

(,230037,) (,,230037,)

The regularization parameter of sparse representation model is determined by the unknown noise and sparsity. Meanwhile, it can directly affect the performances of sparsity reconstruction. However, the optimization algorithm of sparsity representation issue, which is solved with parameter setting by expert reasoning, priori knowledge or experiments, can not set the parameter adaptively. In order to solve the issue, the sparsity Bayesian learning algorithm which can set the parameter adaptively without priori knowledge is proposed. Firstly, the parameters in the model is constructed with the probability. Secondly, on the basis of the framework of Bayesian learning, the issue of parameter setting and sparsity resolving is transformed to the convex optimization issue which is the addition of a series of mixture L1 normal and the weighted L2 normal. Finally, the parameter setting and sparsity resolving are achieved by the iterative optimization. Theoretical analysis and simulations show that the proposed algorithm is competitive and even better compared with other parameter non-adjusted automatically iterative reweighted algorithms when ideal parameter is known, andthe reconstruction performance of the proposed algorithm is significantly better than the other algorithms when choosing the non-ideal parameters.

Compressive sensing; Sparse signal reconstruction; Iterative reweighting; Sparse Bayesian learning; Parameters adjust automatically

TN911.72

A

1009-5896(2014)06-1355-07

10.3724/SP.J.1146.2013.00629

夏建明 jianmingeei@163.com

2013-05-09收到，2014-01-15改回

安徽省自然科學基金(1208085MF94, 1308085QF99)和國家自然科學基金(61272333) 資助課題