基于受限玻爾茲曼機的壓縮感知方法研究

廖志

摘要：該文提出了一種心電信號的壓縮感知方法，該方法利用受限玻爾茲曼機的表征能力來模擬同一類信號的稀疏模式的先驗分布。然后，將確定的概率分布用于最大后驗方法以重構信號。從訓練數據集中學習先驗分布的參數。此方法的旨在是模擬稀疏表示系數之間的高階統計依賴關系，最終達到改進重構的目的。在Physikalisch-Technische Bundesanstalt（PTB） Diagnostic心電信號數據庫上驗證了所提出的方法的性能。

關鍵詞：心電信號;壓縮感知方法;受限玻爾茲曼機

中圖分類號：TP393? ? ? ? 文獻標識碼：A? ? ? ? 文章編號：1009-3044（2018）35-0262-03

在過去數十年，壓縮傳感已經成為一個廣泛的研究領域，因為它具有從一小組線性投影中完美地重構稀疏信號的潛能。從本質上講，壓縮感知表示在某些條件下，信號的采樣數遠遠少于香農 - 奈奎斯特定理的規定的采樣數。當前，壓縮感知領域已經擴展到需要結構化信號模型的新應用，這些模型已不僅是簡單的稀疏模型，如心電信號。盡管心電（ECG）信號具有豐富的結構，但大多數先前的心電信號的壓縮感知工作僅利用信號稀疏性，并沒有利用信號的結構信息。

在本文中，提出的方法使用受限玻爾茲曼機（RBM）學習待恢復信號的稀疏模式的先驗分布。然后，將確定的概率分布用于最大后驗方法（MAP）以重建信號。在此方法中，需要與感興趣的信號相同類別的先驗訓練數據，并將獲得稀疏模式先驗分布的過程稱為訓練階段。在訓練階段，采用受限玻爾茲曼機（RBM）的目的主要包含兩方面。首先，它們具有強大的學習能力; 第二，使用對比分歧算法訓練可以有效地實現模型參數的學習[1]-[3]。實際上，Le Roux等人[1]表明受限玻爾茲曼機（RBM）可以模擬任何離散分布。此外，除非受限玻爾茲曼機（RBM）已經完美地對數據建模，否則添加隱藏單元會增強模型的性能。

除了訓練階段之外，所提出的方法的另一個貢獻與重構算法有關。將確定的先驗用于最大后驗的重建方法，由于復雜度隨信號長度呈指數增加，因此獲得精確的最大后驗（MAP）估計可能變得不可行。為了克服這個限制，我們提出了一種貪婪的方法，通過修改[4]中提出的基于正交匹配追蹤的算法來實現，以最大化稀疏模式的后驗分布。

在Physikalisch-Technische Bundesanstalt（PTB） Diagnostic心電信號數據庫上驗證方案的性能。實驗結果包括與基追蹤去噪算法（BPDN）、基追蹤算法（BP）、正交匹配算法（OMP）、硬迭代閾值算法（IHT）的比較。

1 方法詳述

1.1 受限玻爾茲曼機

受限玻爾茲曼機屬于概率生成模型，其目的是學習訓練數據的聯合分布。受限玻爾茲曼機是一種無向二分圖模型，由一層二元隨機隱藏單元[[h1，h2，...，hP]T]和一層隨機可見單元[[v1，v2，...，vJ]T]組成。可見層表示需要被建模的數據，隱藏層則捕獲在可見單元處觀察到的高階數據相關性。在我們的方法中，兩層均服從伯努利分布，且通過權重矩陣[WJ×P]連接，結構如圖1所示。

在受限玻爾茲曼機中，可見層的概率分布被定義為：

1.2 基于受限玻爾茲曼機的壓縮感知方法

我們最近提出的方案采用受限玻爾茲曼機（RBM）來模擬信號稀疏模式的概率分布，并將之稱為基于受限玻爾茲曼機的壓縮感知（RBM-CS）方案。該方案的主要優點是它挖掘稀疏系數之間的高階依賴性，最終轉化為減少必要測量的數量以實現精確重建。圖2給出了RBM-CS方案的框圖，其包括兩個階段，即訓練階段和壓縮感測階段。本節提供了每個階段的詳細信息。

1.2.1 壓縮感知階段

在本文中，[x∈RN]代表原始信號，[D∈RN×Q]是稀疏變換矩陣，[x]在稀疏變換[D]下是稀疏的，即可表示為：[x=Ds+r]，其中，[s]和[r]分別表示稀疏表示和稀疏誤差。稀疏誤差[r]服從高斯分布[N（0，Σr）]。稀疏表示[s]的支持，維度為[K]，表示為[θ]。[sθ]表示稀疏表示[s]的非零系數。對于，稀疏表示[s]的每個非零系數[si，i∈θ]均服從均在為零均值，方差為[σ2si]的高斯分布。因此，在給定[θ]下的[sθ]的概率分布被定義為[sθ|θ～N（0，Σθ）]，[Σθ∈RK×K]是一個對角矩陣，其對角上的元素為非零系數[si，i∈θ]的方差[σ2si]。

稀疏模式[S]被定義為[S∈RN]，[Si=1，si≠00，si=0]。

在本文中，我們考慮傳統的基于合成的壓縮感知方法，旨在重建信號[x]的稀疏表示，從欠采樣和噪聲測量的觀測[y=Φx+n]。[ΦM×N]為測量矩陣，[n]為零均值和方差[σ2n]的加性高斯采樣噪聲。于是，完整的壓縮感知框架為：[y=Ξs+η]，其中，[Ξ=ΦD]，[η=?r+n]。綜上所述，在給定[θ]的情況下[y]的概率分布被定義為：

在RBM-CS方案中，采用最大后驗（MAP）估計恢復稀疏表示[s]。[s]的MAP估計需要知道支持[θ]，其估計如下：

其中[p（θ）]為受限玻爾茲曼機（RNM）可見單位上的概率分布，可由公式（1）計算得出。因此，[sθ]為[s]的最大后驗估計，直接從后驗的平均值獲得：

為了求解（4）獲得支持的估計[θ]，RBM-CS方案使用基于正交匹配追蹤（OMP）的貪婪追蹤算法[5]。該算法首先將支持初始化為空集。然后，它搜索可以添加到支持的元素[i]，以便在每次迭代時最大化[p（θ|y）]。當迭代次數超過預定義的稀疏度閾值時，算法停止。一旦計算出信號支持，就通過最大后驗（MAP）（7）估計稀疏表示[sθ]。

1.2.2 訓練階段

在訓練階段，需要進行構造訓練數據集和信號稀疏模式先驗分布的參數學習。在本文中，我們考慮正交基作為稀疏變換矩陣。

讓[G=[G·1，G·2，...，G·B]∈RN×B]表示和信號[x]屬于同一類[N]維訓練數據集。對于每一個[G·j]，有[G·j=DA·j]，其中[A·j]為[G·j]在[D]中的表示。令[A·j]為保持[A·j]中最大的[K]個系數（在量綱上）不變，其它賦值為零。因此，信號[G]可以被建模為[G=DA+E]，其中[E]是稀疏誤差矩陣。

向量集合[U=[u1，u2，...，uB]]表示信號[G=[G·1，G·2，...，G·B]∈RN×B]的稀疏模式，可由將[A]中非零系數置為1獲得。稀疏模式[U]作為訓練數據用于訓練受限波爾茨曼機模型。在本方法中，對比分歧算法用于訓練波爾茨曼機模型[6]。此外，稀疏編碼集合[A]可以被用來估計信號[x]稀疏表示非零系數的方差[σ2si]，

對于協方差矩陣[Σr]的估計，假定稀疏誤差系數[ri]和[rj]（[i≠j]）是獨立的。因此，協方差矩陣[Σr]是一個對角矩陣，其每個元素為稀疏表示誤差稀疏的方差[σ2ri]，[i=1，2，...，N]。[∑r]表示[Σr]的估計，根據稀疏誤差矩陣[E=[E·1，E·2，...，E·B]]估計而來。因此，協方差矩陣[Σr]對角上的每個元素的估計值為：

從而可得到[Ση]的估計為[∑η=Φ∑rΦT+σ2nI]。

2 實驗結果

為了驗證RBM-CS方案改善壓縮感知系統性，對Physikalisch-Technische Bundesanstalt（PTB） Diagnostic心電信號數據庫進行了實驗。該數據集由具有不同心臟病的各種信號組成，例如瓣膜性心臟病和心律失常。我們已經考慮所有549個診斷數據，并且選擇了第一個通道數據實例來評估算法性能。測量矩陣采用隨機高斯矩陣。每次實驗重復執行50次，每次隨機測量矩陣的不同實現，呈現的結果50次實驗的平均值。重建SNR（ reconstruction SNR，R-SNR）用作一維信號的性能度量。重建SNR定義為：

其中，[x]和[x]分別表示為原始信號和重構信號。

該實驗的訓練和測試數據集由窗口大小[N=512]的8475和1500個段組成，從數據集PTBD中隨機提取。從每個記錄中提取相同數量的段。使用受限玻爾茲曼機（RBM）來對稀疏圖案的先驗分布進行建模，其中隱藏單元的數量被設置為等于可見單元。高斯測量矩陣[?]用于對測試數據集進行采樣。加性高斯噪聲，零均值和方差[σ2n=1]。采用4折小波變換（Daubechies-4 wavelet transform）作為稀疏矩陣。為了更方便地比較算法，所有算法的稀疏度閾值固定為[K=0.125×N]。

由圖3可知，RBM-CS的算法具有優于其他傳統壓縮感知方法的重建性能，并且需要顯著更少的測量來實現精確的重建。尤其是在低采樣率的情況下，RBM-CS的性能提升尤為明顯。為了更好地顯示RBM-CS方法對于心電信號的重構，選取PTBD數據中編號為018的病人的數據，該患者患有心肌病/心力衰竭為測試數據，觀測各算法在采樣率為0.2（即[M=0.2×N]）下的重構效果。如圖4所示，使用RBM-CS算法的恢復信號比傳統壓縮感知算法獲得的信號更好地估計原始信號。

3 結束語

在本文中，展示了壓縮感知系統如何利用受限玻爾茲曼機捕獲輸入數據的復雜統計結構的能力。統計依賴性是信息性的，利用它們可以改善重建性能。受限玻爾茲曼機用于模擬信號稀疏模式的先驗分布。這種先驗被最大后驗估計（MAP）用于重建。通過實驗顯示，所提出的方案在重建結果時具有顯著優勢。尤其是在采樣率極低的情況下，性能提升尤為明顯。下一步可將方案用于圖片、語音和雷達信號，觀測重構性能是否得到充分提升。

參考文獻：

[1] N. Le Roux and Y. Bengio.Representational power of restricted Boltzmann machines and deep belief networks[J].Neural Computer， 2008，20（6）：1631-1649.

[2] I. Sutskever and G. Hinton.Deep， narrow sigmoid belief networks are universal approximators[J].Neural Comput.， 2008，20（11）：2629-2636.

[3] Y. Bengio.Learning deep architectures for AI.Found. Trends Mach. Learn.， 2009，2（1）：1-127.

[4] T. Peleg， Y. Eldar， and M. Elad.Exploiting statistical dependencies in sparse representations for signal recovery[J].IEEE Trans. Signal Process.， 2012，60（5）：2286-2303.

[5] L. Polanía， K. Barner， Exploiting restricted Boltzmann machines and deep belief networks in compressed sensing， IEEE Trans. Signal Process，2017，65 （17）：4538-4550.

[6] G. Hinton， Training products of experts by minimizing contrastive divergence， Neural Comput. 14 （8） （2002） 1771-1800.

[通聯編輯：唐一東]