張 臏, 張運(yùn)杰, 白明明
(大連海事大學(xué)理學(xué)院, 大連 116026)
稀疏編碼算法(sparse coding, SC)是解決線性逆問(wèn)題的有效算法[1],其中Daubechies等[2]所提出的迭代收縮閾值算法(iterative shrinkage thresholding algorithms, ISTA)是最經(jīng)典的稀疏編碼算法。
ISTA算法結(jié)合Landweber迭代算法完成迭代,并采用使用加權(quán)展開(kāi)式來(lái)代替?zhèn)鹘y(tǒng)的懲罰項(xiàng)。ISTA算法雖然能夠有效解決稀疏編碼問(wèn)題,但是算法該算法收斂速度卻很慢,為進(jìn)一步提升ISTA算法收斂速率,Beck等[3]提出快速迭代收縮閾值算法(fast iterative shrinkage thresholding algorithm, FISTA)。FISTA算法中新編碼向量與原編碼向量之間呈線性關(guān)系,該算法保留了ISTA的計(jì)算簡(jiǎn)單性,并且在理論上和實(shí)踐上均被證明具有比ISTA算法更好的全局收斂速度,有效提升了ISTA算法整體收斂速度。為進(jìn)一步提升ISTA這一類算法計(jì)算效率,Li等[4]提出坐標(biāo)下降算法(coordinate descent method, CoD)。CoD算法在每次迭代中只對(duì)精心選擇的編碼向量中某一子向量進(jìn)行優(yōu)化,直至其收斂為止。這樣一來(lái),算法相比之前FISTA算法進(jìn)一步降低了獲取最優(yōu)稀疏編碼所需計(jì)算復(fù)雜度。Gregor等[5]、Koray等[6]提出基于學(xué)習(xí)的迭代收縮閾值算法 (learned iterative shrinkage thresholding algorithm, LISTA)。LISTA算法通過(guò)結(jié)合常規(guī)方法所得編碼向量,以訓(xùn)練參數(shù)化的非線性編碼器來(lái)預(yù)測(cè)最優(yōu)稀疏編碼。
傳統(tǒng)稀疏編碼算法是將圖像整體分為若干過(guò)冗余圖像塊,然后基于所有過(guò)冗余圖像塊訓(xùn)練所需字典。這樣一來(lái)所學(xué)習(xí)到的字典中會(huì)含有大量的冗余信息,從而最終降低了所得目標(biāo)圖像質(zhì)量。Kavukcuoglu等[7]提出卷積形式的坐標(biāo)下降算法(convolutional extension to coordinate descent sparse coding, CCoD),該算法在卷積訓(xùn)練過(guò)程中通過(guò)使用大窗口代替小窗口以減少過(guò)冗余信息。康傳利等[8]提出可以從平滑角度出發(fā)來(lái)去除噪聲。……