一種改進(jìn)的字典學(xué)習(xí)的教室圖像超分辨率重建方法

摘" 要：目前，教室的成像因受設(shè)備性能低和環(huán)境復(fù)雜的影響，會(huì)出現(xiàn)教學(xué)環(huán)境下對(duì)師生認(rèn)識(shí)不全的情況。為了充分利用圖像信息，全面細(xì)致地了解教學(xué)情況，文章提出一種改進(jìn)的字典學(xué)習(xí)的教室圖像超分辨率重建方法。通過(guò)采用字典學(xué)習(xí)算法訓(xùn)練自構(gòu)的教室圖像數(shù)據(jù)集得到對(duì)應(yīng)的低秩字典和稀疏字典，使用訓(xùn)練的兩個(gè)字典重建訓(xùn)練集圖像，再參與訓(xùn)練，得到殘差字典，然后運(yùn)用訓(xùn)練得到的三個(gè)字典重建低分辨率圖像，最終得到高分辨率圖像。將提出的算法與幾種經(jīng)典算法進(jìn)行對(duì)比實(shí)驗(yàn)，可視化和量化結(jié)果均表明，提出的算法在PSNR和SSIM上都獲得了顯著的提升。

關(guān)鍵詞：低秩矩陣分解；局部線性嵌入；殘差字典；圖像超分辨率

中圖分類號(hào)：TP391.4" 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2024）12-0027-05

An Improved Dictionary Learning Super-resolution Reconstruction Method for Classroom Images

DING Yuxiang

（School of Information and Artificial Intelligence， Anhui Business College， Wuhu" 241002， China）

Abstract： At present， the imaging of classrooms is affected by low equipment performance and complex environments， resulting in incomplete understanding of teachers and students in the teaching environment. In order to fully utilize image information and comprehensively and meticulously understand the teaching situation， this paper proposes an improved dictionary learning super-resolution reconstruction method for classroom image. By using dictionary learning algorithms to train a self constructed classroom image dataset， corresponding low rank and sparse dictionaries are obtained. The two trained dictionaries are used to reconstruct the training set images， and then participate in training to obtain residual dictionaries. Then， the three trained dictionaries are used to reconstruct low resolution images， ultimately high-resolution images are obtained. Comparative experiments are conducted between the proposed algorithm and several classic algorithms， and both visual and quantitative results show that the proposed algorithm achieved significant improvements in both PSNR and SSIM.

Keywords： low rank matrix factorization; locally linear embedding; residual dictionary; image super-resolution

0" 引" 言

圖像超分辨率重建主要是對(duì)圖像退化過(guò)程的研究和應(yīng)用。圖像重建的方法就是利用已知的先驗(yàn)知識(shí)，對(duì)損失的高頻細(xì)節(jié)信息進(jìn)行預(yù)估，實(shí)現(xiàn)圖像擴(kuò)大尺度后依然能夠保留高質(zhì)量圖像信息的目標(biāo)。圖像超分辨率重建技術(shù)在很多領(lǐng)域（如遙感圖像領(lǐng)域、安防監(jiān)控領(lǐng)域、醫(yī)療圖像領(lǐng)域、軍事領(lǐng)域、影像視頻領(lǐng)域）得到了關(guān)注和應(yīng)用。在日常生活中，人們對(duì)高分辨率圖像的需求越來(lái)越迫切。使用超分辨率重構(gòu)技術(shù)能夠提高信號(hào)的清晰度，既不用考慮兼容性問(wèn)題，又節(jié)約了帶寬和技術(shù)投入成本，已經(jīng)被越來(lái)越多的研究人員所關(guān)注。

在重建算法中，基于學(xué)習(xí)的算法憑借重建性能的優(yōu)越性，成為圖像超分辨率重建領(lǐng)域主流研究方向。這是因?yàn)榛趯W(xué)習(xí)的算法是使用先驗(yàn)知識(shí)來(lái)指導(dǎo)高分辨率圖像的重建。通過(guò)對(duì)圖像樣本的學(xué)習(xí)，能夠獲取低分辨率圖像與對(duì)應(yīng)高分辨率圖像之間的映射關(guān)系，將映射關(guān)系作為先驗(yàn)知識(shí)應(yīng)用于圖像重建可以重建高分辨率圖像的細(xì)節(jié)信息，提升重建圖像的質(zhì)量。國(guó)內(nèi)外許多學(xué)者都在超分辨率圖像重構(gòu)領(lǐng)域做出了卓越的貢獻(xiàn)。2010年，Yang等[1]引入壓縮感知理論，采用字典學(xué)習(xí)和稀疏表示的方法來(lái)處理樣本圖像，基于自然圖像的稀疏特性，學(xué)習(xí)得到圖像塊的稀疏表示系數(shù)和高低分辨率字典來(lái)重建圖像，最終取得了不錯(cuò)的效果。2016年，Dong等[2]引入卷積神經(jīng)網(wǎng)絡(luò)理論，在重建高分辨率圖像的過(guò)程中，使用三層卷積神經(jīng)網(wǎng)絡(luò)擬合了高低分辨率圖像的映射關(guān)系，從而恢復(fù)了圖像的邊緣細(xì)節(jié)信息，在取得顯著效果的同時(shí)也為后續(xù)的研究提供了全新的思路和方法。此后，Zeyde等[3]開(kāi)始使用K-SVD訓(xùn)練字典，這種方法得到的過(guò)完備字典在訓(xùn)練時(shí)間上遠(yuǎn)遠(yuǎn)短于之前的字典，精度也有一定的提升。Timofte等[4]則將流形學(xué)習(xí)與稀疏表示的字典相結(jié)合，充分利用兩種方法各自的優(yōu)勢(shì)，一是保證了圖像重建的效果，二是縮短了圖像重建的時(shí)間。2021年，融合鄰域回歸和稀疏表示的圖像超分辨率重建算法[5]關(guān)注圖像內(nèi)部的特征信息，訓(xùn)練得到稀疏字典和低秩字典，用于重建圖像，顯著提升了重建圖像的質(zhì)量。隨著圖像超分辨率算法[6-11]的發(fā)展，其應(yīng)用范圍正變得越來(lái)越廣。

然而，上述算法更多的是對(duì)所有場(chǎng)景的應(yīng)用，所使用訓(xùn)練集的覆蓋范圍較廣，對(duì)教室場(chǎng)景特征信息映射關(guān)系的獲取不全。另外，上述算法在重建過(guò)程中容易丟失細(xì)節(jié)信息。為此，本文提出一種改進(jìn)的字典學(xué)習(xí)的教室圖像超分辨率重構(gòu)算法。通過(guò)對(duì)已有圖像超分辨率重建模型加以改進(jìn)并更新訓(xùn)練集，加強(qiáng)了對(duì)圖像細(xì)節(jié)信息的構(gòu)建，提升了重建算法的性能。

1" 改進(jìn)的圖像超分辨率重建模型

為了更好地重建教室圖像，使用教室圖像作為訓(xùn)練集，充分學(xué)習(xí)了教室場(chǎng)景下的圖片，使訓(xùn)練得到的字典包含更多有關(guān)教室圖像重建的特征信息。利用圖像內(nèi)部不同的特征信息將訓(xùn)練集圖像分解為低秩部分和稀疏部分，分別訓(xùn)練得到低秩字典和稀疏字典，再對(duì)訓(xùn)練集圖像進(jìn)行下采樣得到低分辨率圖像，然后結(jié)合訓(xùn)練得到字典重建高分辨率圖像，將重建之后的圖像與原訓(xùn)練集圖像做差得到易缺失細(xì)節(jié)信息的殘差圖像，接下來(lái)對(duì)原圖像和殘差圖像進(jìn)行聯(lián)合訓(xùn)練得到殘差字典，最后再使用訓(xùn)練得到的低秩字典、稀疏字典和殘差字典重建低分辨率圖像，得到最終的高分辨率圖像，具體過(guò)程如下。

1.1" 訓(xùn)練階段

訓(xùn)練階段首先需要使用低秩分解對(duì)圖像進(jìn)行處理，將樣本訓(xùn)練集的圖像分解為低秩部分Ha和稀疏部分He：

（1）

再通過(guò)對(duì)原圖像進(jìn)行先下采樣再上采樣的處理，得到相同尺寸的高分辨率圖像和對(duì)應(yīng)的模糊圖像Yl：

（2）

其中，v表示隨機(jī)噪聲，L表示高低分辨率圖像的映射關(guān)系矩陣。由于圖像低秩部分含有圖像的大部分信息，本文采用字典學(xué)習(xí)的方法對(duì)圖像的低秩部分進(jìn)行處理，將Ha的圖像塊集" 和Yl的圖像塊集" 作為字典學(xué)習(xí)的訓(xùn)練集。

對(duì)于圖像塊集，首先使用PCA方法對(duì)" 降維得到對(duì)應(yīng)的圖像塊訓(xùn)練集 ，然后使用KSVD算法處理 ，通過(guò)不斷迭代求出最優(yōu)解，這樣就能得到稀疏系數(shù)" 和對(duì)應(yīng)的低分辨率字典Dl：

（3）

根據(jù)高低分辨率圖像具有相同稀疏系數(shù)這一屬性，能夠得到對(duì)應(yīng)的高分辨率字典 ，可以通過(guò)求解下面的最優(yōu)化問(wèn)題得到：

（4）

對(duì)于圖像的稀疏部分同樣采用上述方法進(jìn)行學(xué)習(xí)，可由解下面的最優(yōu)化問(wèn)題得到：

（5）

然后使用訓(xùn)練得到的字典重建訓(xùn)練集圖像Yc，采用字典學(xué)習(xí)的方法進(jìn)行學(xué)習(xí)，將Hh和Yc的圖像塊集" 和" 作為字典學(xué)習(xí)的訓(xùn)練集。采用類似的方法學(xué)習(xí)對(duì)應(yīng)的殘差字典：

（6）

通過(guò)字典訓(xùn)練，最終得到低分辨率圖像關(guān)于重建的圖像低秩部分、圖像稀疏部分、圖像殘差部分的字典對(duì) 。訓(xùn)練過(guò)程如圖1所示。

1.2" 重建階段

在重建階段，需要將給定的低分辨率圖像Zl重建為高分辨率圖像，重建過(guò)程如下：

1）先將圖像Zl擴(kuò)大到指定大小，得到圖像Yl。

2）將圖像Yl分塊得到圖像塊集 。

3）對(duì)于圖像塊集 ，利用字典Dl得到稀疏系數(shù) ，再依據(jù)相同的稀疏系數(shù)并結(jié)合圖像低秩部分的字典" 得到對(duì)應(yīng)的低秩部分圖像塊集" ，這樣就能得到高分辨率圖像的低秩部分Ha。

4）在低分辨率字典Dl中依據(jù)鄰域嵌入算法的原理，利用在低分辨率空間學(xué)習(xí)得到的LLE重構(gòu)權(quán)重重新構(gòu)建高分辨率空間的圖像。對(duì)于任一低分辨率圖像塊" ，通過(guò)對(duì)重構(gòu)誤差做極小化來(lái)計(jì)算LLE重構(gòu)權(quán)值系數(shù) ：

（7）

高分辨率圖像稀疏部分的圖像塊" 可由對(duì)應(yīng)的低分辨率圖像塊" 結(jié)合權(quán)重得到：

（8）

從而得到高分辨率圖像的稀疏部分He。

5）融合圖像Ha和圖像He，得到重建的高分辨率圖像Hh，但此時(shí)恢復(fù)的高頻信息不足，因此再利用學(xué)習(xí)到的殘差字典對(duì){Dc，Dh}處理重建的高分辨率圖像Hh，得到最終的高分辨率圖像Yh，具體過(guò)程如圖2所示。

2" 實(shí)驗(yàn)結(jié)果與分析

2.1" 實(shí)驗(yàn)參數(shù)設(shè)置

實(shí)驗(yàn)平臺(tái)為處理器Intel Core i5-9400@2.90 GHz，內(nèi)存為8 GB的64位Windows 10專業(yè)版，MATLAB R2016a。圖像訓(xùn)練集為自構(gòu)建的46幅圖片。設(shè)定低秩平衡因子為0.45，學(xué)習(xí)字典的尺度大小為1 024，KSVD迭代次數(shù)為20。

2.2" 評(píng)價(jià)指標(biāo)

在評(píng)估圖像超分辨率重建算法的有效性時(shí)，通常使用的是PSNR（峰值信噪比）和SSIM（結(jié)構(gòu)相似性）這兩項(xiàng)評(píng)價(jià)指標(biāo)。由于所得到的結(jié)果不受外界因素的干擾，能夠準(zhǔn)確客觀地驗(yàn)證圖像超分辨率重建算法是否有效，從而做出公正統(tǒng)一的評(píng)價(jià)。兩個(gè)指標(biāo)的表達(dá)式分別為：

（9）

（10）

重建圖像的質(zhì)量越好，PSNR值越高。重建圖像與原始圖像的相似程度越高，SSIM的值越接近于1。

2.3" 實(shí)驗(yàn)結(jié)果與分析

字典學(xué)習(xí)的效果會(huì)受訓(xùn)練集的影響。現(xiàn)有字典大都采用的是覆蓋范圍較廣的數(shù)據(jù)集，比如Set14 [3]、Set5 [3]、BSD100 [4]、Urban100 [4]等。本文是針對(duì)教室這一場(chǎng)景，因此使用的是教室圖片構(gòu)成的訓(xùn)練集和測(cè)試集。為了研究自構(gòu)建訓(xùn)練集和經(jīng)典訓(xùn)練集對(duì)測(cè)試集重建效果的影響，使用自構(gòu)建的測(cè)試集對(duì)結(jié)果進(jìn)行驗(yàn)證分析。

實(shí)驗(yàn)中參與訓(xùn)練的圖像塊大小為3×3，放大倍數(shù)為3，鄰域嵌入?yún)?shù)K = 24，平衡因子為0.45，將字典的尺度分別設(shè)置為128、256、512、1 024，使用的算法為經(jīng)典的Zeyde算法。實(shí)驗(yàn)結(jié)果如表1所示，由實(shí)驗(yàn)結(jié)果不難發(fā)現(xiàn)自構(gòu)建的訓(xùn)練集在字典精度上有所提升。

為了驗(yàn)證所提算法的有效性，本節(jié)采用自構(gòu)建教室圖片作為訓(xùn)練集，分別對(duì)圖片進(jìn)行了放大3倍和放大4倍的實(shí)驗(yàn)，并將本章算法與幾種典型的圖像超分辨率重建算法效果進(jìn)行了對(duì)比。其中，作為對(duì)比的SR算法包括Zeyde [3]、NE+LLE [4]和CNASSR [5]，使用圖像評(píng)價(jià)中最常用的PSNR和SSIM指標(biāo)進(jìn)行客觀評(píng)價(jià)。從實(shí)驗(yàn)結(jié)果可以看出，提出的算法相比其他算法在重建圖像的質(zhì)量上有明顯的提升，如表2所示。

最后，將提出的算法與其他算法進(jìn)行對(duì)比實(shí)驗(yàn)，對(duì)自構(gòu)建的測(cè)試集進(jìn)行圖像超分辨率重建，使用PSNR和SSIM作為客觀評(píng)價(jià)標(biāo)準(zhǔn)，結(jié)果如圖3和圖4所示。在主觀評(píng)估方面，通過(guò)人眼觀察實(shí)驗(yàn)結(jié)果，會(huì)發(fā)現(xiàn)在重建圖像的邊緣效果上，提出的算法相比其他算法恢復(fù)的效果更好，如圖5和圖6所示，且與上述客觀評(píng)估結(jié)果相統(tǒng)一。實(shí)驗(yàn)結(jié)果表明提出的算法通過(guò)恢復(fù)更多的高頻細(xì)節(jié)信息，能夠使重建圖像的質(zhì)量得以提升。

3" 結(jié)" 論

為了提升教室圖像的重建效果，提出一種改進(jìn)的字典學(xué)習(xí)的教室圖像超分辨率重構(gòu)算法。通過(guò)使用自構(gòu)建的教室圖像訓(xùn)練集提升了字典的精度，再依據(jù)現(xiàn)有模型重建高分辨率圖像，但存在高頻信息恢復(fù)不足的情況，從而改進(jìn)模型，增加了殘差字典的訓(xùn)練，進(jìn)一步提高圖像細(xì)節(jié)信息的重建。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，改進(jìn)后的算法在放大尺度為3、4的客觀和主觀評(píng)價(jià)標(biāo)準(zhǔn)上都有明顯的提升。

參考文獻(xiàn)：

[1] YANG J C，WRIGHT J，HUANG T，et al. Image Super-resolution via Sparse representation [J].IEEE Transactions on Image Processing，2010，19（11）：2861-2873.

[2] DONG C，LOY C C，HE K M，et al. Image Super-Resolution Using Deep Convolutional Networks [J/OL].arXiv：1501.00092v3 [cs.CV].[2023-09-06].https：//arxiv.org/abs/1501.00092.

[3] ZEYDE R，ELAD M，PROTTER M. On Single Image Scale-up Using Sparse-Representations [C]//Proceedings of the 7th International Conference on Curves and Surfaces. [S.l.]：Springer，2010：711–730.

[4] TIMOFTE R，DE V，GOOL L V. Anchored Neighborhood Regression for Fast Example-Based Super-Resolution [C]//2013 IEEE International Conference on Computer Vision. Sydney：IEEE，2013：1920-1927.

[5] 丁玉祥，卞維新，接標(biāo)，等.融合鄰域回歸和稀疏表示的圖像超分辨率重構(gòu) [J].計(jì)算機(jī)工程與應(yīng)用，2021，57（2）：230-236.

[6] 蔡體健，彭瀟雨，石亞鵬，等.通道注意力與殘差級(jí)聯(lián)的圖像超分辨率重建 [J].光學(xué)精密工程，2021，29（1）：142-151.

[7] 陳貴強(qiáng)，何軍.自然場(chǎng)景下遙感圖像超分辨率重建算法研究 [J].計(jì)算機(jī)科學(xué)，2022，49（2）：116-122.

[8] 宋全博，李揚(yáng)科，范業(yè)瑩，等.先驗(yàn)GAN的CBCT牙齒圖像超分辨率方法 [J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2023，35（11）：1751-1759.

[9] 柏正堯，陶勁宇.采用偽3D卷積網(wǎng)絡(luò)的腦部MRI圖像超分辨率重建 [J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2022，34（2）：208-216.

[10] 程德強(qiáng)，陳杰，寇旗旗，等.融合層次特征和注意力機(jī)制的輕量化礦井圖像超分辨率重建方法 [J].儀器儀表學(xué)報(bào)，2022，43（8）：73-84.

[11] 林毅，周芃，陳彥明.基于語(yǔ)義注意力的醫(yī)學(xué)圖像超分辨率方法 [J].計(jì)算機(jī)科學(xué)，2023，50（S2）：1017-1022.

作者簡(jiǎn)介：丁玉祥（1994—），男，漢族，安徽蕪湖人，助教，碩士，研究方向：機(jī)器學(xué)習(xí)與圖像處理。