超分辨率方法在復雜棉花葉片圖像的比較研究

趙露苗陳立平

(1.塔里木大學信息工程學院，新疆 阿拉爾 843300；2.塔里木大學現代農業工程重點實驗室，新疆 阿拉爾 843300)

引言

在機器識別方面，農業中的田間數字圖像處理，由于受到風沙、雨水、光照及不同生長期對生物識別特征的影響，往往沒有辦法采集到邊緣和紋理信息清晰、與真實自然圖像接近的高分辨率圖像。低分辨率圖像會導致計算機在處理圖像時，難以從圖像中獲得相應的有用信息，可能會造成計算機視覺處理算法失去作用或者做出錯誤的判斷，且低分辨率圖像不能充分發揮高分辨率顯示設備的性能，沒有辦法滿足人們對高清晰度和高分辨率圖像的視覺感受需求[1]。超分辨率重建旨在從低分辨率圖像中恢復出高分辨率圖像，從而提高圖像的清晰度和細節表現力。在農業領域，尤其是棉花產業，對作物葉片圖像的超分辨率重建有著重要的應用價值。清晰、細膩的葉片圖像有助于更好地分析作物生長狀況，預測產量，為農業生產提供有力支持。

傳統的方法主要包括基于插值的方法和基于重建的方法，這些方法在處理復雜紋理和邊緣時，往往存在一定的局限性[2]。近年來，隨著深度學習技術的飛速發展，特別是深度卷積神經網絡(CNN)和生成對抗網絡(GAN)的出現，超分辨率重建取得了顯著的進展，不僅提高了重建效果，還提高了計算效率，使得實時應用成為可能。因此，研究農業超分辨率重建技術，放大、提高棉花圖像質量，為棉田目標檢測提供支撐技術，對于圖像識別和后期的處理具有重要的價值與意義。

1 超分辨率重建技術與方法

1.1 超分辨率重建概述

超分辨率重建是一項關鍵的圖像處理技術，旨在提高圖像的分辨率，使其在細節和清晰度上更接近于原始高分辨率圖像。這項技術在多個領域中具有廣泛的應用，包括醫學影像、視頻處理和數字攝影等[3]。其核心目標是通過使用低分辨率圖像的信息來生成高分辨率版本，以便更好地滿足各種應用的需求。

在傳統的數字圖像中，圖像的分辨率由像素數目和采樣密度決定。低分辨率圖像通常是由受限制的采樣或傳感器分辨率所導致的，因此可能會喪失圖像中的微小細節和清晰度。超分辨率重建的目標是通過復雜的算法和技術，從低分辨率圖像中提取更多的細節信息，以生成高分辨率版本[4]。

1.2 非深度學習的超分辨率重建技術

在非深度學習的超分辨率重建技術中，存在多種方法，這些方法主要基于傳統的圖像處理和計算機視覺技術。

1.2.1 基于插值的超分辨率重建

基于插值的超分辨率重建方法是最簡單的一類方法。這些方法通過對低分辨率圖像的像素進行插值或補充來增加圖像的分辨率[5]。常見的插值方法包括雙線性插值、三次樣條插值和立方插值。盡管這些方法可以提高圖像的分辨率，但其通常不能捕捉到丟失的高頻細節，因此在處理復雜圖像時效果有限。

1.2.2 基于重構的超分辨率重建

基于重構的方法旨在重建丟失的高頻信息。這些方法通常使用低分辨率圖像的一些特定特征(如邊緣和紋理)來重建高分辨率版本。一種常見的方法是使用非局部均值(NLM)濾波，其中圖像的各個部分被用來估計缺失的高頻信息[6]。

1.2.3 基于傳統學習的超分辨率重建

傳統學習方法包括統計模型和回歸方法，其旨在建立從低分辨率圖像到高分辨率圖像的映射[7]。這些方法使用訓練數據來學習圖像之間的關系，以便在新的低分辨率圖像上進行預測。常見的方法包括支持向量回歸(SVR)、K近鄰回歸等。這些方法通常需要精心設計的特征提取和模型選擇，以獲得良好的性能[8]。常見的基于學習的方法包括流形學習、稀疏編碼方法。

1.3 基于深度神經網絡的SR方法

實驗選取了SRCNN[9]，ESPCN[10]，MSRN[11]，SRGAN[12]，SRFBN[13]5種基于深度學習的網絡模型用來處理本次的實驗樣本。通過實驗比較，PSNR/SSIM值都得到明顯提高，使得棉花葉片的圖像超分辨率重建變得更加高效。

1.3.1 SRCNN(Super-Resolution Convolutional Networks)

SRCNN是超分辨率重建領域的先驅之一，使用深度卷積神經網絡來學習圖像的高頻細節信息。通過訓練，SRCNN能夠將低分辨率圖像映射到高分辨率圖像，實現超分辨率重建。SRCNN以經雙三次插值后得到的目標尺寸大小的低分辨率圖像作為輸入，通過3層卷積網絡來提取非線性特征，最后輸出高分辨率圖像。

1.3.2 ESPCN(Enhanced Super-Resolution Generative Adversarial Network)

ESPCN是一種輕量級的超分辨率方法，通過逐像素的亞像素卷積來增加圖像的分辨率。采用深度卷積神經網絡，不僅提高了超分辨率性能，還加速了圖像重建的速度，適合實時應用。一旦訓練完成，模型可以將低分辨率圖像作為輸入，生成高分辨率圖像作為輸出[6]。

1.3.3 MSRN(Multi-scale Residual Network)

MSRN采用了多尺度殘差網絡來處理超分辨率問題。該方法通過利用多尺度的信息來重建圖像，從而更好地捕捉不同尺度上的細節。MSRN能夠處理復雜的圖像，提供高質量的超分辨率結果。

1.3.4 SRGAN(Super-Resolution Generative Adversarial Network)

SRGAN引入了生成對抗網絡(GAN)的思想，將超分辨率任務轉化為對抗性生成問題。生成器網絡試圖生成高分辨率圖像，而判別器網絡則嘗試區分生成圖像和真實高分辨率圖像。這種對抗訓練方式使得SRGAN能夠生成更逼真的高分辨率圖像，具有出色的視覺質量[7]。

1.3.5 SRFBN(Super-Resolution Feedback Network)

SRFBN是一種基于反饋的超分辨率網絡，其引入了反饋機制，多次迭代生成高分辨率圖像。通過多次反饋，SRFBN能夠逐漸提高圖像質量，產生更精確的超分辨率結果，特別適用于復雜圖像場景，能夠在保持圖像質量的同時，有效提高低分辨率圖像的質量[13]。

2 實現設計與分析

2.1 實驗方案設計

將一張低分辨率棉花葉片圖像恢復到高分辨率圖像的過程，使之能清晰展現圖像紋理、邊緣等信息，方便后續圖像的處理，如圖像分割、目標檢測和目標識別。當前主流方法可分為3類：基于插值的圖像重建方法、基于重構的圖像重建方法以及基于學習的重建方法。對實驗結果進行詳細分析，比較不同算法的性能，探討其優點和局限性。基于客觀評價指標的結果，結合主觀觀察和實際應用需求，得出對超分辨率算法性能的綜合評估。評估不同超分辨率算法在復雜棉花葉片圖像上的性能，為研究結論提供可靠的數據支持。

2.2 實驗數據的采集

實驗使用手機豎屏攝像共采集新疆阿拉爾市6月棉田蕾期圖片500張，構造了一個棉田圖像試驗集，實驗數據集被隨機劃分為訓練數據集、驗證集與測試數據集，比例為6∶2∶2。分別在5種網絡模型上進行實驗。為消除圖像間差異對實驗結果的影響，對每種方法得到的低分辨率圖像進行預處理，使其具有相同的尺度和亮度。

2.3 質量評價指標的選取

常用的圖像超分辨率評價指標有峰值信噪比(PSNR)和結構相似性(SSIM)。PSNR是一種經典的客觀評價指標，可以理解為信號最大可能功率與影響圖像質量的噪聲功率的比值。PSNR值越高，表示圖像質量越好，即超分辨率方法的性能越出色。SSIM模擬了人類的視覺系統對圖像質量的評價。考慮圖像之間的亮度、結構和對比度，從而綜合評估圖像質量。高SSIM值對應更好的圖像質量。這2種評價指標是SR重建效果評價的基礎指標，不僅能測量被壓縮后的圖像，也是重構圖像質量的重要指標。PSNR和SSIM的值越大，重建圖像的質量越好。

2.4 實驗結果與分析

從每個重建的圖像中截取相同的位置的子圖像，經過5種方法的比較，實驗結果表明，SRFBN模型的PSNR值與SSIM值均優于其他模型，輸出圖像的質量也高于其他圖像超分辨率方法，能夠更好地恢復原始圖像的高頻信息，減少噪聲和失真，所以SRFBN最適合于棉田的重構。

圖1 不同網絡重建效果

圖2 不同網絡重建效果

表1 圖像超分辨率重建指標對比

3 結論與展望

本文針對復雜棉花葉片圖像的超分辨率重建問題，對當前主流的超分辨率方法進行了比較研究。通過實驗分析和評價指標比較5種超分辨重建技術，基于深度學習的方法在復雜棉花葉片圖像的超分辨率重建中具有明顯的優勢，能夠有效提高圖像的分辨率并保留更多的細節信息。而基于插值的方法和基于重建的方法在處理復雜棉花葉片圖像時，存在一定程度的失真和模糊現象。深度學習技術在提高圖像分辨率和質量方面非常有前景，可為農業領域提供更多高質量的工具和資源。

經過對比，SRFBN模型的重建技術最適合于棉田數字圖像的超分辨率重建，得到更優質的圖像。鑒于SRFBN方法在棉花葉片的應用中表現優異，表明該方法具有潛在的應用價值，并可在其他農業圖像識別領域中得到推廣和應用。基于深度學習的圖像超分辨率重建技術在農業數字圖像處理領域具有廣泛的應用前景，但仍需要持續的研究和創新，以更好地滿足農業領域的需求，并提供更多有力的工具和資源。